この記事は、2026/4/20に公開された「Cloudera vs Snowflake vs Databricks: Which Federation Model Best Supports Enterprise AI?」の翻訳です。

AI は企業に対し、長年先延ばしにしてきた課題、すなわち断片化されたデータ資産の問題に直面することを迫っています。

断片化はかつては不便でした。確かに、地域や部署をまたいだレポートを取り出すには、いくつかの手順と日数が余計に必要でした。IT チームが介入して不一致を調整する必要があったこともあります。しかし、そういったことはどれも、決定的な問題にはなりませんでした。

それも「これまでは」の話です。

なぜ今、データフェデレーションが重要なのか

AI の文脈において、分割されたデータ資産とは次のことを意味します。

• 不完全なコンテキストで学習されたモデル
• 古くなったデータや無効なデータでエージェントが意思決定を行ってしまう
• 環境間でガバナンスポリシーが一貫して適用されない

これは、企業が AI を大規模に運用しようとしているまさにその瞬間に、重複、遅延、そして盲点が生じることを意味します。

言い換えれば、断片化は突然決定的な障害となります。

前回の記事では、統合され、統制のとれたデータアクセスが信頼できる AI の基盤となる理由、そしてデータ統合だけでは解決策にならない理由について考察しました。データの集中化（つまり、すべてのデータを 1 つの物理的な場所に移動させること）は、理論上はクリーンに聞こえるかもしれませんが、実際には、企業がもはや許容できない運用上のトレードオフをもたらします。理由はこちらをクリックしてお読みください。

もう一つの選択肢はフェデレーションです。まるでデータが統合されているかのように、組織が運用できるようにします。しかし、多くの購入者が今気づき始めている微妙な点があります。

すべてのフェデレーション戦略が同等に作られているわけではありません。

2 つの競合するフェデレーション戦略：集中化が先か、それともデータが存在する場所でフェデレーション化するか

ほとんどのベンダーは、自社のデータおよび AI プラットフォームの利点（つまり、組織がすべてのデータを使用して分析や AI を実行できること）を説明する際に「フェデレーション」という用語を使用しますが、必ずしも同じ意味でこの用語を使用しているとは限りません。プラットフォームを評価する際には、過剰な契約を結ぶ前に、各ベンダーが何を提供しているのか、それが自社のニーズにどれだけ合致しているのかを正確に理解することが重要です。

一般的な話として、今日の市場には主に 2 つのアプローチが存在します。統合優先のフェデレーションと、インプレース型フェデレーション（データ仮想化と呼ばれることが多い）です。

モデル 1：統合優先フェデレーション（Databricks と Snowflake のアプローチ）

最初のフェデレーションモデルは「統合優先」アプローチとして知られています。データをベンダーのクラウド環境またはそのガバナンスモデル内に統合した後にフェデレーションが可能になります。システム間でのアクセスが必要な場合、通常は定期的にデータをコピーしたり、相手のプラットフォームに取り込んだりする必要があります。

簡単に言えば、すべてのデータを 1 か所で分析できるフェデレーションです。ただし、まずはすべてをデータを統合する「家」に移さなければなりません。

企業リーダーにとって、このアプローチには以下のような具体的な影響があります。

• ストレージおよびデータ処理コストの増大
• データ重複の増加
• システム間でのガバナンスポリシーおよび権限の複製
• コンプライアンスと監査の複雑化

つまり、データが移動する場所が増えるほど、コストがかかり、セキュリティを確保するのも難しくなるということです。クラウドネイティブ企業にとっては、このアプローチは許容されるかもしれません。しかし、ハイブリッドで規制された企業にとっては、時間とともに摩擦が生じ、蓄積していきます。

モデル 2：インプレース型フェデレーション（Cloudera のアプローチ）

Cloudera が提唱する代替的なフェデレーションモデルは、根本的に異なるアプローチを採用しています。つまり、データを移動させるのではなく、データがどこに存在しようとも、データにコンピューティングと AI をもたらすというものです。

インプレース型フェデレーションでは、データを物理的にではなく論理的に統合することで、チームはデータを別のプラットフォームにコピーすることなく、パブリック、プライベート、オンプレミス環境など、既に存在する場所でアクセスして分析できます。

微妙な違いのように聞こえますが、実際にはすべてが変わります。

• 不要なデータの移動を最小限に抑えることで、インフラストラクチャとストレージのコストを削減
• 環境間での重複を減らす
• マルチクラウドおよびオンプレミスアーキテクチャ全体で柔軟性が向上
• クラウド集中リスクにさらされる機会が減少
• 場所を問わず、すべてのデータにエンドツーエンドのリネージを提供する単一のセキュリティおよびガバナンスモデル

結果として、データは規制、運用、またはパフォーマンスの理由から最も適切な場所に保持され、チームはリアルタイムで完全な全体像を把握できます。

統合優先モデルでは実現できないことを、インプレース型フェデレーションで実現

フェデレーションが複製なしでハイブリッド環境間で機能する場合（つまり、インプレース型フェデレーションの場合）、統合優先モデルでは対応しにくい条件が生まれます。その違いにより、クラウド専用環境以外の AI 戦略全体のリスクプロファイルが変わります。

1. ゼロトラストセキュリティ

統合優先モデル（Databricks や Snowflake などのベンダーが提供）では、データは統合されているように見えますが、それでも複数の環境に存在します。分析される前に、データはベンダーが管理するプラットフォームにコピー、取り込み、または複製されます。コピーを追加するごとに、コンプライアンスの対象範囲が拡大します。

環境が増えれば、管理すべき権限も増え、同期すべきポリシーも増え、照合すべき監査範囲も拡大します。レプリケーションが増えるにつれて、ガバナンスの複雑さも増します。

Cloudera のようなインプレース型フェデレーションモデルでは、データは元の場所にそのまま残されます。したがって、ガバナンスポリシーは一度定義されると、どこでも一貫して施行されます。システム間でアクセス権限を再作成するのではなく、単一の一貫性のある制御プレーンがハイブリッド環境全体にわたるアクセスを管理します。Cloudera では、これを「データとともに動くガバナンス」と呼んでいます。

グローバルな企業バッジシステムのようなものだと考えてください。従業員が別のオフィスを訪れるたびに新しいセキュリティバッジを発行するのは避けたいでしょう。アクセス権限は一元的に定義され、同じバッジが本社、地域オフィス、データセンターのすべてで機能し、どこでも同じセキュリティルールが適用されます。

ルールを一度定義すれば、場所が異なっていても、すべてのドアがそれを認識します。これは冗長性ゼロのセキュリティであり、環境が拡大しても複雑さが増大しないため、リスク抑制において非常に大きな利点となります。

2. ハイブリッドソースを横断するエンドツーエンドのリネージ

業界を問わず、AI はより多くの責任を担うようになり、それに伴い、説明責任と透明性に対するニーズが高まっています。

例えば、AI が信用承認、不正検出、価格決定、サプライチェーン調整などに影響を与える場合、すべての出力は正当化できるものである必要があります。規制当局、監査人、そして経営幹部は、結果だけでなく、その結果に至るまでの全過程を把握することをますます求めるようになっています。

ハイブリッド企業では、その道が一つの環境に限定されることはほとんどありません。データはオンプレミスまたはエッジで発生し、パブリッククラウドでエンリッチされ、SaaS データと結合され、他の場所で実行されているモデルによって消費される可能性があります。その現実全体でのトレーサビリティは譲れません。

統合優先のフェデレーションアプローチは、データを集中管理することでリネージを簡素化することを目的としています。しかし実際には、複製によって並行する履歴が生まれます。つまり、ソースシステムには元のデータセットが、また分析環境には変換されたコピーが存在します。時間の経過とともに、ある意思決定を説明するには、システム間にある同一データの複数バージョンを突き合わせる必要が出てくることがあります。そうするとリネージは、再構築しなければならないものになります。

データリネージ機能にインプレース型フェデレーションが統合されている場合（Cloudera のデータリネージツールなど）、それは問題になりません。データは（別の環境に複製されるのではなく）データが存在する場所でアクセスされるため、データリネージは元のソースに結びついたままになります。

この区別は、ハイブリッド型やエッジ依存型ワークフローにおいて特に重要です。インプレース型フェデレーションアプローチを採用すれば、数年後に規制当局や新たな CRO が現れて特定の決定がどのように下されたのかを尋ねられても、その答えが解読を必要とするブラックボックスの中に埋もれてしまうことはないので安心です。答えるべき内容は、記録にあり、追跡可能で、説明可能です。

3. 現実世界の AI システムのより強固な基盤

統合優先型モデルでは、AI はデータが一元化された環境内で動作します。データの移動が運用の現実と歩調を合わせている限り、それはうまくいきます。ハイブリッド企業では、そうなることはめったにありません。

AI が動的な価格設定やサプライチェーンの調整などの現実世界の結果を担当する場合、下流の分析コピーではなく、ライブの分散システム内で機能する必要があります。レプリケーションの各ステップでは依存関係の連鎖が生じ、レイテンシ／データ取り込みの遅延が発生し、実際の運用システムとそれらを使用する AI モデルとの間でずれが生じる可能性が高まります。

一方でインプレース型フェデレーションは、AI を運用の現実に合わせ、コンテキストが常に最新の状態であることを保証し、クラウドを超えて統合優先のフェデレーション戦略では対応できないオペレーショナル AI のユースケースを強化します。

実践におけるオペレーショナル AI：物流業界

これが実際になぜ重要なのかを理解するために、例を見ていきましょう。配達ルートをリアルタイムで最適化するために AI を導入しているグローバル物流会社を考えてみましょう。単一のルーティング決定は以下に依存することがあります。

• 労働力管理システムからのドライバーの稼働データ
• 車両からのリアルタイムの GPS フィード
• 外部 API からの交通情報と気象データ
• 地域倉庫ごとの在庫状況
• IoT センサーからの燃料効率指標
• 地域の規制制約または組合規則

その AI モデルが、数日前、あるいは数時間前に単一のクラウドにコピーされたスナップショットで動作している場合、部分的なコンテキストで意思決定を行っていることになります。更新された在庫レベルを考慮せずにドライバーのルートを変更したり、地域のコンプライアンス制約を考慮せずに速度を最適化したりする可能性があります。ルートから外れた車両からの古いテレメトリに依存している可能性があります。

AI システムが、データが既に存在する分散型データに安全にアクセスし、ゼロ冗長性のセキュリティと完全なリネージの可視性を確保できるようになると、組織はリアルタイムで動作し、ポリシーの範囲内で機能し、リスクを追加することなく環境全体でスケールする、完全に運用可能な AI を実現します。

フェデレーションベンダーの選び方：すべての企業が問うべき質問

私たちが探ってきたように、すべてのフェレデーション戦略が同じ結果を目指しているわけではありません。

統合を優先するところもあれば、ハイブリッドの柔軟性とガバナンドアクセスを重視するところもあります。Cloudera、Databricks、Snowflake（または任意のデータ連携ソリューションまたはその組み合わせ）を評価する場合、これらの質問は本当の違いを明らかにするのに役立ちます。

• フェデレーションにデータ移動が必要ですか？データは既存の場所からアクセスできますか、それとも最初に中央集約型のクラウドにコピーする必要がありますか？
• ガバナンスポリシーはどこで定義されていますか？アクセス制御は一度設定され、どこでも継承されるのか、それともシステム間で再設定されますか？
• ハイブリッドは永続的なソリューションとして扱われていますか？アーキテクチャはオンプレミスとマルチクラウドを長期的にサポートしていますか、それとも将来的には統合されることを前提としていますか？
• リネージはベンダーの環境を超えて広がることができるでしょうか？非ネイティブシステムを含む分散ソース全体にわたるエンドツーエンドのトレーサビリティは確保されていますか？
• このプラットフォームはオペレーショナル AI 向けに設計されていますか？AI は管理されたライブデータにリアルタイムで安全にアクセスできますか、それとも一元化されたスナップショットにしかアクセスできませんか？

これらの質問への回答は、フェデレーションが分析ユースケースを中心とした便利な機能になるのか、それとも信頼性が高く、コスト管理された、エンタープライズ規模の AI の長期的な基盤となるのかを判断するのに役立ちます。

フェデレーションは、意図的に設計された場合にのみ機能する

フェデレーション環境を設計するということは、内部構造を精査し、ガバナンスモデル、規制上の制約、パフォーマンス要件、既存の統合を整合させつつ、長期的な柔軟性をサポートする形でシステムを接続する必要があることを意味します。

Clouderaの プロフェッショナルサービスおよびトレーニング（PS＆T）チームは、これまで数え切れないほど多くの業界の組織をこのプロセスを通して支援してきました。新たな連携戦略を策定する場合でも、既存の環境を最適化する場合でも、経験豊富なアドバイザーを味方につけることで、連携環境が正しく設定されるだけでなく、真に AI 対応で、測定可能な成果をもたらすように構築されていることを確実にできます。

次回予告：金融サービスにおけるフェデレーションの仕組み

統合優先か、既存システムとの連携優先かの選択によって、AI が試験運用段階にとどまるか、安全に運用規模に拡大できるかが決まります。

金融サービス業界ほど、このことが重要な分野はありません。この業界では、不正検出、リスク管理、規制報告は、最新のシステム横断的なデータに依存しています。次回の記事では、フェデレーションが銀行におけるリアルタイム分析と AI ガバナンスをどのように再形成しているかを探ります。

この記事は、2026/4/16に公開された「The AI Moment Is Here, But Are Organizations Data Ready?」の翻訳です。

AI、分析、リアルタイムの意思決定がビジネス競争の方法を再形成する中、データの準備が整っていることが、野心を成果に変えるための重要な前提条件として浮上しています。しかし、組織がデータから価値を引き出そうとする中、多くの組織は厳しい現実に直面しています。それは、組織の基盤が AI 時代の要求に対応できるように構築されていなかったという点です。

このような、データパズルの欠けているピースを特定するため、Cloudera は 14 か国、1,200 人以上の IT リーダーを対象に調査を実施し、企業があらゆる事業領域においてデータをビジネス価値に変換する準備がどの程度整っているかを調べました。その結果、データはこれまで以上に戦略的優先事項として確立され、経営陣の強い支持と全社的な投資が増加していることが明らかになりました。

しかし、その勢いの下にはもっと複雑な現実があります。ほとんどの組織はデータレディネスの重要性を認識しているものの、構造的、文化的、ガバナンス上の重大な課題が依然として進歩を妨げています。以下の調査結果は、理想と実行の間のギャップが拡大していることを示しており、最終的にはどの組織が AI をうまくスケールアップできるか、どの組織が後れを取るかを決定づけることになるでしょう。

データレディネスは戦略的資産である

データレディネスは AI 時代における競争優位性を確立するための重要な要素であり、この信念は経営陣の強い連携にも表れています。回答者の 89％ が、上級管理職は AI を大規模に導入するために必要なデータインフラストラクチャを理解し、優先順位を付けていると答えています。これは、データに関する会話が役員室に広まったことを明確に示しています。

この整合により、データとビジネス成果の結びつきがより強まります。回答者の 86％ が、自分の組織はビジネス目標と結びついた明確なデータ戦略を持っていると答えています。これらの戦略を実現するために、86％ の組織がデータインフラストラクチャへのクラウド支出を増やしています。これは、高度な分析と AI ワークロードをサポートできる、よりスケーラブルで柔軟なアーキテクチャが広く求められていることを反映しています。

AI 導入サイクルのこの段階は、実験と変化への開放性によっても特徴づけられます。ほぼすべての組織（94％）がガバナンスフレームワークを採用または進化させる意欲を報告しており、これは企業がイノベーションと管理、信頼、コンプライアンスのバランスを取る必要性を理解していることを示す重要な兆候です。

データドリブン型の組織を阻む要因

意欲、連携、投資が新たな高みに達しているにもかかわらず、真のデータレディネスへの道は依然として不均一なままです。投資が拡大しているにもかかわらず、この調査によると、意欲はまだ実行に先行しており、組織は依然として深刻な構造的課題に直面しています。

必要なデータは存在するものの、容易に見つけたりアクセスしたりすることができず、組織内の縦割り構造がコラボレーションを阻害しています。回答者の 3 分の 1 以上（34％）が、データが分断されていることが、効果的なデータ連携、共有、管理、利用を妨げる最大の課題であると回答しました。データサイロは、企業システム間でデータが十分に統合されていないために残る可能性があります。ほとんどの企業は、データソースが異なる環境間である程度統合されていると報告しましたが、依然として大きなギャップが存在します。データソースが完全に統合されていると答えた IT リーダーはわずか 30％ で、52％ はほぼ統合されていると答えています。これは進歩を示していますが、このギャップは、多くの企業が依然として大規模な AI イニシアチブを十分にサポートできる体制を整えていないことを示しています。

IT リーダーはまた、複雑なアクセス要件とプロセス（47％）、データの保存場所の可視性の欠如（44％）、トレーニングとデータリテラシーの不足（41％）、データ共有に対する文化的抵抗（34％）など、データとのコラボレーションに対する他の多くの障壁を挙げました。明らかに、完全なデータレディネスへの道のりを阻む障害は一つではなく、企業はゴールに到達するためにそれらすべてを考慮に入れなければなりません。

データパラドックス：投資とレディネス状況

この調査は、ある矛盾を明らかにしています。企業はデータプラットフォームと AI に多額の投資を行っているにもかかわらず、ガバナンスとアクセスに関する複雑な問題に依然として苦慮しています。回答者のうち、すべてのデータが管理されていると答えたのはわずか 20% でしたが、90% はデータの大部分が管理されていると答えており、これは表面上では強力に見えます。しかし、これは、必要なデータすべてにアクセスできないことがデータ活用の取り組みを阻害していると回答した 80％ という結果とは対照的です。組織が自社のデータ管理が十分に行われていると考えていても、その管理体制には、現実世界のユースケースをサポートするために必要なアクセス性や統合性が欠けています。その結果、データは技術的には「管理」されているかもしれないが、断片化されていて発見が困難なため、その価値は制限されています。

技術の導入だけではデータレディネスが整うわけではありません。調査ではガバナンスの導入が進んでいることが示されたものの、データへのアクセスは依然として重大なボトルネックとなっています。回答者の 4 分の 1（24％）は、自社の企業データへのアクセスに十分な自信を持っておらず、比較的成熟した環境であっても、普遍的なデータアクセスが保証されているわけではないことを意味します。

データレディネスの鍵は一貫性とアクセスのしやすさです。組織がこの隔たりを埋めない限り、AI と高度な分析への投資は、適切なデータを適切なタイミングで適切な人々に届けるという実用的な現実に制約され、引き続き期待を下回る成果に終わるでしょう。

次の競争の最前線

このパラドックスの解決策は、単にデータを集めることだけではありません。既存のデータを管理、アクセス、信頼し、活用して共同作業を行うことができる組織にかかっています。

AI の可能性を最大限に引き出すには、データレディネスが不可欠です。単にデータを持っているだけでは不十分です。保存場所に関わらず、データセット全体を活用して、貴重な知見を収集し、戦略目標を支援する AI スキルを向上させる必要があります。Cloudera のデータレディネス状況調査は、組織が AI 主導の未来をリードするために、今すぐデータレディネスに投資する機会があることを明確に示しています。

Cloudera は、AI 主導の未来に向けてデータを準備する企業組織をサポートします。データレディネスのプロセスを加速させる方法について詳しくは、当社のウェブサイトをご覧ください。

この記事は、2026/4/15に公開された「Scaling Opportunity and Empathy: A Conversation with CHRO Amy Nelson」の翻訳です。

Clouderaでは、理論を行動に変える力を信じています。それはテクノロジーを超えて、私たちの日常文化の基盤にまで広がっています。今月は引き続きアライシップ（連帯）を祝う活動を行っています。この機会に、アライシップが実際にどのように機能するのかを振り返り、従業員を力づけ、つながりを築くための取り組みをご紹介します。

組織全体で成長とメンタリングがどのように実現されるのかを探るために、Cloudera の最高人事責任者であるエイミー・ネルソンに話を聞きました。エイミーは、優れた企業は強固で緊密なコミュニティによって築かれると信じています。Cloudera では、彼女はその信念を実現するための人事戦略を主導しており、人材計画、リーダーシップ育成、インクルージョンとエンゲージメントといった分野を網羅しています。今回の対談で彼女は、Cloudera がどのようにして Clouderans 全員にとって意義のあるキャリア開発の道筋を構築し、同時に繋がり、思いやり、そしてコミュニティを基盤とした企業文化を推進しているのかを語ってくれました。

エイミーの見解はこちらです。

Cloudera での今後のメンターシッププログラムについて少し教えてください。この取り組みのどのような点に魅力を感じますか？このプログラムの立ち上げを模索したきっかけは何ですか？

当社初の全社規模のメンターシッププログラムを試験的に導入できることを、大変嬉しく思っています。長年にわたり、組織的、チームベース、地域ベースのメンターシップ活動で大きな成功を収めてきましたが、当社のCulture Survey（カルチャ調査）では、常に明確な機会が示されます。当社の従業員は、より体系的で利用しやすい成長とつながりの道筋を求めています。

この取り組みが特に意義深いのは、グローバルに分散した環境において大規模な運用が可能である点にあります。このプログラムは、従業員から寄せられた要望に直接応えるものであり、人材育成と学習文化の強化への投資と言えます。

成功するメンターシップとは、どのようなものだと定義しますか？その影響を、個人レベルと組織レベルの両方でどのように測定しますか？

Cloudera では、一人ひとりに合わせた育成アプローチを通して、成功するメンターシップを定義しています。私たちは仕組みと機会を提供しますが、最終的な成功は個人によって測られます。

当社では、影響を 2 つのレベルで測定します。個人レベルでは、プログラム参加前後における自信の変化に加え、参加者自身が設定したキャリア上の目標に対する進捗状況を評価します。組織レベルでは、カルチャーサーベイに反映される従業員のエンゲージメントや、会社全体における部門横断的かつグローバルな連携強化など、より広範な成果に重点を置いています。

Cloudera では、部門間または階層間のメンターシップが業績や成長にどのような影響を与えていると感じていますか？

最も意義深い成長は、事業の交差点で起こることがわかっています。過去 5 年間、当社のスポンサーシッププログラムは、高い潜在能力を持つ人材と直属の部署以外のシニアリーダーを意図的に組み合わせてきました。そうした部門横断的な経験は、新たな視点をもたらし、分断の進んだ環境では生まれない機会を切り開くことが多いです。

私たちは、こうしたつながりが開発を加速させ、リーダーシップ能力を拡大させるのを目の当たりにしてきました。同様に重要な点として、当社のデータは、これらの経験と従業員のエンゲージメントの持続的な向上との間に明確な関連性があることを示しています。人々は、直属のチームを超えて支援され、つながりを感じているとき、最高のパフォーマンスを発揮します。

メンターシップ、サポート、そして成長に焦点を当てることは、アライシップ・エイプリルを祝うこの時期にぴったりです。Cloudera で、アライシップがどのように実践されているか目にしたことはあるでしょうか？

Cloudera では、アライシップを日々実践しています。それは私たちがリードし、協力し、支え合う方法に根付いています。私たちは、従業員リソースグループを通じてそれが実現するのを目の当たりにしています。これらのグループは、昨年、つながりと教育を促進するために 60 以上のグローバルイベントを開催しました。

それは私たちの会社の運営方法にも反映されています。公正な賃金職場としての継続的な再認証から、企業平等指数での最高得点の獲得、そして障害者インクルージョンにおける働きがいのある企業としての認定に至るまで、私たちは公平で誰もがアクセスしやすい環境を構築することに責任を持っています。

私たちにとって、アライシップとは一貫した行動を意味します。これは、すべての従業員が認められ、支援され、貢献する力を与えられていると感じられるようにするための方法であり、また、私たちの価値観を組織全体にわたる測定可能な成果へと転換する方法でもあります。

ERG（従業員リソースグループ）のような全社的なグループやプログラムは、インクルーシブな環境づくりにどのように影響を与えるのでしょうか？

Clouderaでは、従業員リソースグループ（ERG）は、インクルージョンを実現するための重要な基盤となっています。グローバルに分散した組織では、サイロ化が自然に生じることがあります。従業員リソースグループ（ERG）は、地域、職種、経歴を超えて従業員を結びつける有意義なコミュニティを構築することで、そうした障壁を取り除くことができます。さらに重要なのは、従業員の声を届け、方針やプログラム、そして従業員体験全体に対する私たちの考え方を形作ることです。

ERG（従業員リソースグループ）は触媒や羅針盤のような役割を果たし、私たちに常に高い目標を設定するよう促してくれます。これらは、包摂が単なる願望を超えて、従業員が日々本当に体験できるものにする手助けをしています。

Cloudera は 3 年連続で Fair Pay Workplace 認定を取得しました。この成果が Cloudera にとって重要な理由は何ですか？また、組織はそれらの基準を維持するためにどのように取り組んでいますか？

Cloudera では、従業員が尊重され、価値を認められていると感じられる職場環境を作ることは、まず給与体系への取り組み方から始まります。当社は、事業を特徴づけるデータ主導型の厳密さを報酬制度にも適用し、意思決定が一貫性があり、透明性が高く、測定可能な影響に基づいていることを保証します。

3 年連続で Fair Pay 認証を取得することは、その取り組みが正しかったことを示す意義深い証です。これは、定期的な監査やガバナンスから、大規模な公平な成果を支える明確な枠組みに至るまで、私たちがプロセスに組み込んできた規律を反映しています。さらに重要なのは、データと説明責任を重視することで、長期にわたって公平性を維持する基盤を築くという中核的な信念を強化することです。

人材中心のテクノロジー組織を構築する上で、学んだ意外な教訓は何ですか？

意外に思われるかもしれませんが、データは共感を置き換えるものではなく、むしろ共感を拡大させるものです。それは私たちがどこに注力すべきかを特定するのに役立ちますが、洞察を意味のある行動に変えるのは、特にリスニング、コンテキスト、そして実際の会話を通じた人間的な側面です。当社のCulture Survey（カルチャ調査）のようなツールは、何が起こっているかを教えてくれますが、なぜそうなっているのか、どのように対応すべきなのかは教えてくれません。

真に人間中心の組織を構築するには、そのバランスを取ることが重要です。私たちはデータを使って機会を明らかにしますが、最終的に優れた意思決定とより良い成果につながるのは、データの背後にあるストーリーや経験です。

Cloudera がどのようにして、従業員が連帯と包括性を基盤とした環境で活躍できるよう支援しているかをご覧ください。また、Cloudera でのキャリア機会についてもぜひチェックしてみてください。

バージニア・ウォッチパーティーの参加者の皆さま

当社のパートナーエコシステムは、組織がパブリッククラウド、プライベートインフラストラクチャ、エッジなどあらゆる場所でデータおよび AI ソリューションを構築、実行できるように支援すると同時に、エンタープライズ規模の AI に必要なガバナンス、セキュリティ、制御を維持し、制御性、柔軟性、拡張性を損なうことなく実現します。

これが「AI Anywhere（あらゆる場面で AI を活用）」の実際の姿です。これは、現在のデータアーキテクチャや技術スタックがどのようなものであっても、顧客が自信を持って AI を運用できるようにするためのパートナー間の連携した取り組みを指します。

Cloudera のパートナーエコシステムについて詳しくは、Cloudera.com/partners をご覧ください。

この記事は、2026/4/10に公開された「Inside Cloudera IMPACT26: How Partners Are Driving Enterprise AI Anywhere」の翻訳です。

2025 年は、Cloudera のパートナーエコシステムにとって大きな勢いを増した年でした。そのことは、毎年恒例のパートナーキックオフイベントである IMPACT26 において最も顕著に表れました。

IMPACT26 は主にオンラインで開催されましたが、Clouderans とパートナーは世界各地のウォッチパーティーから視聴参加し、あらゆるセッションや会話に一体感が生まれました。これらのパーティーは、Cloudera のパートナーエコシステム全体にわたる先見性のあるリーダーたちの拠点として機能しました。アイデアを交換し、イノベーションを促進し、業界と、急速な技術革新の波に乗ろうとするお客様と、互いにより良い未来を共に築き上げるために集いました。特に、組織がますます複雑化する分散環境全体で AI を実用化しようとしている状況においては、こうした集まりは非常に重要です。

私たちの会話からは、現実世界で AI を活用してビジョンを具体的な顧客成果へと転換するために何が必要かについて、共通の深い理解を反映していました。

このイベントは、これまで私たちが共に築き上げてきたこと、そしてさらに重要なこととして、次に何が起こるのかを振り返る機会となりました。今年は、全地域から 800 人以上の参加者を集め、Cloudera のパートナーエコシステムが持つ世界規模と勢いを示しました。

その精神はさらに明確になってきています。エンタープライズ AI は、目標に沿ったパートナーシップによって導かれ、その未来はすでに Cloudera で形になりつつあります。

「Cloudera との共同イノベーションを通じて、Dell の業界をリードするストレージと Cloudera のデータプラットフォームを緊密に統合し、データが存在する場所に直接 AI を導入します」と、Dell Technologies 社の ISG 製品管理担当シニアバイスプレジデント、Travis Vigil 氏は述べています。「私たちは協力して、生産環境に必要なセキュリティ、パフォーマンス、信頼性を備えて、お客様が AI を大規模に運用できるように支援しています。」

世界中のパートナーとの協業により、あらゆる場面で AI を実現

これらのセッションで重要なテーマとなったのは、「AI Anywhere（あらゆる場面で AI）」、つまり、AI を最大限に活用するためには、単一のプラットフォームや環境、ユースケースに限定されるべきではないという考え方です。データがどこに存在しても、AI は動作可能でなければなりません。

実際には、断片化されたデータ環境は深刻な課題を生み出します。AI エージェントが古くなったデータや不完全なデータに基づいて意思決定を行ったり、ガバナンスポリシーが環境間で一貫して適用されなかったり、重複、遅延、盲点に対処するために場当たり的な修正が行われたりするなど、企業が AI を大規模に運用する上で障害となります。

統合された AI 環境を設計するということは、より深いレベルでの取り組みを意味します。つまり、パートナー企業を集めて統合に関する合意を形成し、ガバナンスモデル、規制要件、パフォーマンス基準、既存システムが全体にわたってシームレスに機能することで、長期的な柔軟性と回復力を確保する必要があるのです。

経営陣によるプレゼンテーションは、このビジョンを明確にするのに役立ち、一貫性、制御、信頼性を維持しながら、ハイブリッド環境全体で AI を運用するために必要なことについて、リーダーたちの認識を一致させました。

メキシコシティ・ウォッチパーティーの参加者の皆さま

Cloudera のIMPACT26 グローバル受賞者

Clouderaのパートナーは、データを価値に変え、あらゆる場所でAIを実現する最前線に立っています。私たちは、業界全体に永続的なインパクトを与えているこれらのパートナーを祝福できることを誇りに思います。

IMPACT26 では、その影響力が 2026 年グローバル・パートナー・オブ・ザ・イヤー賞を通じて認められました。この賞は、Cloudera エコシステム全体で優れた技術と革新を通じて顧客に有意義な成果をもたらした組織を表彰して贈られます。今年のグローバル受賞者は次のとおりです。

• Amazon Web Services（クラウドパートナー・オブ・ザ・イヤー）
• IBM（OEM パートナー・オブ・ザ・イヤー）
• AMD（テクノロジーパートナー・オブ・ザ・イヤー）
• NVIDIA（AI パートナー・オブ・ザ・イヤー）
• Dell Technologies（IMPACT パートナー・オブ・ザ・イヤー）
• Protegrity（ISV パートナー・オブ・ザ・イヤー）

これらのパートナー企業は、互いの強みを融合させることで、顧客の抱える実際の課題を解決できる可能性を示しています。AI をデータが存在する場所に直接導入することから、エンタープライズグレードのパフォーマンスを実現すること、データライフサイクルのあらゆる層にセキュリティを組み込むことまで、これらのコラボレーションは戦略を実行に変えています。

Cloudera のIMPACT26 地域パートナー・オブ・ザ・イヤー

グローバルパートナーに見られる同様の熱意は、地域パートナーや専門分野のパートナーにも見られました。

Compwire のビジネスソリューション担当ディレクター、Ricardo Vinicius de Godoi 氏は次のように述べています。「Cloudera の AMER パートナー・オブ・ザ・イヤー賞を受賞したことは、Compwire にとって大きな名誉であり、私たちが共に築いてきた強力で信頼できるパートナーシップの反映です。私たちは共に、組織がブラジルでデータと AI の取り組みを加速できるよう支援しています。Cloudera と共にイノベーション、顧客価値、成長を促進し続けることを楽しみにしています。」

Cloudera の地域パートナー・オブ・ザ・イヤー：

• Compwire（北米、中米、南米）
• IBM Consulting（アジア太平洋地域）
• Puedata（EMEA）
• ThunderCat Technology（公共部門）

彼らの地域に根ざした専門知識は、日々、顧客がデータと AI に関する取り組みを、特定の市場や業界の実情に基づいた、実用的かつ拡張性のある方法で加速させるのに役立っています。

今年のエマージングパートナー：

• Codename37（北米、中米、南米）
• Novare Technologies (APAC)
• Engineering Ingegneria Informatica S.p.A.（ヨーロッパ、中東、アフリカ）

これらのパートナーは、地域、環境、およびユースケースにわたって当社のリーチを拡大する上で重要な役割を果たしています。

この記事は、2026/4/9に公開された「Vibecoding and Cloud Accountability with David Linthicum」の翻訳です。

AI 予測の第65回エピソード「バイブ（雰囲気重視）コーディングの危険性：制御されない AI がクラウド ROI をいかに破壊するか」では、David Linthicum 氏がホストの Paul Muller と共に、ハイブリッドおよびマルチクラウド環境の隠れたコストを明らかにし、クラウドガバナンスと回復力がなぜ経営陣の優先事項となっているのかを説明しています。

注目を集めるクラウド障害により、隠れた依存関係や単一障害点を露呈する中、IT リーダーはハイブリッドクラウド環境全体でのレジリエンス、データ管理、責任感を再考しなければなりません。

Paul と David 氏の会話で特に印象に残ったポイントをご紹介します。

中核となる差別化要因：信頼性対レジリエンス

Paul：レジリエンスって面白い言葉ですよね。人々はレジリエンスを信頼性と同一視しがちですが、実際には大きな違いがありますよね？

David 氏：そうですね。つまり、レジリエンスとは、災害によって処理や事業が止まらないようにする能力のことです。言い換えると、プラン A、プラン B、プラン Cは何か、これはどの程度レジリエンスと耐障害性を備えているか、信頼性は基本的にコンポーネントに関するもので、どの程度安定して動作し続けられるか、そして問題が起きた場合にどのように復旧するかを指します。レジリエンスは利用者側の責任ですが、信頼性はそうではありません。通常、クラウドプロバイダーを利用している場合は、プロバイダーの責任となりますが、それでも影響を受けることは避けられません。請求書が来たら払うのは、あなたです。これらのクラウドプロバイダーがダウンしても、補償は一切受けられません。

Paul：レジリエンスは構成要素の結果ではなく、建築的な成果物ですよね。システムをどう設計するかです。それはエンタープライズアーキテクチャに立ち返ります。

David 氏：すべてはアーキテクチャの問題であり、アプリケーション層とエンタープライズ層に関わることです。レジリエンスを構築し、計画を立てる必要があります。自動発生するものではなく、クラウドの中に閉じ込められているわけでもありません。人々が驚いたのはまさにそこでした。彼らは自分たちが抱えるどんな問題にも完全に耐えられると思っていましたが、今では自分たちも他の人と同じように過ちを犯す可能性があることに気づきました。AI システム、エンタープライズアーキテクチャ、あるいはあらゆる種類のアーキテクチャ設計を構築する上で、レジリエンスは重要な要素の一つです。セキュリティやガバナンス、その他私たちが取り組まなければならない事柄と同じくらい、あるいはそれ以上に重要です。実際に運用可能な状態にしておかなければ、最悪の事態が発生した場合でも、このシステムが業務処理を停止させないことを指標を用いて証明することはできません。それを理解するには、基本的に時間とお金を費やす必要があるのです。

レジリエンスがなければ、こういった事態から立ち直ることはできないでしょう。

ハイブリッドな世界における説明責任と監視可能性

Paul：最近はハイブリッドクラウドについて多くの人が語っていますが、ある意味、オンプレミスとクラウド両方の世界の長所と短所を組み合わせたもののように思えます。最終的にはハイブリッドな世界となるであろう中で、明確な説明責任と監視可能性をどのように構築すればよいのでしょうか？

David 氏：ハイブリッドクラウドやマルチクラウドのソリューションを構築する場合、基本的にソリューションの一部である複雑さを管理する必要があり、回復力はその管理を担う共通の制御プレーンとなるでしょう。人々は、「このシステムをハイブリッド方式で構築して、オンプレミスシステムにフェイルオーバーできるようにする、あるいは別のクラウドにフェイルオーバーできるようにするつもりだ」と考えます。それは全く問題ありません。機能しますが、費用がかかるでしょう。そのコストとリソースが何であるかを理解し、それらをどのように管理するかが、最大の争点になると思います。

マルチクラウドは、最適なテクノロジーを使ってより効率的なシステムを構築できるという点で優れていますが、そのアーキテクチャにおいては、レジリエンスと信頼性が課題となるでしょう。私はいつもこう言っています。「レジリエンスと効率性は両立できるが、両方を完全に兼ね備えることは難しい」、と。我々はレジリエンスのあるアーキテクチャを構築するか、さもなければ年に 3、4 回の停止が発生し、ビジネスに数十億ドルのコストがかかることに対処しなければなりません。

高騰するクラウドコストとオンプレミスへの回帰の動き

Paul：壊滅的なシステム停止、コスト超過、複雑な責任問題などを考えると、多くの企業が業務のレパトリエーション (オンプレミスへの回帰) を検討しているのは当然のことです。現状はどうなっているのでしょうか？また、一部のワークロードをオンプレミスに戻そうとする際に、どのような課題に直面するのでしょうか？

David 氏：一番大きな問題は、それを行うためのコストですね。そこには 2 つの層があります。第一に、アプリケーションに約 50 万ドルを費やしてすべてをクラウドに移行したけれども、今度はそれを元に戻すために同額程度の費用がかかります。第二に、取締役会にその決定と今後の進め方について説明しなければなりません。それは難しい会話です。なぜなら、当初はより価値があり信頼できると期待されていたクラウドへの移行が、計画通りに成果を上げなかったことを認めなければならないからです。誰かが頭を下げて、その結果として、組織はハードウェアをより自由に制御できる環境に戻す必要があると説明しなければならないでしょう。

通常、コロケーションプロバイダーやマネージドサービスプロバイダーを利用する方がはるかに効率的ですが、クラウドのコストが負担になります。そして今、AI ワークロードに着目し、クラウドを利用する余裕がないため、その移行をさらに加速させようとしています。クラウドは AI にとって最も手軽な選択肢となりますが、これらのシステムを構築する上で最も容易な方法です。すぐに利用できるエコシステム全体が手に入りますが、ほとんどの企業にとっては費用が高すぎます。経済的な理由でそこに戻る場合は、それを効果的に行うために何らかの資源を投入する必要があります。

Paul：いったい何人の開発者が、何社の企業で、ちょっとしたサイドプロジェクトをバイブコーディングアプリで立ち上げて、すごいコンピューティングワークロードやストレージワークロードを生成して、結果としてコスト超過を起こしているでしょうか？

David 氏：AI システムに、あなたの解釈と、AI がコーディングする必要のある内容を伝えることで、コーディングを行っているのです。そして問題は、そこにある微妙なニュアンスを理解していないことです。効率化への対処方法が理解できないため、結果的に余計な出費をしてしまいます。だから、そういう類のこと、つまり雰囲気のコーディングみたいなことは、考えるのは楽しいのですが、問題は、人間がこれらのことをある程度コントロールできるようにする必要があるってことなのです。これらのコーディングシステムを目にするたびに、ほとんどのクライアントが試すのですが、必要な効率性を得ることができずに失敗していることがわかります。

David Linthicum 氏との対談全編は Spotify、Apple Podcasts、YouTube でお聴きいただけます。

この記事は、2026/4/6に公開された「Unified Data Access is the Foundation for Trusted AI」の翻訳です。

IT リーダーたちは長年にわたり、企業の目標達成に貢献する AI 計画を強化するようプレッシャーを受けてきました。しかし、パイロット版から現場環境への移行は、誰もが予想していたよりも困難であることが判明しました。

なぜなら、今振り返ってみると、これらの初期の実験は、本来あるべきほど体系的に構成されていなかったからです。AI モデルは、まだ対応できていないデータ資産の上に重ねられていました。実験は個別に実施されたため、規模拡大に対応するために、ガバナンスとセキュリティを企業全体に再整備する必要がありました。一方、非公式な AI 実験を実施していた部署は、いわゆる「シャドウ AI」を導入しており、これらは今後、ポリシー、監査可能性、および管理体制の下に戻されなければなりません。

AIの目標を達成するには、複雑で断片化され、物理的に分散されたデータ資産を整理する必要があります。スケーラブルな進化の道は、AIをデータに統合し、AIがデータにアクセスする方法を再考することです。基盤まで統一された管理されたアクセスがなければ、説明責任と結果は根本的に対立します。

統合が間違った戦略である理由

長年にわたり、最も明確な答え（そして最も一般的なアドバイス）はデータ資産の一元化でした。つまり、すべてを 1 つのデータレイク、データウェアハウス、またはクラウドに移動して、唯一の信頼できる情報源を作成することです。分散を物理的に排除することで、サイロを削減し、断片化を解消するということです。

理論上では、効率的に聞こえます。しかし、現実は、少なくとも企業という文脈においては、維持不可能であることを示しています。

• データ量が多いと、大規模な移動は高価で遅くなる
• IT チームやデータエンジニアリングチームがアクセス対応を担わなければならないため、遅延が発生し、セルフサービス型のユースケース（部門別のAIエージェントやツールなど）が実現しにくくなる
• 規制上の境界で、データの保存場所と処理方法が制限される
• ハイブリッド環境は、かつて考えられていたような過渡期ではなく、恒久的な存在となった
• 一元化自体が遅延をもたらし、リアルタイム分析や AI のユースケースを損なう

最終的に、統合は企業にトレードオフを強いることになりますが、リアルタイムの応答性と状況把握が価値実現に不可欠となる AI 時代においては、そのようなトレードオフはもはや許容できないものとなっています。データの移動を待ったり、環境間でデータを複製したりすることは、どちらの面でもマイナス要因となります。

より良いアプローチは、データフェデレーションです。データを強制的に移動させることなく、企業があたかもデータを統合したかのように運用できるようにします。

データフェデレーションの本当の意味

データフェデレーションについては、クエリエンジン、コネクタ、分散コンピューティングといった技術的な用語で説明されることが多いです。オペレーションリーダーにとっては、その影響ははるかに戦略的なものです。

簡単に言うと、データフェデレーションとは、データを物理的に集中させたり複製したりすることなく、分散システム全体でデータへの統一的なアクセスを可能にする技術です。しかし、重要なのは成果です。データフェデレーションにより、チームはデータが既にある場所で作業することができ、リーダーはクラウド、オンプレミス、エッジシステムにまたがる質問に対して正確で最新の回答を得ることができます。

あるグローバル小売業者が「当社の〇〇の在庫はどこですか？」と尋ねると、倉庫の在庫、実店舗の棚、輸送中の商品、e-コマースのフルフィルメントセンターを同時に反映した、状況に応じた 1 つの回答を受け取ることを想像してみてください。

あるいは、州の機関が「この申請者はプログラム〇〇の対象ですか？」と質問すると、税務記録、収入証明、既存の給付金加入状況を反映した統一的な回答を受け取る状況を想像してみてください。これらのデータセットが別々の部署のシステムに保存されている場合でも、統一的な回答が得られるのです。

データフェデレーションによってこれらの成果が可能になるのは、ユーザーインターフェースの背後に単一のガバナンスポリシーが存在するからです。すなわち、データが格納されているストレージシステムではなく、データそのものにルールが結びついているという、統一されたガバナンスフレームワークです。

実際には、これは物理的なデータ統合ではなく、論理的なデータ統合です。承認されたクエリがデータ資産全体をエンドツーエンドで横断し、データに最も近いコンピューティングリソースを利用しながら、統制を維持し、すべてのアクセスポイントの一貫性を保ち、すべての出力が追跡可能かつ監査可能であることを保証することを意味します。

その基盤こそが、AI をスケーラブルで信頼できるものにしているのです。

「一度管理すれば、どこからでもアクセス可能」という運用モデル

フェデレーションがアーキテクチャ上の変革だとすれば、「一度管理すれば、どこからでもアクセス可能」というのが運用モデルです。これは企業の制御と規模についての考え方を変えるものです。

この記事の前半で簡単に触れたように、フェデレーション戦略では、ガバナンスポリシーは物理的な保存場所ではなくデータ自体に従います。実際には、どのような状況でもセキュリティルールが一貫して適用されるということです。これにより、トレーサビリティと監査可能性は、導入後に追加する後付け機能ではなく、基盤となる組み込み機能になります。

監査の仕組みだけでなく、既存のガバナンス管理の範囲内で、より広範なコンテキストにリアルタイムでアクセスできるようにすることで、最上位層の AI アプリやエージェントの性能も向上させます。

オペレーションリーダーにとって、その影響は明確です。

• AI の迅速な導入、自動化の加速、効率の向上
• 地域や規制の枠組みをまたぐ法規制遵守のボトルネックが減少
• チーム間の重複作業を減らし、インフラと処理の両方のコストを削減
• 分散運用全体にわたるリアルタイムの可視性により、全員が同時に同じ情報源に基づいて作業が可能
• AI の出力や意思決定に対する経営陣の信頼感を高め、信頼と価値実現の時間を加速

これにより、チームは環境間の調整や結果の一貫性監査といった細かい作業に時間を取られることなく、成果の達成に集中できるようになります。

あらゆる場所で AI が活用される時代への備え

現代のプラットフォームは、ストレージ中心の設計から、ハイブリッドな永続性、規制上の監視、AI を活用した自動化のために構築されたインテリジェントなデータアクセス層へと進化しています。

この進化は、より広範なプラットフォームの方向性を反映しています。つまり、データをインフラストラクチャの制約に合わせるのではなく、データが存在するあらゆる場所に AI を導入するという方向性です。AI がサプライチェーン、財務予測、不正検出、顧客エンゲージメントに深く浸透するにつれて、断片化されたアクセスのコストは増加の一途をたどっています。

業界アナリストも同じ結論に達しています。これは、Forrester社によるデータファブリックプロバイダーの評価にも反映されており、ハイブリッド環境全体にわたる統一された統制されたアクセスは、エンタープライズ AI の中核的なアーキテクチャ機能として扱われています。Cloudera は、2025 年第 4 四半期のリーダー企業としてランキングに選出されました。

統一され、統制されたアクセスは信頼できる AI の基盤であり、それはフェデレーションから始まります。

しかし、すべてのフェデレーション戦略が同じように作られているわけではありません。

次回の記事では、さまざまなフェデレーションモデルを比較し、真のハイブリッドデータアクセス、統合ガバナンス、大規模な AI を実現するために構築されたプラットフォームを選択する際に企業が注目すべき点について探ります。

この記事は、2026/4/2に公開された「Data for AI Anywhere: Cloudera’s AI Investments Are Fueling a Hiring Surge」の翻訳です。

人員削減や採用凍結が常態化しているこの業界において、Cloudera はエンタープライズ AI に対する加速する需要に対応するため、これまでとは異なる道を歩み、グローバルな従業員を積極的に拡大しています。

この成長は、研究開発と AI への複数年にわたる投資戦略の直接的な成果であり、AIは現在、飛躍的な成長段階に入りつつあります。私たちは、エンタープライズ AI をあらゆる場面で可能にするプラットフォームを構築するために、チームをグローバルに強化しています。

研究開発が私たちの指針である理由

弊社の CTO である Sergio Gago が最近指摘したように、私たちは「融合の時代」に入りました。ここでは、データセンターとクラウドが一体となり、AI が「労働力の一部として管理」されるようになります。この実験的なパイロット段階から企業規模でのインパクトへの転換こそが、私たちが研究開発チームを拡大し、データが存在するあらゆる場所に AI を適用できる統合アーキテクチャの構築を進めている理由です。

戦略：「融合の時代」への投資

AI の実験段階は終了しました。企業は、単純な概念実証から、ハイブリッド環境全体でデータへの安全かつ統制されたアクセスを必要とする自律的なワークフローを備えたエージェント型 AI へと移行しています。

この需要に応えるため、私たちは研究開発への支出を大幅に増やし、次のことに重点を置いています。

• Cloudera AI Inference：NVIDIA のテクノロジーを活用し、生成 AI、エージェント型ワークフロー、従来の予測型 ML のユースケースを拡張

• AI Agent Studio：開発者やビジネスチームが、ローコード技術やノーコード技術を使用して、信頼できるデータエコシステム内で自律型エージェントを構築できるように支援

• 統合データ：クラウドとオンプレミスデータセンターの境界を曖昧にすることで、100％ のデータを摩擦なく「AI対応」に

Cloudera Agent Studio のローンチについて詳細を解説

当社の研究開発採用の急増は、市場の根本的な変化に直接応じている現れです。2024 年と 2025 年に、企業は LLM を実験していました。2026 年になり、それが運用されています。

この移行をリードするために、私たちは最近、AI ロードマップの中心となる Cloudera Agent Studio を発表しました。エージェント型 AI は、企業のデータ資産全体にわたって複数ステップのタスクを計画、推論、実行できるシステムを備えた、新たなフロンティアです。

この製品が重要な理由

Cloudera Agent Studio は、開発者が自律的なエージェントを構築できるオーケストレーションレイヤーです。

• コンテキスト認識：Cloudera プラットフォームに保存されている実際のエンタープライズデータを使用して、正確で管理された回答を提供

• ハイブリッド対応：NVIDIA が提供する新しい AI 推論サービスにより、これらのエージェントはパブリッククラウドと同様にプライベートデータセンターでも効率的に実行可能

• 安全な設計：エージェントが行うすべてのアクションはログに記録され、Cloudera Shared Data Experience（SDX）によって管理されるため、AI が想定外のデータを見ることはありません

チームの成長：当社が求めているもの

私たちはハイブリッドデータと AI プラットフォームの未来を築いているため、ビルダーを募集しています。採用は引き続き研究開発とエンジニアリング部門に重点を置いていますが、成長は組織全体に反映されています。

現在、「流れているデータ」と「大規模なインテリジェンス」のギャップを埋めることができる専門家を求めています。現在、優先度の高い職務は以下の通りです。

• AI ソリューションエンジニアリング：グローバル企業向けの RAG パイプラインとカスタム GenAI プロトタイプの構築

• プラットフォームエンジニアリング：レイクハウスアーキテクチャとハイブリッドクラウドデプロイメントの最適化（K8s、Iceberg）

• 機械学習オペレーション：MLflow と Cloudera AI によるモデル提供とオブザーバビリティのスケーリング

• データアーキテクチャ：リアルタイム AI を供給するストリーミング基盤（NiFi、Flink）の設計

今こそ、当社で働く理由

Cloudera は加速を目指して構築を進めています。私たちは、世界で最も複雑なデータ課題に取り組むことができる安定した高イノベーション環境を提供します。ここでは、エンタープライズデータを合わせて 30 エクサバイト以上を管理する大手ブランドと協力することができます。

AI の過剰な宣伝文句に惑わされず、現実世界で役立つ AI の開発を始めたいと考えているなら、私たちの仲間に加わりませんか。

弊社の採用情報をご確認ください。融合の時代を共に築きましょう。

この記事は、2026/4/1に公開された「Navigating the Future of Data & AI: Key Takeaways from Gartner Data & Analytics 2026」の翻訳です。

Gartner が開催した データ＆アナリティクスサミット 2026では、実験的な AI の時代は終わり、統合され、統制され、価値主導型の AI の時代が始まったという明確なメッセージが発信されました。組織が最新化を急ぐにつれ、焦点は「AI とは何か？」から「AI をいかにして確実に拡張するか？」へと移りつつあります。

ここでは、カンファレンスから得た 5 つの重要なポイントと、Cloudera がこれらの各分野でどのようにビジネス価値を提供できるかをご紹介します。

Gartner による D&A カンファレンスの 5 つの重要なポイント

1. AI 対応データなしに AI は存在しない

AI 対応データは、AI イニシアチブを成功させるための前提条件です。市場は、運用を簡素化する統合プラットフォーム、特にオープンデータレイクハウスアーキテクチャに向かって動いています。

データレイクハウスは、従来のデータウェアハウスの利点とデータレイクアーキテクチャの柔軟性を兼ね備えています。データレイクハウスは、現代の生成AI（GenAI）の生命線である非構造化データへの必要なアクセスを提供するため、従来のデータウェアハウスに取って代わることが期待されています。

Cloudera の強み：Cloudera のオープンデータレイクハウスは、ハイブリッド環境およびマルチクラウド環境において、構造化データおよび非構造化データを管理することを可能にします。Cloudera は単一の統合アーキテクチャを提供することで、データサイロを排除し、データの保存場所に関係なく、すべてのデータが AI に対応できるようにします。

2. エージェントシステムの台頭

2026 年は AI エージェントの年です。単純なチャットボットとは異なり、これらのエージェントは自律的な意思決定へと移行しており、複雑なタスクを自動化するためには堅牢なエージェントデータ管理を必要とします。AI エージェントは、価値を創造しリスクを軽減するために、統制され、予算が組まれ、状況に応じた活用がなされなければなりません。

Cloudera の強み：Cloudera は、エージェント型エコシステムを推進するために必要な高性能なデータストリーミングとリアルタイム処理能力を提供します。Cloudera Data in Motionを活用することで、企業は AI エージェントが最新のデータに基づいて行動できるリアルタイムのパイプラインを構築でき、自律的な意思決定が古い情報ではなく現実に基づいて行われることを保証します。

3. コンテキストが重要：意味論とグラフ RAG

Gartner は、AI が信頼できるものとなるためには、特定の業務やプロセスの文脈を理解する必要があると指摘しました。これは、コンテンツの複雑さに対処し、トレーサビリティを確保するために、ナレッジグラフやグラフ検索拡張生成（RAG）への移行を促進しています。リーダーは相互運用性と透明性を確保するために、複合セマンティックレイヤーを必要としています。

Cloudera の強み：Cloudera の統合データファブリックは、大規模なデータセットの複雑さを処理しながら、メタデータの整合性を維持するように設計されています。Cloudera は、ベクトルデータベースとナレッジグラフ向けの専用ツールを統合することで、大規模なグラフ RAG を実現し、企業が大規模言語モデル（LLM）に非常に具体的で独自のコンテキストを供給しながら、その情報がどこから来たのかを明確に監査証跡として保持できるようにします。

4. リスク軽減策としてのガバナンス

Gartner はまた、「ガバナンスは私たちの抱く希望を台無しにする」と警告しました。つまり、適切な規模のガバナンスがなければ、AI イニシアチブは規模拡大に必要な信頼を築くことができないでしょう。D&A のリーダーは、データ・インジェスチョン (データ採取) からモデルのデプロイメントまで、AI ライフサイクル全体の要件を満たすためにガバナンスを最新化する必要があります。

Cloudera の強み：Cloudera Shared Data Experience (SDX) は、エンタープライズグレードのセキュリティとガバナンスを提供します。オンプレミスでモデルを実行しているか、パブリッククラウドで実行しているかにかかわらず、Cloudera SDX は一貫したセキュリティポリシーを提供し、ソブリン AI が単なるバズワードではなく、規制対象産業にとっての現実であることを保証します。

5. ハイブリッドの使命：ソブリン AI

サミットにおける重要な焦点の一つは、組織がデータおよび分析（D&A）の管理を地域レベルで行えるようにする、ソブリン AI ソリューションの必要性でした。これは特にコンプライアンスとデータプライバシーの観点から重要です。組織は、データとモデルに対するローカルな制御を可能にしながら、統合的な管理機能を提供するプラットフォームを必要としています。

Cloudera の強み：データと AI のための唯一の真のハイブリッドプラットフォームとして、Cloudera は高性能な AI ワークロードをクラウドで実行し、最も機密性の高いデータをオンプレミスに保持する能力をお客様に提供します。このハイブリッドな柔軟性は、ソブリン AI 戦略の礎であり、知的財産に対する完全なコントロールを可能にします。

総評：AI ファーストの考え方への移行

業界は断片化されたツールから統合されたデータ管理ソリューションへと移行しつつあります。成功を収めるためには、データ・インジェスチョン (データ採取) からエンジニアリング、ウェアハウス、機械学習、モニタリングに至るまでのライフサイクル全体を処理できるプラットフォームが必要です。

Cloudera のハイブリッドでオープンかつセキュアなプラットフォームは、AI 対応データの基盤とそれを保護するガバナンスを提供し、AI ディスラプションを持続可能な競争優位に変える力をリーダーに与えます。

Cloudera が組織のユースケースをどのように支えることができるか詳しく知りたい方は、ウェビナーシリーズ「エンタープライズ AI とエージェント型 AI を加速：開発からプライベート AI 利用の推論に至るまで」（英語）をご覧ください。

この記事は、2026/3/19に公開された「Reimagining Prescription Analysis: How Specialized AI Agents Solve Healthcare's Toughest Document Processing Challenges」の翻訳です。

ヘルスケアや医薬品など、大量の文書を扱う業務分野では、データ抽出の速度と正確さが患者の安全とタイムリーなケアに重要です。処方箋は医療ワークフローの中でも非常に重要な文書であり、正確に書き起こすことは投薬ミスや有害事象を減らす上で不可欠です。

このブログでは、Cloudera が医療機関の最新化を支援する方法を紹介します。従来の光学式文字認識（OCR）を専用の AI エージェントに置き換えることで、データ抽出と処方箋作成の速度と精度を向上させます。

エージェント型 AI で米国の薬局業務を最新化

米国の薬局セクターは、需要の増加、利益率の低下、そして正確性とスピードに対する期待の高まりという課題に直面しています。米国だけでも毎年 60 億件以上の処方箋が発行されていますが、調剤は依然として手作業によるデータ入力、検証、文書化に大きく依存しています。

薬剤師の給与は上昇している一方で、薬剤給付管理機関（PBM）からの償還価格圧力や現場の業務上の摩擦が続き、薬局の収益性は依然として圧迫されています。薬局は構造的な課題に直面しています。人件費が高騰し、ワークフローがますます複雑化し、診療報酬が不安定になる中で、迅速かつ安全な調剤を提供しなければなりません。

米国の薬局は、業務量の増加と利益率の低下という二重の圧迫に直面しています。

• 労働力ギャップ：薬剤師の賃金は平均時給 66 ドルですが、その時間の多くは手作業によるデータ入力と事務的な確認作業に費やされています。

• 監査：薬剤給付管理機関（PBM）は、わずかな書類の誤りをきっかけに発生する、後から支払いを取り消す「クローバック（報酬返還）」により、毎年何十億ドルもの資金を回収しています。

• 収益構造の変化：調剤の利益率は依然として低下を続けていますが、対照的に、臨床サービスは薬局にとってはるかに収益性の高いビジネスとなっています。

従来のエンティティ抽出を超えて

長年にわたり、処方箋の書き起こしには光学文字認識（OCR）が事実上の標準技術として用いられてきました。しかし、OCR は以下のような現実世界の複雑さに直面し続けています。

• 標準化されたフォーマットの欠如：処方箋のフォーマットは多岐にわたり、手書きの処方箋はさらに、手書きや言語の違いにより複雑さを増しています。

• 高いエラー率：このようなばらつきは、手書きのテキストを光学文字認識で処理する際に頻繁に誤りが生じるためであり、多くの手作業による検証と修正が必要になります。

• カスタムソフトウェアスタック：光学文字認識ベースのソリューションのほとんどは、カスタムソフトウェアスタックを採用しています。そのため、医療システムはライセンス取得、アップグレード、スタッフ研修に苦労しています。

• プライバシーとPIIの規制：患者の記録は高度な規制（GDPRなど）に準拠しているため、健康記録の保存と処理の送信が制限されています。

AI を活用した処方箋検証のビジネス価値

AI を活用した検証は、反復的でエラーが発生しやすい手順を自動化し、構造化されていない処方箋を信頼性の高いデータに変換することで、薬剤師の業務を補助・強化するものであり、薬剤師に取って代わるものではありません。

労働力の最適化

検証は、調剤ワークフローの中で最も時間がかかるステップの 1 つです。薬剤師は各処方箋を受け取り、解釈し、書き起こし、確認する必要があります。AI を活用した光学文字認識により、処方箋の受付と確認が自動化され、手作業が削減されるとともに、薬局は既存のスタッフで需要に対応できるようになり、残業時間や臨時薬剤師への依存を低減できます。

再配分された人的・業務的リソース

調剤業務に費やす時間を短縮することで、薬剤師はワクチン接種、薬剤療法管理（MTM）、ポイントオブケア検査といった、より利益率の高い臨床サービスに時間を割くことができるようになり、全体的な利益率の向上につながります。

エラーの削減

薬剤誤投与や事務的なミスは、多くの場合、手書きの筆跡の不一致や情報の抜け漏れ、あるいは手入力によるデータ入力ミスに起因しています。薬剤給付管理機関（PBM）による監査では、たとえ些細な書類上のミスであっても、請求額全額の返還請求につながり、重大な経済的損失を被る可能性があります。AI を活用した光学文字認識で送信前に曖昧なデータや矛盾したデータを検出することで、自動化された安全対策が追加されます。これにより、文書の質が向上し、調剤ミスが減り、監査による追徴金のリスクが低減されます。

償還の正確性

薬剤給付管理機関（PBM）は、ほとんどの処方箋の保険請求を管理し、厳格な文書基準を適用しています。指示内容、数量、あるいは処方医の情報にわずかな差異が生じるだけで、請求が拒否されることも多く、そのたびに再処理や事務作業が発生し、負担が増します。AI 活用型の光学文字認識は、データ入力段階での文書の正確性を高めることで、回避可能な請求拒否や、請求の修正や再提出にかかる時間を削減します。その結果、再作業が減り、償還がスピードアップし、既に利益率が限られている環境においても、より予測しやすいキャッシュフローを実現できます。

成功事例：医療提供者が Cloudera AI で処方分析を変革

中央ヨーロッパのある医療提供者が Cloudera と提携して、厳格な PII 規制の下で処方分析を最新化しました。このソリューションは、従来のシングルパス光学文字認識ワークフローを、プライベートなエアギャップ環境に展開されたエージェントベースの AI パイプラインに置き換えています。さらに、このソリューションは精度を 16% 以上向上させ、人間とほぼ同等の性能を達成し、概念実証から製品化までわずか数週間で規模を拡大することができました。

専門性を備えたエージェント型アプローチ

このソリューションの有効性は、調整された AI エージェントベースのワークフローにあります。ここでは、微調整された画像認識モデルと、信頼できる医療データの検証が組み合わされています。

• まず、Cloudera AI エージェントが、現実世界の処方箋フォーマットと手書きパターンに特化してトレーニングされたビジョン光学文字認識モデルを使用して処方箋データを抽出します。

• 次に、抽出された薬剤名、投与量、成分は、確率的マッチングを用いて、認証済みの医療データベースおよび薬剤データベースと照合され、検証されます。

• 最後に、人間が関与するフィードバックによってモデルが継続的に再トレーニングされ、システムは過去のエラーから学習して精度を着実に向上させることができます。このクローズドループ方式により、処方箋分析は静的な光学文字認識を超え、自己改善型の生産グレードのワークフローへと進化します。

Cloudera AI で得られるメリット

このエージェント型のワークフローは、運用面と財務面に明確なメリットをもたらしました。

• 精度の向上：認定医療データベースの検証により、光学文字認識および文書作成におけるエラーが削減されました。

• 運用コストの削減：自動化により手動レビュー、誤りの訂正、監査関連の再作業が削減されました。

• 処理の高速化：自動化された推論により、調剤の処理サイクルが短縮され、薬剤師の業務負荷が軽減されました。

次のステップへ

エージェント型のワークフローを採用した薬局は、スピード、回復力、経済的優位性を得ることができます。対応を遅らせる薬局は、人件費の上昇、監査リスクの増大、そして薬剤給付管理機関の要件によって引き起こされる競争圧力の拡大に直面することになります。

Cloudera AI が組織のユースケースをどのように支えることができるか詳しく知りたい方は、ウェビナーシリーズ「エンタープライズ AI とエージェント型 AI を加速：開発からプライベート AI 利用の推論に至るまで」（英語）をご覧ください。

この記事は、2026/3/18に公開された「Beyond the Screen: Deepfakes, Trust, and the Next Cybersecurity Frontier」の翻訳です。

信頼は協力、貿易、企業の意思決定の基盤です。デジタル時代においては、信頼は署名、音声、そして仮想的なやり取りを通して築かれます。しかし、ディープフェイク技術が急速に進歩するにつれて、その信頼は損なわれ、何十年にもわたるサイバーセキュリティ投資を無意味にする新たなリスクを生み出しています。

The AI Forecast の今回のエピソードでは、Paul Muller が GetReal Security の最高製品技術責任者である Jim Brennan 氏と対談し、AI による真正性の脅威が企業のセキュリティ方程式をどのように変えるかについて議論を交わします。二人の会話から、ディープフェイクがソーシャルエンジニアリングの新たな形態となっている理由、人間の目ではなくテクノロジーが防御を主導しなければならない理由、そしてリーダーが自社のビジネスと従業員を守る方法などが明らかになります。

最も脆弱なリンクになった人間のレイヤー

Paul：数十年にわたるデジタル変換により、私たちは瞬時にコラボレーションできるようになりました。しかし今や、私たちが頼りにしている「画面上の小さな窓」が、新たな攻撃対象となってしまっています。目に見えるものが信用できなければ、唯一の代替手段は、費用と時間をかけながらも、直接対面でやり取りすることだけです。

Jim：ある CIO から「この小さな窓が、私がビジネスを動かしている場所だけれども、今やそこを通ってくるものには何も信用できなくなってしまった」と言われました。実に奥深いです。人間の目では、これほど洗練されたレベルのことを検知することはできません。多くの人は、当たるか当たらないか半々でやっています。だからこそ、防御は本能ではなく、テクノロジーが主導しなければならないのです。

信頼は協力を生み、協力はビジネスを動かします。しかし、ディープフェイクは、指導者たちが頼りにしている日常的な会話やビデオ通話といった、最も個人的なレベルでの信頼を損なわせます。Jim 氏はこれを「"ディスプレイレイヤー"と呼んでいる"人間と接する新たなインタラクションレイヤー"」と説明し、Paul は冗談交じりに、全く新しい攻撃対象領域である「ライアー8」と名付けました。ファイアウォールや侵入検知システムとは異なり、これは技術的なレイヤーではなく、人間のレイヤーです。経営幹部がコミュニケーションや意思決定を行うために用いる媒体は、今や操作されやすい状態なのです。

取締役会が対応するのは、ハリウッド映画のシナリオではなく、現実的な脅威

Paul：取締役会は、ディープフェイクが自分たちには起こり得ないことだと軽視するリスクを冒していないでしょうか？

Jim：一度見れば、実際のことだと信じるでしょう。しかし、真の課題は、それがビジネスにとって何を意味するのかを取締役会に示すことです。センセーショナルで大げさな話に頼っていると、彼らはそれを軽く流すかもしれません。実際には、より小さな日常的なインシデントが既に実際に起こっており、そちらの方がはるかに共感を呼ぶのです。

Jim 氏は不正採用をその代表例として挙げています。攻撃者はディープフェイクを使って求職者になりすまし、人事の手続きをすり抜けます。時には、サインオンボーナスといった単なる金銭的利益を手に入れることが動機の場合もあります。また、もっと深刻なケースもあります。国家がスパイ活動や大規模な詐欺を目的として、企業内に偽者を送り込む場合です。

Jim：ここ3ヶ月で私が話を聞いたフォーチュン500社と1,000社はすべて、不正採用の問題を抱えていると述べていました。人事チームは攻撃的な考え方をするタイプではないため、採用は簡単に狙われやすくなります。

デジタル真正性を守る戦いでは、テクノロジーの先導が必須

Paul：私たちは常に、ファイアウォール、ウイルス対策、侵入検知などのテクノロジーを使ってきました。ディープフェイクに対しても同じことができるのでしょうか？

Jim：この問題は、単なるトレーニングで解決することはできません。ブラックボックスモデルを構築して、実際の例と偽の例を入力させるだけでは不十分です。より良いアプローチは、デジタルフォレンジックを使用して、たとえば顔の歪み、音声ノイズ、または照明の不整合などディープフェイクが残す痕跡を研究し、その後機械学習を使用してそれらの信号を大規模に検出することです。

Jim 氏は、効果的な防御策は一般的な AI にとどまらず、生成ツールの内部構造を深く掘り下げて、微妙な痕跡や人工物を特定する必要があると説明しました。実際には、企業は Zoom や Teams などのプラットフォームからの API を介してこれらの保護機能を導入できるため、エンドポイントのインストールを回避し、拡張性の高い防御を維持できます。同時に、意識を高めることも重要です。ウェビナー、デモ、シミュレーションなどを通じて、従業員は行動する前に立ち止まって考えることのできる文脈を得られます。技術とトレーニングは、デジタルな信頼を守るために必要な二つのレイヤーを形成するのです。

企業リーダーのための最後の洞察

Jim：私たちは、このウィンドウや画面上のいかなるものも信頼できない時代を生きています。組織には新たな方針が求められており、新たな運営方法も求められています。

脅威の様相は変化しました。ディープフェイクは、単なる将来のリスクではありません。ディープフェイクはすでに現実のものとなっており、企業の意思決定と個人の安全の両方を脅かしています。採用詐欺から AI による音声クローンを使った身代金要求電話まで、デジタルへの信頼はもはや保証されません。

進むべき道は 3 つあります。

• 既存のリスクフレームワークに適合する、信頼できて身近な事例を用いて、取締役会を教育する。
• 従業員に、「見る」ことと「聞く」ことだけでは真実を確立するには不十分であるという認識を持たせる。
• リアルタイムで真正性の脅威を検出して対応できる技術を導入する。

Jim Brennan 氏との対談全編は Spotify、Apple Podcasts、YouTube の The AI Forecast でお聴きいただけます。

基盤：NVIDIA Nemotron によるプライベートモデル展開

エンタープライズ AI はデータガバナンスから始まります。プロンプト、専有データ、モデル出力は、組織の運用境界内に留まり、アーキテクチャに妥協することなく、コンプライアンス要件を満たす必要があります。これがプライベート AI の中核的な要件です。つまり、推論スタック全体が企業の外部ではなく、内部で動作することです。

NVIDIA NIM マイクロサービスを搭載した Cloudera AI Inference サービスは、エンタープライズ環境内で直接サービスを提供する高性能でスケーラブルなモデルを可能にし、プロンプト、データ、出力をセキュリティ境界内に保持します。Blackwell GPU や Dynamo-Triton を含む NVIDIA の AI スタックによって高速化されたこのサービスは、高度な推論、ツール使用、長期的なワークフローを備えたエージェント AI 向けの Nemotron モデルファミリーを含む幅広いモデルをサポートしています。この基盤により、組織は自社のデータ上でエンタープライズ AI エージェントを構築し、安全かつ大規模に実行することが可能になります。

Cloudera Agent Studio の 4 つの柱

1. 動的、反復的、多段階計画

エンタープライズのデータ環境はクリーンではありません。実際の導入環境では、スキーマが不整合な数十ものデータベースが存在し、ドキュメントは不十分で、ビジネス上の疑問から適切なデータソースにたどり着くための明確な経路は存在しません。エージェントは実行時にその経路を構築しなければなりません。

Agent Studio のオーケストレーターは、探索を実行の一部として扱います。複雑な要求を複数ステップの計画に分解し、それらを反復的に実行し、各ステップの後に自己評価を行ってから、最終的な処理経路を決定します。この自己修正型の計画ループにより、エージェントは、これまで経験したことのない環境でも信頼性を確保し、多くの連続したステップにわたる長期的なワークフローを維持することができます。

2. マルチエージェントコラボレーション：再利用性と透明性

複雑な企業ワークフローは複数の領域にまたがり、それぞれに異なる推論戦略と専用ツールが必要です。単一のエージェントですべてをカバーしようとしても、どのエージェントにも十分に最適化することはできず、その範囲が広ければ広いほど、エージェントの行動を理解して管理することが難しくなります。

Agent Studio は専門のエージェントを中心に構築されており、それぞれが特定のドメインに特化し、適切なツールを備えており、委任方法を理解しているオーケストレーターによって調整されます。このコラボレーションを透明かつ再利用可能なものにしているのは、エージェント間の通信方法です。各エージェントは構造化された出力を共有プロジェクトのコンテキストに書き込み、後続のエージェントはそれらの出力を明示的で検査可能な入力として活用します。推論の全過程は各段階で追跡可能であり、企業が求める監査可能性と、過去の作業結果を活かして繰り返し利用できる再利用性も備えています。

3. コンテキストエンジニアリング：精度、スピード、コスト

企業規模のデータでは、生データをモデルに直接渡す方法は機能しません。コンテキストウィンドウには有限性があり、非構造化コンテキストが増加するにつれて、ウィンドウの限界に達する前に精度が低下します。

Agent Studio はコンテキストウィンドウを精密機器として扱います。各ステップで、そのエージェントの特定のタスクに関連する情報のみがモデルに渡されます。このアーティファクト主導型設計はトークン消費量を削減し、推論コストとレイテンシーを低減しながら精度を向上させます。この組み合わせこそが、長期的なワークフローを企業規模で扱いやすくしている理由です。

4. サンドボックス化された実行

自律型エージェントが真に強力なのは、ワークフローの要求に応じてツール、スキル、実行コードを動的に生成できることです。Agent Studio はこれらの機能をネイティブにサポートしています。しかし、隔離環境がなければ、エージェントが生成したコードやツールが企業システムに対して直接実行されることになり、許容できないリスクが生じます。

Agent Studio の実行レイヤーは、「デフォルトで隔離」を前提に設計しています。エージェントが生成するすべてのコードとツールの実行は、定義された範囲外のシステムにアクセスできないサンドボックス化されたランタイム内で実行されます。エージェントは、権限を一切持たない状態で開始し、すべてのアクションは、エージェントプロセス自体の中ではなく、インフラストラクチャ層でポリシーによって強制されます。これにより、規制対象産業はエージェントの行動を制限することなく、必要な監査性を得られます。

カスタマーストーリー：エージェント AI がペタバイト規模のデータ分析を変える

Cloudera は、顧客ベース全体で 30 エクサバイトを超える構造化データを管理しており、このアーキテクチャが即座に効果を発揮する構造化データ分析を実現しています。ある大手メディア・エンターテインメント企業は、このソリューションを導入し、業務担当者やデータ分析担当者が、業務データに対して自然言語で問い合わせられるインターフェースを実現しました。彼らのデータ資産は数十のデータベースにまたがり、ペタバイト規模に及んでいましたが、メタデータが矛盾している場合が多く、またドキュメントも不十分でした。

Cloudera Agent Studio は、顧客のプライベートネットワーク内で実行される NVIDIA Nemotron をバックエンドに持つ専用エージェントをオーケストレーションしました。ビジネスユーザーが分析に関する質問を投げると、反復的なプランニングループが発動します。オーケストレーターはデータ資産を探索し、曖昧なスキーマをナビゲートしながら、適切なデータソースを自動的に特定します。分析に SQL では表現しきれない統計処理が求められる場合は、オーケストレーターは適切なコード実行エージェントに委任します。中間結果はアーティファクトとして保存され、長期的なワークフローの中で次のステップへと受け渡されます。生成されたコードはすべてサンドボックス環境で実行され、実行過程全体の完全な監査証跡が保持されます。

かつてはデータエンジニア、開発者、アナリストが順番に作業する必要があったワークフローが、あらゆるビジネスユーザーが利用できるようになりました。エージェントの出力（SQLコマンド、生成されたコード、ビジュアライゼーションを含む）は、共有プロジェクトコンテキストに書き込まれ、それぞれが検査可能かつ監査可能です。これらの成果物は生産パイプラインとしてエクスポートすることも可能です。エージェントが生成するコードは、基盤となるモデルが非決定的であっても決定的であるため、追加の工数をかけずに信頼性が高く、再現性のあるパイプラインとして運用できます。

アーキテクチャを競争優位の武器に

このアーキテクチャのすべての柱は、前の柱の上に築かれています。プライベート推論レイヤーは基盤を提供し、長期的なワークフローに必要な呼び出し量と信頼性を支えます。反復的な計画により、エージェントはこれまで見たことのない環境でもナビゲートできるようになります。複数のエージェントが協働することで、複数ステップにわたる推論に領域特有の精度がもたらされます。アーティファクトに基づくコンテキスト管理により、推論の精度を高めながら、推論コストや遅延を削減できます。サンドボックス化された実行環境により、エージェントはあらかじめ定められた範囲内で安全に動作し、すべての操作が管理され、監査可能になります。

Cloudera と NVIDIA は、Cloudera Agent Studio、NVIDIA NIM を搭載した Cloudera AI Inference、および NVIDIA Nemotron モデルファミリーを通じて、このアーキテクチャを実現しています。両者を組み合わせることで、エンタープライズ AI エージェントを企業データ上で直接、安全かつプライバシーを保ちながら大規模に実行するために必要な、オーケストレーションとエージェント推論の構築基盤が実現します。

詳しくは Cloudera Agent Studioの実例をご覧ください。

この記事は、2026/3/18に公開された「Cloudera Agent Studio and NVIDIA Bring Next-Gen Agents to Enterprise AI」の翻訳です。

自律エージェントは、各段階で人間の指示を必要とせずに、複雑な目標に向かって行動します。企業環境においてこれらのエージェントを導入するには、より厳格な課題が伴います。エージェントは、異種混在のデータシステムを適切に処理し、コンプライアンス、監査、データ主権に関する要件を満たし、すべてのデータを組織の運用境界内に保持する必要があります。

長期エージェントは自律型 AI の新しいクラスを代表し、単一のタスクにとどまらず、数十もの連続した意思決定を通じて目標を追求し、コンテキストを維持しながら数時間から数日間にわたるワークフローを実行します。企業規模になると、これらの課題はすべて増幅されます。

エンタープライズ AI エージェント向けに構築されたアーキテクチャ

Cloudera は、これらの課題にまさに取り組むために、Cloudera AI Studios の一部である Cloudera Agent Studio を NVIDIA と共同で設計しました。

• NVIDIA Nemotron はモデルの基盤を提供します。これは、エージェント型 AI および長期ワークフローにおける高スループット推論要求に対応するために特別に設計されています。

• Cloudera Agent Studio は、動的な複数ステップの計画、透過的なマルチエージェント連携、精度を高めるためのコンテキストエンジニアリング、サンドボックス化された実行というアーキテクチャの 4 本の柱で、その基盤の上に構築されるオーケストレーションレイヤーを提供します。それぞれの柱は、自律型エージェントが企業規模で運用される際に生じる特定の要件に対応します。

この記事は、2026/3/16に公開された「Now is the Time for Higher Education Institutions to Master Data Lineage」の翻訳です。

今日の州政府・地方自治体・教育機関（SLED）の環境（特に高等教育）では、予算は常に精査され、データの質に対する要求は絶えません。つまり、少ない資源でより多くのことを成し遂げるということです。データ品質と AI を向上させつつコストを削減できる、データワークフローへの大きな変化のひとつは、データリネージを自動化し、文書化することです。

高等教育機関はデータの複雑さと闘っています。重要なデータは、オンプレミスのデータベース、クラウド環境、エッジデバイスなど、相互に通信するようには設計されていないシステムや環境に分散しています。学生ID、助成金ID、年度累計の基金運用実績といった項目を、複数の情報源やチームにわたって管理することは必要不可欠です。しかし厄介な手作業であるため、ミスが発生しがちです。

信頼できて高品質なデータがなければ、影響力の高い分析や AI の活用事例は、叶いそうもない非現実的な話のままです。しかし、高等教育機関がシステム全体でデータリネージの統一されたビューを持つことで、AI 主導のインサイトとアクションをカリキュラム開発、学生募集、学生維持、効率的なキャンパス運営、クラウドへの移行、その他多くの分野で活用することができます。

Cloudera Data Lineageは、データの作成（ソース）から最終的な消費（BIまたはAI）までのデータの流れをマッピングする、自動化され一貫性のある方法を提供します。メタデータを非常に迅速に収集・解釈することで、組織がデータの生成、変換、消費の仕組みを、マップ全体にわたって一貫性をもって欠落なく正確に示す包括的なナレッジグラフを構築するのに役立ちます。

Cloudera Data Lineage でデータエクセレンスを実現する

最近 Cloudera とパートナーの Carahsoft が主催した「SLED 組織における信頼とコンプライアンスの構築」ウェビナーでは、パネリストの Art Jordan（Cloudera Data Lineage のデータインテリジェンス製品担当市場開拓ディレクター）が「データリネージは数十億ドル規模の問題」と指摘しています。手作業によるプロセスに依存し、データマッピングに盲点がある場合、非効率性や遅延は避けられず、説明可能な AI、個人識別情報（PII）のプライバシー、および規制遵守に関して重大な課題が生じます。

Cloudera Data Lineage は、これらの課題に対処し、依存関係と変換を含む詳細なデータリネージビューをマップ全体で一貫して提供します。

• クロスシステムリネージ：エントリーポイントからレポート、分析、およびあらゆるデータ消費者に至るまで、システムレベルでのデータリネージを提供します。

• Inner-system lineage：抽出、変換、ロード（ETL）プロセス、report、またはデータベースオブジェクト内のアセットレベルのリネージの詳細。これには、パイプラインやリポジトリ内でフィールドがどのように導出または計算されるかを確認することも含まれます。

• エンドツーエンドリネージ：システム間の、アセットレベルでのエンドツーエンドのデータ係譜。この仕組みは、1つのフィールドが複数のシステムに供給されたり、複数のソースから1つのフィールドが作られたりするといった複雑な関係（1対多、多対1）を反映します。

リネージを把握することで、高等教育機関は上流および下流の分析やマッピングを迅速に実行できるようになります。これにより、エンドツーエンドの可視性とガバナンスが実現し、組織はデータがどこに送られ、どこから来て、どのように生成されたかを把握できるようになります。この透明性と完全性を保証する能力は、信頼できる高品質のデータを AI モデルで使用し、そのデータを上級管理職や外部パートナーに提供するために不可欠です。

成功事例：アリゾナ大学が Cloudera Data Lineage を活用して効率性を向上・コストを削減

研究大学として主要な機関であるアリゾナ大学（U of A）は、大学のアナリティクスおよびインスティテューショナルリサーチ部門に Cloudera Data Lineage を導入しました。同大学の環境では、毎晩 1 万件の抽出・変換・読み込み（ETL）ジョブが実行され、データウェアハウスには 4 万近い異なる列が格納されていました。この膨大なデータ量のため、手作業によるデータ記録は困難を極めていました。

大学は以下の方法で大幅な効率向上とコスト削減を実現しました。

• ETLの影響分析の実施：以前は、PeopleSoft の大規模な更新（データ型や長さの変更、列の削除）の影響を分析するのに、データエンジニアリングチームは 1 週間以上かかっていました。Cloudera Data Lineage はこの時間を数日に短縮しました。

• アーティファクトの統合：各 ETL ジョブは計算、ストレージ、ログリソースを消費します。Cloudera のエンドツーエンドのメタデータビューを使用して、U of A はアーティファクトを統合し、ETL ジョブを 10,000 件から 8,000 件に削減しました。この 20％ の削減により、インフラコストを削減し、パイプラインの複雑さを軽減し、運用上のオーバーヘッドを削減すると同時に、環境全体のデータの一貫性とガバナンスを改善しました。

• 迅速な発見の活用：チームは Cloudera Data Lineage のディスカバリモジュールを使用して、特定のコメントアウトされた SQL を含むすべての ETL ジョブのリストをまとめました。この作業はシステムの大幅なアップグレードに必要でした。手動で実行するとかなりの時間がかかるところ、自動化によって即座に完了しました。

重要なのは、Cloudera Data Lineage が、パイプライン、リポジトリ、BI レポートを通るデータの流れを利害関係者に明確に可視化することで、監査準備とデータの正確性を強化したことです。データエンジニアリングチームが手作業でデータの出所や変換を追跡するのを全面的に頼るのではなく、コンプライアンス、機関研究、財務チームがそれぞれ独自にデータの出所と計算方法を検証できるようになりました。これにより、報告ミスのリスクが軽減され、規制当局や認証機関からの問い合わせへの対応が迅速化されるなど、さまざまなメリットが得られました。同時に、限られた IT 予算とリソースへの負担も軽減されました。

次のステップへ

予算の厳しい審査や急速な運用変更に直面した際、コンプライアンスやデータの正確性を証明できる自信はありますか？来週、自動的に文書化やマッピングをしたい最も複雑なデータパイプラインの変換は、何でしょうか？

データエクセレンスを達成する手助けとして Cloudera Data Lineage を活用する方法についてご相談ください。

この記事は、2026/3/13に公開された「Enterprise Landing Zones Matter: Why Cloudera Runs Natively Within Governed AWS Environments」の翻訳です。

エンタープライズクラウドの採用は成熟しています。組織はもはや、隔離されたクラウドアカウントや制限のないクラウドアカウントにワークロードをデプロイすることはなくなりました。その代わりに、それらはセキュリティ、ID、ネットワーク、コンプライアンス管理をデフォルトで強制する、統制されたクラウドプロバイダーのランディングゾーン内で動作します。

データおよび AI プラットフォームがこれらのランディングゾーンにすっきりと統合されず、代わりに顧客に対してガバナンスを弱めさせたり、クラウドの制御に例外を設けさせたりする場合には、導入は遅れます。セキュリティレビューはより複雑になり、運用リスクが増大し、プラットフォーム担当チームは長期的なスケーラビリティへの自信を失います。

企業の購買担当者は、データおよび AI プラットフォームが自らのクラウドガバナンスモデルに連携して動作することを、ますます当然のこととして期待するようになっています。実際の顧客の状況を反映し、それを支える形で、Cloudera プラットフォームが AWS Control Tower 内にある管理されたランディングゾーンにネイティブに組み込まれ、スケール性、コンプライアンス、長期的な信頼性を提供していることを嬉しく思います。

今やランディングゾーンは企業のデフォルト

ランディングゾーンは標準化されたクラウド基盤として機能し、組織が安全かつ一貫して拡張できるようにします。これらは、アカウントの作成方法、ID とアクセスの管理方法、ネットワークの構成方法、およびセキュリティ制御の実施方法を定義するものです。

大企業や規制対象の業界では、パブリッククラウドで大規模なワークロードを実行する際、ランディングゾーン内での運用はオプションではなく、デフォルトとなっています。

Cloudera と AWS Control Tower の連携を検証

Cloudera を実際の企業環境で検証するために、AWS Control Tower を使用して構築された Amazon Web Services (AWS) ランディングゾーン内にプラットフォームをデプロイしました。この環境は以下を含みます。

• エンタープライズパターンに沿ったマルチアカウント構造

• 集中型 AWS Identity and Access Management (IAM)
  

• 予防および検知用セキュリティガードレール
  

• 標準化されたネットワーク、ログ記録、監視

検証の結果、Cloudera は AWS のランディングゾーンの制御を破ったり迂回したりすることなく、デプロイ、運用、拡張できることが実証されました。この環境内で Cloudera をネイティブに動作させることで、導入リスクが低減され、セキュリティレビューのサイクルが短縮され、企業顧客が価値を得るまでの時間が加速します。

検証作業では、次のような具体的な成果が得られました。

• Cloudera は AWS Control Tower が管理するアカウント内で動作し、特権的な例外を必要としない。

• セキュリティとコンプライアンスのガードレールは維持される。

• プラットフォーム運用はエンタープライズIAMおよびネットワーキングモデルと整合しています

• 顧客は、ガバナンスされた AWS 環境内で Cloudera を第一級のワークロードとして導入可能。

ガバナンスとイノベーションは相反するものではない

ガバナンスがイノベーションを遅らせるという根強い誤解があります。実際には、強固なクラウド基盤により曖昧さを排除し、運用上の摩擦を軽減することで、より迅速かつ安全な導入を可能にします。

Cloudera は、プラットフォームをエンタープライズ向けランディングゾーンアーキテクチャと連携させることで、イノベーションとコントロールの両方をサポートします。顧客は、クラウドガバナンスモデルを損なうことなく、Cloudera プラットフォーム上で高度な分析機能と AI 機能を安心して導入できます。

ガバナンスされた AWS 環境内で Cloudera をネイティブにデプロイする方法について詳しくは、プロフェッショナルサービスチームにお問い合わせいただくか、製品デモをご覧いただくか、5日間の無料トライアルにご登録ください。

図1. Cloudera と Salt AI のパートナーシップがライフサイエンス分野のイノベーションを加速させる方法

実験からビジネス価値へ

企業環境への導入では、Cloudera と Salt AI の組み合わせにより、組織は前例のない規模の運用を実現できるようになりました。具体的には、1 時間あたり数千件のデータエンジニアリングジョブの処理能力、複雑な研究開発ワークフローの迅速なプロトタイピング、そして AlphaFold2 のような機械学習ワークロードにおける飛躍的なパフォーマンスとコストの改善などが挙げられます。例えば Salt AI は、AlphaFold2 について、従来のベンチマークと比べて処理時間を 22 倍高速化しました。同様に重要なのは、これらの成果には、包括的なテレメトリ、ガバナンスの継承、さらにすべてのワークフロー実行について明確な監査証跡を伴って得られる点です。最終的にチームは、既存のデータや技術ソリューションの統合作業ではなく、科学的成果に集中することができます。

Salt AI は、クラウド、データプラットフォーム、モデルの幅広いエコシステムとの相互運用性に投資し続けるとともに、Cloudera などのパートナーと協力して、規制対象業界が採用・適応できる具体的なパターンを公開していく予定です。ライフサイエンスチームにとって、これは AI 実験を耐久性があり信頼できるシステムへと転換するための、より多くの選択肢とより明確な事例が得られることを意味します。Cloudera の機能や Salt AI プラットフォームについて詳しくは、各ページをご覧ください。

この記事は、2026/3/12に公開された「How Cloudera and Salt AI Deliver a Flagship AI Foundation for Life Sciences」の翻訳です。

ライフサイエンス分野の AI には、単発の概念実証ではなく、複数のパターンが必要

ライフサイエンス分野のチームは、これまで以上に多くのデータ、モデル、および規制当局による厳格な審査に対応しながら取り組んでいます。そうしたデータの多く（オミックス、画像、電子カルテ、治験プロトコル、実世界のエビデンスなど）は、検索や管理が難しい非構造化形式で保存されています。

AI は、ライフサイエンス分野で可能なことを再定義する可能性を秘めています。分断された膨大な生物学データや臨床データを実用的な情報へと変換すれば、発見を促進し、意思決定を迅速化し、最終的には命を救うイノベーションをより早く患者に届けることができます。しかし、まず組織は、AI による意思決定が説明可能で、安定しており、法令を遵守していることを証明しなければなりません。

このような環境では、一度きりの概念実証（POC）だけでは不十分です。AI を活用した知見に対する適切なレベルのガバナンスと信頼性を実現するには、ライフサイエンス関連組織は、信頼できるデータおよびコンピューティング基盤と、モデルやワークフローを大規模に調整できるインテリジェンス層を組み合わせる必要があります。

Cloudera と Salt AI のパートナーシップ：コンテキストに応じた信頼性の高い大規模 AI のためのリファレンスアーキテクチャ

Cloudera と Salt AI はパートナーシップを組み、ライフサイエンスチーム向けに強力なリファレンスソリューションを統合して提供します。

• Clouderaは、データストリーミング、データエンジニアリング、データウェアハウス、ML・生成AI を統合し、SDX を通じて統一されたガバナンスとセキュリティレイヤーを備えた、オープンなデータレイクハウスおよびエンタープライズ AI プラットフォームを提供します。このフレームワークは、属性ベースのデータアクセス制御、データ系統管理、アクティブなメタデータの拡充およびカタログ化といった機能を備えています。

• Salt AI は、これらの基盤となるセキュリティメカニズムを活用し、AI モデルおよびデータ全体にわたるオーケストレーション層を追加します。拡張性の高いインフラストラクチャは、プロンプト、システムプロンプト、ワークフロー設計、実行パフォーマンス、ユーザーロール、データソースといったコンテキストを継続的に取得し、専門的な AI モデルと汎用的な AI モデルの両方から最大限の価値を引き出す複雑なユースケースを可能にします。エージェント操作のツール呼び出しは、Salt の txt2 アシスタントを通じて簡単に起動でき、パイプラインはキャンバス上で視覚的に表示され、データの流れを正確に示します。

このパートナーシップにより、ライフサイエンス関連組織は、オンプレミス、パブリッククラウド、ハイブリッド環境全体にわたってきめ細かな制御を適用し、特定のタスクに適したあらゆるモデルを使用し、AI システムがどのように意思決定を行うかを監査可能な視覚的な記録として残すことが可能になります。

さらに、Cloudera と Salt AI はどちらも、データライフサイクル全体で計算と運用の効率を高めます。GPU アクセラレーションフレームワークを活用して、Cloudera はデータエンジニアリングと LLM 推論ワークロードにおいて、それぞれ最大 20 倍および 36 倍の改善を実現します。同様に、Salt AI は CPU と GPU のプロセスをバランスよく行う分割コンピューティングアーキテクチャ、高度なキャッシュシステム、AI モデルのスワップ、混合、ワークフローへの統合機能などの最適化を提供します。パイプラインが複雑になるほど、また実行回数が増えるほど、Salt 上で実行した場合の計算効率は向上します。

より広範なエコシステムで機能する設計

Cloudera と Salt AI のソリューションは、クラウド、データプラットフォーム、AI ツールから成る各顧客の既存のエコシステム内でシームレスに機能するように明確に設計されています。顧客の仮想プライベートクラウド（VPC）内に導入でき、パブリックインターネットへのデータ通信を行わない構成にも対応しています。さらに、さまざまなモデルプロバイダー、ベクトルストア、データシステムとも連携します。

Apache Iceberg 上に構築された Cloudera のオープンデータレイクハウスは、多機能な分析と自動化されたデータ管理機能（スキーマやパーティションの進化など）を組み合わせた柔軟でパフォーマンスの高いテーブル形式を提供します。このアプローチにより、多様なデータソースにわたる特徴量エンジニアリングのワークフローが標準化され、ライフサイエンス分野における GxP コンプライアンスが促進されます。

さらに、Cloudera Iceberg REST カタログを使用すると、Apache Iceberg テーブルをサポートする他のパブリッククラウドデータプラットフォーム（Databricks、Snowflake など）とのデータ共有が可能になります。Salt AI は、テキストクエリを、LLM、グラフデータベース、モデリングツール、および社内システムをオーケストレーションする研究開発ワークフローに変換するメカニズムを提供します。さらに、研究者がコード（例えば Python スクリプト）を視覚的なワークフローに変換できるようにし、研究チーム間の部門横断的なコラボレーションを向上させます。これらの機能により、孤立しがちな研究プロジェクトをより多くの人にとって利用しやすいものにし、カスタムの連携・オーケストレーションロジックを地道に構築する労力を必要とせずに複雑なシステムを自動統合できるため、イノベーションのサイクルが加速します。

Cloudera を標準で利用しようとしている組織にとって、このパートナーシップは迅速な導入経路になります。ガバナンスされたデータとコンテキストに応じたオーケストレーションの組み合わせで、分子設計、ドラッグリポジショニング、トランスレーショナルメディシン、プロトコルオーサリング、メディカルアフェアーズアシスタントなどのユースケースにすぐに活用できます。他の組織には、既存のデータプラットフォームとコンテキスト優先の AI オーケストレーションレイヤーを融合させるためのブループリントとなります。

この記事は、2026/3/11に公開された「Scalable AI Economics: Achieving Secure, Hybrid Intelligence with Cloudera, AMD, and Dell Technologies」の翻訳です。

ここ 2 年間で、企業におけるジェネレーティブ AI やエージェント型 AI への関心は劇的に高まっています。業種を問わず、さまざまな組織が、AI エージェントやインテリジェントアシスタント、オートメーションによって、どのようにして生産性を向上させ、業務を効率化し、増大し続ける企業データから新たなインサイトを引き出すことができるかを探っています。しかし、熱意が高まるにつれて、コストやセキュリティ、運用の複雑さに関する疑問も同時に増えています。

1 つの現実がますます明らかになりつつあります。すべての AI ワークロードがグラフィックスプロセッシングユニット（GPU）や大規模な基盤モデルを必要とするわけではないということです。実際、多くの高価値な企業向けユースケースは、中央処理装置（CPU）と、より小さくタスクに特化した言語モデルを用いることで効率的に実現できます。特に、これらのモデルを扱うデータの近くに配置して展開する場合に有効です。

現在、ますます多くの組織が、この視点から AI 戦略を見直しています。どんな犠牲を払ってでも規模拡大を追求するのではなく、インテリジェンスへの投資対効果、つまり AI ソリューションを安全かつ経済的に、そして大規模に展開できる能力を優先しています。この変化は、AI が実験段階から実運用段階へと移行するにつれて、企業がインフラ、データアーキテクチャ、ガバナンスについて考える方法を形成しつつあります。

エンタープライズ AI の経済性の変化

Enterprise Strategy Group（現在は Omdia の一部）の調査によると、約80％ の組織が AI エージェントを最優先事項またはビジネス上で優先度の高い事項と見なしていることが示されています。これらのエージェントは、自動化、意思決定の迅速化、従業員と顧客のエクスペリエンス向上を通じて、具体的なメリットを約束します。しかしながら、多くの組織は、GPU 中心の導入に伴うコストと運用上の負担に依然として苦慮しています。

GPU インフラストラクチャは、多額の設備投資、電力消費、およびサプライチェーン上の制約をもたらす可能性があります。多くのリアルタイム推論および知識ベースのワークロードでは、このアプローチはビジネスニーズに沿わない可能性があります。その結果、企業はワークロードの要件にコンピューティングリソースをより適切に合わせられる代替策をますます検討しています。

こうした状況において、CPU ベースの AI と小規模言語モデルの組み合わせが、実用的な選択肢として浮上しています。組織は、可能な限り大規模なモデルを追求するのではなく、すでに所有している資産を使用して、GPU の購入やアクセスに関する予算上の課題に対処しています。これは効率性、セキュリティ、スケーラビリティを重視した AI アーキテクチャの適正サイズ化に関するものです。

適切なサイズの AI と小言語モデルの役割

小規模言語モデル（SLM）は、要約、質問応答、コンテンツ生成、コード支援などの特定の企業タスクを実行するように設計されています。通常、大規模言語モデルよりもはるかに少ないパラメータで構成される SLM は、最新の CPU で効率的に動作し、ターゲットとするユースケースに対して高いパフォーマンスを発揮します。

このアプローチにはいくつかの利点があります。CPU ベースの推論はインフラコストを削減し、消費電力を抑え、展開を簡素化します。また、組織が既存のデータセンターやプライベートクラウド環境内で AI ワークロードを実行できるようにし、データ主権と規制遵守に関する懸念に対応します。

こうした背景のもと、Cloudera は、企業が自社の管理する環境内で AI システムを完全に導入・運用できるようにすることを中心に据えた、プライベート AI 戦略を展開しています。オープンなデータレイクハウスアーキテクチャと統合されたガバナンスおよび MLOps 機能を組み合わせることで、Cloudera はエンタープライズデータに近い AI 開発を支援します。

インフラストラクチャの重要性：CPU とエンタープライズプラットフォーム

CPU ベースの AI の有効性は、基盤となるインフラに大きく依存します。最新のプロセッサの進歩により、分析および推論ワークロードにおけるコストパフォーマンスが大幅に向上しました。例えば、AMD EPYC™ プロセッサは、高いコア密度、強力なメモリ帯域幅、さらに組み込みのセキュリティ機能を提供するように設計されており、AI 推論やデータ集約型のワークロードに最適です。

Dell Technologies のエンタープライズグレードシステムに導入すると、組織はデータおよび AI プラットフォーム向けに最適化された検証済みのアーキテクチャを活用しながら、AI ワークロードを確実に拡張できます。この組み合わせにより、企業はインフラストラクチャのフットプリント全体を再構築することなく AI 機能を最新化できます。

運用面から見ると、このモデルにより、組織は既存の投資を再利用し、導入期間を短縮し、特殊なハードウェアへの依存度を減らすことができます。これらのシナリオ全体を通じて、重視されるのはモデルのサイズではなく、効率性、応答性、そして信頼性です。

CPU を使用した実用的な AI ユースケース

今日の最も価値のある AI アプリケーションの多くは、大規模なモデルや GPU アクセラレーションを必要とせずに、CPU 上で効率的に実行できます。以下に、その例を挙げます。

社内のナレッジアシスタント

企業はしばしば重要な知識を文書、メール、レポートに保存しています。こうしたデータに SLM を適用することで、企業は内部情報への自然言語によるアクセスを可能にし、機密データを社内に保持しながら、意思決定を改善することができます。

従業員とエージェント向けの支援用チャットボット

人事、IT、カスタマーサポートの各チームは、安全な社内チャットボットによって自動化できるタイプの、繰り返し寄せられる質問に直面しています。このような課題に対し、CPU ベースの AI は、データの外部流出を招くことなく、常時利用可能な支援を提供します。

コンテンツおよびドキュメント生成

マーケティング、コンプライアンス、エンジニアリングの各チームは、頻繁に、繰り返し同じコンテンツを作成します。AI 支援による生成と要約により、一貫性とガバナンスを維持しつつワークフローを加速させることができます。

ソフトウェア開発サポート

SLM を搭載したアシスタントは、企業のファイアウォール内でコードスニペット、テスト、ドキュメントを生成できるため、開発チームは知的財産を公共の AI サービスに送らなくても生産性を向上させることができます。

予測分析と最適化

製造や運用の分野では、CPU ベースの AI モデルがセンサーや運用データを分析し、故障を予測してパフォーマンスを最適化することで、ダウンタイムと運用コストを削減します。

データグラビティとオンプレミス AI の重要性

クラウドの広範な採用にもかかわらず、企業データの相当部分はオンプレミスのままです。Omdia の調査によると、多くの組織はデータの26%から75%をローカル環境またはプライベート環境に保持している。このようなデータ重力は、AI 処理において機密情報を外部プラットフォームに移動させる必要がある場合に課題となる。

プライベート AI アーキテクチャは、データを AI に持ち込むのではなく、AI をデータに持ち込むことで、この課題に対処します。既存の環境内で AI ワークロードを実行することで、組織は遅延を減らし、パフォーマンスを向上させ、GDPR、HIPAA、業界固有の規制などの法令遵守を維持することができます。

Cloudera のアプローチは、データ・インジェスチョン（データ採取）、ガバナンス、モデル管理、およびサービングを単一のプラットフォーム内で統合します。CPU ベースのインフラストラクチャと組み合わせることで、企業はパイロットプロジェクトからプロダクション AI への移行をより効率的に行うことができます。

パイロット環境からプロダクション環境へ：結果の測定

AI を採用する上での最も重要な障壁の 1 つは、概念実証と本番環境への展開の間のギャップです。CPU ベースの AI アーキテクチャは、コストと運用の複雑さを軽減することで、このギャップを縮めるのに役立ちます。

このアプローチを採用した組織は、以下のような成果を報告しています。

• 推論を多用するワークロードの総所有コストを削減
• 特殊なハードウェア調達を回避することで、導入サイクルを短縮
• 持続可能性目標に沿ったエネルギー消費の削減
• ワークロードに適したコンピューティングリソースの選択による ROI の向上

これらのメリットは、「企業における AI の成功は、モデルの性能と同じくらい、経済性とガバナンスに依存している」という考え方が広がりつつあることを裏付けています。

結論：企業の AI の実践的な今後の方向性

企業の AI の次のフェーズは、最大規模のモデルや最も強力なハードウェアによって定義されるものではありません。その代わり、実際のビジネス要件に合わせたアーキテクチャを用いて、AI を安全に、経済的に、かつ大規模に展開できる組織によって形作られていくでしょう。

Cloudera のデータとガバナンスのプラットフォームと AMD EPYC プロセッサ、Dell Technologies インフラストラクチャを組み合わせることで、企業は自社環境内で AI を実用化する実現可能な道筋を得られます。この適切な規模のアプローチにより、組織はインフラストラクチャの複雑さではなく成果に集中し、データがすでに存在する場所で AI の価値を引き出すことができます。

企業が AI の取り組みを実験段階から本番環境へ移行し続ける中で、実用的な CPU ベースのプライベート AI アーキテクチャは、今後ますます重要な役割を担うと考えられます。

Cloudera、AMD、Dell Technologies による経済的な AI の実現について詳しくは、Omdia Showcase Brief をダウンロードしてお読みください。

この記事は、2026/3/10に公開された「When AI Models Converge, Proprietary Data Becomes the Advantage」の翻訳です。

Claude、GPT、Gemini、Grok、Mistral、Llama を含む今日の主要な大規模言語モデル（LLM）は、すべて広く利用可能な公開インターネットデータで学習され、同等のアーキテクチャで構築されています。その結果、モデル間の性能差は縮まっており、かつて特定の AI モデルを選択することで得られた競争上の優位性は薄れつつあります。同時に、ビジネス調査や経営幹部のコメントは、ますます同じ傾向を指摘しています。すなわち、AI は、競合他社がアクセスしたり複製したりできない、組織独自のデータに基づいて動作する場合に、最大の長期的な価値を提供するというものです。

「これらの（基礎となる）モデルが最大限の価値を発揮するためには、公開されているデータだけでなく、個人が所有するデータもモデルに利用できるようにする必要がある。」-オラクル創業者兼CEO、Larry Ellison 氏、Oracle AI World 2025

基盤となる機能が標準化されるにつれて、差別化のポイントはモデルそのものから、企業が独自のデータ資産をいかに効果的に収集、管理、運用するかという点へと移行します。この変化は、組織が独自のデータをどのようにして持続的な AI 優位性へと転換していくかという、実践的な疑問を提起します。

RAG は出発点であり、差別化戦略ではない

多くの組織は、AI の導入をシンプルなアーキテクチャから始めます：クラウドでホストされるモデルを呼び出し、内部ドキュメントを取り込むために検索拡張生成（RAG）を追加します。このアプローチは初期の実験に効果的です。これにより、チームはプロトタイプを迅速に構築し、すぐに価値を実証することができます。

しかし、競争差別化を目的とする場合には限界があります。RAG はクエリ時に情報を取得しますが、モデルがドメインを理解する方法を根本的に変えるものではありません。モデルは汎用的なままで、基盤となるエンタープライズ知識はモデル自体の外部に留まります。他社も同じ基盤モデルを入手し、同様の検索パイプラインを実装できる場合、結果として得られる機能の差は見分けにくくなります。

持続的な優位性を求める企業にとって、単に独自データを取得するだけでは十分ではありません。モデルはそこから学習しなければいけません。

自社保有データを基盤に AI を構築します

組織が独自のデータを永続的な優位性に変えるには、単に外部モデルにクエリを実行するだけでは不十分です。モデルを自社のデータに合わせて調整し、自社で管理する環境内で実行する必要があります。ここでファインチューニングとプライベート推論が重要になります。

ファインチューニング

ファインチューニングにより、組織は独自のデータセットを使ってモデル内部の重みを調整し、その分野に特化した知識をモデルの挙動に組み込むことができます。モデルはクエリ時に情報を取得する代わりに、組織の用語、ワークフロー、意思決定パターンを理解し始めます。

多くの場合、組織はトレーニングパイプラインに合成データを追加し、企業レベルのデータセットを生成することで、トレーニングの対象範囲を拡大すると同時に、コンプライアンスやデータ可用性の課題にも対応しています。こうしたアプローチは、時間の経過とともに、公共のインターネットだけでなく、ビジネスそのものと連携したAIシステムを構築します。

AI Inference

モデルが独自データに適応された後、次のステップは、それらを本番環境でどのように展開し、運用するかです。プライベートインフラストラクチャ内で AI 推論を実行することで、組織は AI システムを自社の企業環境内で直接運用することが可能になります。このアプローチにはいくつかの重要な利点があります。

• データのプライバシーと管理。プロンプト、モデルアーティファクト、出力は、外部サービスに送信されるのではなく、組織内の環境内に留まります。

• パフォーマンスの向上。企業データの保存場所の近くにモデルを配置することで、レイテンシを削減し、本番環境アプリケーションの応答性を向上させることができます。

• 統合されたガバナンス。セキュリティポリシー、アクセス制御、データリネージは、AI ライフサイクル全体を通して一貫して維持できます。

大規模企業では、競争優位はますます「独自データにモデルを適応させ、そのデータが存在する場所でモデルを実行する能力」から生まれるようになっています。

あなたのデータ、あなたのモデル、あなたのやり方で

基盤となるモデルが収束し続ける世界において、独自の企業データに基づいて AI を実用化する能力は、長期的な競争優位性をますます決定づけるものとなるでしょう。

Cloudera は、エンタープライズ AI の次の時代は、このプライベート AI アーキテクチャへの移行によって定義されると考えています。Cloudera AI Workbench、AI Inference Service、AI Studios（RAG やモデルのファインチューニングのためのローコードツールを含む）により、クラウドやデータセンター全体で、モデルをインジェスト、ファインチューニング、提供するために必要なエンドツーエンドの統制を提供します。

この記事は、2026/3/10に公開された「Dr. Jake Trippel on Why Your Technical Debt Is Compounding」の翻訳です。

AI が真価を発揮できるかどうかは、その基盤となるデータアーキテクチャにかかっています。

The AI Forecast のエピソード52「LLM だけでは不十分な理由、AI ファブリックがすべてを変革する」（英語）では、ホストの Paul Muller が、コンコルディア大学セントポール校ビジネステクノロジー学部長であり、Codename 37 の共同創設者兼CTOである Jake Trippel 博士と対談し、企業が AI を大規模に導入し、拡大する際に直面する課題について掘り下げます。

• サイロ化されたデータアーキテクチャ

• 機械学習、ディープラーニング、ニューラルネットワークの力に対する誤解

• 技術的負債の累積

この対話は、クラウドとオンプレミスの経済性の比較から、SaaS アプリケーションからボットベースのエクスペリエンスへの移行まで、幅広い話題に及びます。ここでは、議論の主なポイントをいくつかご紹介します。

AI アーキテクチャが限界に達しつつある理由

Paul：過去に AI とデータアーキテクチャについて見てきたこと、それから、今それらを再考する必要がある理由を教えてください。

Jake：私たちはデジタル変換の時代を経験しました。それがデータに関する課題でした。データがサイロ化されていたのは、プラットフォームの設計上、そしてデータの構成方法に問題があったからです。その後、たくさんの統合を試みました。あらゆるアプリ統合エンジンを試みました。何かうまい方法を見つけようとしたのですが、結果として ELT から ETL、システムからシステムへと繋ぐスパゲッティのような絡み合った状態になってしまいました。

そして今日に至ります。現在の課題は、これらの組織がサイロに留めようとするインセンティブを持っていることです。AI データサイロが登場し、データは依然としてサイロ化されており、そこにクラウドの力が発揮されます。私たちは Cloudera のパートナーであることを誇りに思っています。

同じ問題が、さらに深刻になった状況を想像してみてください。AI エージェントはたくさんありますが、それぞれが自分のデータサイロの中でしか機能していません。

人々はもっと多くのことを求めるようになるでしょう。協力し合い、話し合い、論理的に判断できるエージェントを求めています。しかし、データがまだサイロに閉じ込められている場合、どうやってそれを行えばいいのでしょうか？このデータメッシュの状態を実現するには、抜本的な変革が必要となります。だからこそ、Cloudera はそれを実現するのに役立つ優れたソリューションなのです。

大規模な言語モデルだけでは不十分な理由

Paul：データを最大限に活用するために利用している工夫、ベストプラクティス、ヒントやコツを教えてください。

Jake：最も重要なことは、大規模言語モデルがすべての答えではないことを理解することです。AI は広い世界です。

大規模言語モデルは、ある用途には非常に優れていますが、別の用途には非常に不向きです。機械学習、ディープラーニング、ニューラルネットワークの力を理解しなければなりません。これらは他の 2 つ（機械学習とディープラーニング）の本質です。

現代において求められるスキルは、適切なユースケースに適したモデルを開発または活用し、データを迅速に処理する能力です。そこに人々が注目すべきです。

技術的負債の複利効果

Paul：博士のご意見やご経験から、組織はどのようにして、現状から将来の目標へと現実的に移行していくとお考えですか？どのようにデータをクリーンアップしているのでしょうか？それを壊さずにできるメカニズムはあるのでしょうか？

Jake：それはかなり複雑な質問なので、少し分解して考えてみましょう。あなた方が 30 年間続けているのには、理由があります。今でも AS/400 は見かけますし、実際に機能しています。IBM の功績は認めなければなりません。

これらの組織が抱える課題は、「どれだけの資本を費やしているのか？」という点です。この技術的負債が複利のように蓄積していくため、問題を先送りして何年も、何十年も先へ延ばすことができます。しかし、そのコストはただ増える一方です。

しかし今は、少なくとも選択肢があります。データを取り出せば、これまで以上に多くのことができるのです。場当たり的な対応ではなく、データへのアクセスが確保され、かつ継続的にアクセスできる限り、並行してあらゆるタイプの体験を作り出せるようになりました。

AI ワークロードの一部がオンプレミス環境に戻りつつある理由

Paul：既存の顧客が新しいワークロードを導入しようとしている現状について、どのような状況が見られますか？

Jake：オンプレミスへの大規模な移行が見られます。信じられませんでした。そんなことは予想もしていませんでしたから。

これらの組織がより多くのモデル開発やトレーニングなどを行っているため、クラウドコストモデルは単に高すぎます。このようなモデルの学習に毎月どれだけの金額をかけるかを楽しみにしている CFO にまだ出会ったことがありません。

だからこそ、彼らは投資しているのです。データセンターへと回帰し、それを今後 5 年にわたり減価償却するそうです。医療機器や金融サービス、航空業界などでこうした傾向を見られ、通常はハイブリッド型ですが、特にトレーニングや開発といった特定のワークロードにおいては、はるかにコスト効率が高いのです。

学習を促進するAI：メリットとデメリット

Paul：学術界の現状と、将来の労働力を育成する方法について、どのような見解をお持ちですか？

Jake：AI は増幅器です。良い面も増幅し、悪い面も増幅させるでしょう。

良い面としては、人々はこれまでよりも 10 倍、20 倍速く学習できるようになることです。私は、たった 3 秒で本を読み上げることができるモデルを開発しました。今ではデータに没頭し、自分の学習スタイルに合わせて、あらゆる種類の学習体験を作り出すことができます。

悪い面は、学生たちが「自分は何もしなくてもいい」と選んでしまうことです。AI にすべての仕事を任せることができるから、何も学ぶことはありません。そこが怖いところです。

私たちの時代に求められるスキルとして「学ぶことが好き」であって欲しいと思います。今後のキャリアを通して、毎日毎日、学び続けなければいけないのですから。

Jake Trippel 博士との対談全編は Spotify、Apple Podcasts、YouTube の The AI Forecast でお聴きいただけます。

この記事は、2026/3/9に公開された「Cloudera’s 2026 Trends in Data and AI Webinar Recap」の翻訳です。

私は最近、Cloudera のチーフ AI アーキテクトである Manasi Vartak と、Forrester Research のバイスプレジデント兼主席アナリストである Mike Gualtieri 氏と、Cloudera の「データと AI に関する 2026 年のトレンド」ウェビナーで、エージェント型 AI を大規模に展開する方法についてディスカッションを行いました。

私たちの会話は未来志向的で前向きな内容でしたが、ウェビナーの冒頭で私は次のような過去を振り返る質問を投げかけました。「2025 年に廃れた AI に関する信念は何か？」

私たち 3 人で話し合った結果、AI に関して長年信じられてきたいくつかの定説が、2025 年についに崩壊したことが判明しました。AI 開発におけるこの新しく刺激的な年を迎えるにあたり、私たちが後に残そうとしている哲学について、Manasi と Mike 氏が指摘した点を共有したいと思います。

廃れた信念：エージェント型 AI の知的ゲートキーピング

2025 年は、エージェント型 AI は限られた人だけが利用できるという信念から始まりました。新しい技術に関しては、博士号取得者やエンジニアなど、実績のある専門家に意見を求めるのは自然なことです。

しかし今では、一般のビジネスユーザーが独自に機能する AI パイプラインを構築するようになっています。Manasi は、この認識をもたらした昨年の「稲妻に打たれたような瞬間」を振り返りました。私たちの Agent Studio で開催されたハッカソンで、戦略部門のある社員が、年間 300 万ドルの節約につながる可能性のある完全なパイプラインを構築したのです。これは、エージェント型 AI 戦略に関する専門的なトレーニングを受けていない人が成し遂げた驚くべき偉業でした。

Manasi にとって、これはエージェント型 AI が真にあらゆる分野で民主化されつつあることの証でした。

廃れた信念：AI ハルシネーション（幻覚）はいたるところに存在する

昨年、Mike 氏は AI ハルシネーションが著しく減少したことに気づきました。それでも彼は、まだハルシネーションが発生していることを認めつつ、かつては AI の利用に関する会話は、その信頼性への脅威としてハルシネーションに大きく焦点を当てていたと指摘しました。今では、こうした懸念はそれほど一般的ではなくなりました。

Mike 氏は、プロンプト、RAG テクニック、その他の方法を通じて、LLM モデルの範囲を制御する方法について、人々の理解が高まったと主張しました。現在では、多くのユーザーがこれらの問題が発生する状況や、この現象を軽減・解消するための対策方法を理解しています。

より大きなパターン

AI は、信頼性が高く、大規模に使用できるようになったため、真に実用的になりました。エージェント型 AI の民主化が進むにつれ、自律システムはもはやエリート技術チームに限定されなくなりました。組織全体に展開して、定義されたタスクをエンドツーエンドで実行できるようになります。精度が向上し、ハルシネーションが減ったことで、これらのシステムは人間の監視を最小限に抑えながら運用できるようになり、AI は助言的な役割から運用的な役割に移行します。

オペレーショナル AI は、手作業を確実に軽減しながら、サイクル時間の短縮、コスト削減、意思決定の改善といった目覚ましい成果を達成するため、真に際立っています。自動化が単なる個別のテストにとどまらず、日々の業務に真の価値をもたらし、よりスマートで効率的なものにしていく様子を見るのは、実に刺激的です。

なぜこれらの信念の変化が 2026 年に向けて重要なのか

AI への信頼が、単なる願望ではなく、情報に基づいたものになるにつれて、問題はもはや AI が行動できるかどうかではなく、どこで行動することが許されるかということになります。データの整合性への信頼が高まり、出力の信頼性が向上したことで、AI は孤立したサイロを超えて、中核的なビジネスプロセスや意思決定ループへと進化することができます。

今、真の課題は、組織がこの民主化を支援する体制になっているかどうかです。AI を会社全体に普及させるということは、実験を少数の技術チームだけに限定してしまうようなボトルネックから脱却することを意味します。運用担当者がさまざまな環境にまたがるデータを安全に利用できるようになると、ビジネスの実際のニーズを真に満たす AI 搭載ツールを構築、テスト、リリースすることができます。広く、かつ適切に管理されたデータへのアクセスがなければ、AI は中央集権的となり、日々の業務から切り離されたままになります。

古い考え方に固執したり、新しい考え方に適応しようとしない組織は、停滞し、技術革新の波に乗り遅れる危険性があります。Cloudera のプラットフォームは、このような結果を回避し、絶え間なく変動する AI 環境におけるこれらの変化を乗り切るように設計されています。データがクラウド、データセンター、エッジのいずれにあっても、Cloudera は企業全体にわたって、統制された企業規模のインテリジェンスとともに、AI 向けの普遍的なデータアクセスを提供します。

これらのテーマをはじめとする様々な事柄については、Manasi、Mike 氏、そして私が講演の中で詳しく解説しています。また、「データと AI に関する 2026 年のトレンド」ウェビナー （英語）で、これらの変化についてさらに深く掘り下げていただくことをお勧めします。これらの観察結果が実際に何を意味するのか、また組織が自社の環境で民主化された AI を最大限に活用するにはどうすればよいのかについて理解を深めるには、Cloudera の最新リソースをご覧ください。

この記事は、2026/3/25に公開された「Moneyball’s Billy Beane on Why Ignoring Data Is the Biggest Risk of All」の翻訳です。

野球はこれまでずっと直感と伝統に基づいて成り立ってきた…Billy Beane が数字で勝てることを証明するまでは。

AI 予測のエピソード 62「『マネーボール』の Billy Beane 氏がデータ分析で野球を永久に変えた方法」では、Billy Beane 氏がホストの Paul Muller と共に、証拠に基づいた意思決定が従来の野球にどのような変化をもたらしたかについて語ります。Billy 氏は、制約がいかにイノベーションを促進するか、前提を疑うことがいかに重要か、そしてデータは組織の意思決定を再構築するのに役立つかについて説明してくださいました。

人材の評価からリソースの管理まで、Billy 氏はエゴよりも証拠を優先するシステム作りが成功の鍵だと断言します。Paul と Billy 氏の興味深い対談から抜粋した、主な場面を以下にご紹介します。

リスクを見直す

Paul：アイデアに自信があっても結果がすぐに現れないという段階を乗り越えるのは、どれほど大変でしょうか？

Billy 氏：素晴らしい質問ですね。私の場合は、アシスタントに頼りました。その彼はよく、「数学のテストを受けるときに、誰かが答えをくれると言ったら、もらわないわけはないでしょう」と言っていました。私たちにとっては、データを使うとはそういう感じのことだったのです。テストの答えをもらっていたようなものでした。そこで、データを活用して、できるだけ多くの意思決定をしたいと考えました。毎回正しい決定ができるわけありませんし、毎回勝てるわけでもありません。しかし、規律を持ってデータをきっちりと管理し、数字を厳しく見て、意思決定の方法に一貫性を持ち続ければ、時間とともに正しい結果を出せると考えていました。

物事を進めていく中で、結果がどうなるのか不安に思うことはたくさんありましたが、実際は全く逆でした。データの活用は一種の道しるべであり、フォグランプのような役割だと感じました。繰り返しになりますが、すべての決定が常に正しいとは限りません。ただ、意思決定の方法を一貫して維持していけば、最終的には望む結果にたどり着けるだろうと考えていました。物事を乗り越えるために自分たちを支えてくれたのは、まさにこの規律だったのです。

3 回連続で正解すれば、全員が賛成してくれます。しかし 4 回目に間違っていた場合、皆が「ほらね、数字だけでは全部はわからない」と言います。そうしてまた感情に基づいた意思決定に戻っていきます。だけど、感情的な判断については、数値と同じ厳しい基準で評価しません。私たちは、リスクを恐れない姿勢を褒められますが、これは少し誤解された評価だと思います。私たちはまったく正反対で、リスクを管理したかったのです。たとえるとしたら、アクチュアリー（保険計理人）のように。私たちの考えで本当のリスクとは、意思決定のために将来を予測する情報を持っているのに、それを使わないことでした。それこそが、私たちにとってのリスクだったのです。

データは伝統を超える

Paul：あなたが有名になったことは良いことでもあるし、悪いことでもありますよね。他のチームがあなた方の動きを把握し始めたとき、どのようにして新たな強みを見つけましたか？どうやって粘り強く頑張れたのですか？

Billy 氏：本当の革命は、他のチームがデータの重要性に気づき、自分たちのデータを収集し、それを使って精度の高い予測モデルを構築し始めた時だったと思います。私たちが最初に意思決定を始めたときは、統計に基づいていました。統計とは、結果です。チームが気づき始めたのは、プロセスを測定するより良い方法があり、それでスキルをより正確に予測できること、そしてデータ収集が重要であるということでした。率直に言って、それは単にデータを収集することだけではなく、これまで当社で働いていなかった、本当に優秀で情熱的な人材を当社に迎え入れることでもありました。

書籍『マネー・ボール』について言えるのは、その本の内容はすべて公開情報だったということです。私たちは基本的に Bill James 氏のアイデアを拝借しました。当時の野球界の文化がそれを許してくれたのは、Bill James 氏がパンフレットで長年語ってきたアイデアを、誰も本気で試そうとしていなかったからです。しかし、その後の 20 年、今日に至るまで、各チームが非常に秘密主義になりました。優秀な若い男女をアナリティクス部門に採用して、生体データを使って選手のパフォーマンスを高めるモデルを作っています。それこそ非常に洗練されていて、率直に言って、私の理解をはるかに超えています。

誰もがデータ派…ただし、データが自分の意見と食い違うまでは

Paul：私の経験では、今はこのような課題をお持ちではないでしょうか。飛び抜けて非常に優秀で経験豊富な人たちが「私はデータ重視の人間だ」と言ってデータを示すと、周りがそれに同意するような状況に陥る可能性です。しかし、自分たちの経験を裏付けないようなデータが出揃うと、「そのデータは正しくないから使わない」と言うかもしれません。要するに、都合の良いデータだけを選び出すという状況を、実際に目にしてきました。そうすると、私が以前述べたように「誰もがデータ重視の人間だが、自分の意見を裏付けるデータがないと途端に態度を変える」という話に戻ってきます。

Billy 氏：私にとって、そこが本当のチャンスです。企業で長年にわたって成功を収めてきた CEO の経験はデータであり、その経験を引き出して意思決定に役立てることもまたデータです。しかし多くの場合、経験豊富な人たちと一緒にいると、「そのデータは正しくない」と言われたときに、こちらが引き下がってしまう傾向があると思います。ですが、私の答えは「データに異議を唱えることはできない。なぜなら、それは意見ではなく事実だから」です。今日のように、私たちがあらゆるデータに触れている世界では、データがあることを示し、自分自身の経験が別のことを示しているときにこそ、真のチャンスがあります。個人的には、意思決定を行う際には常にデータを重視し、自分自身の経験は脇に置くほうを選びます。そして繰り返しになりますが、それに反対する人が多いことも承知しています。私にとってのチャンスとは、本当に優秀な人たちが同じものを見て、データが何かを示しているときに生まれます。なぜなら、競合他社も自分たちと同じものを見て、それに沿って意思決定をすると想定しなければならないからです。

Billy Beane 氏との対談全編は、Spotify、Apple Podcasts、YouTube でお聴きいただけます。

この記事は、2026/3/2に公開された「From Log Overload to Mission Readiness: Rethinking Government Data Architecture」の翻訳です。

現在の政府機関では、データはミッションを支える重要な要素であると同時に、隠れた資源の消耗要因でもあります。サイバーセキュリティや脅威の検知、法令遵守、市民サービスの提供まで、公共部門のミッションは、タイムリーで信頼できるデータに依存しています。しかし、これらのプログラムや、それらの説明責任を確保するための規制の成功には、目に見えないコストが伴います。それは、インフラに負担をかけ、システムを遅くし、ストレージ予算を膨張させる大量のログデータです。

法令遵守を維持するためには、関係機関やその他の規制対象組織は、増大し続けるデータ量を責任を持って管理する必要があります。しかし、ログデータが蓄積されるにつれて、最も高性能な環境でさえも処理能力を超えてしまい、ストレージ容量を消費し、処理時間を増加させ、全体的なパフォーマンスを低下させる可能性があります。

多くの機関にとって、Splunk のようなセキュリティ情報とイベント管理（SIEM）プラットフォームはサイバーセキュリティ運用の中心にありますが、こうした最高水準のツールでさえ、時代の変化に追いつくのに苦労することがあります。だからこそ、先進的な機関は SIEM プラットフォームの基盤となるデータアーキテクチャを再考しています。SIEM を放棄するのではなく、それらのシステムへのデータの移動方法とシステム間のデータの移動方法を最適化します。それが実際にどのようなものかについて話しましょう。

データ移動の新しいアプローチ：Cloudera Data Flow

公共部門の組織は、データ移動を効率化するためのソリューションをますます採用しています。よりスマートなデータ配信は、各機関がシステムのパフォーマンスと信頼性を向上させ、コストを管理し、データが環境全体でどのように移動するかをエンドツーエンドで把握するのに役立ちます。

Cloudera Data Flow は、オンプレミスおよびクラウド環境を一元的に制御し、可視化することで、政府機関がより安全かつ効率的にデータを大規模に管理するのに役立ちます。Cloudera Data Flow は、1 回限りのパイプラインや手動の統合に頼るのではなく、必要な場所にデータをインテリジェントにルーティング、フィルタリング、配信する接続レイヤーとして機能します。つまり、複数の環境にわたってデータをインテリジェントに接続および管理することで、重複や複雑さを最小限に抑えながら、インフラストラクチャと人的資源の両方を節約します。

限られた予算と厳しい規制のバランスを取らなければならない機関にとって、Cloudera Data Flow は次のような明確な利点を提供します。

• リソースの最適化：最も重要なデータのみを Splunk や他の SIEM ツールにルーティングし、緊急性の低いログは費用対効果の高いオブジェクトストレージにアーカイブします。

• ノイズ低減：大量のデータを前処理およびフィルタリングすることで、分析を高速化し、信号対雑音比を改善します。

• コンプライアンスの維持：監査可能な保管履歴とすべてのデータフローの完全な可視性を維持します。

• ハイブリッド継続性：安全なオンプレミス環境と進化するクラウドイニシアチブの両方で、ミッションオペレーションをシームレスにサポートします。
   

データパイプラインの再考

普遍的なデータ配信への移行は、政府機関がデータパイプラインについてどう考えるかという点で、より大きな変化を反映しています。長年にわたり、データの統合は後付けの配管工事のようなものとして扱われてきました。つまり、異なる形式で保存され、異なるツールで扱われ、異なるルールで管理されているデータをつなぎ合わせ、移動させるために、さまざまな管や素材を寄せ集めるような作業だったのです。

今日、そのアプローチの限界は明らかです。真の運用上の回復力を実現するには、データの保存場所に関係なく、データフローが統一され、透明性が確保されている必要があります。Apache NiFi のようなオープンソースのテクノロジーにより、このアプローチがより身近なものになり、政府機関が混乱することなくデータフローのテスト、再生、調整を行えるようになりました。

オープンソースのフレームワークを用いることで、さまざまなシステムやデータ形式がシームレスに連携できるようになり、既存の投資を捨てることなく近代化を進めることができます。公共部門のIT管理者にとっては、こうした進化がミッションの継続性を強化しています。

データ配信を中核的な機能として再考することで、各機関は、かつて運用上の負担であったものを、すべてが円滑に同期して動作し続けるためのアーキテクチャ上の利点に変えることができます。

公共部門のための将来を見据えたデータ戦略

今後を見据えると、データの複雑さはなくなるどころか、加速していくでしょう。エッジデバイス、IoT センサー、AI を活用したモニタリングなど、テクノロジーの発展は、コンプライアンスを守りながら収集、保護、分析しなければならないデータの量と種類を増やすばかりです。

柔軟で配信優先のアーキテクチャに今すぐ投資する機関は、サイバーセキュリティとコンプライアンス体制の両方を強化すると同時に、将来何が起こっても適応できる体制を整えることができるでしょう。Cloudera Data Flow のようなツールを使えば、今日の公共機関が求めるスケーラビリティ、オブザーバビリティ、パフォーマンスを実現することが可能になります。

この記事は、2026/3/20に公開された「#ClouderaLife Employee Spotlight: Meet Jim Ewton, A Veteran Building Community and Mission Impact at Cloudera」の翻訳です。

「Cloudera では、どういうわけか軍隊出身の人々が集まってくるようです。私にとっては嬉しいことです。なぜなら、私たちと話し、一緒に仕事をしていることに安心感を抱いてくれるのだから」と Jim は言います。

Cloudera では、イノベーションは帰属意識から始まります。私たちは、軍務経験者を含むあらゆる経歴を持つ人々が、新たな形で使命を継続できる環境の構築に取り組んでいます。アメリカ空軍の退役軍人で、Cloudera の退役軍人従業員リソースグループ（ERG）の活動的なメンバーである Jim Ewton にとって、その目的意識とコミュニティ意識こそが、「Clouderan」であることを特別なものにしています。

Jim に会い、長年の軍務経験がどのようにして彼を Cloudera へと導いたのか、そして仲間の退役軍人が居場所を見つけるために彼がどのように手助けをしているのかを聞いてみましょう。

空軍から Cloudera Government Solutions へ

Jim はアメリカ空軍に 23 年半勤務し、世界中を旅しながら、通信や法執行など幅広い任務に就いていました。彼のキャリアはアジアや南米、そしてアメリカ 39 州に及び、そのうち 4 年間はペンタゴンで勤務しました。

「制服をそんなに長く着ていると、それが自分の一部になる」と彼は言います。

2002年に退職した後、Jim は政府の請負業務に移行し、2015年に Cloudera に入社しました。現在、彼は機密性の高い米国政府の任務を支援する同社の公共部門である Cloudera Government Solutions の一員です。

その仕事には深い責任が伴います。Cloudera Government Solutions は厳格なセキュリティとコンプライアンス基準のもとで運営されており、日々安全でミッションクリティカルなデータ能力に依存する機関を支援しています。

「私たちは非常にデリケートな仕事を多く手掛けており、多くの機関が、日々私たちの能力とソフトウェアに依存しています」と Jim は言います。

最も困難な任務：民間生活への移行

軍務から民間生活への道のりは決してスムーズではありません。

「制服を脱いだとしても、すぐに一般市民の生活に戻れるわけではありません」と Jim は言います。「しばらく時間がかかります。まったく別の世界ですから、怖くなることがあります。」

Jim は、多くの退役軍人が直面する困難について率直に語っています。初めて仕事に着ていく服を選ぶことから、軍隊経験を民間企業の履歴書にどう反映させるか、PTSD や社会不安といった目に見えない心の傷とどう向き合うかまで、その内容は多岐にわたります。すべてが新鮮に感じられ、その衝撃を認識することが、この過程において重要な部分です。

「私はメンターとして、よくこう言っています」と彼は説明します。「軍隊を退役した人たちの多くは、目に見える、あるいは見えない健康上の問題を抱えています。彼らが新たな挑戦の中で、自分という存在に再び価値を見出せるよう支援することが重要です。」

その信念が Jim を Cloudera の退役軍人従業員リソースグループ（ERG）に深く引き込んだのです。

Cloudera の退役軍人 ERG を通じたコミュニティ構築

Cloudera では、社内の退役軍人 ERG が素晴らしいサポートシステムを提供しています。メンバー同士が互いに支え合い、退役軍人のメンターとなり、より広い軍関係者コミュニティへの貢献方法を模索しています。

Jim は特にメンタリングに情熱を注いでおり、退役軍人が自身のスキルや経験を新たな機会に活かす手助けをしています。

「ERG はコミュニティ意識を高めるのに役立ちます」と彼は言います。「もっと積極的に関わることができて本当に嬉しいです。Clouderans に、彼らの活動や素晴らしい取り組みについてもっと知ってもらえたらと思っています。」

Cloudera の退役軍人の存在は ERG の枠をはるかに超えています。退役軍人は、経営幹部のリーダーシップも含め、組織のあらゆるレベルで勤務しています。こうした存在が組織全体に反映されていることが、強いメッセージになっています。つまり、ここではあなたのバックグラウンドが理解され、経験は尊重されるということです。

「リーダーシップレベルに退役軍人がいるのを見ると、自分もここに属しているんだという実感が湧いてくる」と Jim は言います。

余裕を生み出す文化

Jim が Cloudera に入社して最初に気づいたことの 1 つは、環境そのものでした。高度に構造化された軍事環境で何十年も過ごした後、Cloudera の親しみやすくカジュアルな文化は際立っていました。

「スーツやネクタイはいらないし、息苦しさを感じません」と彼は言います。「快適でした。「出身地、教育、経験に関係なく、誰もが受け入れられていました。」

10 年以上にわたり、Jim は Cloudera で、初期の Hadoop の基盤から、今日のハイブリッドデータと AI の分野でのリーダーシップに至るまでの会社の進化過程を見てきました。成長と変化を通じて、変わらないことが 1 つあります。それは、チームビルディングを重要視する点です。

「方向転換やペース変更のたびに、リーダーシップはチームビルディングに戻ってきます。それがいつも基本でした」と彼は言います。10 年以上経った今でも、Jim は Cloudera を「これまでに経験した中で最高の職場環境の 1 つ」と評しています。

社会貢献は使命の一部

Jim にとって Clouderan であることは、恩返しを意味します。退役軍人 ERG と Cloudera Cares の取り組みを通じて、彼は Fisher House などの団体を支援しています。この団体は、大切な家族が医療を受けている間、軍人家族に宿泊施設を提供します。また、Operation Motorsport も支援しており、これは退役軍人がモータースポーツの実践的な活動を通じて目的とコミュニティを再発見するのを手助けします。

「若い人たちの証言を聞いて、私は Operation Motorsport の真の信奉者になったのです」と彼は語ります。「彼らは感謝にあふれています。イベント中に何度『ありがとう』と言われたのか、数えきれません。」

「ほんの少しのエネルギーでも、困っている人に手を差し伸べる際には大きな力になります」と彼は付け加えます。「これは Cloudera が非常によくやっていることの 1 つです。私たちは恩返しをしているのです。」

Jim は、この仕事に非常に個人的な一面ももたらしています。彼には介助犬がついており、その犬はオフィスや業務レビューにも同行し、行く先々で落ち着いた空気を生み出す助けとなっています。「犬が入ってくると、その場の空気はすぐに変わります」と、Jim は言います。「安心感を与えてくれるので、ほっとできます。大きな力になるのです。」

仕事に自分の全て（そして彼の愛らしいペットたちも！）をオープンに持ち込む柔軟さは、彼にとっては決して軽視できるものではありません。

ミッションを続けます

Jim の物語は究極的には、帰属意識、そしてその感覚が職場を超えて広がることでどれほど大きな力を持つかということについて語っています。Operation Motorsport のような団体は、退役軍人が除隊後に人生の目的やコミュニティを再発見できるよう、人生を変えるような活動を行っています。その影響は、目に見える形で、個人的なものであり、そして永続的なものです。

Cloudera の企業文化の真髄は、常に互いのために、そして周囲のコミュニティのために、積極的に行動することにあります。Jim の歩みが示すように、その影響力をさらに深め、真の意味での Clouderan を示す余地は常にあります。それは、使命感を持ち、人を第一に考え、変化をもたらすことに専念することを意味します。

他の Clouderan の話を聞き、Cloudera でのキャリアの機会を検討してみませんか？

この記事は、2026/3/17に公開された「Adam Skotnicky on Taming Data Complexity and Building Cloud-Like Simplicity」の翻訳です。

シリアルアントレプレナー（連続起業家）の Adam Skotnicky が組織にひとつだけ注意を促すとすれば、それはデータの複雑さです。Cloudera のエンジニアリング担当バイスプレジデントであり、tcp.cloud と Cloudera に最近買収された Taikun の創業者でもある Adam は、技術分野の新興機会を最大限に活用するエキスパートです。複雑なデータ構造に足を取られることなく、そうした機会をつかんでいきます。

The AI Forecast Podcast のホスト、Paul Muller と Adam が、エンジニアリングチームが柔軟性と制御を維持しながらシンプルさを取り戻す方法について議論します。二人は、なぜ IT チームがツールや運用の課題で手一杯なのか、プラットフォームエンジニアリングがユーザーの作業をどう楽にするのか、そしてハイブリッド環境でクラウドのような柔軟性を本当に実現することの意味とは何かについて掘り下げます。

ここでは、議論の主なポイントをいくつかご紹介します。

オーバーエンジニアリングの落とし穴

Paul：今日の組織は、複数のクラウド、オンプレミス、ハイブリッド環境でデータを管理しています。あなたの観点から見ると、その複雑さの中で組織が直面している最大の課題は何でしょうか？

Adam：重要なのは、自分が構築しようとしているものの本質的な価値に焦点を当てることです。

すべてを注ぎ込もうとすると、ソリューションを作り込みすぎてしまう可能性があります。世の中にある機能をすべて盛り込む必要はありません。まるでエンジニアにとってのお菓子屋さんのようなものですよね？夢中になってしまいます。まず一気にハイになり、そのあとでぐっとガクンと落ち込む感じです。まさにその通りのことです。

「ワークロード最優先・インフラは見えない」時代へ

Paul：データセンターで、よりクラウドに近い体験を実現しようと試みたのは、どんな発想からだったのでしょうか？多くの技術者からすると、ハイブリッドの約束の問題はいつも、オンプレミス環境には多少の自動化機能が入っていても、パブリッククラウドのサービスほどスムーズでシンプルではなく、後者のようにカタログを選ぶようにはいかないという点にあると思います。これまで、この点が妥協点だったという認識でよろしいでしょうか？また、Taikun でどのようにその問題を解決されたのでしょうか？

Adam：似たようなものを作りたいのなら、クラウドのような体験とは、プロセスから人を排除することを意味します。あなたとアプリケーションの間にチケット的な手順が入るような状況でも、たとえば私がそのアプリケーションの所有者であれば、単純にログインしてカタログを開き、必要なものをデプロイするだけになります。それが究極の目標です。それ以外は、誰も手を加えず、監視して正常に動作することを確認し、性能とセキュリティを確保するだけです。誰も介さず、誰にも何の手続も求めずにそれを実現します。それがパブリッククラウドの仕組みです。それが体験です。それが「クラウドのような」という意味です。

Paul：ビッグデータワークロードの展開に関して、市場の現状についてお聞かせください。セルフサービスかつ柔軟なクラウド体験は、チームがインフラに追われるのではなく、インサイトの創出に集中できるようにどう後押しするのでしょうか？

Adam：大事なのはワークロードであり、ワークロードに焦点を当てるべきだということに同意します。インフラは重要ではありません。だからこそ誰にもインフラに手を触れさせたくないのです。インフラストラクチャは完全に抽象化したいのですが、それでも自由に操作できるようにしています。試したり探索したりすることはできますが、本番環境では原則として手を加えるべきではありません。ベストプラクティスに従うべきです。そうすれば、ようやくワークロードそのものに集中できるようになります。ワークロードから下に向かって探っていくのは望ましくありません。インフラはそこにあるべきものです。それが私たちが Taikun で取り組んでいることです。ワークロードに焦点を当てています。

1 つのプラットフォームで、どんな環境にも対応

Paul：Cloudera プラットフォームのようなワークロードを使用している人は、導入を始めると、この新しい作業方法のどのような違いに気付くでしょうか？

Adam：私たちは、Cloudera サービスの抽象化レイヤーとなっているため、Cloudera サービスは実行環境に依存しなくなります。その結果、自分の少数のサーバーだろうと、数百、数千台のサーバーだろうと、パブリッククラウドかプライベートクラウドかを問わず、同じような体験が得られるようになります。これにより、必要なだけサービスを起動し、必要なだけエンドポイントに接続し、どこで組み合わせるかを選んでから、個別に設定を行うことができるようになりました。これはパブリッククラウドでもハイブリッドクラウドでもありません。両方使えます。データ主権の観点から、本番環境はオンプレミスでスケールさせることができ、一方で、パブリッククラウドでは技術を自由に試すことができます。パブリッククラウドでは、数分のうちに規模を 0 から 100 まで自由に増減できるため、実験や開発用途に最適です。これらのアプローチを組み合わせることができます。

Paul：素晴らしいですね。この新しい世界に備えるには、まず何をすればよいでしょうか？これは、すぐに導入できる単なる技術の問題なのでしょうか。それとも、人の意識や考え方を変えないと解決できない、「人」の問題なのでしょうか？ハイブリッドを最大限に活用するには、どのような準備をすればよいですか？

Adam：アプローチは選べます。私の推奨する「ゴールデンポット」という方法もあります。ここではほとんどのものが組み込まれているため、一方のやり方を選ぶことも、もう一方を選ぶことも、あるいはその中間のバランスを取ることもできます。また、この新しい環境とは別に、これまで使っていた信頼できる仮想マシンを並行して運用し続けることも可能です。既存の構造やプロセスには、長年蓄積されたノウハウがたくさん組み込まれています。どちらのアプローチも用意されており、Cloudera 製品では、新しい世界に直接関わらずとも、その機能が内部に組み込まれています。

Adam Skotnicky との対談全編は Spotify、Apple Podcasts、YouTube でお聴きいただけます。

この記事は、2026/3/12に公開された「Accelerating Humanitarian Impact with AI」の翻訳です。

緊急人道支援の NGO である Mercy Corps は、効果的な危機対応のためにタイムリーで十分な情報に基づいた意思決定が不可欠な環境で活動しています。チームはしばしば強いプレッシャーの中で、状況を迅速に評価し、調査や過去の知見を活用することが求められます。

世界的な危機が規模と複雑さを増すにつれ、このモデルを維持することが難しくなってきています。同時に、資金面の制約が業界全体の縮小を引き起こしており、Mercy Corps のような組織には、限られたリソースでより多くのことを行うことが求められています。しかし、分析の遅れは現場の状況に直接悪影響を及ぼす可能性があります。

この課題に取り組むため、Mercy Corps は、データと AI を活用して危機に関する調査の手間を軽減しつつ、人間の判断を置き換えることなく運用する方法を探り始めました。Mercy Corps の人道的専門知識と Cloudera のデータおよび AI 機能を組み合わせることで、2 つの組織は危機対応を強化し、Mercy Corps の使命を大規模に支援することに着手しました。

規模に応じたプロセスの管理

Mercy Corps のグローバル危機分析チームは、急速に変化する状況における援助と開発のトピックに関する調査を行うことで、組織全体の意思決定を支援します。彼らの研究は緊急対応計画から長期的なプログラム設計に至るまで、あらゆる面に影響を与えています。これらのチームは、紛争の動向、食料不安、避難の傾向、経済的ショックなどを分析し、支援ニーズを事前に予測し、行動を適切に導くのに役立てています。

歴史的に、この研究は手作業のプロセスに依存していました。アナリストたちは多数のニュースソース、ウェブサイト、情報プラットフォームを行き来し、情報をコピーしてスプレッドシートや文書に記録し、それをレポートにまとめました。これは綿密なプロセスではあったものの、時間がかかり、迅速な危機分析が必要な際にはボトルネックを生みました。

危機の規模が拡大し、発生のペースも加速するにつれて、Mercy Corps はこのモデルが持続可能ではないと認識しました。この組織は、現実的な制約にも直面しました。技術的な体制には限りがあり、各チームも人員やリソースが不足していました。さらに、社内で新たな AI ソリューションを構築するには、既存の運用を維持しながらでは負担しきれない投資が必要でした。

プロフェッショナルサービスの力を活用する

Cloudera のプロフェッショナルサービスチームは、Mercy Corps が危機的な状況で必要としていた能力と専門知識を提供しました。そして、このパートナーシップを通じて、Mercy Corps は、スタッフやインフラストラクチャを追加するという負担なしに、一流の技術専門家からのサポートを得ました。

CTO & Portfolio のシニアディレクターである Laurence Da Luz は、「このプロジェクトは、ただ入ってきて、仕事をして、終了というものではなく、彼らが自立できるようにする意図がありました」と述べています。

Cloudera のチームは、データ、分析、AI に関する豊富な経験に加え、人道支援団体が直面する運用上および任務上の制約を明確に理解していました。プロフェッショナルサービスチームは、Mercy Corps の利害関係者と緊密に連携して、現実世界の課題を、ニーズの変化に応じて進化できるスケーラブルなソリューションに変換する支援を行いました。

単発の納品として捉えるのではなく、パートナーシップと能力開発に重点を置きました。目標は、危機の時期に迅速に行動し、Mercy Corps が長期にわたって適応し、拡張し、維持できるソリューションを構築することでした。

人間中心の AI アプローチ

当初から、このパートナーシップは、最も重要な人々や意思決定から始めるという明確な目標に基づいて進められました。Cloudera のプロフェッショナルサービスチームは、Mercy Corps のチームと緊密に連携し、危機調査が実際にどのように行われているか、また、遅延やボトルネックが結果に最も直接的な影響を与える箇所はどこかを理解するために協力しました。

「このソリューションには、人間の要素が残っていることを認識することが極めて重要でした」と Da Luz は述べています。「私たちの目標は、彼らの仕事を AI で置き換えることではなく、多くの作業には依然として人間の繊細な判断や専門性が必要だからです。」

このソリューションは、判断を自動化するのではなく、それを加速するように設計されました。AI は情報の集約と早期要約の処理に適用され、アナリストが調査結果の解釈や、人間の判断が不可欠な状況に応じた専門知識の適用により多くの時間を費やすことができるようにしました。

このアプローチにより、断片化されたワークフローをより統一された体験へと統合する、柔軟性の高い AI ドリブン型の研究機能が生まれました。これらの機能により、アナリストは多様な情報源から情報を迅速に特定、アクセス、統合することが可能になり、人間の監視を維持しながら調査サイクル時間を短縮することができました。

技術レベルでは、Mercy Corps のソリューションは、さまざまな人道的研究テーマに合わせた複数のエージェントワークフローを活用しています。これらのエージェントワークフローは、多様で変化の激しい人道支援および社会に関する大量のデータを処理します。その結果得られる出力は、アナリストが明示した目的に基づいて、非常に重要な情報を明らかにするのに役立ちます。このシステムは対話型のインタラクションをサポートしているため、アナリストは結果を繰り返し洗練させ、特定のシナリオに向けて出力を誘導できると同時に、解釈と最終的な結論に対する完全な制御権を保持できます。

人道支援活動の実情に合わせて設計されたこのソリューションは、既存のワークフローに大きな変更を加えることなく、多様な地域、対象者、危機の種類に対応できます。進化する研究ニーズ、多言語の情報源、そして急速に変化する状況への対応を支援することで、チームはより迅速に対応し、タイミングと状況が重要な局面において、多くの情報に基づいた意思決定を行うことができます。

イノベーションを超えたインパクト

Cloudera のチームメンバーにとって、Mercy Corps とのプロジェクトに取り組むことは特に意義深い経験となっています。技術的な課題に挑戦するだけでなく、テクノロジーと社会的インパクトを直接結びつける取り組みだったからです。プロジェクトに関わった多くのメンバーは、「自分の仕事が世界中の人道支援活動を支える一助になっている」と知って、誇りに感じていると語っています。

「彼らが行っている仕事とその理由を理解できると、身が引き締まる思いがします」と、北部EMEA プロフェッショナルサービスディレクターの Alastair Elliot は述べています。

このプロジェクトにより、チームは Cloudera の既存の AI 機能を洗練し、拡張するための新しい洞察と学びを得ました。また、これは Cloudera が持つ、業界を問わず適用可能な実績のあるパターンとリファレンスアーキテクチャのライブラリを強化する上でも直接的に役立ちました。こうした学習とコラボレーションの組み合わせは、チームがビジネス目標と企業理念の両方に合致する業務を追求できるよう支援するという、当社の企業文化を反映しています。

人間らしい目的を深く追求するための AI ソリューション

Cloudera と Mercy Corps のパートナーシップは、高度なデータと AI 機能が明確なミッションと協力的なアプローチと組み合わされたときに何が可能になるかを示しています。両組織は、人々のニーズ、業務上の現実、そして長期的な持続可能性に焦点を当てることで、最も重要な分野で効果を加速させるソリューションを提供しました。

私たちは共に成し遂げた成果を誇りに思い、今後の可能性に胸を躍らせています。このコラボレーションは、組織が AI を責任をもって、効果的かつ目的をもって活用するためのモデルとなっています。単に技術的な課題を解決するだけでなく、世界中の人々やコミュニティを支えるために使うという姿勢を示しています。

Cloudera のプロフェッショナルサービスチームが、最も複雑なデータおよび AI イニシアチブをどのようにサポートするか、詳細をご覧ください。

この記事は、2026/2/27に公開された「Why Native Observability is the Heart of Anywhere Cloud」の翻訳です。

現在のエンタープライズテクノロジーの状況では、業界全体で争奪戦が繰り広げられています。組織がモノリシックアーキテクチャから異種インフラを活用する複雑な環境へと移行する中で、クラウドベースのデータプラットフォームは可視性、つまりオブザーバビリティの壁に直面しています。企業はその対応策として、本来備わっていないオブザーバビリティを「補足」することを目的とした、事後対応型の数十億ドル規模の買収を次々と行っています。

しかし、オブザーバビリティは、最近の合併による後付け項目や一項目であってはならず、中核的な機能であるべきです。Cloudera では、ネイティブのオブザーバビリティ DNA を、統合されたハイブリッドファーストの強力なツールへと進化させ、データ資産全体にわたる真の洞察が、統合データファブリック、オープンデータレイクハウス、データ・イン・モーション、AI、そしてデータプラットフォーム全体の基本的な要件であることを証明しています。これは、アプリ、ワークロード、モデル、エージェントを、パブリッククラウド、オンプレミスのデータセンター、エッジのいずれで実行する場合でも当てはまります。

オブザーバビリティの多面的な性質：単純なモニタリングを超えて

真のオブザーバビリティは単一のツールではありません。データ資産全体のすべての関係者の重要な質問に答えるためにデータプラットフォームに組み込まれた基礎的な機能です。ダッシュボードが更新されない理由を考えているビジネスアナリスト、長時間実行されるクエリを調査しているデータベース管理者、あるいはクラスターノード間で偏ったデータストレージを特定しているシステム管理者にも、オブザーバビリティは即時の実用的な答えを提供する統合されたテレメトリを提供する必要があります。

ハイブリッドおよびマルチクラウド環境の現実では、データ品質、クラウドパフォーマンス、インフラストラクチャの健全性など、データ環境全体で動作しない個別の単一目的ツールに依存していると、真の可視性は得られません。代わりに、観測対象システムが分断された島々になったデータサイロ問題が生じます。

オブザーバビリティが必要なのは、これらのシステム間の相互作用（データ、ワークロード、リソース使用率など）です。これらのカテゴリが切り離されると、組織はオペレーショナルエクセレンスに必要な詳細なコンテキストを失います。そのレベルの洞察を得るには、データ層と基盤インフラ、そしてその間すべてに、ログ、メトリクス、トレースを総合的に結びつける可視性が必要です。

ハイブリッド AI 時代の避けられない複雑さ

生成 AI と大規模モデリングの台頭により、ハイブリッドアーキテクチャは戦略的な選択から技術的必需品へと根本的に変化しました。AI ワークロードでは、トレーニング用の大規模なクラウド規模のコンピューティングと、プライバシーと低レイテンシーの推論のためのローカルなオンプレミスのデータグラビティとの間の微妙なバランスが求められ、結果的に現代の企業は異種環境の複雑なネットワークになります。

コアデータセンターからパブリッククラウド、そしてエッジにまで及ぶ、真に分散されたフットプリントへの移行は、ワークロードがこれらのさまざまなインフラストラクチャ内およびインフラストラクチャ間で異なる動作をするため、本質的に複雑さが増大します。この複雑さにより、パフォーマンスの遅れ、コストの急上昇、消費の問題といった事柄の背後にある重要な「理由」にたどり着くのが飛躍的に難しくなります。このハイブリッド AI 時代では、統一されたビューとテレメトリがないシステムの複雑さは管理不能なブラックボックスとなり、IT リーダーは重大な障害を予測または防止できなくなります。

「ボルトオン」の罠：オブザーバビリティを後付けにしてはならない理由

最近、クラウドベースのデータプロバイダーがオブザーバビリティのスタートアップ企業を買収する動きが急増しています。Snowflake が Observe を買収し、Palo Alto Networks が Chronosphere を買収するなどです。これら数十億ドル規模の買収は、データプラットフォームにネイティブのオブザーバビリティが欠けている場合、最終的には「可視性の壁にぶつかる」ことを示しています。これらのプロバイダーは現在、本来は中核機能であるはずの機能を手軽に後付けしようとしているのです。

現代の企業は、断片化されたクラウドのみのアプローチでは、次のような理由から、真のオペレーショナルエクセレンスを達成するために必要な可視性を提供できません。

• クラウド専用のツールは、スタックの特定のセグメントに制限されており、パブリッククラウドの外部にある膨大なデータ資産は無視されます。

• オブザーバビリティが後付けされたツールは、複雑なハイブリッド環境全体の問題の原因を理解するために必要な統一されたコンテキストを提供するのが困難です。顧客は、ログ、メトリクス、トレースの断片化されたインターフェースを頻繁に扱うことになり、データレイヤーとそれを支えるインフラストラクチャの間に重大な結束が欠如していることが浮き彫りになります。

Cloudera のネイティブかつ統一されたオブザーバビリティ機能

Cloudera Observability は、単純なモニタリングにとどまらず、統合的なパワーハウスとして機能するネイティブな基盤機能です。Cloudera は、可視性を基本要件として位置付け、オンプレミス、パブリッククラウド、エッジなど、ハイブリッドクラウド全体にわたる総合的な洞察を提供します。また、分散トレースとメトリクスを収集およびキャプチャするための可観測性フレームワークとして OpenTelemetry を活用することで、オブザーバビリティ標準の主要なフレームワークに準拠しています。

Cloudera Observability は、パフォーマンスの背後にある「理由」だけではなく、包括的な洞察のサイクルを提供します。私たちは、サブスクリプション契約をしている 130 万以上のノードから収集した診断知識を詰め合わせた高度な診断ツールを作成しました。今や、Cloudera Cloud Factory（旧 Taikun CloudWorks）の統合により、クラウドネイティブのインフラ管理を超えてこれらの機能を拡張するのに最適な位置にあります。

この進化により、予測の信頼性が現代の企業でも確実に手の届く範囲に置かれ、メンテナンスが事後対応型のパッチ適用サイクルから積極的な戦略へと変化します。既知の問題やセキュリティの脆弱性に関する事前警告を活用することで、組織はついに従来のトラブルシューティングを超えて、データ資産全体で継続的かつ信頼できるパフォーマンスを実現できます。

結局のところ可視性は、オブザーバビリティを DNA に組み込んだデータプラットフォームを通じて、ハイブリッド AI 時代の複雑さをナビゲートする唯一の方法です。真のオブザーバビリティを実現するために Cloudera を活用する方法について詳しくは、プロフェッショナルサービスチームにお問い合わせいただくか、製品デモをご覧いただくか、5日間の無料トライアルにご登録ください。

この記事は、2026/2/23に公開された「Bring AI Models to Your Data with Cloudera AI Inference Service」の翻訳です。

AI 導入は新たな段階に入りました。企業の AI プロジェクトの 88% が実稼働前に行き詰まっていますが、これは考え方の詰めが甘かったり、モデルが脆弱だったりするからではありません。インフラストラクチャが追いつかないからです。クラウド API は急速に高額になり、ガバナンスは後回しにされ、遅延は積み重なります。また、規制の厳しい業界では、機密データをパブリックエンドポイントに移動することは、選択肢としてありえません。

AI パイロットと本格的な実稼働との間のギャップを埋めるには、インテリジェンスをソースに直接提供する必要があります。Cloudera AI Inference Service は、データが存在する場所で直接実行される、安全でパフォーマンスが高く、コスト効率の高い本番稼働モデルのサービスレイヤーをエンタープライズの組織に提供します。

Cloudera では、モデルのコンテキストとしてデータをクラウドに送信するのではなく、モデルをお客様の元にお届けします。そのため、必要な場所でインテリジェンスのブロックが解除され、設計の段階からデータは保護され、お客様独自のファイアウォール内で確実に拡張されます。

データに AI を導入することが重要な 3 つの理由：プライバシー、コスト、スケールに応じた選択

データのプライバシーと保護

ほとんどの AI サービスでは、データをクラウドに送信する必要があり、コンプライアンス、コスト、遅延に関するリスクが生じます。Cloudera では、データがすでに存在する場所にモデルを導入するというアプローチを取っています。セキュアな仮想プライベートクラウド（VPC）内、またはエアギャップ（完全にオフラインかつ孤立）されたオンプレミス環境内でも、このモデルツーデータ戦略により、情報のプライバシーとガバナンスが確保され、同時に高パフォーマンスの推論によって本番環境の AI を強化することができます。

長期的に予測可能な経済性

クラウド上で 24 時間 365 日 AI を運用すると、予測不能な費用が急増します。こういったリクエストごとの料金では、使用量に応じて変動する予算を組まねばならず、長期的に予測することが困難になります。組織がすでに所有および管理しているインフラストラクチャに推論を移行することで、チームはこれらの外部使用料を回避できます。AI が安定した実稼働状態に移行すると、コストを予測しやすくなり、ワークロードの拡大に応じて投資収益率が向上します。

コントロールと選択

ほとんどのクラウド AI プロバイダーは、顧客を独自のエコシステムに誘導しているため、モデルの切り替え、拡張、または完全な制御が困難になっています。Cloudera AI Inference Service では、知的財産の管理や所有権を放棄することなく、NVIDIA の Nemotron のようなオープンソースの GenAI LLM から従来の予測モデルまで、幅広い AI 機能を展開できます。Cloudera AI Inference サービスは、NVIDIA AI スタック（NVIDIA Blackwell GPU、NVIDIA Dynamo-Triton、高性能でスケーラブルなモデル提供のためのNVIDIA NIM マイクロサービス）によって加速され、AI インフラストラクチャの柔軟性、移植性、将来性を維持しながら、自由なイノベーションを可能にします。

成功事例：オンプレミス対応 Cloudera AI Inference Service の早期導入

Cloudera AI Inference Service は、オフライン環境、ソブリンインフラストラクチャ、レイテンシーが重要となる運用など、クラウドが利用できない場所で新しい AI ユースケースを実現します。ここでは、Cloudera AI Inference Service によって実現され、早期導入を行った組織によってすでに実行されている 3 つの実際のシナリオをご紹介します。

国家安全保障：決して眠らず、漏洩もしない、隔離されたインテリジェンス

国防において、スピードと安全は譲れません。しかし最近まで、諜報員は機密性の高いオフライン文書を手作業で精査するのに何千時間も費やしており、プロセスによって遅延が生じ、量に圧倒され、公開されている AI ツールを漏洩のリスクなしに活用することができませんでした。

今では、Cloudera AI Inference Service がエアギャップ環境で稼働しているため、防衛機関は膨大な文書コレクションを数秒でスキャンして要約する強力な LLM アシスタントを配置できます。これらのモデルは完全にオフラインで動作します。インターネットがなく、クラウドに依存せず、データ漏洩もなく、アナリストはセキュリティを損なうことなく迅速な意思決定を行うことができます。

グローバルファイナンス：即時運用、データ漏洩ゼロ

国境を越えた金融には数十もの言語が存在します。以前は、契約書、不正報告書、コンプライアンス更新などの文書を翻訳する際には外部ツールを使用せざるを得ず、データ漏洩や監査可能性をめぐる深刻な懸念が生じていました。

現在、世界トップクラスのクレジットカードプロバイダーの 1 社が、Cloudera AI Inference Service を精査し、200 以上の市場でリアルタイムに機密通信を翻訳する多言語モデルのオンプレミス展開を完全な内部管理下でテストしています。自社のインフラストラクチャ上で推論を実行することで、内部運用の迅速化と顧客対応時間の短縮を実現し、同時にサードパーティーの API に伴うコンプライアンスリスクを回避しています。

公共部門：すべての従業員のための AI エージェント

政府機関は、より多くの人々に、より迅速にサービスを提供するというプレッシャーにさらされていますが、職員は時代遅れのポータルや分厚い政策マニュアルに頼っていることがよくあります。プライバシーの規定や予測不可能なコストのため、公共の生成 AI ツールは選択肢にはなりません。

Cloudera AI Inference Service の初期実装では、内部機関文書に基づいてトレーニングされたオンプレミスの AI チャットボットをサポートしています。これらのエージェントは、データ、プロンプト、出力を完全に制御しながら、スタッフと構成員が複雑なトピックを迅速かつ自信を持ってナビゲートし、即座に回答を提供するのに役立ちます。

将来を見据えて：AI の未来はデータが存在するあらゆる場所にある

Cloudera AI Inference Service は、お客様のデータが存在する場所にモデルを導入することで、予測可能なコストと幅広い実稼働モデルから選択できる柔軟性により、企業が独自の条件でインテリジェンスを拡張できるよう支援します。エアギャップ環境のセキュリティ要件に対応するためであれ、大量のグローバルオペレーションを最適化するためであれ、実稼働グレードの AI への道は今、開かれています。

Cloudera AI は、生成型 AI やエージェント型 AI から従来の機械学習まで、データ資産全体にわたってあらゆる種類の AI を構築、展開、管理するための信頼できる基盤です。

拡張する準備はできていますか？インフラストラクチャによって AI 戦略が制限されないようにしましょう。Cloudera AI Inference Service のウェブページでユースケースのデモをご覧いただけます。詳細を解説しているこちらのウェビナー (英語) もご利用いただけます。また、「あらゆる場面で AI を活用」する方法を説明するデモをご予約ください。

この記事は、2026/2/10に公開された「You Can Build It Yourself, But Should You? Protecting the Value of Modern Data Platforms」の翻訳です。

組織は最新のデータプラットフォームに不用意に投資するわけではありません。リアルタイムの不正検出やグローバル在庫の可視化から、民間 AI の対応状況や複雑な規制環境での一貫したガバナンスまで、幅広いミッションクリティカルなニーズに対応するために投資しています。

これらの成果を念頭に置いて、社内の担当チームは迅速に行動し、目的を持って構築する準備を整えます。しかし、意図を効果と価値に変換するのは予想以上に難しいことだと気づくまでに、それほど時間はかかりません。

複雑な環境では、実装の初期段階における決定によって、プラットフォームが耐久性のある基盤になるのか、それとも高価ながらも期待どおりに機能しない機能になるかが決まることがよくあります。

価値実現までのスピードに経験がものを言う理由

問題は、多くの場合、実装がチェックリストとして扱われる点にあります。つまり、特定の成果へとつながる段階的な手順として捉えられがちですが、実際には意思決定ツリーなのです。その過程で下されるそれぞれの選択によって、チームは全く異なる道に導かれ、その場では必ずしも明らかではない長期的な結果をもたらす可能性があります。

こうした学習曲線にはコストがかかり、リリース後も長期間にわたって柔軟性、規模、信頼を制限してしまうアーキテクチャとガバナンスの決定を静かに固定し、総所有コストと価値実現までの時間を大幅に長引かせる可能性があります。

プラットフォームとソリューションの実装に関して豊富な経験を持つチームであれば、熟練した視点でこれらのプロジェクトに取り組みます。経験豊富なチームは早い段階でパターンを認識し、どのトレードオフが実際に重要か（そしてどれが重要でないか）を把握し、理想化された条件ではなく実際の運用条件に合わせて設計します。こうしてプラットフォームから得られる長期的な価値を保護し、持続可能な成果への道筋を加速する早期の決定を形成します。

実践におけるプロフェッショナルサービス & トレーニングの重要性

ここでプロフェッショナルサービス & トレーニング（PS＆T）の出番です。新しいプラットフォームを購入してから組織全体に採用されるまでのギャップを埋めるために協力するチームです。このフェーズは、プラットフォームのライフサイクルにおける重要な時期です。これらの初期段階は、組織が長期的な成功を収めるための準備となるからです。

PS&T の業界特化型の専門家は、プラットフォームの採用やユースケースの実装時に社内チームの延長として機能し、同様の複雑な環境で何百回も繰り返してきた経験による知見を提供します。早期の意思決定を形成し、トレードオフを調整し、データフロー、ガバナンス、セキュリティ、統合における一般的な落とし穴を回避する手助けをしてくれるので、基礎的な部分を作り直す必要があることに気づくのが遅過ぎるということがなくなります。同様に重要なのは、その知識を社内チームにフィードバックし、プラットフォームの長期的な所有権、信頼、自立性が社内に維持されるようにすることです。

PS&T を早期に参加させることで、組織は評価から実行までより迅速かつ自信を持って移行でき、途中で予期しない課題が発生することを回避できます。パイプラインの調整、ガバナンスモデルの再検討、スケールに合わせた改修に何か月も費やさずに、チームは目下のユースケースに対応し、時間の経過とともに成長するように設計された基盤から始めることができます。

「ただ機能する」だけでは足りないとき

プラットフォームが稼働すると、チームは作業完了と考えがちですが、実際にはそれは始まりに過ぎません。必要なツールが揃っているにもかかわらず、多くの人は依然としてデータから真の価値を引き出すのに苦労しています。真の価値を引き出すためには、信頼を構築し、採用を拡大し、自信を持って洞察を運用化する必要があります。

プラットフォームを立ち上げることと、実際にそれを使用することの間に生じるギャップは、多くの場合、微細な、ゆっくりと進行する問題によって生じます。そういった問題が、すぐにシステムを完全に破壊するわけではなく、静かに信頼を蝕むのです。時間の経過とともに、使用の断片化、シャドーシステム、取り組みの停滞、プラットフォームの ROI に対する懐疑心の高まりにつながる可能性があります。これらの問題が認識される頃には、勢いを回復するのが難しい状況になっているかもしれません。

初期段階の決定により、プラットフォームが基盤となるか、徐々に脇に追いやられるかの軌道が決まります。

規制環境における AI 主導のユースケース

この傾向は、規制や運用が複雑な、混沌とした現実世界の環境ではさらに顕著になります。初期段階の決断によって、例えば民間の AI イニシアチブが耐久性のある資産となるか、あるいは新たなリスクをもたらすかが決まります。

ヘルスケア

ヘルスケア分野では、プライベート AI によって、管理ワークフローの自動化から高度な画像診断や診断のサポートまで、幅広いユースケースが可能になります。しかし、そのメリットの実現は、どのモデルも訓練されるずっと前から始まります。

すべてのスタート地点は基盤です。ハイブリッド環境全体でデータを統合し、適切なアクセス許可、タグ付け、コンテキスト化を確保することが重要です。このような構造がなければ、AI の出力は信頼されるために必要な臨床的または規制上のコンテキストを欠き、意思決定の完全性、防御性、コンプライアンスを損なう可能性があります。このような環境では、AI 機能が信頼される臨床ツールに成熟するか、ガバナンスやデータアクセスの制限に制約されたままになるかは、初期段階の導入決定によって決まります。

通信

通信機関も同様の課題に直面しています。データは、多くの場合、複数の地域や規制管轄区域にまたがる、高度に分散されたインフラストラクチャ全体で継続的に生成されます。

プライベート AI は、リアルタイムの脅威検出、停電予測、ネットワークの最適化を可能にしますが、ガバナンス、リネージュ、アクセス制御が一貫している場合に限ります。これらの基盤が不均一な場合、AI 主導の洞察は表面上は実用的に見えても、実際に役立つために必要なコンテキストが欠けている可能性があります。

AI イニシアチブ（ここで使用した例）ではこれらの課題がすぐに表面化する傾向がありますが、分析の最新化、規制報告、運用インテリジェンス、信頼できる適切に管理されたデータに依存するあらゆるユースケースにも同じダイナミクスが当てはまります。いずれにせよ、成功はモデルがどれほど洗練されているかではなく、データのアクセス、セキュリティ、解釈の方法を形作るアーキテクチャとガバナンスの早期決定の一貫性にかかっています。

実装から導入へ：推進力の構築方法

適切な技術的基盤があっても、データプラットフォームの価値をすぐに最大限に実現できるわけではありません。これは、社内の担当チームが結果を検証し、使用を拡大し、洞察を日常のワークフローに統合するにつれ徐々に自信を構築していく計画的なプロセスです。

成功するチームは、実装をゴールではなく旅の始まりとして捉える傾向があります。適切に範囲が定められたユースケースから始め、結果に対する信頼を構築し、自信を深めるにつれ計画的に拡張しています。

プロフェッショナルサービス & トレーニングはガイドの役割を提供できます。社内チームと連携体制を組んで採用の順序を決定し、使用が拡大されるにつれてガバナンスを強化し、新しい AI のユースケースを推進し、やりなおし作業をすることなく前進する勢いを維持します。その結果、時間の経過とともに着実に価値を証明し、当初の投資を保護し、分析、AI、将来のデータイニシアチブの信頼できる基盤となるソリューションが実現します。

++

プラットフォームの立ち上げからその価値の実現までの流れを検討している組織のご担当者は、Clouderaのプロフェッショナルサービスのページをあわせてご確認ください。

この記事は、2026/2/17に公開された「#ClouderaLife Employee Spotlight: Meet Josephine Tan, Cloudera’s Senior Director, Human Resources, APAC」の翻訳です。

Cloudera では、従業員の福利とキャリア形成に重点を置いた環境を育むことに誇りを持っています。2025 年の年末には、そのコミットメントが認められ、複数の Cloudera オフィスに「Best Places to Work (最高の職場)」の栄誉が授与されました。その中でもシンガポールオフィスは、結束力が強く、非常につながりのあるチームです。その成功を支えているチームメンバーに、アジア太平洋（APAC）地域の人事担当シニアディレクター、Josephine Tan がいます。

まもなく入社 6 年目を迎える Josephine は、シンガポールオフィスの文化の確固たる基盤を共有できることを誇りにしています。「文化が強くなれば、チーム内の信頼も深まります。私たちは人々に力を与えます。そこには信頼と誠実さのレベルの高さがあります」と彼女は話してくれました。

今年のこの時期、オフィスでは、四半期末であろうと旧正月の始まりであろうと、大小さまざまな成功を祝うことを楽しみにしています。「一生懸命働き、一生懸命遊ぶ。まさにシンガポールチームが信じていることです。」

ここで少し、Josephine Tan について紹介します。Cloudera での彼女の歩みを探り、この新しい季節の始まりに、旧正月というイベントがシンガポールオフィスをどのように結束させているかを見てみましょう。

Josephine Tan の紹介

Josephine は 2020年3月、ロックダウンが実施される数日前に Cloudera に入社しました。当時、新しい仕事のコツを学ぶだけでなく、事業はオンラインで行われていたため、まったく未知の職業環境を乗り切る必要がありました。「幸いなことに、成長マインドセットは Cloudera の DNA の一部です。」

Josephine は、人材の育成、前向きな文化の形成、組織の成長の支援に重点を置きながら、地域の人材戦略を主導することに尽力しています。彼女は常に、すべての活動の中心にコミュニティを据えています。

「シンガポールの従業員を動かしているのは、ひとつの目的、ひとつの目標です。すべては『私たち』の力にかかっているのです」という信条が、Josephine の道しるべです。「私はチームの専門知識を育むことを信じています。」

「ここは自分が変化を起こせる場所と考えています。人事はメンテナンスだけが目的ではなく、変化を可能にすることが目的です」というように、Josephine にとって人事の役割は、まさに進歩を促すことです。

実行可能な変化を推進するという彼女の熱意は、仕事と課外活動の両方に表れています。仕事以外でも、彼女は慈善活動や公共奉仕を優先しています。「自由時間には、『どうすれば地域社会に貢献できるだろうか？』と自分自身に問いかけています。」それは、影響力と意義に根ざした、リーダーシップとライフスタイルに対する彼女のアプローチを定義する問いかけです。

シンガポールの協働的な性格

リモートワーク環境という考えは、新たな課題を提示したかもしれませんが、障害にはなりませんでした。むしろ、他の Clouderans とのつながりを深め、育む新しい機会になりました。「完全なリモートワークからオフィスに戻るという贅沢さを歩んできたため、私たちは今とても仲良く結束しています」と彼女は力を込めて語ります。この共通の経験からチームが団結し、仕事への献身ぶりが強化され、再確認されました。

シンガポールオフィスの何が特別なのかと尋ねると、Josephine は嬉しそうに「人々です」と答えました。彼女は、この特性はシンガポールに根付いた国際的な歓迎の精神から生まれたものだと信じています。「この 1 つの小さなオフィスにも、すぐに 5 つの異なる文化をあげられます」と彼女は言います。多様性に富んだオフィス構成により、チーム間の協力と一体性の精神が育まれています。これがこのオフィスが堂々の 2 年連続で「Great Place to Work (働きがいのある職場)」として認められた大きな理由です。

旧正月を祝う

この連帯感は、職場で団結して旧正月などの特別な行事を祝う様子に表れています。「どの国籍の方も歓迎され、そういった環境を大切にしています」と Josephine は語ります。シンガポールオフィスのお気に入りの旧正月の行事の一つは、繁栄を祈願するサラダ、「ユーシェン」です。みんなで集まり、縁起の良い言葉を叫びながら、千切りした野菜、クラッカー、新鮮な魚介類などの材料をミックスして空高く投げます。彼女の説明によると、豊かさと活力を象徴するお祝いの伝統である「七面鳥をクリスマスに食べるようなもの」だそうです。

シンガポールの Clouderans は、オフィスの飾り付けをしたり、オレンジをギフトとして交換したり、四半期末の特別なランチを楽しんだりして、この祝日を祝います。このランチでは大抵、繁栄を願うサラダが主役です。テーマに合わせてドレスアップも楽しんでいます。「デニムにゴールドや赤をアクセントにした服を着ます。赤は旧正月の色で、縁起の良いと言われます。」

Josephine は、このようなアクティビティを主催していることからも、オフィスの絆が育まれると考えています。これは Cloudera の経営陣が、インクルーシブな地域主導の文化構築への取り組みの一環として、イニシアチブをグローバルに助長している一例です。旧正月の価値観である再生、再会、そして功績を讃えることは、「これまでビジネスを構築してきた時間を祝い、感謝と評価を表し、共有のコミットメントを強化し、そして新しい章に向けて前を向く時」として、シンガポールの Cloudera に反映されています。

終わりに

Josephine の貢献とコミュニティへの献身は、Cloudera の思いやりのある、人を中心に置いた文化の好例です。彼女のストーリーは、先を見越した取り組みと協力がいかに意義ある成長と強い絆につながるかを示しています。Josephine にとって Cloudera は、これらの価値観を実践するのに完璧な場所です。

他の Clouderan の話を聞き、Cloudera でのキャリアキャリアの機会を検討してみませんか？

実際に動作を見る

実際のデータインテリジェンスプラットフォームがどのようなものか、ご興味がおありですか？
データをコピーしたりガバナンスを損なったりすることなく、Cloudera が管理する Iceberg テーブルを Snowflake と Databricks でクエリする方法をご覧ください。

インテリジェンス第一のプラットフォームへの移行方法

インテリジェンスプラットフォームを採用するということは、インフラストラクチャだけでなく、組織がデータについて考え、信頼する方法においても根本的な変化を意味します。移行期間は、チーム全体の信頼性、統合、採用に対する期待を設定するため、特に重要です。初期段階で失敗があると、長期間の採用過程で長引く課題や、抵抗が生じる可能性があります。

この移行がうまくいけば、安定性と進歩のバランスが取れ、極めて重要なプロセスの実行を続けながら、自信と勢いを築く早期の成果が得られます。

Cloudera のプロフェッショナルサービス & トランスフォーメーション（PS&T）チームは、組織がこのシフトを慎重に進め、一般的なアーキテクチャの落とし穴を回避し、将来の分析と AI のユースケースをサポートする耐久性のある基盤を構築できるよう支援します。

当社の PS&T 機能の詳細については、こちらをご覧ください。

この記事は、2026/2/9に公開された「The Next Evolution of Enterprise Analytics – The Data Intelligence Platform」の翻訳です。

データストレージを統合して簡素化するレイクハウスによって、企業の多くの問題が解決されました。しかし、エンタープライズレベルの運営環境は変化しています。今日、組織はより多くのツールを連携させ、より多くのデータを管理し、AI を運用化し、増加する規制の精査に対応しています。

その結果、データは臨時あるいは個別にクエリするものとして扱うことができなくなりました。現在、データは運用可能である必要があります。つまり、組織全体で、リアルタイムに使用でき、意思決定を自動化し、AI 主導のワークフローに対応できる状態が必要です。この変化により、アーキテクチャはレイクハウスを超えて、より動的なデータインテリジェンスプラットフォームへと推移しています。

何が変化したのか？ 分析がマルチプラットフォームに

現代の企業は、ビジネスインテリジェンスやレポート作成、リアルタイム分析、観測可能性、機械学習、AI を含む幅広いワークロードに対応するために、複数の分析プラットフォームに依存しています。

同じデータでも、各チームに独自のニーズがあります。実際には、プラットフォームの選択は、アーキテクチャの純粋性よりも、生産性とスピードによって決まります。そのデータの多くは、オンプレミスまたは規制された環境に残っているため、クラウドへの移動は実務的ではなく、許可されてもいません。

元のレイクハウスモデルでは、少数の分析プラットフォームへの収束が想定されていました。それに反し、現実ではツール、ユーザー、ワークロードが収束しませんでした。そのため今の課題は、一貫性やコントロールを犠牲にせずにその多様性を支援することです。

データをプラットフォーム所有として扱うコスト

レイクハウスの実装にもかかわらず、エンタープライズデータは、それを管理するプラットフォームに密接に結合されたままになることがよくあります。別のプラットフォームからデータにアクセスする必要がある場合、その環境に合わせてデータはコピー、変換、またはエクスポートされることがよくあります。

時間とともに、これらのさまざまなプラットフォームでデータの一貫性を保ち、アクセスできるようにすることが課題になります。データセットの重複、脆弱なパイプライン、洞察の遅れ、一貫性のないガバナンスによって、運用上のリスクがもたらされ、コストを押し上げます。

その結果、支出の増加、複雑さの増大、データとその出力に対する信頼の低下という、よくあるパターンが生まれます。

レイクハウスからインテリジェンスインフラストラクチャへ

レイクハウスによって、断片化された分析環境が構造化され、データシステムの連携が容易になりました。企業が本格的なデータインテリジェンスプラットフォームの時代に突入すると、焦点は変わります。

個々のツールでデータが形成されて所有されるのではなく、データが物理的に存在するあらゆる場所、つまりアーキテクチャの基盤となるのです。すべてのツールは、データを分離された環境に引き込み、サイロ化された出力を生成するのではなく、共有データレイヤーの上に配置されます。

この変化により、チームは各ワークロードに適したコンピューティングエンジンを選択できるようになります。SQL 分析、大規模処理、または AI であっても、同じ管理された信頼できるデータ基盤上で運用しているという確信を持てます。

データインテリジェンスプラットフォームとは？

データインテリジェンスプラットフォームとは、データの共有インフラストラクチャです。都市のインフラストラクチャをご想像ください。道路や電力、水道設備など、あらゆる建物が利用し、依存している構造です。

同様に、データインテリジェンスプラットフォームは、さまざまなツール、コンピューティングエンジン、アプリケーションを強化する集中型の基盤を提供し、ガバナンスとコンテキストは後から追加されるのではなく、設計段階で組み込まれています。

次のような特徴があります。

• オープンデータ形式に基づいて構築された共有データレイヤー

• 構造、意味、履歴を捉えた豊富なメタデータの系譜

• データとともに移動する組み込みガバナンス

• 複数の分析エンジンおよび AI エンジンをサポート

• ゼロから再構築することなく進化する能力

オープンな基盤によってデータインテリジェンスを実現

このようなプラットフォームは、オンプレミス、クラウド、エッジ、またはそれらの組み合わせであっても、あらゆるツールと環境との間でデータを安全に共有できる場合にのみ機能します。オープンテーブル形式は、異なるエンジン間の相互運用性を可能にする共通の基盤です（都市の比喩表現を引き続き利用するならば、誰もが移動しやすい都市を実現する建築基準法や道路基準に例えられます）。

これらがなければ、ツールを接続するということは、多くの場合、形式の不一致、レイテンシーの矛盾、独自のロックイン、または地理的境界を越えて管理する必要があるデータに対処することになり、監査可能性の低下、データの表示の一貫性のなさ、信頼に関する課題の増大など、よくある問題点が発生する可能性があります。

対照的に、オープンフォーマットであれば、ロックインが減り、拡大するツールのエコシステムに対応できます（つまり、一度設定するだけで、技術スタックに合わせて徐々に拡張できます）。そのためどのエンジンがアクセスを必要とするかに関係なく、ガバナンスポリシーを一度定義して、あらゆる場所（データを簡単に移動できない場所を含む）に適用することが容易になります。また、AI 主導のシステムに一貫した「メモリレイヤー」が作られ、組み込みのトレーサビリティと履歴コンテキストにより、信頼性、監査性、適応性が向上します。

オープンフォーマットと組み込みガバナンスがなければ、インテリジェンスはすぐにサイロ化され、データインテリジェンスプラットフォームが提供するように設計された利点そのものが損なわれます。

この記事は、2026/1/28に公開された「Cheers! To Professional Growth With Toastmasters」の翻訳です。

Cloudera の文化は、エンパワーメント、継続的な学習、そして個人としても職業的にも人々が成長できる空間の創造に根ざしています。これは、世界中のすべての Clouderans (Cloudera社員) に反映されている考え方とアプローチであり、誰もが新しいことに挑戦して成長する力を与えられていると感じることができる環境を構築しています。

この文化が実際に機能している素晴らしい例は、アイルランドのコークにいる当社のチームです。ここでは、グローバルオーダー管理シニアマネージャーの Noel Hayes をはじめとする Clouderans の熱心な努力のおかげで、オフィスでトーストマスターズクラブ (パブリックスピーキングとリーダーシップを学ぶ国際的な非営利団体) が発足しました。活気に満ちた完全対面型のコミュニティは、わずか 1 年でメンバーの自信、コミュニケーション能力、リーダーシップの成長に意義深い影響を与えてきました。

ここでは、Noel がどのようにしてクラブを軌道に乗せ、他の人々に参加する勇気を与え、その足跡を拡大し続けたのか、彼自身の歩みを紹介します。

成長と理解の環境を創造する

Noel は個人的に長年トーストマスターズに参加しており、構造化された公開スピーチの練習によって自信と専門的な能力がいかに形成されるかを理解していました。キャリアの初期にはプレゼンテーションに苦労していましたが、定期的にクラブに参加し、話す役割とリーダーシップの役割の両方を担うことで自信をつけ、存在感をもって主導する能力を強化しました。

Noel は同じ成長経験を同僚にも提供する機会を見出しました。当初、Cloudera の経営陣は、コロナが落ち着いて社員がオフィスに戻り始めたらこのアイデアを再検討するよう勧めました。そして、2024 年後半の最初の集まりを皮切りに、2025 年には正式なクラブが設立されました。今日、クラブの会員数は 40 人を超えています。

2 週間ごとに会合を開き、メンバーがスピーキングの練習をしたり、リーダーシップやリスニングスキルを強化するさまざまな役割を担ったり、体系的なフィードバックや経験の共有を通じて互いに励まし合ったりしています。

環境はとても歓迎ムードにあふれています。メンバーは、かつて人前で話すことが怖いと感じていた人や、これまでこのような役割に就いたことがない人まであらゆる人が参加しています。

プロフェッショナルとしての成長に挑戦する

このグループが好影響を与えた例を挙げましょう。シニアセールスオペレーションアナリストの Barry O'Driscoll の経験です。Noel との会話が切っ掛けとなり、Barry はトーストマスターズクラブと関わりを持つようになりました。話はあっという間に進み、Barry はグループに加わり、最終的には内部コンテストに出場して 2 位を獲得し、その後、国際トーストマスターズイベントでも 2 位という成績を残しました。

これはトーマスマスターズの参加者の一例にすぎません。戸惑うこともあるかもしれませんが、小さく始めることはできます。O’Driscollは、「とにかく会合に参加してみてください。会場のエネルギーを体感し、どうすればいいかがわかれば、目からうろこが落ちる感覚を味わえるはずです」と話しています。

これらの経験は、コーク・トーストマスターズクラブのような場が、Cloudera の大きな価値観とどのように一致しているかを示しています。Cloudera は、従業員が自らイニシアチブを取れるようにし、学習の場を提供し、一人ひとりの成長の旅を支援することで、安心して成長し、有意義に貢献できる文化を築き続けています。

より強固なコミュニティを育む

トーストマスターズは、コークオフィスの Clouderans にとって、スキルを磨き、仕事の中で不安を引き起こす要素に慣れ、自分のコンフォートゾーンから一歩踏み出すための強力なツールです。しかしそれ以上に、従業員がより広いコミュニティ意識を築くことができる場所です。多くの場合、自分の役割や関与している業務の種類に基づいて、グループに細分化されがちです。

このクラブは、人事部からエンジニアまで、誰でも参加できます。どの会合でも、実際には決して出会うことのない人と交流する機会があるかもしれません。クラブは完全に対面式のため、メンバーはより深いレベルでの信頼関係を築き、お互いの専門能力開発をサポートする機会が得られます。

未来への展望

トーストマスターズクラブが発展するにつれ、メンバーは、トーストマスターズの体系的な学習プログラムを進め、優れたステータスを獲得し、コミュニティ内の他のクラブとつながるという新しい目標を設定しています。また、このモデルが Cloudera の他の拠点の従業員をどのようにサポートし、共有学習体験を通じて自信とコミュニティの構築を支援できるかを調査することにも関心が集まっています。

コーク・トーストマスターズクラブの成功から、発展にはさまざまな形があり、人々が励まされ、サポートされ、信頼されてリーダーシップを発揮すると、人の可能性というものは、かつて信じていたよりもはるかに拡大されるということがわかります。

Cloudera でのキャリアについては、こちらをご覧ください。Cloudera が社員の学び、成長、活躍のための職場作りをどのように支援しているかについてもご紹介しています。

この記事は、2026/1/27に公開された「Openness in the Age of AI」の翻訳です。

AI 革命が 1 つの普遍的なデータ管理の真理をもたらしたとすれば、それはデータ資産全体にわたるオープン性と相互運用性が求められるということです。結局のところ、AI が優れている点は、実際にアクセスできるデータによってのみ決まります。

企業はもはや切り離されたレガシー技術に投資する意欲はありません。サイロのコストはかつてインフラストラクチャだけで測定されていましたが、価値実現までの時間の損失と大規模な AI 実行の不可能性で測定すると、今では飛躍的に高くなります。このような状況を踏まえると、企業はデータアーキテクチャを見直さずにはいられません。

Cloudera では、オープン性を 3 層のデータ管理アーキテクチャとして定義しています（図 1を参照）。

• オープンコンピューティング：データがどこに保存されているかに関係なく、任意のエンジンを使用できる機能

• オープンカタログ：異なるデータアクセス層間でスワップインとスワップアウトや相互運用が可能で、表示エンジンに関係なくスキーマとガバナンスの整合性を確保する機能

• オープンデータ：データ資産をどこにあっても移動してアクセスできること

もっと広い意味で言えば、オープン性こそが Cloudera の中核です。

• Apache Iceberg の初期提唱者：Cloudera は 2021 年からパブリッククラウドのレイクハウスで Iceberg のサポートを開始しました。他のベンダーもすぐに追随しました。これは、Iceberg がオープンテーブル形式の勝者であることを事実上認めたことになります。2024 年、Databricks は、オープンガバナンスと洗練された機能を評価して Tabular を買収しました。2025 年、Snowflake と Amazon Web Services（AWS）の両社は、Iceberg のサポートと機能の拡大に投資しました。

• オープンソースの基盤とエコシステム：2008 年の設立以来、オープンソースコミュニティに深く関わっている Cloudera は、オープンソースのデータレイクテクノロジーを商業化した最初の企業であり、50 以上のオープンソースプロジェクトに貢献し、サポートを続けています。Cloudera のオープンソース基盤は、独自のオーバーレイによって顧客をロックインするベンダーと比べてはるかに簡単に、顧客が Cloudera ディストリビューションをオプトインまたはオプトアウトできるようにすることで、選択の自由を提供します。Cloudera の顧客は、縛りがないにもかかわらず、自ら使い続けることを選択しているのです。

• データ管理スタック全体の相互運用性：オープンなコンピューティング、カタログ、データを提供することで、データ管理スタックの各レベルでの相互運用性が確保され、顧客はゼロから構築することなく AI 時代に真に勝利することができます。さらに、Cloudera は、どのコンピュートエンジンでも利用でき、データを任意のクラウドサービスプロバイダー（CSP）に配置する柔軟性を提供します。また、データの所在や使用するコンピューティングエンジンに関わらず、すべての機能に完全にアクセスできます。逆に、一部のベンダーは、スタックのすべてのレイヤーが同じプラットフォームで実行されているかどうかに基づいて機能へのアクセスを制限します。データを所有し、データをコントロールし、データを活用する。それが Cloudera の約束です。

AI 時代におけるオープン性の重要性についてより深く知りたい方は、当社のブログ「今存在する未来：AI 搭載のデータレイクハウス」をご覧ください。

この記事は、2026/1/26に公開された「2025 Was the Year the Cloud Reminded Us Who's Really in Control」の翻訳です。

障害が頻繁に発生する理由とその対策

2025年は、単一のクラウドベンダーに頼っていた企業にとって厳しい1年となりました。Snowflake の利用者は12月、スキーマの更新が複数のリージョンに波及し、13時間にわたってクエリがブロックされるのをなすすべもなく見ていました。また、Databricks のユーザーも数日間にわたって AI サービスの低下に対処する羽目になりました。

10月には Amazon Web Services（AWS）の US-East-1 リージョンが15時間にわたってダウンし、DynamoDB に影響を与える DNS エラーにより 1,000 社以上の企業がダウンしました。さらに6月には、Google Cloud の Service Control バイナリにおける null pointer 例外により、Cloud Storage、Compute Engine、BigQuery など、複数のシステムが数時間にわたり無効化され、Spotify、Discord、OpenAI にも波及効果が及びました。

どのインシデントにおいてもパターンは同じでした。利用者はステータスページを更新し、他の誰かが問題を解決するのを待っていたのです。ベンダーは障害が発生するかどうかではなく、障害が起きたときにどのような選択肢があるかで選ぶ必要があります。

繰り返されるパターン：グローバルリーチを持つ単一の障害点

Snowflake の12月のインシデントは、下位互換性のないデータベーススキーマの更新によって引き起こされました。バージョンの不一致エラーにより、AWS、Microsoft Azure、および Google Cloud Platoform (GCP) の複数のリージョンで操作が失敗したり、無期限にハングしたりしました。Snowflake の発表によると、影響を受けていないリージョンへのレプリケーションを事前に設定していた利用者を除いて、回避策はないとのことでした。その他全員がただ解決を待っていたのです。

Databricks の12月の障害（複数日にわたる）には、Unity Catalog の問題、複数のリージョンにおける計算能力の低下、数日にわたる Mosaic AI の障害が含まれていました。ステータス更新では、「潜在的な緩和策についてクラウドプロバイダーと連携している」と繰り返し報告されていました。このフレーズが依存チェーンのすべてを物語っています。Azure に何かあれば、Azure リージョンの Databricks 利用者にも悪影響があるということなのです。

Google Cloud の6月のインシデントでも同様の脆弱性が明らかになりました。このインシデントでは、空白フィールドの誤ったポリシーがグローバル設定テーブルに挿入され、数秒で世界中に複製されました。破損したデータによりクラッシュループが発生し、コアサービスが7.5時間停止したのですが、Google独自のステータスダッシュボードが当初利用できず、SRE チームは災害の範囲を確認することさえできなかったのです。

障害が物理的なものではなく論理的なものである場合、地域的な冗長性は役に立ちません。プラットフォームがグローバルに調整されたメタデータまたは共有構成に依存している場合、1つの不適切な更新があらゆる場所に伝播し、障害は地域を超えて広がります。

さらに、これらのシナリオでは、インフラストラクチャは分散されていますが、コントロールは一元化されたままです。Snowflake のコントロールプレーンが故障した場合、その下にある AWS、Azure、Google Cloud で実行されていることは関係ありません。Databricks が Azure の修正を待っている場合、マルチクラウドマーケティングは役に立ちません。単一障害点が最上位の独自のレイヤーだからです。

アナリストの声

Gartner®の2025年のクラウド導入動向分析によると、50％以上の組織でマルチクラウド導入時に期待された成果を2029年までに得られないと推定されています。ここでの根本的な問題は、環境間の相互運用性の欠如です。

調査会社 Forrester は「2026年の予測：クラウド障害、プライベートクラウド上のプライベート AI、およびネオクラウドの台頭」の中で、2026年に少なくとも2回、複数日に及ぶ大規模なクラウド障害が発生すると予測しています。ハイパースケーラーが AI ネイティブなデータセンターの構築を競う中、クラウド業界では大規模なインフラストラクチャの移行が進行しています。この投資には代償が伴います。従来の x86 および ARM 環境の優先順位は下げられ、複雑性が増す中で老朽化したインフラストラクチャが機能不全に陥ることになります。

同記事では、2026年に少なくとも15%の企業がプライベートクラウド上に構築されたプライベート AI の展開に移行すると予測しています。その要因は、AI コストの上昇、データロックインへの懸念、他者の優先事項に合わせて最適化されるインフラストラクチャに依存することによる運用上のリスクです。2025年の障害は、ワークロードがプロバイダーの最優先事項でない場合に、何が起こるかを予告する機会となったのです。

回復力を考慮した設計にCloudera を活用

ほとんどの企業は、意図的なアーキテクチャ計画ではなく、買収やシャドー IT、またはベストオブブリードのツールの選択に基づいて「偶発的なマルチクラウド」アーキテクチャを採用しています。ワークロードは複数のプロバイダーに分散されていますが、問題が発生したときにデータやワークロードを移動する能力がありません。

回復力を考慮した設計には、データとAIプラットフォームの移植性を確保し、フェイルオーバーの単一障害点を排除することが含まれます。

Cloudera プラットフォームはポータビリティを考慮して設計されており、環境間でのフェイルオーバーが可能で運用を維持できます。ワークロードやデータは AWS、Azure、Google Cloud、オンプレミス環境間で書き換えや摩擦、ベンダーのロックインなしに移動が可能。更新における変更も、グローバルであることや、下位互換性があることを強制しません。

避けられない障害が発生した場合も、別のクラウドにフェイルオーバーするか、ワークロードをデータセンターに戻すかを選択でき、ステータスページを見ながら待つ必要がありません。データの保存場所に関係なく、データをコントロールしながら、一貫した操作とコンプライアンスを維持できます。

Cloudera で回復力を考慮した設計を行う方法について詳しくは、弊社ブログ「データ回復力を考慮した設計：Cloudera で事業継続性を確保する方法」をご覧ください。

今後の展望

AI の構築はインフラストラクチャに負担をかけており、調査・分析専門企業は今後さらなる混乱（Forrester は数日間にわたる障害、Gartner は防衛的なマルチクラウドの導入）を予測しています。2026年も好調をキープする企業は、回復力をコンプライアンスのためのチェック項目の一つとして扱うのではなく、アーキテクチャの原則として扱う企業でしょう。

追加設定なしで使える、プッシュボタン式のクロスクラウドフェイルオーバー機能は、Cloudera を含め、どこにもありません。しかし、Cloudera は、その設計により、独自のプラットフォームでは実現できない方法で、回復力をサポートできる立場を確立しました。

2025年に起こった障害に不安を感じたのであれば、ぜひご相談ください。クラウドは他人のパソコンと変わりません。そのパソコンの調子が悪ければ、他のパソコンを使えばいいのです。

回復力を考慮した設計に Cloudera を活用する方法について詳しくは、プロフェッショナルサービスチームにお問い合わせいただくか、製品デモをご覧いただくか、5日間の無料トライアルにご登録ください。

この記事は、2026/1/23に公開された「Hybrid by Design: The New AI Mandate」の翻訳です。

過去 10 年近く、企業のテクノロジーに対する要求はシンプルでした。「クラウドファースト」、もっと正確に言えば「クラウドオンリー」です。モダン化とはパブリッククラウドへの移行を意味し、オンプレミスアーキテクチャは移行まで維持されるレガシーインフラとして見なされました。

そして現在、物語は AI をきっかけに劇的に変化しました。最近の ZDNet の記事は、Deloitte と 451 Research の調査を引用し、クラウドファーストの時代は終わりを迎え、より実用的なハイブリッド・バイ・デザインの時代に入ったと宣言しました。このアプローチにより、廃れた負債とされていたオンプレミスインフラストラクチャは、戦略的かつ最適化されたアーキテクチャの中心的な柱へと昇格します。

Cloudera は、まさにこの瞬間のために歩んできました。業界がクラウドオンリーへと大きく傾く中、Cloudera は組織が本当に必要としているのは「どこでもクラウド体験」だと気づきました。現在、市場が追いついてきており、企業は、ワークロードがパブリッククラウド、プライベートデータセンター、エッジの間で流動的に移動しなければならないという事実に気づき始めています。この記事では、変化が起こっている理由と、Cloudera がそれをリードする独自の立場にある理由を解説いたします。

推論経済の警鐘

この変化の主な原動力は、アナリストが「AI インフラストラクチャの再評価」と呼ぶものです。生成 AI（GenAI）の初期の頃、誰もがクラウドへと急ぎ、モデルを文脈化するための大規模な計算能力を求めました。しかし、組織が実験から実稼働へと移行するにつれて、数学的構造は変わります。

何が決定的な転換点になるのでしょうか。それは、推論にかかるコストです。モデルにコンテキストを与える作業は、大規模で一時的かつ突発的なコンピューティングでパブリッククラウドに向いています。しかしそのモデルを動かす（推論する）には 24 時間 365 日のコンピューティングが必要になります。AI を企業規模に拡張すると、クラウドでの推論コストやデータイグレス（データ転送料）といった継続的な費用が、手が出ないほど高額になってしまいます。

2026 年、求められる賢明な対応は、クラウドファーストではなくワークロードファーストです。

• パブリッククラウド：突発的なトレーニングワークロードや柔軟な実験に最適

• オンプレミス： 安定的に大量の本番推論を行うためのコスト効率のに優れたパワーハウス

• エッジ：光速がボトルネックとなるような、低遅延の意思決定には重要

Cloudera を活用して、ワークロードファーストのアプローチをシームレスに実行できます。Cloudera AI を使用すると、1 つのインフラストラクチャでワークスペースを立ち上げて、大規模なデータセットでモデルをコンテキスト化し、その後、リファクタリングすることなく、同じモデルを別のインフラストラクチャに展開して推論を行うことができます。ペタバイトものデータをコンピューティングに移動するための高コストを支払うのではなく、コンピューティングをデータに持ち込みます。これにより、機密 IP を保護するためにオンプレミスでトレーニングを行ってからクラウドにデプロイする、またはその逆など、現実に合ったデプロイメントパターンを選択できるようになります。

ハイブリッドフェイルオーバーによる回復力

企業がクラウドのみの戦略を再考しているもう 1 つの理由は、「集中リスク」です。もっと簡単に言えば、すべてのワークロードが単一のクラウドプロバイダーに結び付けられている場合、避けられない障害が発生すると、ビジネスも停止してしまいます。すべてのデータと AI 操作を単一のパブリッククラウドプロバイダーに依存すると、単一障害点が生じます。これはもはや単なるビジネス感覚の問題ではありません。規制当局は、集中リスクがシステム全体の大惨事を引き起こすのを防ぐために、DORA（デジタル運用レジリエンス法）などの枠組みを導入しています。

多くの人にとって、クラウドオンリーの回復力では不十分です。真の回復力には、停止状態を乗り切るためであれ、地政学的命令に従うためであれ、ワークロードを即座に移動する俊敏性が必要です。

ハイブリッドな世界では、レジリエンスは多様性から生まれます。適切なハイブリッドアーキテクチャにより、あるリージョンから別のリージョンへのフェイルオーバーだけでなく、パブリッククラウドからプライベートクラウド、さらにはあるハイパースケーラーから別のハイパースケーラーへのフェイルオーバーが可能です。

Cloudera は回復力のあるアーキテクチャをサポートしています。当社のプラットフォームは、環境間でデータ、メタデータ、セキュリティポリシーを複製するように構成できます。この構成により、強力な「どこでもフェイルオーバー」機能が確立されます。これらの構成を導入することで、停止したパブリッククラウドリージョンからプライベートデータセンターに移行する場合でも、突然のスパイクを処理するためにオンプレミスからクラウドに移行する場合でも、ミッションクリティカルなアプリケーションをあらゆる方向にフェイルオーバーできるようになります。

安全保障とガバナンス：主権の要素

クラウドファーストのアプローチのもう一つの障壁はガバナンスです。ハイパースケーラーとオンプレミスシステム間でポリシーが断片化されると、セキュリティ上の盲点が生じます。データ主権と規制圧力が高まるにつれ、企業は複雑なコンプライアンス要件に直面しています。GDPR や EU データ法などの地域規制、HIPAA や PCI DSS などの業界標準、あるいは IP 保護のための自主管理を遵守する際、組織は機密データを公共の環境にそのまま公開することはできないことを認識しています。代わりに、多くの企業は制御を取り戻すためにワークロードをオンプレミスに戻しています。

ここで課題が生じます。作業負荷を大幅に増やさずにハイブリッドエステートを管理するにはどうすればよいでしょうか？

Cloudera の統合データファブリックは、まずデータアクセスを解放し、場所に関係なくビジネスの視点から理解を自動化することでこの課題を解決します。この基盤を使えば、セキュリティやガバナンスをインフラから切り離してに運用できます。特定のユーザーの PII をマスキングするなどのポリシーを 1 回定義するだけで、そのポリシーはデータが S3 バケット、オンプレミスクラスター、エッジストリームのどこにあるかに関係なく適用されます。

さらに、Cloudera Data Lineage（旧 Octopai）を追加し、データの流れを自動化しエンドツーエンドで可視化します。これらの高度な機能により、チームは複雑なハイブリッド環境を横断したデータフローを追跡し、コンプライアンスと信頼を確保し、Cloudera は 2025 年第 4 四半期の The Forrester Wave™: Data Fabric Platformsでリーダーとして認められました。他社は別々のツールをつなぎ合わせているかもしれませんが、Cloudera はエクスペリエンス全体を保護および管理する統合プラットフォームを提供します。

すべてのハイブリッドアーキテクチャは一律ではない

2025 年の障害は、クラウドオンリーの時代の終焉を告げる決定打となったかもしれません。しかし、451 Research が指摘するように、組織がサイロと複雑さに苦しむことになる偶発的なハイブリッドアーキテクチャと、意図的にハイブリッド化（ハイブリッド・バイ・デザイン）されたアーキテクチャの間には大きな違いがあります。意図的に設計されたアプローチには、データセンター、クラウド、エッジ全体で複雑さを抽象化する一貫性のあるポータブルなプラットフォームが含まれ、レプリケーションを備えた統一されたデータファブリックによって支えられています。

2026 年以降、成功するためには、組織は偶発的なアーキテクチャを許容できません。Cloudera のハイブリッド・バイ・デザイン・アーキテクチャにより、企業はデータの保存場所について妥協する必要がなくなります。その代わりに、企業はデータの可能性を活かし始め、ハイブリッド環境特有の多様性を負担ではなく、戦略的資産へと変えることができます。

当社は、データが存在する場所にクラウドの最良の部分をもたらすことで、一貫したクラウド体験を提供します。これには、コスト効率、スケーラビリティ、弾力性、俊敏性の向上、IT労力の削減、イノベーションへのより迅速なアクセス、高可用性が含まれます。Cloudera は、クラウド、データセンター、エッジを問わず、あらゆる場所のデータにAIをもたらす唯一のデータとAIプラットフォーム企業です。

Cloudera でハイブリッド・バイ・デザインのアーキテクチャを構築する方法について詳しく知りたい方は、プロフェッショナルサービスチームにお問い合わせいただくか、製品デモをご覧いただくか、無料の5日間トライアルにご登録ください。

リフレッシュ休暇に関して伝えたいことはありますか？

「これは単なる休暇ではなく、長い別れの前に、この瞬間を心ゆくまで楽しむために必要な休息なのです。」- 契約部門シニアマネージャー、Jennifer Parker

「この数日間は本当に楽しく、最高でした。従業員として、心をリフレッシュし、仕事に戻った時に100%の力を発揮するうえで、こういった休暇は特に重要です。」- ソフトウェア QA エンジニア、Gaurav Sharma

「リフレッシュ休暇では、仕事から離れて充電し、集中力とエネルギーを取り戻す自由が得られます。これは信頼と人材を第一に考える企業文化の証です。」- スタッフ・ソフトウェア・エンジニア、Vishnuprakash Palanisamy

Cloudera がすべての従業員にとってインクルーシブで協力的な職場環境の構築を支援する方法について詳しくは、こちらを覧ください。

「リフレッシュ休暇はいつも、想像以上に実りの多いものになります。今回も、人生と人生がもたらすサプライズにおいて新鮮な視点を与えてくれました。また、これまでの休暇がそうであったように、心に深く刻まれていた哲学的な問いへの答えも見つかりました。」- ソフトウェアエンジニア II、Shivam Kumar

「4人の子供や家族と過ごしたり、ロボット犬の開発に取り組むことができました。」– EMEA 担当フィールド CTO、Christopher Royles 博士

「ブラジルは夏なので、景色のいい場所でサイクリングトレーニングをしました。」- ソリューションズエンジニアリング部門シニアマネージャー、Everton Fernandes

「タレント・アクイジション・チームにとって最もやりがいのある瞬間の1つは、候補者が友人やソーシャルメディアを通じて、会社が提供するリフレッシュ休暇について聞いたことがあると言ってくれたときです。仕事のためだけでなく、個人の時間を尊重していることが理由で働きたいと思ってくれているなら、企業文化が浸透しているということです。」- APAC 担当タレント・アクイジション・ディレクター、Rachit Chandra

「チェンマイの山にある木の家に泊まり、瞑想したり、読書をしたり、都会の生活リズムから離れた日々を満喫しました。」– シニア・タレント・アクイジション・アドバイザー、Ziyang Yang

「パントマイム、クリスマスマーケット、外食、ロンドンツアー、大晦日のクリスマスライトや花火ショー鑑賞など、家族や友人と時間を過ごすことができました。」- EMEA担当シニア・プラクティス・マネージャー、Deepa Pednekar

「オフィスに戻ったときに大量のメールが待っていることを気にせず、完全にリラックスできるのは本当にありがたいです。充実した休暇を取れることで生産性が上がり、休暇後にベストを尽くすモチベーションが上がります！」 - シニア・スタッフ・エンジニア、Stamatis Zampetakis

リフレッシュ休暇を提供する会社で働くことは、あなたにとってどのような意味がありますか？

「忙しい母親、妻、社会人として、子供の学校のスケジュール、ホッケーの大会、体操の大会など、必要な時に休みを取れる柔軟性はとてもありがたいです。Cloudera のリフレッシュタイムは、罪悪感を感じることなく休暇を取れる自由を与えてくれます。家庭で最も重要なことに取り組むことで、仕事でのエネルギー充電し、最高のパフォーマンスを発揮できるからです。 」– コミュニケーション＆アナリストリレーションズ担当シニアディレクター、Molly Boyer

「リフレッシュ休暇のおかげで精神的にリフレッシュし、家族との絆を深めることができます。その結果、燃え尽き症候群を防ぐことができ、忠誠心や創造性、生産性の向上につながります。」- パートナー・セールス・マネージャー、Dimas Ramaditya

「健康な体で夢を追いかけるチャンスを得られることで、健康な心を育めます。」- プリンシパル・ストラテジック・カスタマーサクセスマネージャー、Niel Dunnage

「スキューバダイビングをしました！有名なメキシコのセノーテでケープダイビングもたくさんしました。長男にもダイビングを教えました！」 - CTO、Sergio Gago

「このような休暇をいただけるのは、本当に素晴らしいことです。従業員が新しい年に向けて休息をとり、充電できるよう、必要な休暇を与えて健康をサポートしてくれる会社に心から感謝し、大切にしようと思います。」 - パートナー・セールス・ディレクター、Morry Bowling

この記事は、2026/1/20に公開された「Winter, Unplugged: Making the most of the Holiday Season」の翻訳です。

Cloudera は毎年、「Unplug（リフレッシュ）」デーを設け、従業員が仕事から完全に離れてリフレッシュし、プライベートの大切なことに集中できるようにしています。待ちに待った肝いりのプロジェクトを遂行する人もいれば、旅行に出たり、家族や友人と充実した時間を過ごしたりする人もいます。Clouderans がどのように過ごそうと、こうした全社的な休暇の確保は、Cloudera を支える人間性へのコミットメントを強化します。これにより、チームの健康と幸福が確保され、ポジティブなワークライフバランスが促進されます。

Clouderans はちょうど今、冬のリフレッシュ休暇から戻りました。素晴らしい一年の締めくくりとして、リセットする良い機会となったようです。新年が始まり、休暇から戻ってくる社員が増える中、私たちは世界中の Clouderans に2025年冬のリフレッシュ休暇をどのように過ごしたかを聞いてみました。

「私の家族は、リフレッシュデーを中心に1年の予定を立て、全員が楽しみにしています。休暇期間に合わせて旅行をスケジュールすれば、余分に休みをとらなくても長期休暇を取ることができます。このアプローチはビジネスにも大きなメリットがあります。同僚も同じなので、リフレッシュデーを中心に不在期間がクラスタ化され、全員がオンラインで一緒にいる日がより多くなります。」- シニア・スタッフ・エンジニア、Jason Fehr

この記事は、2026/1/8に公開された「2026 Predictions: The Architecture, Governance, and AI Trends Every Enterprise Must Prepare For」の翻訳です。

2026 年は、実験からインテリジェンスオーケストレーションへの移行の年です。AI、データ、インフラストラクチャ、ガバナンスが 1 つの運用モデルに統合される瞬間です。2024 年と 2025 年が概念実証と 1 回限りのモデル展開によって定義されるとしたら、2026 年は企業が大規模に、安全に、そして測定可能な ROI で AI を運用し始める飛躍の年になるでしょう。

当社の経営陣は、今年はデータが置いておくだけの受け身のストレージから、組織の能動的な記憶へと進化する年となると推測しています。クラウドとオンプレミスのコントロールプレーンを統合することで、あらゆる場所の AI にデータを活用できるようになります。また、今年は AI エージェントがデモンストレーションからデジタルワークフォースの一部へと移行する年でもありますが、これは企業がガバナンス、セキュリティ、責任ある AI の実践をコンピューティングの優先事項と同等に位置付けた場合に限られます。

当社経営陣による来年の予測をご紹介します。

Abhas Ricky（最高戦略責任者）：データ基盤がインテリジェンス層となる

2026 年には、データの価値は（単にデータがどれだけ存在するかではなく）どれだけ理解され、行動に移されるかにかかっていると認識している組織が、AI を活用する競争をリードするでしょう。データは、AI が学習し推論できる、生きたセマンティックでガバナンスされた記憶システムとして機能しなければなりません。

言い換えれば、AI の基盤となるデータを再設計しない限り、AI を拡張することはできません。

構造化、非構造化、リアルタイム、またはモデルによって生成されたものであっても、すべてのデータセットは、それ自身のセマンティクス、リネージ、ガードレールを保持する必要があります。この埋め込まれたコンテキストにより、最新のデータレイクハウスは、受動的なストレージから、情報をコンテキスト化し、ポリシーを適用し、決定を監査し、トレーサビリティを維持できるアクティブなインテリジェンスレイヤーへと進化します。

この基盤が整えば、企業は、今後数年間の AI ROI を定義する機能である、リコール、適応、自己修正を行う、真に自律的なワークフローの構築を開始できます。

Manasi Vartak（チーフ AI アーキテクト）：エージェント AI が実稼働環境に移行し、ガバナンスが不可欠に

減速を予測する見出しがあるにもかかわらず、生成 AI およびエージェント AI に対する企業の需要は、測定可能な ROI への決定的なシフトとともに、2026 年も増加し続けるでしょう（つまり、不正な実験が減り、予測可能で意図的なユースケースベースのアプリケーションが増えます）。その価値の多くはエンタープライズに適応したモデルから生まれ、組織が独自のデータとワークフローに合わせたソリューションを優先するにつれて、パブリックモデルへの依存は徐々に減少します。

ここ数年はAIの限界を試すことに関するものでした。

2026 年は、効果のあるものを拡大することが重要です。

本番環境でエージェントシステムを展開するには、組織には次のことが必要です。

• 強固なガバナンスの枠組み

• 明確なデータアクセス制御

• データエージェントがアクセスできるものと実行できるアクションを定義する、セキュリティルールと権限フレームワーク

• エージェントの行動と意思決定へのオブザーバビリティ

• エージェントレジストリとワークフローのバージョン管理で、エージェントの進化を追跡

これにより、責任ある AI の定義が必然的に広がります。公平性とバイアスの軽減は依然として重要ですが、企業がエージェント AI を安全かつ収益性高く拡張したい場合、データパイプライン、システムの動作、AI エージェントの選択全体にわたってエンドツーエンドの説明責任が必要になります。

Sergio Gago（CTO）：コンバージェンスの時代と単一コントロールプレーンの台頭

オンプレミスの制御とクラウドの弾力性の間で長年緊張が続いてきましたが、2026 年は真の融合の年となります。ハイブリッドインフラはもはやレガシーシステムとクラウドシステムの妥協点ではありません。代わりに、大規模に知能を可能にするアーキテクチャの基盤となっています。

Cloudera 経営陣全体で、「AI エージェントが運用ワークフローの一部になる」というテーマが際立っていました。しかしこれまで、その効果は断片化されたデータアクセスによって制限されてきました。一部のモデルはクラウドベースのデータにのみ到達でき、他のモデルは環境全体で部分的なビューを組み合わせていました。多くの人が、統一されたコントロールプレーンは不可能だと考えていました。

しかし、それは2026年に変わります。

Cloudera のハイブリッドアーキテクチャにより、ワークロード（AI エージェントを含む）は、ストレージの場所ではなく、ポリシー、ガバナンス、効率性に導かれて、最も適切な場所で実行できます。これにより、次世代のインテリジェントで調整されたエンタープライズシステムが実現します。

バーティカルによる考察

これらの予測は単なる理論的なものではなく、分野の運用に影響を与える可能性があります。特に小売および金融サービスは、データ基盤の強化、エージェント AI の実稼働への移行、コントロールプレーンの統合により、大きな変革を迎えることになります。

Neelabh Pant（グローバル AI ディレクター）：小売業がサイロ化されたシステムからリアルタイムのコネクテッドインテリジェンスへ

小売業者はすでに AI から大きなリターンを見ており、早期採用者は ROI を最大 6 倍速く実現しています。2026年、成功の鍵を握るのは次のポイントです。

• 店舗、サプライチェーン、顧客とのやり取り、オンラインエコシステムの全体としてデータをつなぐ

• AI エージェントが在庫の更新や返品から顧客の好みまでのリアルタイムの情報に基づいて行動できるようにする

• IT 部門に準備してもらうのを待たずに、代わりに非技術系チームが新しいデータ接続やワークフローを作成できるようにする

コントロールプレーンが統合されることで、AI エージェントはデータがどこに保存されているかに関係なくデータをナビゲートして推論を行うことができ、パーソナライゼーション、運用効率、意思決定の迅速化が実現します。データアーキテクチャをモダナイズする小売業者は、イノベーションのペースを設定し続けるでしょう。

Adrien Chenailler（AI業界ソリューション担当シニアディレクター）：金融サービスはAI がプロジェクトではなく運用レイヤーに

金融機関は何年もかけてデータ基盤の最新化に取り組んできました。2026 年、その努力が報われます。銀行、保険会社、投資会社は、AI エージェントがすでに次の項目などをサポートしており、日常業務を AI で実行するケースが増えていくでしょう。

• 信用リスクスコアリング

• 不正行為の検知と防止

• コンプライアンス調査

• クレジットメモの作成

• カスタマーサービスのワークフロー

金融サービス業界のリーダーの 91% がすでにハイブリッド AI を非常に価値があると評価しているため、実験の必要性は低下しています。当社はすでに実験を実行済みです。これからは、企業は実行力で競争することになります。統合コントロールプレーンは、コンプライアンスや主権を損なうことなく、システム全体の機密データを AI が分析するために必要な、安全で管理された環境を提供します。

Cloudera のプラットフォームはまさにこの時代のために構築されており、データがクラウド、データセンター、エッジのいずれにあっても、統制された企業全体のインテリジェンスにより、どこからでも AI のデータにアクセスできます。

組織が 2026 年以降もどのように備えることができるかについて、Cloudera の最新のリソースとインサイトをご覧ください。

この記事は、2025/12/31に公開された「Unleash Peak Performance: Get 13x Faster Queries with Cloudera Lakehouse Optimizer」の翻訳です。

Cloudera のオープンデータレイクハウスへの取り組みにより、お客様は Cloudera、他のベンダー、オープンソースなど、任意のエンジンやツールを柔軟に選択して使用できるようになります。当社は現代のデータエコシステムの複雑さを理解しており、エンジン中立型のアプローチにより、データにアクセスして分析や AI アプリケーション、エージェントを構築するチーム間でシームレスなコラボレーションを実現します。速度、セキュリティ、自動化、相互運用性に関する革新的な機能でレイクハウスを継続的に強化し、すべてのエンジンが同時に効率的に実行され、すべての機能と最適化にアクセスできるようにします。

Cloudera Lakehouse Optimizer は予測的かつインテリジェントな最適化を提供し、Apache Iceberg テーブルのメンテナンスを自動化し、オープンデータレイクハウスのパフォーマンス、スケーラビリティ、コスト効率を維持します。このサービスは、データチームにすべての AI および分析ワークロードに対応するコスト効率の高いレイクハウスを提供します。

パフォーマンスで証明：クエリが 13 倍高速化、ストレージコストが 36％ 削減

当社はパフォーマンスとコスト効率が最も重要であることを認識しており、社内ベンチマークから得られた説得力のある結果を共有しています。7 つの TPC-DS テーブル（107GB のデータ）を使用し、最適化前と最適化後の TPC-DS クエリを実行して、Cloudera Lakehouse Optimizer をテストしました。キャッシュや異常値の除去を考慮した後でも、非常に意義のある結果となっています。

• クエリが 13 倍高速化：当社のデータによると、クエリ時間が平均 13 倍速くなり、最適化後の平均クエリ時間が 24 秒からわずか 1.8 秒に短縮されました。

• 36% のストレージコスト削減：Cloudera Lakehouse Optimizer は、ストレージフットプリントを最適化することで、大幅なコスト削減も実現します。ベンチマークでは、データセットのサイズが 107GB から 68GB となり、36% 削減されたことが明らかになりました。これは総所有コスト（TCO）の削減に直接つながります。

これらの結果は、Cloudera Lakehouse Optimizer がダウンストリームの AI、レポート、アナリティクスのクエリパフォーマンスを向上させ、ストレージコストを大幅に削減することを示しています。

Cloudera Lakehouse Optimizer の優れた点

Cloudera Lakehouse Optimizer は、コスト管理に重点を置くプラットフォームリード、スケーラブルなソリューションを設計するデータアーキテクト、またはプロセスを合理化するデータエンジニアなど、どのような方でもお使いいただけます。ポリシーのテンプレートと初期設定が付属しているため、広範囲にわたる設定なしですぐに最適化できます。特定の要件については、グラフィカルユーザーインターフェイス（GUI）とアプリケーションプログラミングインターフェイス（API）がクラス最高のコントロールを提供します。

Cloudera Lakehouse Optimizer が独自のテーブル最適化を実現し、パフォーマンスとストレージのメリットを実現する仕組みを見てみましょう。

• インテリジェントなポリシー：Cloudera Lakehouse Optimizerは、テーブルが最適化を必要とするかどうかを評価し、必要なアクションのみが実行されるようにし、必要に応じて自律的に最適化を実行します。すべての Iceberg 最適化に対して豊富で構成可能なアクション引数を提供し、最大のパフォーマンスを実現するための多くの引数をカバーします。

• エンジンとストレージに依存しない：Lakehouse Optimizer によってテーブルが最適化されると、レイクハウスからデータにアクセスするエンジンが Cloudera 所有でも、オープンソースでも、他のベンダーのエンジンでも、どのようなものであっても同じようにクエリのパフォーマンス向上を実感できます。これらの最適化は、クラウドオブジェクトストレージまたはオンプレミスのオブジェクトストアに保存されているデータにも適用されます。

• 比類のないスコープとコントロール：Cloudera Lakehouse Optimizer では、ポリシーの適用をきめ細かく制御できます。テーブル、ネームスペース、カタログ全体のレベルでもポリシーを作成し適用することができ、レイクハウスが進化するにつれて柔軟でスケーラブルな管理を提供します。これにより、ほぼすべての引数に対して最適化を定義できるようになり、テーブルに最適なポリシー定義が可能になります。この幅広い適用範囲は、ポリシー適用が限定されている他のソリューションと比較した場合の大きな差別化要因となります。Optimizer には専用の GUI も付属しているため、すべてのユーザーが最適化を快適に構成および監視できます。プログラムによる制御では、包括的な API/コマンドラインインターフェイス（CLI）アクセスも利用できるため、誰でも簡単に使用できます。また、最適化をいつ、どのように実行するかについて、比類のない柔軟性と制御も提供されます。

  • イベントベースのインテリジェントスケジューリング：更新、挿入、削除などのテーブルイベントが発生したときに、自動的に最適化をトリガーします。
  • 時間ベースのスケジュール設定：Cron のようなスケジュールを使用して、設定された定期的なベースで最適化をスケジュールできます。これは、AWS S3 Table Maintenance や Databricks Predictive Optimizer では利用できない機能です。
  • 手動実行：ポリシーの手動による実行をトリガーし、オンデマンド最適化を可能にします。

レイクハウスを一変させる準備はできましたか？

自動化されたインテリジェントな Iceberg テーブル最適化のパワーを体験して、パフォーマンスとコストの大幅なメリットを今すぐ実現しましょう。

• Cloudera Lakehouse Optimizer の詳細については、デモをご覧ください。

• 特別キャンペーンのご案内：Cloudera Lakehouse Optimizer で処理されたすべてのデータは、2026年4月26日まで無料でご利用いただけます。最小限の基本費用はかかりますが、このプロモーションにより、データ処理費用を心配することなく Cloudera Lakehouse Optimizer の機能をお試しいただけます。さらに、Cloudera Management Console で消費制限を設定して、コストが予想を超えないようにすることができます。

この記事は、2025/12/30に公開された「Deliver Repeatable, Measurable, and Enterprise-Ready AI for Life Sciences」の翻訳です。

ライフサイエンス業界向けに再現可能で測定可能、かつエンタープライズ対応の AI を提供

製薬会社やライフサイエンス企業は、AI を使用して新薬の発見、臨床開発、患者体験を向上させています。このような規制された環境で AI を活用したブレークスルーと投資収益率（ROI）を実現するには、基本に立ち返るアプローチ、つまりデータ統合、相互運用性、セキュリティとガバナンスに焦点を当てることが鍵となります。

Cloudera のグローバル AI ソリューション担当ディレクターである Rameez Chatni は Healthcare IT News のポッドキャスト「HIMSSCast」の最新エピソードで、業界が AI 戦略の初期段階から堅牢なデータ基盤の土台へと移行中であることを説明しています。

バリューチェーン全体での相互運用性を確保する

一般的なグローバル製薬組織は、R&D、製造、営業など、大企業のように12～ 15の異なる業種で構成されており、AI 対応のデータセットを構築するには、高度な分散型アーキテクチャを管理する必要があります。

データの統合は難しく、すべてのデータを単一の均質なシステムに強制的に統合することでは解決できません。そのため、組織はオンプレミスシステム、複数のクラウド、およびソフトウェア・アズ・ア・サービス（SaaS）ソリューションに対応するハイブリッドアーキテクチャを採用しています。

オープンソースで相互運用可能な技術を使用し、オープンデータ形式をサポートすることで、複数のクエリエンジンがエンジニアリング、分析、AIワークロードのデータにアクセスできるようになり、ベンダーロックインのリスクを軽減します。

データ統合の最終的な目標は、組織全体の点をつなぎ、より良い成果を提供する上で必要なコンテキストを AI モデルに提供することです。多くの製薬会社が活用しているコンテキストモデルの1つである「ナレッジグラフ」では、医薬品や遺伝子、病気、臨床試験、商用データとの関連など、人間が見逃しがちなビジネス内の関係性を捉え、包括的で使いやすいデータセットを作成します。

しかし、これらの高度なアーキテクチャは、しばしば見落とされがちな重要な第一歩、すなわちデータインベントリとデータリネージに依存しています。これらは、異なる部門（R&D や製造など）が同じデータセットのライセンスを重複して取得し、リソースを無駄にすることを防ぐ、縁の下の力持ちであり、基盤となる柱です。

ガバナンスをバグではなく機能として扱う

データを用いて迅速にイノベーションを図ろうとするセクターでは、データガバナンスがしばしば後回しにされ、その結果、プロジェクトが最大9ヶ月間停滞する可能性があります。Chatni は、ガバナンスをバグではなく機能として扱う必要があると主張しています。これは、ガバナンスを「ガバナンス・アズ・ア・サービス」、つまり、企業内での予防的かつ継続的な機能へと変革することを意味します。

ガバナンス・アズ・ア・サービスを実現する唯一の方法は、ビジネスリーダー、データストラテジスト、テクノロジーアーキテクト、プライバシーまたは法律の専門家を結び付ける組織横断的な中核部門を利用することです。これにより、データの移動方法を理解している技術チームが、プライバシーと同意の制限を理解している法務チームと効果的にコミュニケーションをとれるようになります。

最も重要なのは、ガバナンスを早期に適用すべきだということです。臨床試験データを二次目的で使用することに対する制限などのコンプライアンスを考慮しないと、プロジェクトの後半でプロジェクト全体が停止する可能性があります。実際、契約レビューを加速し、コンプライアンスチェックが自動化され、監査可能であることを保証するために、AI をガバナンス自体に適用する必要があります。

ROI を証明して規模を拡大する

業界には AI パイロットの失敗に関する報告が溢れています。AI の導入を始めたばかりの組織はまず、日常業務における AI のユースケースを特定する必要があります。臨床試験プロトコルの作成などの「退屈な」タスクを自動化したり（文書1,000件ごとに1週間の節約）、有害事象の処理を迅速化すれば、すぐに成果につながることは明らかです。

Chatni は、ビジネスに合った明確で測定可能な ROI を定義することが成功への第一歩であるとアドバイスしています。製薬業界では、「フェイルファスト（失敗を早く受け入れる）」文化を促進することが ROI につながります。計算処理上の失敗は、臨床試験の後期での失敗よりもはるかに安く済むからです。

また、この ROI について、「問題が早期に発見されればされるほど、問題がさらに大きくなる前に、はるかに早く（解決策）にたどり着くことができます」と簡潔に説明し、問題が深刻化する前に、迅速に問題を特定して解決するための措置を講じるべきだとアドバイスしています。

最後に、システムを標準化します。エージェントフレームワーク、ツール、サポートモデルを定義することに加え、開発環境から検証済みで監査可能な運用環境への移行する際の明確なルールを設定することが最も重要です。

次なるフロンティア：パーソナライズされた AI

今後3〜5年は、さらに大きな変革が期待されています。個々のユーザーに合わせてインタラクションやインサイトをカスタマイズする、パーソナライズされたエージェントが増加するでしょう。

AI モデルは、複数のパラメータを同時に最適化するように進化する見込みです。同モデルでは、有効性のみを最適化するのではなく、効果的で、毒性がなく、製造可能で、賞味期限が長い分子を一度に提案します。「AI によって生成された」薬が初めて市販されるかもしれません。

このような未来に備える方法を知りたい場合は、Rameez Chatni との会話の全編（英語）をお聞きください。AI の実装とベストプラクティスに関して詳しく語られています。

この記事は、2025/12/29に公開された「Context Is the Hard Part: Practical Lessons in Building Agentic AI Systems」の翻訳です。

コンテキストエンジニアリングが重要な理由と、それを実現する方法

「適切なデータを、適切な場所とタイミングで入手するにはどうすればよいでしょうか？」

これは、企業でエージェント AI を導入する時の根本的な課題です。大規模言語モデル（LLM）によって強力な推論機能とオーケストレーション機能が実現しましたが、その有効性はもっと基礎的な要素、つまり推論とアクションの実行に適切なビジネスコンテキストを提供することにかかっています。コンテキストエンジニアリングは、データ、メタデータ、アクセスポリシー、メモリを組み合わせて、エージェントの動作を安全かつ説明可能な方法でガイドすることに重点を置いた分野です。

Cloudera では、新しい生成 AI（GenAI）やエージェント AI のユースケースを実験している企業カスタマーとパートナーシップを組む中、この課題を目の当たりにしています。エージェント AI システムの構築は、AI ライフサイクル全体から知識をキャプチャ、管理、再利用するデータアーキテクチャという、ほとんどの組織が苦労するアーキテクチャに依存しています。

このブログでは、基本的な機能を「つながり」、「コンテキスト化」、「消費」の 3 つのバケットに分類するエージェント AI システムの構築アプローチを紹介します。このアプローチにより、当社の企業カスタマーは、インテリジェントで信頼性が高く、説明可能で、実運用に適したエージェント型システムを構築することができます。

連携：コントロールを活用してサイロを打ち破る

現代の AI エージェントは断片化された環境ではうまく機能しません。しかし、ほとんどの企業では、データが複数のクラウド、データセンター、レガシーシステムに分散され、フォーマットの一貫性もありません。そのデータを構造や保護手段のない AI システムに公開すると、パフォーマンスの問題やガバナンスのリスクにつながります。

成功した実装では、組織がまず、異なる環境や形式に広がる統合データ層の作成に重点を置いていることがわかりました。これはすべてのデータを集中管理するという意味ではなく、データをデータファブリックのアーキテクチャでつなぎ合わせるという作業です。これにより、共有メタデータ、アクセスポリシー、フェデレーションデータエンジニアリング、ランタイム相互運用性を備えた統合レイヤーが提供されます。

オープンテーブル形式と標準 API アクセスを実装することで、柔軟性を提供しつつデータアクセスが簡素化されます。オープンレイクハウスアーキテクチャは、特に信頼性の高い検索拡張生成（RAG）と推論に依存するエージェントワークフローにおいて、エンジン間でデータのリアルタイムかつ一貫したビューを提供するため、ここでは非常に重要になります。

コンテキスト化：エージェントにアクセス以上の価値を提供する

データが接続された後は、どのようなデータが存在し、どのように使用されているかを、エージェントが理解できるように支援することが課題になります。それは検出から始まります。クラウドおよびオンプレミスのシステム間でデータソースを自動的に特定し、メタデータ（テーブル名、フィールド、フォーマットなど）を有効化します。Cloudera Octopai Data Lineage のようなツールは、ETL スクリプトをスキャンし、パイプラインロジックをリバースエンジニアリングし、データがソースから最終目的地までシステム間でどのように移動して変換されるかを、その途中のすべての依存関係を含めキャプチャします。

この情報は、データセットがどのように関連し、時間の経過とともにどのように変化するかを示すリネージの基盤を作ります。リネージが重要になるのは、結果を検証したいとき、推奨事項やエージェントの行動を説明したいとき、あるいは壊れた出力を原因元までたどりたいときです。これでエージェントが関わるシステムに透明性と信頼が生まれます。

最後に、カタログ化によってこれらの情報が実用的な構造にまとめられます。集中管理されたメタデータストアがあると、人もエージェントも必要なものを見つけやすくなり、データセット同士の関係を理解できるようになります。また、データをどう扱うべきかに影響するポリシーも把握できます。強力なカタログは設計図のような役割を果たし、エージェントが企業のデータ資産を明確にたどれる、ナビゲーション可能な地図となるナレッジグラフを提供します。さらに、データを理解して行動に移すために必要な、すべての業務定義や業務ロジックを含む、技術、運用、ビジネスの各種メタデータを取り込みます。

コンテキスト化により、エージェントは情報の取得以上のことができるようになります。パターンを調査し、より的確な質問をするようになり、動作する環境をより深く理解した上で意思決定を行うことができます。

消費：適切なコンテキストを適切なタイミングで提供する

エージェントシステムを構築する最後のステップでは、追跡可能で安全かつ適切な情報に基づいた方法で AI がアクションを実行できるようにする必要があります。ここでアーキテクチャの選択が重要になります。ガードレール、可観測性、制御されたアクセスはすべて、エージェントが重要なときに予測どおりに動作するかどうかを左右します。

一般的なコンテキストエンジニアリングの手法を、それが解決するために設計された根本的なデータ課題にマッピングすると役立つことが分かりました。以下に、それが実際にどのように現れるかの例を示します。

適切な手法の選択は、エージェントの役割、データの機密性、運用環境によって異なります。以下は、一般的なエンタープライズユースケースと、実際にうまく機能した推奨される方法の組み合わせです。

この消費アプローチにより、エージェントは正確かつ安全に、ビジネス目標に沿って業務を遂行できるようになります。

まとめ：フレームワークから実行へ

Cloudera では、企業データの複雑さに対処するために長年を費やしてきました。サイロを解消し、ガバナンスを強化し、AIと分析のための安全なパイプラインを構築し、ハイブリッド環境全体でリネージを可視化させています。そのため、エージェント AI のパターンが現れ始めたとき、私たちはゼロから始めたわけではありませんでした。コンテキストがどこに存在するのか、また適切なガードレールを使用して安全かつ確実にキャプチャする方法を知っていました。

Cloudera Octopai Data Lineage を使用すると、チームはクラウドとオンプレミスの環境間でデータフローを自動的にマッピングし、依存関係を追跡し、メタデータをカタログ化することができます。データカタログ、可観測性、アクセス制御を階層化することで、エージェントはシステムとより安全かつインテリジェントに対話できるようになり、これらのワークフローを企業全体で拡大するために不可欠な可視性、ガバナンス、信頼を獲得できます。

これらの機能を実用化するために、これらの機能を Open Data Lakehouse と Cloudera AI Studios に統合し、企業が本番環境で安全なエージェントシステムを設計、展開、管理するための基盤を提供しています。

Cloudera が AI エージェントを適切なビジネスコンテキストで本番稼働させるのにどのように役立つかについて、Webサイトにてさらに詳しくご確認ください。

この記事は、2025/12/19に公開された「Cloudera Grows Recognition as Great Place to Work」の翻訳です。

Cloudera のイノベーションの核となるのは人材です。だからこそ、「Great Places to Work」の受賞が弊社とって非常に重要なのです。Great Places to Work（働きがいのある会社ランキング）は、従業員の幸福と専門性の開発を重視する組織を認定するものであり、従業員のことを第一に考え、コラボレーションしやすい職場環境を促進するという Cloudera の継続的な取り組みと方向性が一致しています。Cloudera では、誰もが受け入れられ、支えられていると感じ、成長と学習の機会を与えられる職場を構築できるよう、尽力しています。

今年は世界中のオフィスから数々の表彰や認定が寄せられ、素晴らしい一年でした。弊社ではアイルランド、シンガポール、コスタリカ、スペイン、イタリア、フランスのオフィスを含む地域で2025年の「Great Places to Work」を受賞しました。弊社のオフィスがこれまでに受賞したタイトルは以下の通りです。

コスタリカ

• Best Places to Work Costa Rica (コスタリカの働きがいのある会社) 第6位
• Best Place to Work By Employee Quantity (従業員数別働きがいのある会社) 20～100人規模で第7位

スペイン

• Best Workplaces (働きがいのある会社) 初受賞

• Best Workplaces in Tech (テック業界の働きがいのある会社) 第2位

イタリア

• Best Workplaces (働きがいのある会社) 初受賞

フランス

• Best Workplaces (働きがいのある会社) 受賞

アイルランド

• Best Workplace in Ireland (Med) (アイルランドの「働きがいのある会社」中規模部門) 第1位

• Best Small/Med Workplace in Europe (ヨーロッパの「働きがいのある会社」 中小企業部門) 第13位

• Best Workplace for Women (女性にとって「働きがいのある会社」) 受賞

• Best Workplace for Health & Wellbeing (健康とウェルビーイングに最適な職場)

シンガポール

• Best Place to Work (Small) (「働きがいのある会社」小規模部門) 第3位

Cloudera 最高人事責任者の Amy Nelson はこう語ります。「Cloudera は世界中のデータ管理とエンタープライズ AI をリードする存在であり、そのリーダーシップは社員の素晴らしい才能と献身によって支えられています。弊社のグローバルフットプリントが拡大するにつれ、Great Places to Work の受賞は重要なマイルストーンとなり、弊社チームが日々実践している企業文化と献身的な姿勢を一層強固なものにします。」

従業員の幸福に対する Cloudera の取り組みを称えるため、Great Place to Work を受賞した各国のチームのリーダーにインタビューを行い、Great Place to Work の受賞が何を意味するのかを話してもらいました。

各チームの栄誉を称える動画をぜひご覧ください。

さらに詳しく知りたい場合は、「Women Leaders in Tech（テクノロジー業界の女性リーダー）」ページをご覧ください。

この記事は、2025/12/17に公開された「The 3 Eras of Women Leaders in Technology: Mary Wells’ Perspective」の翻訳です。

テクノロジー業界における女性をめぐる議論は、ここ数年で大きく変化してきました。かつては見える化（存在を認識してもらうこと）を求める動きとして始まったものが、いまでは、代表性、アライシップ、影響力をめぐるストーリーと、もっと大きなテーマへと発展しています。

Cloudera の最高マーケティング責任者、Mary Wells は、その進化を間近で見てきました。テクノロジー業界の有名企業での 25 年以上のキャリアの中で、彼女は女性の役割と声がどのように変化したかを直接目にしてきました。Cloudera の Women Leaders in Technology（WLIT）イニシアチブのエグゼクティブスポンサーとして、女性や支持者が学び、リードし、お互いを高め合う場を作るという、次の成長ステージの育成に貢献しています。

Mary が自身の経験を基に、3 つの時代を通じてテクノロジーをリードする女性の進化について説明します。それぞれの時代は前の時代を基盤として発展し、今まさに新たな時代が形作られ始めています。

第一の時代：表現と帰属意識

数十年前、進歩したことと言えば、単に「見られること」でした。

テクノロジー業界の女性の多くは「一人きり」で、1 つの部門やプロジェクトチーム、あるいは建物全体で唯一の女性でした。これらの先駆者は、職務を遂行しながら、自分たちが属する場所であることを証明するという二重の課題に直面していました。

最近のインタビューで Mary は、さまざまな企業や業界のイベントでテクノロジー業界の女性のための非公式な集まりに参加していたこの時代の経験を振り返りました。彼女はその頃を振り返って、今日のより正式な女性技術支援ネットワークの初期の草の根バージョンだったと考えています。

Mary は、女性たちが、自分のフロアや部署で唯一の女性であるという話をしていたことを思い出します。WLIT で他のリーダーたち（たまたま女性だったのですが）と語り合った後、悲しみではなく、安堵から涙を流した人もいました。多くの人にとって、職場での苦労は自分一人ではないと初めて気づいた瞬間でした。自分が経験していることが他の人たちにも映し出されていることから、存在意識と帰属意識が生まれました。

ささやかな会話から、孤立感が和らぎ、連帯感が生まれました。女性たちは、耳を傾け、励まし合い、帰属意識が強さの一種であることを証明するために互いに支え合いました。

この時代、仲間同士のコミュニティが女性たちにそこに留まる勇気を与えていました。

第二の時代：自信と発言力

女性が社内に居場所を持つと、会話は変わり始めました。ただそこにいるだけでは不十分でした。参加することに意義がある時代が来たのです。

だからこそ、テクノロジー分野で女性がリーダーシップを発揮するこの第二の時代は、自信に満ちていると言えるのです。女性たちは、自分たちの発言から意思決定に影響を与え、本物のリーダーシップを発揮する方法を模索し始めました。Mary は、約10年前に最も頻繁に挙げられていた質問が自己不信に関するものだったと覚えています。女性たちは「どうすれば自分たちの存在を意義あるものにできるか？」と問いかけていました。

当時、「インポスター症候群」という言葉は、「物理的にその部屋にいる」ことと、「本当に自分がそこに属している」と感じることとの間のギャップを表現するのによく使われていました。

しかし、時が経つにつれ、Mary はそれが誤った呼び方であると感じ始めました。インポスター症候群は女性だけの問題ではありません。誰もがどこかの時点で自己不信を経験します。重要なのは、それが消えるまで待つのではなく、とにかく前進することです。彼女にとって、ほとんどの場合、自信は勇気から始まります。「不安でも、やってみよう」と彼女は同僚に言います。自分の心地よい領域から一歩踏み出すことが、成長を意味するのだと思い出させてくれる言葉です。

この時代に、女性はリーダーシップを発揮しても良いと許可を待たずに、自ら会話を形作り始めたのです。

第三の時代：アライシップとパートナーシップを通じてすべての人を歓迎する

この第三の時代は、「アライシップ」と「責任の共有」の時代です。もはや単なる「女性の問題」ではありません。今では、すべての人が歓迎されます。男性も女性も同じように、自分たちを取り巻く社会の多様性を反映したチームの構築に取り組んでいます。

Mary はこの変化を身をもって体験しています。最近ロンドンで行われたイベント中のテクノロジー分野の女性リーダーパネルで、彼女は約 60% が男性である聴衆を見つめました。彼女にとってその瞬間は、アライシップと、これらの課題に積極的に耳を傾ける仲間の集団が広がったことを認識し、この話題がどれだけ進展したかを捉えたものでした。

Mary は、ある男性がなぜ WLIT のようなフォーラムが必要なのかと質問し、別の男性がすぐに「周りを見回してごらん」と言ったときのことを覚えています。そこに参加していたほとんどの人にとって、答えは明白だったのです。そのようなアライシップが会話に信頼性と勢いを与えると、彼女は指摘しています。

今や進歩は、誰もが参加し、耳を傾け、その過程で他者を励ますことにかかっています。

新たに発展する時代：リーダーシップと影響力

新たな章はすでに始まっており、次の時代は影響力が重要になります。女性がテクノロジーの未来についての議論にただ参加するだけでなく、それを定義するのに力を添えています。Cloudera のグローバルな EVOLVE イベントシリーズを通して行われる WLIT のセッションは、この新しい時代が実際にどのようなものであるかを鮮明に示しています。

WLIT は、「Accelerate Action, Accelerate Innovation（行動を加速し、イノベーションを加速する）」をテーマに、業界を超えた第一人者を集め、アダプティブ・リーダーシップから責任ある AI まで、幅広いトピックを探求しました。4 つのイベントを通じて、300 人を超える外部登録者と 200 人近くの参加者が、これらの重要な会話に強い関心を示しました。

以下の点について議論しました。

• ガバナンスと透明性を主導する（ロボット工学のルールに触発されて）

• 人々が関わりたくなる責任ある AI の未来を形作る

• 適応力のある、人間中心のリーダーシップスタイルを育成する

これらのセッションからのフィードバックは、これらの会話がいかに共感を呼び、必要とされているかを反映しています。

ある参加者は次のように語りました。

「ニューヨークの WLIT パネルは、これまで私が見た中で最も誠実で魅力的なパネルの 1 つだったと心から感じています。考え方や表現の多様性が素晴らしかったです！」

Mary にとって、EVOLVE の WLIT セッションは、影響力がインパクトに変わる過程を実証するものであり、それはこの過程の自然な進化です。焦点はもはや、女性がテクノロジー分野のリーダーとしての適性を証明することではなく、未来を形作る会話を平等に主導することに置かれています。目標は、「女性リーダー」として見られることではありません。むしろ、私たちはただ、リーダーとして見られたいと思っています。

これからの展望：テクノロジーをリードする女性たち

それぞれの時代が次の時代への道を切り開いてきました。所属意識が自信を築き、自信がアライシップを生み、アライシップが影響力へとつながります。Mary は、すでに第四の時代が形を成しつつあると言います。

テクノロジーをリードする女性たちの物語は、今後も書き続けられています。それは、レジリエンス、勇気、そしてつながりの物語です。一人ではなく、お互いを支え合うことを選んだ人々の物語なのです。

Cloudera や業界全体において、Mary Wells のようなリーダーは、進歩とは、自分たちの立場を活かして他者のための場を作り、次に何を形作るかにあることを私たちに思い出させてくれます。

EVOLVE25 で Women Leaders in Technology の影響力をご体験ください。

この記事は、2025/12/9に公開された「Has the Recent Acquisition Put Your Streaming Data on Lockdown?」の翻訳です。

エンタープライズ AI 向け Agnostic Streaming のパワーを解き放つ

IBM がデータストリーミングプラットフォームである Confluent の買収計画を発表したことを受けて、エンタープライズデータ管理の競争環境は大きく変化しつつあります。この取引の価値は 110 億ドルと評価されています。これは驚くほどの金額であり、現代のデータ戦略における 2 つの重要な要素の価値を裏付けるものです。

1. リアルタイムデータストリーミングはもはや贅沢ではなく、次世代の AI エージェント、インテリジェントアプリケーション、そして真のビジネス自動化のための不可欠な基盤となっている。
   
2. 流れているデータ（データ・イン・モーション）は、統合データおよび AI プラットフォームにおいて重要なレイヤーであり、Cloudera は長年にわたってこれを顧客に提供している。

さらに、IBM による独立系ベンダーの買収は、ベンダーがデータの取り込みから提供までのライフサイクルを包括的に制御しようとする統合への市場動向を示唆しています。重要なのは、このトレンドが常に顧客ニーズと一致するとは限らないという点です。多くのケースで、データと AI プラットフォームとは独立した、俊敏ですぐに組み込めるデータ・イン・モーションのソリューションが求められます。つまり、リアルタイムのストリーミング分析や洞察、推論が必要な場所ならどこにでも導入できるものです。

この統合への移行は、Kubernetes の独立したオペレーターや、データ・イン・モーションのソリューションに関心のある組織にさまざまな影響をもたらします。このブログでは、いくつかの重要な検討事項と、ベンダーロックインへの移行がデータ資産に与える影響について説明します。

統合の隠れたコスト

買収が発表される前は、Confluent はオープンで独立した、クラウドにとらわれないデータストリーミングソリューションとして市場でよく知られていました。リアルタイムのデータをできるだけ早く AI を適用できる場所に持っていく必要がある組織にとって、Confluent のようなソリューションの採用は手に取りやすい選択でした。

現在、オープン性と柔軟性のために Confluent を選んだ組織は、ベンダーロックインの可能性に直面しています。かつては独立していたこのストリーミングベンダーは、新しい親会社の、より広範で重厚なプラットフォームにデータを供給するための「パイプライン」として位置づけられてしまうのでしょうか？かつては機敏だったデータ・イン・モーションのソリューションが、必要でも望んでいないエンタープライズスタック全体という重荷を背負ってしまうのでしょうか？

この懸念はもっともです。現実には、テクノロジーの巨大企業が、より小規模で専門分野に特化したベンダーを吸収すると、優先順位は必然的に変化します。

今こそ、問う時です。AI の未来の生命線となるリアルタイムデータ戦略を、単一の独自のエコシステムに結び付けたいですか？あるいは、特定のベンダープラットフォームに依存せず、既存のデータエコシステムに統合できる、オープン性を重視して構築されたソリューションを求めていますか？

独立したデータ・イン・モーション・ソリューションの力

IBM と Confluent に関するニュースによって、現在のデータ・イン・モーションへの投資の将来の方向性、機能の焦点、価格設定について懸念を抱いている場合は、独立型の管理されコンテナ化された代替案をご検討ください。

Cloudera のデータ・イン・モーションのソリューションは、当社のプラットフォームに統合された一部としても、Kubernetes の独立したオペレーターとしても利用できます。どちらのオプションが適しているかはユースケースによって異なりますが、流れているデータのみに焦点を当てた独立したソリューションを使用することで得られるメリットをいくつかご紹介します。

• プラットフォームの独立性：あなたのデータ、あなたのクラウド。Cloudera のデータ・イン・モーションのオペレーターは、根本からプラットフォームに依存しないように設計されています。重要なリアルタイムパイプライン（Kafka、Flinkなど）は、パブリッククラウド、オンプレミスのデータセンター、またはハイブリッド環境で、ペナルティなしで実行できます。つまり、ベンダーの好むエコシステムへの移行ではなく、データの移動や処理に集中できます。

• イノベーションが速くなり、肥大化が減ります。Cloudera は、Apache Kafka、Flink、NiFi という流れているデータの 3 つの柱をネイティブに組み込んでいます。これにより、効率的なストリーミング分析、データフロー、取り込み、ルーティングを構築して実行するための、完全で視覚的なドラッグアンドドロップ環境が提供されます。たとえば、これまで Kafka 単体ではデータフロー処理が最も効率的ではなかったため、Cloudera は Kafka/Flink を組み合わせたソリューション用のオペレーターと、Kafka/Flink と簡単に統合できる NiFi フローベースのエンジンオペレーターを提供しています。

• ベンダー主導ではなく、自分たち主導のデータ・イン・モーション。Cloudera は、Kubernetes 用の独立したエンタープライズグレードのオペレーターを提供し、流れているデータに対応し、リアルタイムニーズの完全なスイートを管理することができます。さらに、これらすべてを Cloudera プラットフォームの他の部分と簡単に統合できるため、エッジから生成 AI に至るまで、安全で管理された完全なライフサイクルオプションを実現できます。

まとめ

Cloudera は、データ戦略が単一ベンダーの包括的なプラットフォーム構想によって制約されるべきではないと考える顧客のために存在しています。オープンソースを活用し、あらゆる場所で自由にデプロイし、実行できるリアルタイムパイプラインを、本番環境へ最短で導入できるよう支援します。

IBM によって Confluent の体験が大きく変わってしまうのではないかと懸念されている場合、または単純に「データ・イン・モーションのソリューションはデータが存在するあらゆる場所で機能すべきだ」とお考えの場合は、ぜひご相談ください。Clouderaはこの変化する状況を乗り越え、条件に合わせて流れているデータを再び活用できるようお手伝いできます。ぜひ、AWS 上での 5 日間のトライアルをぜひご利用ください。

図2. Cloudera Workbench MCP Server: Security by Design

Cloudera MCP サーバーの利用を開始する方法

Cloudera MCP Server は、確立されたガバナンスの範囲内で運用しながら、アシスタントがプラットフォームと直接やり取りできるように設計されています。

以下の手順に従うことで、簡単に使用を開始できます。

1. サーバーを構成する：Cloudera AI Workbench のホストと API キーをシークレットとして指定し、オープンソースサーバーを Docker で実行します。
2. クライアントを接続する：STDIO コマンドを使用して、お好みの MCP クライアント（Cloudera Agent Studio など）をサーバーに接続します。
3. 最初のリクエストを行う：アシスタントに「プロジェクトをリストアップしてください」と依頼することで、接続をテストできます。

ワークフローの例

以下は、Cloudera MCP サーバーに接続されたアシスタントから実行できるタスクの例です。

• アクティブなプロジェクトをすべてリストアップして、まだ実行中のジョブを表示してください。

• 「new-data-august.zip」ファイルを「fraud-detection」プロジェクトにアップロードしてください。

• 「train-v3.py」スクリプトを使用してジョブを作成し、2つの CPU と 8GB のメモリを割り当てて実行してください。

• これらの指標を「resnet-sweep」という名前の実験に記録し、実行に「new-data」タグを付けてください。

• 最新のモデルビルドを取得し、ステージングエンドポイントに展開してください。

• 「gradio-demo」アプリケーションを再起動してください。

サーバーには、ファイルの管理、ジョブの実行、実験の追跡、モデルの展開、アプリケーションの管理など、プロジェクトライフサイクル全体にわたってこれらのワークフローをサポートするツールが含まれています。

さらに詳しく

詳細なセットアップ手順や例、機能のリスト一覧については、Cloudera MCP サーバー GitHub リポジトリをご覧ください。注：GitHub プロジェクトは現状有姿で提供されており、Cloudera による正式なサポートはありません。Cloudera MCP サーバープロジェクトは Apache 2.0 ライセンスの下で提供されており、Cloudera はその使用に関する保証、サポート、メンテナンスを提供しておりません。

MCP と Cloudera の連携について詳しくは、ブログ「Cloudera MCP サーバーで生成 AI にコンテキストを提供する」をご覧ください。

図1. Cloudera AI Workbench MCP サーバーのアーキテクチャ

既存のガバナンスとの統合

Cloudera MCP サーバーは、既存のエンタープライズガバナンスを回避するのではなく、連携するように設計されています。

• データサイエンティストや AI エンジニアの場合：コンテキストの切り替えが減り、プラットフォームタスクを開始しながらチャットや IDE を使用し続けることができます。アシスタントは調整を担当し、プラットフォームは実行を担当します。

• プラットフォームおよび MLOps チームの場合：評価スクリプトのトリガー、新しいデータセットのアップロード、同様のテストの実行に役立ちます。この統合により、アプリケーションの更新、削除、再開や実験の追跡も可能になります。

セキュリティ・バイ・デザイン

セキュリティはサーバー設計の中核的な要素であり、エンタープライズ環境に適合するように設計されています。

• STDIO トランスポート：デフォルトでは、アシスタントとサーバー間の通信に標準入出力（STDIO）を使用します。これにより、このやり取りのために新しいネットワークエンドポイントを開いて管理する必要がなくなります。

• 認証情報の管理：サーバーは Docker のシークレットや環境変数から認証情報を読み取るよう設計されており、キーをハードコーディングしたりコマンドライン引数で渡す必要がありません。

• アクセスが簡単：既存の Cloudera AI Workbench API キーを使用するため、さまざまなユーザーやユースケースに合わせて権限の範囲を適切に限定できます。

この記事は、2025/12/4に公開された「Integrate Agentic Workflows Using Cloudera AI Workbench MCP Server」の翻訳です。

タスクを自動化してデータ担当者の効率を向上

データサイエンティストや AI エンジニアが日常のワークフローの一環として行う日常的なタスクは数多くあります。たとえば、データセットのアップロード、さまざまなハイパーパラメータに対する同じスクリプトの実行と反復、実験の観察などです。これらのタスクを AI エージェントに任せることで、リソースを節約し、大きな価値を生み出すことができます。

ここで役に立つのが Cloudera AI Workbench MCP サーバーです。オープンソースの Model Context Protocol（MCP）サーバーで、エージェント型ワークフローとより良く統合できるよう設計されています。

Cloudera MCP Server の概要と活用方法

Cloudera の MCP サーバーは安全な翻訳者として機能します。Cloudera Agent Studio、Claude、または Cursor のようなアシスタントが、Cloudera AI Workbench 環境内で直接タスクを実行できるようにします。

つまり、アシスタントにプロジェクトの一覧表示、ファイルのアップロード、ジョブの実行を依頼することで、サーバーがプラットフォームの標準 API を使用してアクションを実行できるようになるということです。

この記事は、2025/12/2に公開された「How to Avoid Building Brick Walls with Your Data and AI Platforms」の翻訳です。

今日の大規模組織のほとんどは、データと AI の取り組みを実行するために 1 つのベンダーだけを選択することはありません。優先するクラウドベンダーを 1 社決めることはあるかもしれません。ただし、マルチクラウドやハイブリッドの採用は拡大しています。特に、次に起こり得る、避けられないパブリッククラウドの障害に備える動きが背景にあります。企業には、景気後退時や予算が厳しくなったときなど、コストを最も最適化した方法でワークロードをいつどこで実行するかについて柔軟なオプションが必要です。

Fortune 2000 IT 組織のデータと AI アーキテクチャを少し見てみると、ガートナーのマジック・クアドラントや Forrester Wave に点在するベンダーから実装された無数のテクノロジーを見つけることができます。

合併や買収に積極的に取り組み、迅速な成果を求めている場合、特定のベンダーの誇大宣伝を信じてしまいがちです。そして、オープンエコシステムのアプローチを維持しようとする最大の意図にもかかわらず、これらの大規模組織は、誇大宣伝されたサービスに多額の投資をする前に、細かい文字で書かれた内容を読まないことがあります。

その結果として、偶発的なアーキテクチャにより「レンガの壁」ができあがり、組織が 1 社のベンダーにロックイン状態となり、コスト増加、柔軟性の制限、イノベーションの遅延につながる可能性があります。

このブログでは、ベンダーロックインの最も一般的な落とし穴と、プラットフォームを評価する際に尋ねるべき重要な質問について探究し、Cloudera のオープンデータアーキテクチャがこれらの課題を回避するのにどのように役立つかを例を挙げて説明します。

強制的で高額なクラウド移行とデータファブリックおよびデータ主権のサポート不足

データと AI プラットフォームは、データが存在する場所で使えますか？

Cloudera はデータが存在する場所であればどこでも動作するため、同じ一貫したプラットフォームでハイブリッド環境全体の分散データを安全に処理し、ガバナンスを実現できます。Cloudera の Trino 統合は、そこからさらに進化しています。データを移動することなく、データウェアハウス、データレイク、オンプレミスシステム全体で高速なフェデレーションクエリを実行できます。Trino は、アクセスを一元化し、インサイトを促進することで、統合データファブリックを構築し、次のフロンティアであるエージェント AI に備える組織にとって重要な推進力です。

クラウド専用のデータや AI プラットフォームの場合、オンプレミスデータを扱うには、数百万ドルの書き直しやリファクタリングにかかるクラウド移行を強いられ、最終的には単一のベンダーに縛られてしまいます。

プラットフォームは、オンプレミスシステムからパブリッククラウドまで、あらゆる場所でサイロ化されたデータを接続できますか？

データファブリックは、どこからでも誰でも、安全かつ効率的にデータにアクセスして使用できるようにする機能をサポートします。この分野における強みが認められ、Cloudera は「2025 Forrester Wave for Data Fabric Platforms」のリーダーに選ばれました。

データファブリックのユースケースをサポートするための最低限のデータ管理要件を満たしていないベンダーは、Forrester のレポートに掲載されません。この評価を受けていない一般的なプラットフォームベンダーにご注意ください。これらのベンダーのソリューションに投資すると、組織はすべてのデータを単一のシステムに移行せざるを得なくなります。

プラットフォームは、ソブリン要件を満たす導入形態として、エアギャップ環境でも稼働できますか？

Cloudera は、完全にエアギャップされた主権型の導入形態をサポートすることで、プライベート AI を提供します。これは、コントロールプレーンやデータが一切顧客の環境の外に出ない仕組みで、規制の厳しい業界、特に公共部門では重要な要件です。他のプラットフォームでは、制御プレーンに常時接続する必要があり、真のプライベート AI は実現不可能です。

機能が限られたデータエステート内でしか動作しないカタログ

データカタログは、データ資産全体にまたがって使えますか？

Cloudera（特にCloudera Octopai Data Lineage）は、すべてのデータプラットフォームにわたってフルスタックのリネージとガバナンスを提供します。他のプラットフォームは、そのプラットフォームに移行したデータのみを管理し、データメッシュアーキテクチャを破壊します。また、Cloudera Octopai Data Lineage は、完全な統合を伴うビジュアルなリネージをすぐに提供します。これは、API エンドポイントは提供するものの、ツール、UI、統合を提供しない他のベンダーと比較した場合の重要な差別化要因です。

データと AI プラットフォームは完全なガバナンスを提供していますか？

Cloudera Shared Data Experience（SDX）は、すべてのワークロードにわたって完全なガバナンスを提供し、長年にわたって実運用で実証されてきました。

他のベンダーはこの分野で不十分です。あるベンダーは数年前にカタログの提供を発表しましたが、タグベースのガバナンスなどの機能が最近になってようやく GA に達しました（最初に発表されてから3年後です）。一方、属性ベースのアクセス制御などの重要な機能はまだパブリックプレビューのままです。大きな発表と製品の納品の間に 2～3 年のギャップがある状態で運営するのは、「Hype Machine（ハイプマシン、誇大宣伝装置）」の定義に当てはまります。

隠れたコスト、ガードレールの欠如、未熟なデータウェアハウス

予想外の高額請求を防ぐための上限設定などを備えた、分かりやすい料金体系はありますか？

Cloudera は隠れた乗数や消費トラップのない、透明な価格設定を提供しています。他のベンダーは上限設定なしで機能を導入し、顧客にわずか 1 日間のテストで数千ドルという驚きの請求を突きつけます。

データウェアハウスは真のエンタープライズ需要に対応できますか？

Cloudera Data Warehouse は、高可用性（HA）とシームレスな拡張を備えた、実稼働レベルのデータウェアハウス機能を提供します。

他のベンダーは自動拡張と HA を追加していますが、これらが互換性のある機能なのか、それとも別々の機能なのかを確認することが重要です。後者の場合、どちらか一方を選択せざるを得なくなります。他に注意すべき制限は、地域別のストレージとベンダーが管理するストレージです。

限定的なデータストリーミングと、怪しい性能改善のコスト

データと AI プラットフォームは、データ集約型のストリーミングワークロードを扱えますか？

Cloudera は、複雑なストリーミングワークロード向けに、生産実績のある Apache Flink、Kafka、NiFi を提供します。他のベンダーは、具体的には Flink と競争できず、ストリーミング再生もありません。

ストリーミングワークロードでのパフォーマンス向上に対して料金がかかりますか？

Cloudera Streaming にはプレミアム価格帯はありません。他では、ストリーミングワークロードではパフォーマンスの向上が見られないことが多いにもかかわらず、約 3 倍のコスト乗数を強制するものもあります。こうしたベンダーが最適化を行うと、追加料金を請求することは珍しくありません。社内分析によると、追加料金は最大 80% にも上ります。

プラットフォームは、真のオープンソースの Kafka を提供していますか、それとも独自の証明されていないバージョンの提供ですか？

Cloudera は実績のある成熟したオープンソースの Apache Kafka に依存しています。他では、Apache Kafka をまったく実行していません。他のベンダーは、まだ初期段階で大規模な実績のない、価格設定が不透明な独自の Kafka 類似品を出荷しています。

AI の所有権に関する明確さの欠如（API アクセスレンタルと比較）と AI Assistants（チャットボットと比較）

データと AI プラットフォームでは、自分で自分の AI モデルを所有するのでしょうか、それとも単純に API アクセスに料金を請求されるのでしょうか？

Cloudera AI は、企業が自社のインフラ上で AI モデルを所有し、運用することを可能にします。他のベンダーはパブリック API の「仲介者」として機能し、顧客に突然のサービス停止や上限のないコストを負わせながら、多額の手数料を徴収します。

プラットフォームには、生産性向上のために信頼できる AI アシスタントが導入されていますか?

Cloudera AI Assistants は、本物のインテリジェンスを備え、プラットフォーム全体に初日から組み込まれます。他のベンダーは、基本的な取得と応答のチャットボットをイノベーションとして再パッケージ化していますが、データ系統の追跡、ガバナンスの適用、構造化データと非構造化データにわたる推論ができなければ、それは単にインターフェースが改善された検索でしかありません。

「オープン」「統合」をうたう流れに便乗しながら、それを裏付けるインフラを持たないベンダー

データとAIプラットフォームは実際、どれくらいオープンですか？

Cloudera はベンダーロックインすることなく、複数のエンジンで Apache Iceberg と Hudi をサポートしています。他のベンダーはオープンアプローチを主張していますが、テーブルフォーマットのサポートは数年先の話であるか、まだベータ段階で、本質的にプロ独自仕様のままで、顧客を閉じこめてしまいます。

プラットフォームは Apache Iceberg に対してどのようなレベルのサポートを提供していますか？

Cloudera は Apache Iceberg をサポートしており、ベンダーロックインなしでプラットフォーム全体で完全な読み取り/書き込み機能を利用できます。Cloudera の Iceberg REST Catalog は、一般的なプラットフォーム、エンジン、チーム間でのゼロコピーアクセスを可能にするオープンでユニバーサルなメタデータ層を提供することで、データ共有をさらに強化します。

他のベンダーはオープン性を主張していますが、Iceberg のサポートはまだベータ段階です。では「統一」テーブルフォーマットはどうでしょうか？データプラクティショナーは実際のデプロイメントではこれをスキップします。これを使用すると、最適化は独自の形式でのみ機能するため、データが重複するかパフォーマンスが犠牲になるからです。

ベンダーロックインを回避する：（実際に）オープンで統合された、ガバナンスのとれたデータおよび AI プラットフォームを選択する

Cloudera は、データが存在する場所を問わずデータに AI をもたらすことで大規模組織が信頼している唯一のデータおよび AI プラットフォーム企業です。他のプロバイダーとは異なり、Cloudera は実績のあるオープンソースの基盤を活用し、パブリッククラウド、データセンター、エッジを統合した一貫性のあるクラウドエクスペリエンスを提供します。ビッグデータのパイオニアである Cloudera は、企業が AI を適用し、100% のあらゆる形態のデータをコントロールできるようにし、統合されたセキュリティ、ガバナンス、リアルタイムの予測的なインサイトを提供します。あらゆる業界にわたる世界最大の組織が、意思決定のあり方を根本から変革するとともに、最終的には収益の向上、脅威対策、人命保護のため Cloudera を活用しています。

Cloudera でデータを安全に大規模に準備、統合、分析する方法について詳しくは、製品デモをご覧ください。または 5 日間の無料トライアルにご登録ください。

この記事は、2025/11/24に公開された「How Leading Data Teams Build AI-Ready Pipelines with Apache Iceberg and Spark」の翻訳です。

スケーラブルな AI に向けてデータエンジニアリングを最新化するグローバル企業2社からの教訓

予測分析から生成 AI まで、すべての企業がデータを価値に変えることを目指しています。しかし、多くのチームにとって、本当の課題はデータを使用可能で、信頼でき、拡張可能なものにするために必要なデータエンジニアリング作業にあります。複雑な環境において、エンジニアは依然として従来のテーブル形式を使用してパイプラインを組み合わせ、ツール間でロジックを複製し、ガバナンスを事後に改良しています。こうした非効率性により、あらゆる段階で障害が発生し、成果が遅れ、最先端の AI・分析イニシアチブの効果さえも制限されてしまいます。

データエンジニアリングスタックを効率化し、今後に備えたい企業にとって、オープンテーブル形式としての Apache Iceberg とオープンコンピューティングエンジンとしての Apache Spark は強力な組み合わせであることが実証されています。これらを組み合わせることで、ガバナンス、柔軟性、パフォーマンスを犠牲にすることなく、ペタバイト（PB）規模のデータを処理・管理するためのオープンでスケーラブルな標準化された基盤が提供されます。

このブログでは、2つのグローバル企業が Cloudera のデータおよび AI プラットフォームで Spark と Iceberg を使用してデータパイプラインを変革した方法を詳述します。同社がクエリにかかる時間を80%削減した方法や、チーム間でワークフローを標準化した方法、未加工のデータを AI 対応のインサイトに変えるまでの時間を短縮した方法を探っていきましょう。

Vodafone Idea がクエリ時間を80％削減した方法

Vodafone Idea はインドの3大通信会社の1つで、2億2,000万人の利用者にサービスを提供しています。同社は規模の問題に苦しんでいました。Hive ベースのデータレイクが17 PB以上に膨れ上がり、パフォーマンスのボトルネックによって重要な業務の運営が危険にさらされていたのです。レポートクエリの中には70時間以上かかるものもあり、コンプライアンスや分析、規制に関するレポートが遅れていました。

Vodafone Idea は、単にインフラストラクチャをアップグレードするのではなく、データプラットフォームを再構築することにしました。Cloudera との協業により、同社は Iceberg を活用してメタデータとスキーマの進化を最適化することでクエリを高速化し、Spark で処理ワークフローを再構築して分散コンピューティングを活用し、効率的で大規模なデータ処理を実現しました。

規制報告に関しては、Iceberg と Apache Impala を組み合わせて、PB スケールのデータセットへの迅速かつ信頼性の高いアクセスをサポートする、インタラクティブなクエリエンジンとして活用しました。Impala がレポーティングクエリを処理する一方、Iceberg は舞台裏で重要な役割を遂行。ACID トランザクション（原子性、一貫性、独立性、耐久性：データベーストランザクションが確実かつ一貫して処理されることを保証するプロパティ）、柔軟なスキーマ進化機能、豊富なメタデータをサポートすることにより、データが変更されてもレポートワークフローの一貫性が保たれました。

Cloudera Shared Data Experience（SDX）との統合により、チームはロールベースおよび属性ベースのアクセス制御によるきめ細かなガバナンスを実現し、適切な担当者が適切なデータにアクセスできるようになりました。この基盤により、同社は増え続ける規制要件を満たしながら、タイムリーで監査可能なレポートを提供できるようになりました。

規模拡大を目指した製薬会社の統合方法：単一の技術スタックで1万件のジョブに対応

PB規模の臨床研究データを管理する世界的な製薬会社は、今増えつつある、よくある課題に直面していました。使用するツールが多すぎてデータの信頼性に課題が生じ、コンプライアンス基準を満たすことが難しいことに加え、高速の AI と分析をサポートしなければならないというプレッシャーにも直面していたのです。データエンジニアリングチームは、毎日10,000件を超える ETL ジョブを実行する必要がありましたが、チーム間でパイプラインを構築、管理、検証するための標準化された方法がありませんでした。

Cloudera on AWS の導入により、同社は明確な方向性を示しました。チームは、Cloudera Data Engineering 上で Spark を使用してすべてのデータパイプラインを標準化し、バッチ、ストリーミング、機械学習のワークロード全体の処理を統合して拡張。それと同時に、Iceberg をデフォルトのオープンテーブル形式として採用し、一貫したスキーマの進化、組み込みのバージョン管理、チームや環境全体でのエンタープライズグレードのガバナンスを確保しました。

Cloudera で Spark と Iceberg を採用することで、同社はクリーンで拡張可能な DataOps 基盤の構築に成功。これにより、データパイプラインが標準化され、チームやツール間での安全なデータ共有が可能になり、より高速で高度な AI と分析への道が開かれました。この基盤は現在、規制監査ワークフローから臨床試験での発見と医薬品開発を加速する AI モデルまで、すべてをサポートしており、今後あらゆる新しいテクノロジーやエンジンを企業がシームレスに統合できるようにします。

データエンジニアリングおよび AI 向けに現代的な基盤を構築

2社のストーリーには、データワークフローの断片化や規模のプレッシャー、複雑性の増大に直面していたという共通点があります。両社とも Apache Spark と Apache Iceberg を Cloudera で標準化することで、オープンでスケーラブルかつ信頼できるコンポーネントを中心にパイプラインを再構築し、ガバナンスの向上、パフォーマンスの高速化、AI と分析のためのデータフローのクリーン化を実現しました。

Cloudera Data Engineering を使用すると、企業はハイブリッドおよびマルチクラウド環境全体で実行されるエンドツーエンドのソリューションを手に入れることができます。これに Spark、Iceberg、Airflow との統合オーケストレーションを組み合わせることで、チームは以下を行うことが可能になります。

• 一度構築したパイプラインをデータセンターでもクラウドでも、どこでも実行。
• オープンデータレイクハウスで信頼とガバナンスを大規模に管理。

Spark と Iceberg が Cloudera 上で信頼性が高くスケーラブルなパイプラインを強化する方法については、このインタラクティブなデモをご覧ください。今すぐ Cloudera Data Engineering の5日間トライアルで実際にお試しいただき、AI に対応したデータワークフローの構築を始めましょう。

図3：Cloudera AI の AI Workbench および AI Inference サービス

Cloudera AI Workbench

Cloudera AI Workbench は、データサイエンティスト、アナリスト、エンジニアがモデルを開発、微調整、テストするためのコラボレーション環境です。この環境ではノートブック、ローコードのアプリケーションビルダー（AMP）、および AI 開発のあらゆる段階に対応する専用スタジオを統合しています。Cloudera AI Workbench は AI の開発と展開を加速するため、ビジネスチームと技術チームのギャップを埋め、AI プロジェクトにおけるコラボレーションを促進する以下の4つの AI スタジオを支えています。

• Synthetic Data Studio は、実際のデータが限られている場合や制限されている場合に、テストやモデルのトレーニング用の合成データセットを生成します。
• Fine-Tuning Studio は、オープンファンデーションモデルを企業固有のデータセットに適合させ、関連性と精度を高めます。
• RAG Studio は、LLM（OpenAI、Anthropic、Amazon Bedrock など）を関連するプライベートデータに接続し、根拠のあるコンテキスト出力を実現する RAG パイプラインを構築します。
• Agent Studio では、モデル、MCP、API、内部データソースを使用して、ドメイン固有のタスクを自動化する、マルチステップのエージェント型ワークフローを作成できます。

これらの機能はすべてオープンなレイクハウス（Iceberg の基盤上）で動作し、安全な管理下での、特定のタスクに必要なデータへのゼロコピーアクセスをチームに提供します。

Cloudera MCP サーバー

Cloudera は、オープンソースのCloudera AI Workbench MCP サーバー をはじめとする一連の新しい MCP サービスを通じて、AI プラットフォームのオープン性を拡大しています。このサービスは AI システムの統合用に設計されており、AI ワークベンチ内でエージェント機能とツール呼び出し機能を有効にします。また、LLM が Cloudera AI Workbench の機能やコンポーネントと安全にやり取りするためのフレームワークを提供し、モデル、データ、アプリケーションを自動化されたエンタープライズワークフローに取り込みます。知的エージェントはこのアーキテクチャにおいて、規制の厳しい業界で必要とされるセキュリティ、制御、監査機能を維持しながら、信頼できる管理された Cloudera 環境全体でタスクの推論、実行、自動化を行うことができます。

Cloudera AI Inference サービス

Cloudera AI Inference Service は、自動拡張、高可用性、エンドツーエンドの観測可能性を備えたモデルを本番環境に導入します。従来の ML モデルと大規模言語モデル（LLM）の両方をサポートし、予測と応答を低遅延で提供します。モデルは、エンタープライズグレードのセキュリティを備えた REST または gRPC エンドポイントとして展開でき、アプリケーションやエージェントからの信頼性が高く一貫したアクセスを保証します。

推論層に統合された Cloudera AI Registry は、追跡、バージョン管理、成果物の保存、系統化のための MLflow 互換 API を備えた集中型モデルライフサイクル管理を提供します。Llama、Cohere、Gemma、Mistral など、さまざまなオープン言語モデルやエンタープライズ言語モデルのオプションから選択できます。

推論層には組み込みの監視機能と可観測性も含まれており、チームは SDX ガバナンスを通じて完全な系統とコンプライアンスを維持しながら、レイテンシー、スループット、モデルのドリフトを追跡できます。これにより、エンタープライズグレードの AI の重要な要件であるモデル予測が説明可能で追跡可能になります。

未来は AI によって推進され、AI はあらゆるデータによって駆動される

AI の成功は、モデルやエージェントの能力だけでなく、データアーキテクチャにも大きく依存しています。レイクハウスは、分析、運用、AI のワークロードを単一の管理されたデータプレーンに統合する基盤を提供します。オープンスタンダードに基づいて構築されていれば、データ、メタデータ、モデルをツール、クラウド、チーム間で問題なく相互運用できます。

Cloudera AI Workbench、AI Inference Service、統合 AI レジストリが一体となって、オープンレイクハウス基盤の上でデータから AI へのライフサイクルを完成させます。管理された Iceberg テーブルとオープンメタデータアクセスに基づいて直接構築されたこのスタックにより、すべてのモデル、プロンプト、エージェントが信頼できるバージョン管理されたデータ上で動作することが保証されます。

エンタープライズ AI の未来は、独自のスタックによって定義されるのではなく、共有された標準と透明な相互運用性を通じてデータ、ガバナンス、インテリジェンスを統一するオープンな基盤によって定義されるでしょう。

Cloudera でデータを安全に大規模に準備、統合、分析する方法について詳しくは、製品デモをご覧ください。または 5 日間の無料トライアルにご登録ください。

図1：オープンな基盤（Apache Iceberg）上に構築された Cloudera のデータと AI プラットフォーム

ここからは、Cloudera のプラットフォーム（図1）に含まれるさまざまなコンポーネントが、ML パイプラインや 生成 AI アプリケーションを構築するチームをどのようにサポートするのか、またデータと AI のライフサイクルのさまざまな段階（取り込みから推論まで）にどのように対応するのかを、相互運用可能な単一のプラットフォームとして動作させながら確認します。各コンポーネントはオープンスタンダードに基づいて構築されており、環境間での柔軟性と相互運用性を保証します。

ストレージ: Apache Iceberg

Apache Iceberg は、Cloudera のレイクハウスアーキテクチャを支える、オープンでバージョン管理されたトランザクションテーブルフォーマットです。Iceberg は、スキーマの進化、タイムトラベル、アトミック操作を可能にし、分析ワークロードと AI ワークロードの両方を同じ管理されたデータ上で一貫して操作できるようにします。Cloudera は、安全に管理され、いつでも過去の履歴に遡れる基盤を提供し、一貫性があり追跡可能なデータビューからすべてのモデル、プロンプト、検索タスクが取得されるようにします。

スキーマの進化などの Iceberg のネイティブ機能も、AI データセットの進化と密接に連携しています。特徴量ストア、トレーニングデータセット、検索コーパスはすべて Cloudera のレイクハウス内で同じ Iceberg テーブルを共有でき、スナップショットを使用してトレーニングデータの一貫性を保持しながら、新たな推論用データの流れを維持できます。これにより、分析テーブルと AI 固有のストレージの間の境界がなくなります。

取り込み：Cloudera データ・イン・モーション

Cloudera DataFlow は Apache NiFi 上に構築されており、レイクハウスへの継続的なデータ移動の基盤となります。これにより、データベース、API、IoT デバイス、イベントログなど、さまざまなエンタープライズソースからの低レイテンシの取り込みが可能になり、バッチとストリーミングの両方のワークロードをサポートします。NiFi のネイティブ Apache Iceberg 統合における最近のイノベーションにより、中間ステージングなしでオープンレイクハウスにデータを直接書き込むことができるようになりました。NiFi と Iceberg のこの緊密な連携により、パイプラインの複雑さが軽減され、データの取り込みと同時にオープンテーブル形式でデータを書き込めるようになります。

リアルタイムのユースケースでは、NiFi、Apache Kafka、Apache Flink がイベントドリブン型の取り込みファブリックを形成します。NiFi はデータのオーケストレーションとルーティングを行い、Kafka は永続的なストリーミングを提供し、Flink はデータを Iceberg に永続化する前にリアルタイムのエンリッチメントを可能にします。この設計により、下流のすべての消費者にわたってデータが最新の状態に保たれ、管理された状態が維持されます。この連続したマルチモーダルデータの流れこそが、レイクハウスの AI ワークロードを支えています。リアルタイムデータを一貫したガバナンスの下、Iceberg テーブルで継続的に利用できるようにすることで、企業は生成 AI システムにドメイン固有の情報をタイムリーに提供し、RAG パイプラインとエージェントのワークフローをより正確で、根拠のある、信頼性の高いものにすることができます。

カタログ：Cloudera Iceberg REST カタログ

Cloudera Iceberg REST カタログ（オープンな REST 仕様に基づく）は、オープン仕様をサポートするサードパーティエンジン（Snowflake、Redshift、Databricksなど）が Iceberg テーブルにゼロコピーアクセスできるようにする中央集権型かつ相互運用可能なメタデータサービスを提供します。1つのプラットフォームで提供される1つの計算エンジンに制限されることなく、タスクに最適なコンピューティングを柔軟に選択できるため、この側面は組織にとって非常に重要です。Cloudera が提供するセキュリティおよびガバナンスポリシーがあらゆる場所のデータに適用され、環境間の一貫性が保証される一方で、ユーザーは好みのツールを使用できます。

この記事は、2025/11/21に公開された「The Future Delivered Today: The AI-Powered Data Lakehouse」の翻訳です。

Cloudera のオープンな基盤なら、データがどこにあっても100%アクセス可能

業界全体にわたり、データチームは、データをインテリジェンスに変換する方法を探っており、情報を保存する以上の機能を備えたシステムの構築および実行方法がないか再検討しています。また、これらのシステムが相互運用できることも重要です。AI モデル、機能パイプライン、ビジネスインテリジェンス（BI）レポート、およびバッチジョブは、多くの場合、複数のチームとエンジンにまたがります。現在では、コピーやリファクタリングを行わずに境界を越えてデータを共有することが最優先事項となっています。

組織はこれまで、BI やレポート用に最適化されたデータウェアハウスと、大規模な AI および機械学習（ML）用に設計されたデータレイクから成る2層のアーキテクチャに依存してきました。しかし、この2つが分離されていることにより、複雑なデータ移動、専門的なエンジニアリング、ほとんど同期されないシステム間での重複したストレージといった問題があり、コストがかかっていました。

Cloudera のオープンレイクハウスアーキテクチャは分析（BI、アドホッククエリ）と AI（予測および生成 AI、または GenAI）のワークロードを一元的に管理されたデータ基盤に統合することで、この課題に対処します。組織は、この一元化されたデータアーキテクチャにより、Apache Iceberg などのオープンテーブル形式を使用して、（データを計算に持ち込むのではなく）計算をデータに持ち込むことができ、データの近くで AI ワークロードを実行するための基盤が提供されます。レイクハウス上の AI ワークロードはガバナンスされ、バージョン管理された、高品質のデータを直接操作できます。

Cloudera は、あらゆる場所のデータに AI の力をもたらす唯一のデータ AI プラットフォーム企業であり、実績のあるオープンソースの基盤を活用して、パブリッククラウド、データセンター、エッジを統合する一貫したクラウドエクスペリエンスを提供します。

AI ワークロードの実行におけるオープンな基盤の重要性

企業はここ10年で、長期的な成功を収めるにはパフォーマンスとスケーラビリティだけでは不十分であり、柔軟性と相互運用性が不可欠であることを学びました。AI ワークロードの活用においては特に、独自の形式やシステムに制約されることなく、さまざまなデータソース、フレームワーク、ツールを使用できる能力が必要です。

そこで、Apache Iceberg などのオープンテーブル形式がデータプラットフォームのアーキテクチャを変えました。Iceberg は、テーブルの論理的定義を物理的なストレージレイアウトから切り離し、複数のエンジンとフレームワークが完全なトランザクション保証の下で同じデータを読み書きできるようにします。このオープン性により、パイプラインを書き換えることなくインフラストラクチャを進化させ、新しいコンピューティングエンジンを採用することが可能になります。

本番環境レベルのパイプラインを実行するには、AI ライフサイクルのすべての段階でデータ、モデル、およびガバナンスをつなぐことができる統合プラットフォームが必要です。ここで中核となるのは、未加工のデータ、構造化データ、半構造化データ、および非構造化データを継続的に AI 対応の形式へと変換し、モデルのトレーニングおよび評価の系統管理と再現性を維持するデータおよび特徴量エンジニアリングパイプラインです。

生成 AI では、従来の ML の枠を超えた、新たな運用要件が導入されます。チームは固有のタスクを解決するために、検索拡張生成（RAG）向けのインフラストラクチャとデータへのアクセスを取得し、プライベートデータでの大規模言語モデル（LLM）を微調整し、エージェント型ワークフローを構築して、モデル、プロンプト、モデルコンテキストプロトコル（MCP）（API）を組み合わせる必要があります。これらのワークロードは、表形式のデータと非構造化データ（テキスト、ドキュメント、画像、埋め込み）の両方に依存しており、どれも単一のデータおよびメタデータプレーンで管理されます。また、これらのモデルを安全かつ効率的に展開して提供するには、スケーラブルな推論層が不可欠です。

AI ワークロードの多機能化とエージェント化が進むにつれて、カタログやメタデータへのアクセスの重要性も増していきます。AI パイプライン、検索システム、自律エージェントはすべて、データセットの検出、トレーニング状態の再現、系統管理の維持にメタデータを活用しています。オープンカタログは、データセットがどこでどのように処理されるかに関係なく、これらのシステムがデータセットを照会、登録、追跡するための普遍的な方法を提供します。

Cloudera のオープンな基盤により、組織は分析、予測、生成 AI のワークロードを完全にサポートできます。

Cloudera の統合データと AI プラットフォーム

Cloudera のオープンデータレイクハウスは、Apache Iceberg や REST カタログなどのオープンな基盤を活用し、データエンジニアリング、分析、AI をガバナンスの効いた同一のアーキテクチャ上に統合します。このプラットフォームは、すでにデータが存在する場所でワークロード（分析ワークロードまたは AI ワークロード）が動作する必要があるという原則に基づいて設計されています。データの移動や複製の摩擦を排除することで、チームはデータの取り込み、変換、分析、モデル運用にまたがる継続的なパイプラインを、完全な系統と統制を備えた状態で構築できます。

図2：Cloudera の Iceberg REST カタログでサードパーティエンジンとの相互運用性を実現

このカタログレイヤーは、機能エンジニアリングパイプライン、エージェント型ワークフロー、および検索システムが、管理されたデータセットを動的に検索してアクセスする上で重要です。AI エージェントは、企業データのナレッジグラフと同じように、REST カタログを使用して Iceberg テーブルをクエリできます。また、利用可能なテーブルを検出し、そのスキーマを解釈し、パーティショニング、スナップショット、リネージなどのテーブルメタデータを考慮して、使用するデータセットを決定できます。

セキュリティとガバナンス：Cloudera SDX

Cloudera Shared Data Experience（SDX）は、取り込みから推論に至るまで、あらゆるサービスにまたがる統一されたセキュリティおよびガバナンスのフレームワークです。SDX は、データのリネージ、監査、アクセス制御、ポリシー適用のための単一の一貫したレイヤーを提供し、すべてのワークロードが実行場所に関係なく同じセキュリティモデルを継承できるようにします。また、エンタープライズ ID システム（LDAP、SSO、OAuth）と統合し、構造化データと非構造化データにわたって、役割ベースおよび属性ベースのきめ細かなアクセス制御をサポートします。

Cloudera は、SDX をオープンなレイクハウス基盤と組み合わせることで、データ、モデル、AI エージェントが同じ管理境界内で動作することを保証し、分析ワークロードと生成 AI ワークロードの両方に透明性、再現性、信頼性を提供します。

Cloudera のデータサービスと AI サービス

統合サービスレイヤーは、チームが AI を変換、分析、および運用化するために必要なすべての機能を統合し、管理された同一のデータ上で同時に作業することを可能にします。

Data Engineering

Cloudera Data Engineering は、オープンソースの Apache Spark と Apache Airflow を基盤に構築れており、Iceberg テーブル上でデータパイプラインの構築、オーケストレーション、スケーリングを行うサーバーレスサービスを提供します。これにより、ハイブリッド環境間での分析や AI ワークロードに対する信頼性が高く、再現可能な ETL および機能パイプラインを実現します。

AIサービス

Cloudera AI サービスレイヤーは、モデルのトレーニングや微調整から安全な導入まで、AI のライフサイクル全体の運用化を Iceberg と同じ管理されたデータ基盤上でネイティブに実行します。また、モデル開発、登録、推論を、データエンジニアリングと AI の運用をつなぐ単一のワークフローに統合します。

この記事は、2025/11/13に公開された「A 5-Step Framework To Streamline Your Post-Merger Data Strategy」の翻訳です。

合併や買収（M&A）などのインオーガニック成長戦略は、戦略的な成長手段として機能し、企業は収益とコストの相乗効果を実現したり、長期的な競争上の優位性をもたらす新機能を迅速に獲得したりできます。たとえば現代では、大手企業が AI 変革の取り組みを加速し、競争上の優位性を獲得するために、小規模で革新的な AI スタートアップ企業を買収するケースが見られます。

テクノロジーの統合は、M&A による価値の獲得において重要な役割を果たします。Deloitte の調査では、IT は統合によるメリットを決定づける重要な要因であり、すべての相乗効果の50％以上を占めると主張しています。しかし、データサイロの増加とテクノロジーアーキテクチャや環境の多様化により、企業は合併後、テクノロジー統合のメリットを実現する上で、データに関するいくつかの課題に直面します。

この記事では、これらの課題に対処し、M＆A 環境における価値獲得を加速するための5段階のフレームワークを紹介します。このフレームワークにより、Cloudera を使用した合併後のデータ戦略で、テクノロジー統合プロセスを効率化するために必要な機能を確実に利用できるようになります。

図1：Cloudera を使用した合併後のデータ統合フレームワーク

1. Cloudera Octopai Data Lineage で M&A 後の統合を加速する

合併後の統合の開始時には、断片化されたソースや文書化されていないソースにより、重要な分析とコンプライアンスに関する取り組みが遅れるため、データ検出フェーズがボトルネックになることがよくあります。Cloudera Octopai Data Lineage は、複雑なハイブリッド環境およびマルチクラウド環境におけるデータ検出、エンドツーエンドのリネージ、カタログ化を加速する AI 搭載の自動メタデータ管理ソリューションを提供することで、この課題に対処します。

Cloudera Octopai Data Lineage は、データフローを効果的にマッピングし、メタデータのギャップを埋めることで、完全な可視性を実現するために起源と変換を追跡する多次元的なリネージを提供します。Cloudera Octopai Data Lineage は、60以上のネイティブ統合と非ネイティブシステム用のユニバーサルコネクタを備えており、取得したデータエステートのオンボーディングを効率化することで、データの透明性、品質、信頼を向上させます。

たとえば、銀行の合併シナリオでこの機能を使用すると、リスク関連のデータセットを迅速に識別してタグ付けすることができ、BCBS 239 などの規制基準への準拠が保証されると同時に、大規模な手動監査や介入の必要性が最小限に抑えられます。

2. Cloudera データ・イン・モーションで異なるデータソースを統合する

多様なデータソースを統合し、複雑なカスタム ETL パイプラインを排除することは、合併後の重要な課題です。Cloudera は、Cloudera Data Flow（Apache NiFi 搭載）と Cloudera Streaming（Apache Kafka および Apache Flink 搭載）を通じて、バッチおよびリアルタイムのデータの取り込み、処理、配信を支える強力な機能を提供します。

450 を超えるコネクタを備えた Cloudera Data Flow は、オンプレミス、クラウド、エッジなど、ドラッグアンドドロップで操作でき、さまざまな異種データソースからデータを取り込めるビジュアルインターフェースを提供します。また、Cloudera Streaming は、2つのエンティティ間のソースシステムと消費システムを分離するメッセージングバスアーキテクチャを提供し、アーキテクチャの複雑さとコストの増加を招くポイントツーポイントの統合を排除します。

合併後の統合において、これらの機能は組織間のデータ移動を大幅に加速・簡素化します。たとえば、Cloudera Data Flow を使用すると、買収した会社の従来のソースシステムにあるオンプレミスのデータを親会社のクラウドネイティブなデータウェアハウスに迅速に統合し、意思決定を迅速化できます。

3. Apache Iceberg を使用して Cloudera オープンデータレイクハウス上に安全なデータ共有レイヤーを構築する

合併する組織間でのデータ共有は、意思決定を統一し、インサイトを得る上で不可欠ですが、多様な探索的データ分析やビジネスインテリジェンステクノロジー、異なるシステムで使用されるさまざまなデータセキュリティモデルが原因で、このプロセスが複雑になる可能性があります。

Cloudera のオープンデータレイクハウスアプローチでは、Apache Iceberg、Cloudera Iceberg REST Catalog、および Cloudera Shared Data Experience（SDX）を組み合わせて一元的なデータ共有レイヤーを開発できます。このレイヤーは、さまざまな分析エンジン（エンジンで Iceberg REST Catalog が有効になっている Snowflake、Databricks、AWS EMR、AWS Athena、Salesforce Data Cloud など）と互換性があり、新たに統合されたデータサイエンスチームを含むさまざまなユーザーのアクセスを管理するための、きめ細かなセキュリティとガバナンスモデルを提供します。

たとえば、医薬品製造に従事する2つの医療機関は、Cloudera を活用して規制要件に準拠しつつ、合併する組織のデータ資産を統合する GxP 準拠のデータレイクハウスを構築できます。

4. 単一のマルチクラウド環境で環境横断的な取り組みを標準化する

合併される2社で分析アクティビティに使用される環境が異なると、データ・インジェスチョンや標準化などの共通タスクで使用するデータエンジニアリングパイプラインが複数になるなど、データライフサイクル全体で操作が重複することにつながります。

Cloudera は、さまざまなプライベートクラウド環境やパブリッククラウド環境にわたって共通のランタイム上でデータと AI 操作を標準化できるようにします。この機能は、環境全体で基盤として使用されるコンテナ化されたインフラストラクチャモデル、一貫したユーザー認証・承認メカニズム（Cloudera SDX）、およびさまざまな展開環境とリージョンにわたるクラスターを管理するための一元化された管理パネルとして機能する Cloudera Manager から派生しています。

合併後の状況において、この標準化はまさに革命です。2社がデータライフサイクルでの操作を単一のランタイムに一元化できるため、冗長なツールがなくなり、データ、分析情報、AI モデルの共有が容易になります。これにより、データ運用や AI/ML モデル開発にかかる技術コストや人件費の削減、実務担当者の生産性の向上、複数のツールの統合、データサイロの削減が実現します。

5. Cloudera AI で AI イニシアチブをあらゆる場所へ拡大する

買収または合併後の当面の課題は、変化する容量需要を管理しながら、新たに買収した革新的なスタートアップ企業のさまざまなツール、モデル、データサイエンティストを統合することです。Cloudera AI Workbench と AI Inference は、以下を実現することで、オンプレミスまたはクラウドで AI イニシアチブを拡張できるようにします。

• 特徴量エンジニアリング、モデルトレーニング、実験追跡、モデル展開のためのコンテナベースのエンドツーエンドソリューションを提供する

• データサイエンティストが異なるチーム間で共同作業できるよう、AI モデルの共有を促進する

• Cloudera パートナーのハードウェアおよびソフトウェアアクセラレーションサービスを活用し、データエンジニアリングのパフォーマンスを20倍に、AI推論性能を最大6倍に向上させることで、データサイエンスのライフサイクル全体を高速化する

合併企業は Cloudera を利用することで、AI/ML モデルの提供などの永続的で計算集約型のワークロードをオンプレミス環境に移行し、コストを大幅に削減できます。また、新しい複合 AI アプリケーションの市場投入までの時間を短縮できることも重要です。これにより、組織は M&A で当初目指していた「競争優位性」を迅速に実現することができます。

合併・買収後の統合を成功させるための次のステップ

Cloudera を利用すれば、2つの組織間の合併後のデータ資産と分析機能の統合を加速できます。弊社プラットフォームは、データライフサイクル全体にわたる拡張性、インフラストラクチャに依存しない展開モデル、Cloudera のサービスと Apache Iceberg 上のデータレイクハウスとの相互運用性を提供します。この組み合わせにより、AI/ML イニシアチブとデータ操作を標準化し、Cloudera のサービスとそうでないサービスの両方で使用できるデータ共有モデルを提供するための、アーキテクチャの設計図が提供されます。

デモや製品ツアーをご希望の方は、弊社チームまでご連絡ください。

この記事は、2025/11/14に公開された「Inside the Third Wave of Data and AI」の翻訳です。

インターネットの台頭からクラウドコンピューティングの爆発的増加まで、その時代の主要なテクノロジーが変わるごとに、データの使用方法と作成方法も変わってきました。現在 Cloudera の最高技術責任者を務める Sergio Gago によると、この時代は、「融合」に焦点を当てたビッグデータの第3段階に入っているそうです。

Gago はまた、最近参加した「AI Forecast（今後の AI の展望）」ポッドキャストで、クラウドとオンプレミスシステムの融合により、企業がデータ、モデル、AI ライフサイクルを完全に制御できる新世代のプライベート AI の土台が構築されつつあると語っています。

このページでは、このディスカッションの主なポイントをご紹介します。

クラウドとオンプレミスの融合とそれがプライベート AI を実現する理由

Paul：あなたのビジョンについて聞かせてください。ビッグデータの第3波はあなたにとって何を意味し、なぜ重要なのでしょうか？

Sergio：当社はコントロールの時代に創設されました。その当時、多くの企業はすでに、自社のデータを管理できる独自のデータセンターを所有していました。クラウドが登場してからは、いわゆる「利便性の時代」に突入し、クレジットカードを持つチームであれば、どんなハイパースケーラーでも利用でき、データを操作して、機械学習やダッシュボードを構築できるようになったのです。作業が非常に簡単になったため、多くの企業でシャドー IT が顕在化し、コストや TCO の管理、データガバナンスがますます困難になりました。

クラウドとデータの構想が落ち着くと、エンジンや、データベース、オプションにあふれた現代につながります。企業は何十、あるいは何百ものコンポーネントを所有し、それらの統合に苦労する「フランケンシュタインアーキテクチャ」に悩まされるようになりました。利便性の時代ならではの複雑性によりもたらされたものです。

最近は AI と AI エージェントの登場により、多くの企業やスタートアップに対する規制とコンプライアンスの要件が急速に高まっています。特に大企業では、コンプライアンスに準拠するため、最初の時代のコントロールをすべて取り戻す必要があります。そのため、企業や個人は、データセンターとクラウドの環境を統合して管理し、クラウドの利便性を保ちながらデータセンターのコントロールとガバナンスを実現することを余儀なくされています。第3波が「融合の時代」と呼ばれるのは、このためです。

プライベート AI：ライフサイクル全体でのコントロールと人間の優位性

Paul：プライベート AI コンポーネントについてお聞きしたいと思います。プライベートデータに関しては、非常に大きな競争優位性があります。プライベート AI は、それを活用する上で、どのように役立つのですか？

Sergio：プライベート AI は、AI アプリケーションのライフサイクル全体をコントロールする機能です。使用しているモデルや展開方法、どのモデルがコンプライアンスの観点から承認されているか、モデルの重みが必要な期間一定に保たれるようにするにはどうすればよいか、などを管理します。貴社のデータはクラウドとデータセンターの両方に存在しており、トレーニングにおいても、微調整においても、RAG などの他の手法においても、そのデータをモデルに安全に取り込む必要があります。これこそ、貴社のモデルが独自なものである理由です。

今日のほとんどの企業の競争優位性はデータだけでなく、スキル、つまりインサイトを導き出す人間の能力にも依ります。必ずしもデータそのものではなく、それを解釈できる経験とドメイン知識が重要なのです。プライベート AI は、モデルのライフサイクルからプロンプト管理、リネージ、ベンチマークまで、すべてをコントロールすることでその優位性を維持したまま、概念実証から本番環境のワークロードへと移行できるようにします。

エージェント、ガバナンス、文化を含む、ROI とリスクに配慮した構築

Paul：「融合」を話題にすると、CTO 向けの、技術的な議論と見なされ、従業員を遠ざけてしまうリスクがあります。Sergio さんの視点から見て、「融合」は CEO やビジネスリーダーとしてこれまで得られなかった新しいユースケースやビジネス価値をもたらす上で何をするのでしょうか。

Sergio：CEO は常に、ROI やコスト削減、企業価値を向上させるという観点から、ツールの実際の価値を理解したいと考えるでしょう。生成AI はそこにたどり着くまでの手段にすぎません。

同時に、すべての CEO が念頭に置いている2つ目の視点として、「リスク」が挙げられます。このリスクは、自社だけが重要な情報を取り逃しているのではないかという不安や大規模な AI ハルシネーションによりニュースの見出しを飾る企業になりたくないと恐れることから生じます。CEO は今、この2つの相反する側面に悩んでいるのです。

生成AI はビジネス目的で使用を開始する必要があります。最初からコンプライアンス、ガバナンス、IT、サイバーセキュリティ、法務を関与させることで、趣味の DIY のような何の成果もない状態に陥らないようにします。こういった分野での価値を示すことで、企業全体での活用に持ち込むことができます。

Sergio Gago との対談全編は Spotify 、 Apple Podcasts 、 YouTube でお聴きいただけます。

この記事は、2025/9/18に公開された「Revolutionize Your Data Strategy: Unleash the Power of Cloudera Octopai Data Lineage for Seamless Metadata Management and Data Lineage」の翻訳です。

今日のデータ環境は広大であり、急速に進化し続けています。組織がクラウドやオンプレミスのプラットフォーム、さまざまな分析ツールを通じてこれまで以上に多くのデータを収集する中で、企業はますます複雑化するデータソースのエコシステムをナビゲートする必要があります。データが複数の環境に分散している場合、その流れを追跡し理解することは複雑で、エラーが発生しやすく、時間がかかります。

このような複雑なデータエコシステムでは、メタデータとデータリネージが唯一の信頼できる情報源となり、データ利用の改善、データサイロの解消、規制コンプライアンスの支援、AIガバナンスの提供につながります。一方で、適切なメタデータとデータリネージインフラストラクチャが欠如していると、実用的な洞察を得るための障壁となり、企業はデータの全体像を把握するのに苦労し、品質、コンプライアンス、セキュリティを確保することが難しくなります。

複数の環境やツールにまたがるメタデータおよびデータリネージ管理の課題

メタデータ管理の不整合

メタデータはしばしば「データに関するデータ」と呼ばれます。メタデータには、業務的、ソーシャル的、運用的な情報が含まれ、生データに対して構造、形式、出所、使用ルールなどの基本的な情報を付加します。しかし、メタデータがシステム間で不整合・分断されている場合、次のようなさまざまな課題が生じます。

• 定義の不一致：部門やシステムごとに、同じデータ要素に対して異なる用語や定義が使われていることがあります。たとえば、営業部門の顧客情報と財務部門の顧客情報では、同じ「顧客レコード」であってもメタデータが一致しない場合があります。こうした不一致は混乱を招き、部門をまたいだ連携を困難にします。ビジネスへの影響も大きく、たとえば営業部門は最近のやり取りに基づいて「アクティブ顧客数は 10,000 人」と報告する一方で、財務部門は「アクティブ」の定義が異なるため 7,500 人と報告するようなケースもあります。このような差異は、誤った戦略的判断、予算の誤配分、さらには部門間のコミュニケーションの不整合による顧客関係の悪化にもつながりかねません。
  

• データ探索の難しさ：メタデータが適切に管理・集約されていれば、チームは必要なデータにすばやくアクセスできます。しかし、メタデータが分散していたり、十分に保守されていない場合、データエンジニアやアナリストにとっては「干し草の山から針を探す」ような状況になります。その結果、チームは正しいデータを探すのに貴重な時間を浪費し、重要なデータセットを見落としてしまい、不完全な分析につながる可能性があります。
  

• コンテキストの理解不足：データの構造や本来の用途を正しく理解していないと、誤って解釈されたり、誤った使い方をされることがあります。たとえば、あるデータセットがすでに整理・変換済みのデータであることを知らなければ、不必要な再処理を行ってしまったり、古い情報を使用してしまう可能性があります。

データのトレーサビリティが不十分

データリネージとは、データの由来、変換内容、および組織内のシステム間での流れを追跡できる状態を指します。明確なデータリネージがないと、企業はデータがどのように流れ、どこから来て、どのように変化しているのかを把握するのが困難になります。特に次のような状況では、深刻な問題となります。

• データが複数のプラットフォームに分散している場合：多くの企業では、オンプレミスのシステム、クラウドプラットフォーム、さまざまなサードパーティ製アプリケーションを併用しています。それぞれのシステムが異なる形式や手法でメタデータやデータリネージを管理していることが多く、データの利用状況や変換の流れを統一的に把握するのが困難になります。
  

• 変換処理の可視性の欠如：データが複数の段階やシステムを経る中で、さまざまな変換処理が行われます。こうした変化を明確に追跡できないと、チームはそのデータを分析に信頼して使うことができず、誤ったインサイトや意思決定につながるおそれがあります。また、データリネージが欠落していたり不完全であると、エラーの原因調査やプロセス改善にも支障をきたします。

• データ追跡性の欠如：データがパイプラインやシステムを通過する過程で、追跡情報が失われることがあります。データの出所や変更内容を正確に特定できなければ、データの整合性を維持したり、重要な意思決定に信頼して活用することが困難になります。

データサイロによる断片化

データが部門や特定のツール内でサイロ化、つまり閉じ込められている状態では、組織全体でデータがどのように流れているのかを把握することが困難になります。データサイロは情報の断片化を引き起こし、メタデータやデータリネージの管理をさらに複雑にします。たとえば次のような課題が生じます。

• 分断されたメタデータ：データが複数のシステムにまたがって保存されるのと同様に、メタデータもサイロ化されていることがよくあります。各システムには独自のメタデータリポジトリが存在する可能性があり、これによりデータのライフサイクルを企業全体で一貫して理解することが難しくなります。メタデータを俯瞰的に捉えることができなければ、正確なデータリネージの追跡はほぼ不可能となります。
  

• 新しいツールの統合が困難：データがサイロ化され、メタデータが標準化されていない場合、新しいツールを既存のエコシステムに統合するのは非常に困難になります。たとえば、新たなデータソースや分析ツールを追加する際には、各システム間でメタデータを手作業で突き合わせる必要があり、これがエラーの原因となったり、導入の遅れにつながることがあります。
  

• コンプライアンスを維持することの難しさ：データが細分化されるにつれて、ガバナンスおよび規制基準に準拠することを確認するのがより困難になります。データがどこにあり、どのように変更されたかを一貫して理解していなければ、企業は GDPR、HIPAA、その他の業界固有の規制などの基準への準拠を保証することはできません。

Cloudera Octopai Data Lineage は、ツール間でメタデータ管理とデータリネージを統合し、自動化します

Cloudera Octopai Data Lineage は、データサイロや複雑な統合によって生じる断片化を解消する、統一された直感的なソリューションを提供し、組織のガバナンス強化とコラボレーションの効率化を支援します。その機能は、データ品質、コンプライアンスとガバナンス、チーム間の連携といった取り組みの基盤として機能します。

• 一貫したメタデータ管理：さまざまなソースからメタデータを収集し、単一の集中管理リポジトリに統合します。これにより、クラウドプラットフォーム、オンプレミスシステム、サードパーティ製ツールなど、すべてのメタデータを一つの場所に集約して扱えます。

• 自動データリネージ追跡：データリネージを自動的にマッピングし、追跡します。これは、データパイプラインとシステム間の接続をスキャンするインテリジェントなアルゴリズムによって実現され、組織全体におけるデータの流れを視覚的に表現します。データリネージ機能は、システム間、内部システム、E2E 列レベルの多層構造を持ち、きめ細かなガバナンス、デバッグ、AI/ML の説明可能性をサポートします。これにより、エンドツーエンドの可視性、ほぼリアルタイムの更新が提供され、エラーや影響を迅速に検出することができます。

• 事前構築されたコネクタでサイロを解消：Cloudera Octopai Data Lineage は、60 を超えるコネクタを提供しており、データベース、クラウドプラットフォーム、ETL ツール、BI ツールなど、広く使用されているさまざまなプラットフォームに対応しています。API とコネクタはいずれも他のシステムやツールとの統合手段ですが、コネクタは統合プロセスを大幅に簡素化します。コネクタは事前構築された接続インターフェースを提供し、大規模なカスタム開発を行うことなく、データソースやシステムへの接続を可能にします。

Cloudera プラットフォームにおける Apache Hive および Apache Impala ワークロード向けコネクタ

今回ご紹介する 2 つのコネクタは、企業のデータ環境で広く利用されている SQL ベースのクエリエンジン、Apache Hive と Apache Impala 用のものです。Apache Hive と Impala は、AI/ML ワークロードにおいて非常に重要な役割を担っており、データのステージング、変換処理、リアルタイム分析の提供に利用されています。

これらのコネクタは、以下のような機能と利点を提供します。

• Hive や Impala のメタデータおよびデータリネージを Cloudera Octopai Data Lineage にシームレスに統合し、データエコシステム全体のより包括的な可視化を実現します。

• Hive、Spark、Impala 環境間でデータがどのように流れ、変換されているかを容易に追跡でき、可視性、データ品質、ガバナンスの向上につながります。

• 複数プラットフォームにまたがるメタデータ管理の複雑さを軽減しながら、データ探索の加速、コラボレーションの強化、コンプライアンスの向上を実現します。

データと AI の未来にとって何を意味するのか

少数のデータソースを管理する場合でも、大規模で複雑なデータエコシステムや AI ワークロードを管理する場合でも、Cloudera Octopai Data Lineage はスケーラビリティを考慮して構築されています。企業は、データインフラストラクチャの進化に伴い、メタデータとデータリネージを効率的に管理し、モデルパイプラインを統制し、トレーニングデータを追跡し、AI の監査基準を満たすために必要な機能とサポートを得ることができます。

AI が重要な意思決定を左右する時代においては、データパイプラインを個別に管理するだけではもはや不十分です。組織は、AI モデルに取り込まれるデータ、その流れ、出力されるデータまでを完全に可視化する必要があります。Cloudera Octopai Data Lineage による高度なリネージおよびメタデータ統合により、Cloudera はガバナンスを AI ワークロードにまで拡張し、責任ある AI の開発・導入・管理を可能にします。これにより、AI を支えるデータの信頼性とコンプライアンスが確保されます。

詳細については、担当のアカウントチームまでお問い合わせください。また、Cloudera のお客様がどのようにして新しいユースケースを切り開いているかをご覧になりたい方は、ぜひお近くで開催の Cloudera EVOLVE にご参加ください。

この記事は、2025/11/6に公開された「Cloud Migration Checklist: Getting Your Data Landscape Ready」の翻訳です。

自分のデータがどこにあるか知っていますか？サーバーを軽く叩き、親しみを込めて「ここだよ！」と言える人は減っています。代わりに、天を仰いで「えっと…ここかな…どこだろ」と答える人が増えました。McKinsey によると、2025年までに、大企業の環境の60%がクラウドに移行するとのことです。

データ資産、プロセス、アプリケーションをクラウドに移行することを検討していませんか？同じことを検討している人はたくさんいます。また、移行を憂鬱に感じているとしても、1人ではありません。データの移行が組織の時間やリソース、忍耐力に負担をかけるのは避けられないことですが、この記事を参考に、適切なチェックリストを使用すれば、プロセスがスムーズになり、移行に集中できます。

以下にクラウド移行時のチェックリストをまとめました。移行を確実に実行する上で必要なポイントを網羅したフレームワークとしてお役立てください。

移行を主導する人がいますか？

このチェックボックスにチェックを入れられないのなら、ここでストップです。回り道をせず、すぐに指導者を探してください。

指導者のいない革命はすぐに混乱に陥ります。クラウドへの移行も同じ運命をたどるでしょう。クラウド移行の指導者は、人事の問題によって移行が停滞したり、妨げられたりしないよう、高度な技術スキルと優れた対人スキルの両方を備えている必要があります。移行の指導者は、データの場所を変更するだけでなく、従業員のデータに対する姿勢や視点の変更も促進する必要があります。

1人で両方の役割を果たせる人材がいない場合は、役職を技術的な「移行アーキテクト」と人事の問題に対処する「移行エバンジェリスト」に分け、それぞれが自分の専門分野でクラウド移行のステップを担当できるようにすることも有効です。

「移行エバンジェリスト」にとって有用なツールの1つにデータカタログを備えたデータインテリジェンスプラットフォームがあります。保存されている場所にかかわらず、すべての従業員が必要なデータ資産を見つけることができれば、抵抗が減り、受け入れられやすくなります。

移行しないものを把握していますか？

ゴミを移動する必要はありません。これを聞いて「当たり前だ」と思った方は、従来のシステムをそのままクラウド環境へ移行するリフト＆シフト手法を経験したことがないのかもしれません。従来のシステムを数年以上使用している組織であれば、ほぼ確実にゴミが存在します。古くなった資産、機能しないレポート、冗長なプロセスなど、あらゆる種類のデジタルのゴミがあちこちに転がっているでしょう。

リフト＆シフトの余地が全くないわけではありませんが、移行を正しく行おうとするのであれば、今あるものを整理し、移行するのに十分な価値があるものと、捨てるものを決めるのに時間をかけるべきです。

ここで大いに役立つのが自動データリネージソリューションです。自動データリネージにより、数分から数時間で従来のデータ環境が完全にマッピングされ、データフローや相互接続が明らかになります。このデータリネージマップには必要な情報のほとんどが網羅されており、よく読むことで、クラウドに移行するものとしないものを決めることができます。

アプリケーションはクラウドの利点を活用する準備ができていますか？

クラウドに移行するものが決まったのですね。素晴らしいことです。ここからは、アプリケーションやパイプラインを細かく見直していきましょう。クラウドへの移行による金銭的および運用上のメリットは、それを活用するように設計された、以下のような機能を備えたデータシステムアーキテクチャがある場合にのみ達成されます。

• 動的スケーリング
• 分散ワークロード
• サーバーレスコンピューティング機能
• 強力な AI および ML 機能

移行を計画しているアプリケーションごとにチェックリストを作成しましょう。それぞれについて、現状でどのクラウドのメリットを活用できるかを確認します。たとえば、アプリケーションに複数の異なるサーバー上で実行する能力がない場合、それをクラウドに複製しても、クラウドの分散ワークロードというメリットを活用することはできません。

このアプリケーションをクラウド対応にするには何が必要ですか？

アプリケーションを素早く簡単にクラウドの速度まで引き上げることができる場合もあれば、何時間も開発に時間を費やす必要がある場合もあります。考えられるシナリオは以下のとおりです。

• リファクタリング（クラウドの機能に合わせてアプリケーションを再構築する）
• 最適化（必要な調整はリファクタリングよりも軽微）

何に投資すれば良いのかがわかれば、十分な情報に基づいて、アプリケーションの扱い方決めることができます。リファクタリングや最適化を行ってもいいですし、リファクタリングや最適化による投資利益率が見込めないのなら、リフト＆シフト手法を検討するのも良いでしょう。

チェック？チェック！

データの移行は簡単ではありませんが、詳細なクラウドデータベース移行チェックリストがあれば、少しは管理しやすくなるでしょう。データ環境を最新の状態にアップデートする準備はできましたか？できたらリストにチェックを入れましょう！

移行完了後のクラウドコストを削減する方法については、「データリネージでクラウドコストを削減する3つのステップ」をご覧ください。

この記事は、2025/11/5に公開された「Cloudera Named a Leader in the 2025 Forrester Wave for Data Fabric Platforms」の翻訳です。

Cloudera が「2025 Forrester Wave for Data Fabric Platforms」のリーダーに選ばれたことをお知らせできることを嬉しく思います。この認定は、ハイブリッドおよびマルチクラウド環境全体で組織がデータを統合、保護、アクティブ化できるように支援するという同社の取り組みを強調しています。

このブログでは、データファブリックとは何か、なぜそれが重要なのか、Cloudera が他と一線を画す理由、リーダーとしての地位を確立した主要な Cloudera プラットフォームの機能、そしてこれらすべてが Cloudera の顧客にとってなぜ重要なのかについて説明します。

データファブリックとは何ですか？

データがこれまで以上に分散している世界では、企業はオンプレミスシステムからパブリッククラウドまで、その間のあらゆる場所にあるサイロ全体の点と点を結びつける方法を必要としています。まさにそれがデータファブリックによって実現されるのです。

データファブリックは、ハイブリッドおよびマルチクラウド環境全体でデータを接続、管理、統制するアーキテクチャアプローチです。このアプローチにより、どこでも、誰でも、安全かつ効率的にデータにアクセスして使用することができます。データファブリックは、すべてのデータを単一のシステムに移行することを組織に強制するのではなく、クラウド、オンプレミス、ストリーミング、エッジなど複数のソースからのデータを 1 つの一貫したフレームワークに統合する仮想の統合レイヤーを作成します。リアルタイムでエンドツーエンドの可視性、リネージ、ガバナンス、アクセスを提供し、チームは適切なデータを検索し、信頼し、使用できるようになります。

今、データファブリックが重要な理由

組織が AI の採用とクラウド変革を加速するにつれて、データの断片化という共通の課題に直面します。データは複数のクラウド、レガシーシステム、オンプレミス環境に分散して存在するため、ビジネスへの影響を考慮した管理、セキュリティ保護、運用が困難になっています。

データファブリックは、分散環境全体でデータ管理を自動化および調整するアーキテクチャレイヤーを提供することで、この問題に対処します。あらゆるソースからのデータを結び付け、一貫したガバナンスを適用し、分析、AI、リアルタイムの意思決定に統一されたアクセスを提供します。

Forrester による主要データファブリックベンダーの評価では、企業がデータおよび AI の取り組みを安全に、かつ大規模に推進するうえで、この機能が重要であることが強調されています。

そして私たちは、Cloudera がそれを現実化するリーダーであると考えています。

Forrester のレポートによると、「（Cloudera は）プライベートクラウドとオンプレミスの展開に重点を置いているため、データ主権やレガシーシステム要件のある業界で強みを発揮」しています。この長年の基盤は、当社のオープンハイブリッドクラウド戦略と相まって、顧客が制御やガバナンスを損なうことなくデータアーキテクチャを最新化するのに役立ちました。

オープンデータファブリックの主要機能：Cloudera が最高得点を獲得

Forrester から5点満点のスコアを獲得できたことは、製品の成熟度以上に、リーダーシップ、顧客検証、測定可能な差別化を示していると私たちは考えています。2025 Forrester Wave for Data Fabric Platforms において、Cloudera は 7 つの基準で最高得点（5 点満点）を獲得しました。

• エンドツーエンドの統合ファブリック（End-to-End Integrated Fabric）

• 統合データカタログ（Unified Data Catalog）

• リアルタイムのパフォーマンスとスケーラビリティ（Real-Time Performance and Scalability）

• メタデータ管理

• エージェント AI（Agentic AI）

• ビジョン

• ロードマップ

エンドツーエンドの統合ファブリックについて Forrester は、分散環境にまたがる包括的かつ統一された管理ポータルを通じ、メタデータ、ガバナンス、ポリシーを統合した高度なデータ管理を提供することをスコア 5 の要件と定義しています。また、主要なオープンソースのファブリック構成要素に対する、ベンダーとしての貢献度が高いことも評価対象として認めています。

統合データカタログでは、5 点満点のスコアは、複数のデータファブリックにまたがる統一された自動データカタログ、AI を活用した検出、メタデータの分類と拡充、完全なカスタマイズ、サードパーティのカタログとのネイティブな統合、ビジネスユーザーがカタログをフル機能で活用できる機能など、ベンダーが優れたサポートを提供していることを示します。

リアルタイムのパフォーマンスとスケーラビリティで 5 点満点のスコアを獲得することは、ベンダーが NVIDIA GPU との認定ハードウェア統合、SIMD との統合、高度な AI/ML クエリの自動チューニング、自動階層型ストレージ、リソースの自動追加/削除、AI 対応のインテリジェントなワークロード管理、高度な水平スケールアウト、動的なシャーディングとバランシング、自動スケールアップとスケールダウン、自動スケールアップとダウンなどの機能を優れた方法でサポートしていることを示しています。

メタデータ管理では、Forrester は、エンドツーエンドのメタデータ検出、タグ付け、分類などの高度な自動化、AI 自動化（機密データの自動タグ付けなど）、分散ファブリック全体にわたる包括的に統合されたメタデータ、データ製品ライフサイクルの統合サポートを求めています。Cloudera による Octopai の買収により、ハイブリッド環境全体でディープリネージとメタデータインテリジェンスを提供し、ガバナンスされたデータ製品のライフサイクル全体をサポートすることで、これらの機能が強化されています。

エージェント AI 基準は、データファブリックをサポートするために自律 AI エージェントを組み込むベンダーを認定します。5 点を獲得するには、プラットフォームが統合、ガバナンス、検出を自動化し、協調的かつ状況に応じて動作する AI エージェントを実証する必要があります。

Forrester によるビジョンとロードマップ基準の 5 点満点スコアは、顧客のニーズを予測し、市場の方向性を形作る戦略と、実行のエビデンスを持つベンダーに限定されています。データ、アナリティクス、AI をあらゆる環境に橋渡しする Cloudera の明確でオープン、かつハイブリッドなアプローチは、業界をリードし続ける大胆かつ差別化されたビジョンを示しています。インテリジェントな自動化、相互運用性、エージェント AI への投資は、ロードマップが着実に前進を示しています。

これらの 5 点満点スコアを合わせると、あらゆるクラウドやインフラストラクチャにわたってデータ、分析、AI を統合する、信頼できる将来対応型のデータプラットフォームとしての地位を裏付けています。メタデータ管理とエージェント AI 基準における 5 点満点スコアは、データファブリックが現代の AI ドリブン型企業のニーズを満たすために進化し続けていることを示しています。

Cloudera の差別化要因：データと AI の未来に向けた戦略

Cloudera の使命は、あらゆる環境でデータと AI をシームレスかつ安全に連携させることです。Cloudera は、オープンスタンダードとオープンソースのイノベーションによって、企業がオンプレミスとマルチクラウド環境の間でデータをシームレスに管理できるようにする、オープンでハイブリッドな設計のアーキテクチャが、Forrester の評価において際立っていた点だと考えています。

Forrester のレポートには、「Cloudera のデータファブリック戦略は、ハイブリッド環境とマルチクラウド環境全体で統合されたガバナンス、可視性、安全なアクセスを実現することを目指して、断片化されたデータの課題に取り組んでいる」と述べられています。

当社の戦略の主な要素は以下の通りです。

• 統合されたガバナンスと可視性：Cloudera Shared Data Experience（SDX）は、アクセス、リネージ、コンプライアンスのポリシーがすべてのワークロードに一貫して適用されるようにします。この統一されたアプローチは、すべてのデータ資産に一貫性と透明性をもたらします。

• メタデータインテリジェンスとリネージ：Cloudera Octopai Data Lineage はエンドツーエンドのリネージ、インパクト分析、自動メタデータ管理を可能にします。

• オープンアーキテクチャと相互運用性：Cloudera の AI 対応アーキテクチャは、高度なアナリティクス、機械学習、リアルタイムストリーミングを統合し、組織が生データを実用的なインサイトに迅速に変換できるよう支援します。Cloudera 以外のエンジンとシームレスに動作するように設計されており、柔軟性をサポートし、ロックインを回避します。

• インテリジェントな自動化：Cloudera のロードマップでは、エージェント AI、自動化、インテリジェントなデータ・ファブリック機能に投資し、ワークロードを最適化して適応型のデータ エクスペリエンスを提供します。

• 信頼と実績：Cloudera のプラットフォームは世界規模で実証されています。大手銀行、通信事業者、公共部門の組織から信頼を受け、世界で最もデータ集約的でミッションクリティカルな業務を信頼性と自信をもって支えています。

これらの進歩は、データが AI ドリブン型の変革の基盤となる中で、企業が複雑さを簡素化し、信頼を確保し、イノベーションを加速できるよう支援するという当社の取り組みを強調しています。

顧客が関心を持つべき理由：Data Fabric は信頼できる AI の基盤

企業が AI イニシアチブを拡大する中、統合され管理されたデータレイヤーの重要性は強調しすぎることはありません。AI モデルの良し悪しは、そのモデルの基盤となるデータの品質に左右されます。そして、そのデータはアクセス可能で、高品質であり、コンプライアンスに準拠している必要があります。どこからでも信頼できる管理されたデータを入手できれば、信頼できる AI をあらゆる場所で活用できます。

Cloudera のデータファブリックにより、組織はあらゆるデータセットを管理し、あらゆるリネージを追跡し、あらゆる予測を信頼することができ、企業および規制基準に準拠した責任ある AI を確保できます。Cloudera のオープンデータレイクハウスは、統一された高品質のデータ上で安全な分析、機械学習、AI を可能にすることで、データファブリックの価値を拡張します。

Cloudera Unified Data Fabric と Cloudera Open Data Lakehouse は、すべてのワークロード、ユーザー、ビジネスの意思決定にインテリジェンスをもたらす現代的なエンタープライズデータ戦略の基盤を形成します。Cloudera を使用することで、企業はデータを統合するだけでなく、その潜在能力を最大限に引き出して、イノベーション、回復力、責任ある AI を大規模に推進することができます。

評価の詳細をご覧ください

Forrester Wave™：データファブリックプラットフォーム、2025 年第 4 四半期版をお読みいただき、ベンダーの比較と、Cloudera がリーダーに選出された理由をご確認ください。レポートにアクセスして、データファブリックアーキテクチャを形成するトレンドを理解し、Cloudera が今後もリードし続ける理由をご確認ください。

Forrester は、同社の調査出版物に含まれるいかなる企業、製品、ブランド、またはサービスも推奨しておらず、また、そのような出版物に含まれる評価に基づいて、いかなる企業またはブランドの製品またはサービスを選択するようにいかなる人物にも助言していません。情報は利用可能な最良の情報に基づいています。意見はその時点での判断を反映しており、変更される可能性があります。詳細については、Forrester の客観性についてこちらをお読みください。

この記事は、2025/10/29に公開された「The Inevitable Outage: Why Your Hybrid Strategy Needs Multi-Cloud Resilience」の翻訳です。

大手クラウドハイパースケーラーが最近経験した世界的な IT 障害は、ダウンタイムやサービスの中断が避けられないことを思い出させる警鐘となりました。このイベントは、銀行、小売、ヘルスケアのサービスに影響を与え、単一のプロバイダーや単一のクラウドリージョンに依存することは、ビジネスに重大な脆弱性を生み出すという強力な警告となりました。

この障害は、クラウド固有の問題ではなく、単一プロバイダー戦略の重大なリスクを浮き彫りにしています。これは、クラウドとデータセンター間でデータと AI ワークロードを自由に移動できるハイブリッドクラウド戦略に、マルチクラウド機能を含める必要がある理由を最も明確に示す例です。

これこそ、Cloudera の「どこでもクラウド」アプローチが事業継続性を確保したい組織にとって最適な選択肢である理由です。ここで言う「あらゆる場所のデータ」とは、データセンター、エッジ、複数のパブリッククラウドにわたるデータを指します。

ハイブリッドは自由の基盤

Cloudera は長年にわたり、企業の自由の基盤として、ハイブリッドクラウド戦略を提唱してきました。弊社では、顧客が顧客のビジネスにとって最も適した場所でデータと AI ワークロードを実行する柔軟性を持つべきだと考えています。それが自社のデータセンターでも、パブリッククラウドでも、エッジでも、その考えは変わりません。また、ビジネスにおける要求の変化とともに、必要に応じて移動する選択肢もあるべきです。

ハイブリッドの目標は、プライベートクラウドのセキュリティとコントロールを維持しながら、パブリッククラウドの俊敏性と拡張性を提供し、どこでも一貫したクラウドエクスペリエンスを実現することです。このアプローチは、企業が摩擦やベンダーのロックインなしに、クラウドとデータセンター間でデータと AI ワークロードを自由に移動できるように設計されています。インフラのロックインから解放されることこそが回復力を考慮したアーキテクチャの核なのです。

ポイント：回復力を得るためにはハイブリッド環境にマルチクラウドを含める

このハイブリッドな基盤は決定的な自由と選択肢を提供しますが、最近の障害により、多くのハイブリッド戦略における重大な盲点が露呈しました。アーキテクチャがデータセンターを単一のパブリッククラウドプロバイダーに接続する場合、依然として脆弱な状態に晒されているのです。これは、単一障害点を別の単一障害点に置き換えただけに過ぎないからです。

前回の記事でもお話ししたように、真の回復力は単一の故障点を排除しないと得られません。現代のハイブリッド戦略にはマルチクラウド戦略が必要なのです。正真正銘の事業継続性を実現するには、「どこでもフェイルオーバー」できる自由が必要です。この機能は、単なるオンプレミスからクラウドへの接続を超えて、クラウドリージョン間のフェイルオーバー、データセンターへのフェイルオーバー、さらには、あるクラウドプロバイダーから別のクラウドプロバイダーへのフェイルオーバーを含める必要があります。

あらゆる場所でクラウドを活用できる Cloudera のプラットフォームで実現

理論上は、マルチクラウドフェイルオーバー戦略が明らかに最良の選択肢なのですが、現実は信じられないほど複雑です。異なるクラウドプロバイダーは異なる API、データサービス、セキュリティモデルを持っています。ほとんどの組織にとって、ミッションクリティカルなデータワークロードをあるクラウドから別のクラウドに移行するには、アプリケーションのリファクタリング、セキュリティポリシーの再構築、データの移行など、面倒で時間のかかる作業が必要になるのです。

弊社のプラットフォームは、この複雑さを軽減するために構築されました。Cloudera の場所を選ばずクラウドを利用できるプラットフォームは、以下の2つの重要な独自機能を提供することで、「どこでもフェイルオーバー」戦略を実現します。

• 一貫性のあるポータブルなプラットフォーム：弊社のオープンデータレイクハウスとポータブルなデータサービスは、どこでも同じように動作します。弊社は AWS、Azure、Google Cloud などのあらゆるクラウド、およびプライベートデータセンターで稼動する、一貫した「一度書き込んだらどこからでも読み込める」データおよび AI プラットフォームを提供します。これにより、異なるインフラストラクチャ間を移動するときにアプリケーションやワークロードをリファクタリングする必要がなくなり、正真正銘のポータビリティが確保され、インフラストラクチャへの依存が排除されます。

• レプリケーションを備えた統合データファブリック：ワークロードにはデータだけでなく、それに伴うセキュリティとガバナンスも含まれます。弊社の統合データファブリックは、Cloudera Shared Data Experience（SDX）によって強化され、重要なメタデータ、セキュリティ、ガバナンスポリシーがどこでも一貫していることを保証します。Cloudera Octopai Data Lineage などの機能はフェイルオーバーシナリオにとっても重要なコンテキストとなる、詳細なメタデータ管理とリネージを提供します。その後、Replication Managerは、メタデータやポリシーを含む重要なコンテキストとデータの両方を別の環境に複製します。

この組み合わせにより、回復力を考慮したマルチクラウドのシナリオが実践可能なものになります。プライマリワークロードを単一のクラウドプロバイダーで実行しながら、Replication Managerを使用して、まったく別のクラウドプロバイダーで同期されたセカンダリ環境を維持できます。プライマリプロバイダーに障害が発生した場合、セカンダリ環境を迅速に昇格させることができ、事業継続性を確保しつつ、データ損失（復旧時点目標：RPO）とダウンタイム（復旧時間目標：RTO）を最小限に抑えることができます。

ハイブリッド戦略ではマルチクラウド対応がマスト

最近起こった障害を教訓にしましょう。この障害では、あらゆる組織の回復力戦略が試され、単一プロバイダーへの依存という共通の重大な脆弱性も明らかになりました。ハイブリッドアーキテクチャは現代の企業に適した基盤ですが、戦略に単一プロバイダーによる盲点が含まれている場合、真の回復力は望めません。これを理解するために、次なる障害を待つ必要はありません。

Cloudera は「あらゆる場所でクラウド体験」を提供し、どんな障害にも耐えられる回復力強化計画を設計する機能を提供します。回復力の高いアーキテクチャを構築する方法について詳しく知りたい場合は、弊社のブログ「データ回復力を考慮した設計」と「Cloudera を活用したマルチクラウド対応」をご覧ください。

この記事は、2025/10/22に公開された「Architecting for Data Resilience: Ensuring Business Continuity with Cloudera」の翻訳です。

最近、クラウドハイパースケーラーで起こった世界規模の IT 障害は、たとえ最小限であっても、ダウンタイムやサービスの中断は避けられないという、テクノロジーの普遍的な真実を思い出させてくれました。影響は広範囲に及び、小売、銀行、医療などの分野でサービスが中断されましたが、これは単一のプロバイダーやクラウドに固有の障害ではありませんでした。つまり、クラウドリージョンやプロバイダーに関係なく、どこでも中断が発生する可能性があるのです。

この経験により明らかになったことが一つあります。それは、絶え間ない変化の中でも適応し、繁栄できる、強靭なデータアーキテクチャを構築することで、組織は主導権を握ることが可能であり、また、握らなければならないということです。このブログでは、シームレスなフェイルオーバーやリカバリを保証するツールとポータブルなアーキテクチャにより、Cloudera の顧客をビジネス継続性を確保する上で有利な立場へ導く方法について説明します。Cloudera は、クラウド、データセンター、エッジを問わず、あらゆる場所のデータに AI の力をもたらす唯一のデータ AI プラットフォーム企業です。

回復力を考慮した設計とは

データの回復力とは、組織がデータ関連の中断や障害に耐え、迅速に回復し、影響を最小限に抑える能力のことです。これは、ビジネス継続性を維持するためのバックアップやディザスタリカバリの範囲を超えた予防型アプローチであり、重要なデータが常に以下の状態であることを保証します。

• 利用可能：必要に応じてユーザーやアプリケーションにアクセスできる（目標復旧時間「RTO」を最小限に抑える）

• 完全または正確（データの完全性）：破損や変更がない（目標復旧時点「RPO」を最小限に抑える）

• 安全：不正アクセス、紛失、盗難から保護されている

真の回復力を実現する設計には、ポータビリティを実現するテクノロジーとフェイルオーバーのための検証済みプロセスという、相互に関連する2つの中核的な柱が必要です。

1. どこでもフェイルオーバーを可能にする：単一障害点の排除

単一のプロバイダー、単一のクラウド、またはクラウド内の単一のリージョンに依存すると、重大なビジネス上の脆弱性、つまり単一障害点が生じます。障害はハードウェアの故障、ソフトウェアの問題、人的ミス、自然災害、またはサイバー攻撃によって発生します。回復力を確保する上での目標は、1つの環境に障害が発生した場合でも、他の場所で操作をシームレスかつ自動的に継続できるようにすることです。

これは、クラウドリージョン間、クラウドプロバイダー間、さらにはデータセンターにまでフェイルオーバーできる必要があるということを意味します。最初の中断がどこで発生したかに関係なく、日々の業務を止めるわけにはいかず、重要なシステムは稼働し続けなければなりません。

2. 回復力を確保するための綿密な計画を立てる

テクノロジーは回復力をもたらしますが、ビジネス継続性を実現するにはプロセスが不可欠です。ディザスタリカバリ計画の多くは、一度作成されると、人やテクノロジーが進化してもほとんど見直されません。十分に吟味された計画を文書化し、実践し、定期的に見直し、障害発生時に組織で確実に実行できるようにする必要があります。計画には以下のような要素を含めます。

• 小売業におけるトランザクション処理や医療におけるリモート監視など、RTO や RPO のサービスレベル契約（SLA）が最も低いミッションクリティカルな操作を確実に実行するためにワークロードの優先順位付けをします。

• 環境間のフェイルオーバー機能を確立して運用を維持し、冗長性と高可用性を確保します。

• 重要なデータやメタデータをバックアップして、保持ポリシーとガバナンスを確立します。

Cloudera を回復力を考慮した設計に役立てる方法

Cloudera は、あらゆる場所のデータに対して一貫したクラウドエクスペリエンスを提供する唯一のデータおよび AI プラットフォームプロバイダーです。これにより、企業は、摩擦やベンダーのロックインなしに、クラウドとデータセンター間でデータと AI ワークロードを自由に移動できるようになり、特定のインフラストラクチャに縛られることがなくなります。その結果、Cloudera を活用して回復力のある設計を実現し、データの保存場所に関係なく一貫した運用とコンプライアンスを維持することで、ビジネスリスクを軽減できます。

Cloudera プラットフォームは、以下のようなソリューションとサービスを通じて、高可用性と耐障害性をサポートしています。

• ポータブルデータサービス：Cloudera のプラットフォームは、クラウドネイティブのデータサービスやデータレイクを備えており、AWS、Azure、Google Cloud などのあらゆるクラウド上で安定して動作するだけでなく、Kubernetes でもオンプレミスで動作します。基盤となるインフラストラクチャから解放されることで、顧客はさまざまなクラウドとオンプレミスリソースを組み合わせて利用可能なサイトを構成でき、単一のプラットフォームやベンダーへの依存を大幅に減らすことができます。

• 流れているデータ：Cloudera Data Flow、 Cloudera Streaming Analytics、Cloudera Streams Messaging により、顧客はどこでもリアルタイムでデータを取得・処理・配信できます。不正行為の検出やネットワークの監視といったミッションクリティカルなリアルタイムのワークロードでは、停止の可能性がビジネスに重大な影響を及ぼすこともあります。Cloudera は、これらのサービス可用性を高く維持し、環境間で複製できることを保証します。

• Replication Manager：Cloudera のコアコンポーネントで、バックアップとリカバリに対する簡素化されたアプローチを提供します。データだけでなく、メタデータやそれに紐づく重要なセキュリティおよびガバナンスポリシーも複製します。このレプリケーションにより、移行が容易になり、継続的な同期が可能になるだけでなく、データ損失を最小限に抑えながらプライマリ運用環境と並行してセカンダリ複製環境を推進することで、迅速なフェイルオーバーが可能になります。

• オープンデータレイクハウス：Cloudera のオープンデータレイクハウスは、一度書き込めばどこでも実行できるアプローチで、安全なデータ管理機能とポータブルなクラウドネイティブデータ分析機能を提供します。これにより、異なるインフラストラクチャ間を移動するときに、アプリケーションまたはワークロードのリファクタリングに関連する時間とコストが削減されます。

図1.Cloudera は Cloud Experience Anywhere で「あらゆる場面で AI を活用」を実現します

これらの機能を組み合わせることで、Cloudera の顧客はミッションクリティカルなデータや AI ワークロードを自信を持って実行できるようになり、インフラストラクチャレベルの停止時でも、最も重要なビジネスプロセスのダウンタイムやデータ損失をほぼゼロに抑えることができます。

地政学的不安定性に直面した AM-BITS による回復力を考慮した設計

最近起こった障害は、多くの企業にとって一時的なものでした。しかし、戦争のような悲劇による中断だったらどうなるのでしょう。ウクライナに拠点を置く AM-BITS は、銀行、通信、小売分野向けの IT ソリューションプロバイダーであり、地政学的な混乱により組織がオンプレミスシステムからクラウドへの急速な移行を強いられる中、クライアントのミッションクリティカルなデータを喫緊に保護し、移行するよう求められました。一般的なクラウド移行には6か月以上かかる場合もありますが、多くの企業は待っている余裕がありません。

この事業継続性の危機に対処するため、AM-BITS は Cloudera を搭載した最新のマルチテナントデータおよび AI プラットフォームを構築しました。同社は Cloudera Shared Data Experience（Cloudera SDX）を活用して、顧客のデータ資産に「技術的なセーフハーバー」を迅速に提供し、データをクラウドに安全に移行する時間を50%も短縮しました。どんな環境でもシームレスに動作する Cloudera により、AM-BITS の顧客は真の柔軟性を手に入れました。また、クラウドに迅速に移行できるだけでなく、別のクラウドに移動したり、データをオンプレミスに戻したりするオプションも維持できました。同社は Cloudera を活用することで、ポータビリティを事業を継続させるための強力なツールに変えました。

次のステップへ

データ関連の中断や停止は、ハードウェアの障害、ソフトウェアの問題、人為的エラー、自然災害、サイバー攻撃などによって引き起こされる可能性があります。システムを設計する際には、これらの障害点を考慮し、IT システムとデータを迅速に、かつ大きな混乱を伴わずに回復するための計画を立てることが極めて重要です。

Cloudera を使用して回復力を構築する方法について詳しくは、ディザスタリカバリに関するチェックリストとリソースをご覧ください。また、回復力の計画設計をサポートする弊社プロフェッショナルサービスチームにお問い合わせください。

この記事は、2025/10/28に公開された「Strengthen Data Governance with the Power of Automated Data Lineage」の翻訳です。

包括的なデータリネージソリューションなしでガバナンスを管理しようとすると、データが逃げ回っているように感じることがあります。移動するデータやメタデータを管理するのは簡単ではありません。優秀なガバナンスマネージャーとデータスチュワードは、データリネージツールを活用し、次に説明する4つの主要な方法でガバナンスを100倍向上させています。
 

データリネージツールを使用してデータガバナンスを改善する4つの方法
 

1. エラーの修正

品質を維持することは、データガバナンスの重要な目標の1つです。経営陣やビジネスユーザーが正確な情報に基づいて重要な決定を下せるようにするのは、組織の責務です。

誤ったデータを見つけたら、もちろんすぐに削除して差し替えてください。しかし、エラーの原因を修正するのではなく、遡及的に修正し続けるということは、そのデータフィールドから生えてくる雑草を永遠に抜き続けるのと同じことで、長期的には、システムのどこでエラーが発生したかを特定し、その発生源を修正する方がはるかに効果的です。

包括的なデータリネージツールを使用すると、データポイントの流れを上って発信元まで、また、流れを下ってターゲットまでの経路を追跡し、その途中でデータを変更したすべてのプロセスを検査できます。

データに欠陥がある場合は、データリネージを使用して根本原因分析を迅速に実行し、エラーが最初に発生した場所まで遡り、正確なデータが欠陥のある状態に変化した段階やプロセスを特定できます。問題を根本から修正できるため、汚染されたデータの増殖がなくなり、環境内のどこでデータが移動してもそのデータを修正する必要がなくなります。

2. 細かい変更への対応

ゆっくり変化する業界で働きたいなら、古生物学を試してみると良いでしょう。データガバナンスに取り組む場合、変化は絶え間なく、急速に起こります。テクノロジーが進化し、ソースシステムが開発されると、データの新たなビジネス要求を反映するようにデータセットの構造が変更され、計算方法も変化します。

すべての小さな変更は、データガバナンスプラットフォームに反映される必要があります。そうしないと、すぐに管理されていないデータが大量に蓄積されてしまいます。データガバナンスプラットフォームを更新するために人間の手動作業に頼っていると、変更が見落とされやすくなります。

一方、データガバナンス用の自動データリネージツールは、すべてのメタデータを定期的かつ自動的に処理し、新たな追加や削除、変更を記録します。また、新しいフィールドや計算、その他のメタデータでお使いのデータガバナンスプラットフォームを更新します。

自動化されたデータリネージソリューションを活用することで、データを追いかけるのではなく、管理とガバナンスに集中できます。

3. 大きな変化への備え

合併、移行、変更…頭が痛くなりそうですよね...。ほとんどのデータ担当者は、キャリアの過程で、このような大きなイベントを経験するか、場合によっては主導することになります。

移行は通常、避けられません。また、新しいシステムに対応するために行われた変更が現在のワークフローに与える影響を予測しない限り、ガバナンスから BI、ビジネスに至るまで、データとその結果に関与する社員の作業に大混乱が生じることは避けられません。

現在のシステムとデータフローを完全に視覚化し、それを新しいシステムで予定されているレイアウトやプロセスと比較して、あるシステムから別のシステムにスムーズに移行する方法を計画しないと、先を読むことはできません。（なんでもお見通しの魔法の水晶玉を持っていれば話は別ですが。）

また、通常は、さまざまな部門のメンバー間で多くのコミュニケーションを取り、予定されている変更について知らせ、これらの変更がメンバー自身、メンバーのデータ、およびメンバーのプロセスにどのような影響を与えるかを聞き取りします（そして、メンバーが実際にタイムリーに対応してくれることを期待します）。このプロセスを手作業で行う場合、通常、データ部門全体が完了するまでに数か月かかります。

さらに、今後予定されている大規模な移行は、データガバナンスをより効率的にするための機会となり得ます。休眠状態のフィールドを削除し、重複する定義を統合し、プロセス結果の一貫性をチェックする機会です。しかし、そのチャンスを生かすには、データ管理の合理化という実際の作業の準備のために、手作業によるマッピングに数か月を要することがあります。

自動データリネージツールを使用すると、数か月かかる手作業の影響分析を数日、あるいは 1 日で完了できます。効率について話すならば、自動データリネージツールにとっての小さな一歩は、データガバナンスにとっての大きな飛躍です。

4. セットアップ

さて、新しいエンタープライズデータガバナンスプラットフォームを手に入れた日のことを振り返りましょう。「おめでとうございます！このプラットフォームはセットアップするとすぐに、会社に素晴らしい効果を発揮します」と言いたいところですが、言うは易く行うは難しです。

データガバナンスプラットフォームには通常、データカタログが組み込まれており、セットアップとはそのカタログに管理を計画しているすべてのメタデータを投入することを意味します。このプロセスには通常、何か月もかかります。ただし、自動データリネージツールを使用すると、昼休みにデータカタログ全体をセットアップできます。

前述のように、包括的なデータリネージソリューションは、初回のクリーンアップが終わった後も、定期的に更新され、メタデータの変更や追加がデータガバナンスプラットフォームに反映されるため、「フィールド、プロセス、レポートに変更が加えられたら必ず管理者やプラットフォーム側に更新を依頼するように」と常に注意喚起して他の部門との業務関係が気まずくなることはありません。

データガバナンスにおけるデータリネージのための適切なツールの選定

「データリネージ」ソリューションと呼ばれるものすべてが、実際に上記のすべての機能を実行できるわけではありません。一部のツールには、自動リネージ機能が組み込まれていますが、それでもかなりの手作業（と頭痛の種）がつきまといます。そのため、ソリューションを評価して、必要な機能とメタデータ管理の完全なスイートが提供されていることを確認することが重要です。

これを行うために、Cloudera Octopai Data Lineage の導入に向けたデモをご依頼ください。これらの機能を実行し、データガバナンスを向上させる自動リネージソリューションをご確認いただけます。

図1：Cloudera Container Service のアーキテクチャ

簡素化されたKubernetesライフサイクル管理

Cloudera は、Kubernetes とアドオンサービスを複数の環境にわたって簡単に運用できるようにするための投資を継続しています。Cloudera Container Service を使用すると、直感的な UI を使用して Kubernetes クラスタを簡単にデプロイできるようになります。今後は、Cloudera が管理するクラスタ資産全体に統合ライフサイクル管理を拡張し、エンタープライズ管理者が統合 UI からライフサイクルの更新を一貫して管理できるようにする予定です。

組み込みのセキュリティとコンプライアンス

Cloudera Container Service は、Kubernetes の導入が初日から安全であることを保証するセキュリティ機能を追加設定なしで提供し、迅速な移行とリスクの軽減を支援します。これらの機能には以下が含まれます。

• Istio サービスメッシュ：ユーザーが Istio を個別にインストールまたは設定しなくても、マイクロサービス間の安全で認証された通信を保証します。
• Knox ゲートウェイ（Istio 外部認証プロバイダーとして機能）：Istio のネイティブなセキュリティフレームワークを維持しながら、外部サービスによるエンタープライズグレードの認証とアクセス制御を実現します。
• Calico : きめ細かなトラフィック制御による安全なポッド間通信を通じて、ワークロードを分離し、コンプライアンス要件を満たすネットワークポリシー適用を提供します。
• プライベートクラスタのサポート：顧客のクラウドネットワーク内のアクセスを制限することで、ワークロードをパブリックインターネットから隔離し、複雑なネットワークポリシー設定の必要性を低減します。
• IMDSv2（インスタンスメタデータサービス v2）：セッションベースのトークンを使用して AWS インスタンスメタデータへのアクセスを保護し、リスクを軽減し、クラウドワークロードのセキュリティを向上させます。
• 非透過性プロキシのサポート：各データサービス構成ごとに手動プロキシ設定を必要とせず、 Kubernetes クラスタからの安全で監査可能なアウトバウンドトラフィックを可能にします。

よりスマートでコストが最適化されたワークロード管理

「2026年までに、クラウドベースのワークロードのリアルタイムコストまたはパフォーマンスの最適化を行う組織は、2022年の20%未満から50%に増加するでしょう」 - Gartner™、「Evolve Service Management and Cloud Operations（サービス管理とクラウド運用の進化）」

これらのインサイトは、組織がクラウド技術を活用しながら経費を管理しようとする中で、クラウドコスト最適化への注目が高まっていることを浮き彫りにしています。

Cloudera は、企業がコスト削減メカニズムを管理できるようにすることで、Kubernetes ベースのワークロードの柔軟性を維持しながら、組織が実際に使用したリソースに対してのみ料金を支払うようにします。

Cloudera が最近行った機能強化により、組織は以下のようなさまざまな方法でパフォーマンスを維持しながら支出を最適化できます。

• AWS Graviton のサポート：ARM ベースのインスタンスでコスト効率の高いコンピューティングを可能にし、クラウドの費用とエネルギー消費を削減します。さらに、マルチアーキテクチャコンテナイメージを構築することで、「一度構築すればどこにでもデプロイできる」アプローチが可能になります。

• クラスタの一時停止または再開：企業が使用していないときはワークロードを一時停止し、必要に応じて再開できるため、不要なインフラコストを削減できます。

• 共有データサービス：複数のデータサービスが共有インフラストラクチャを活用できるようにすることでリソースを最適化し、重複を減らして効率を高めます。

• Apache Yunikorn : ビンパッキング、階層型クォータ管理、ギャングスケジューリングなどの強化されたワークロード配置およびスケジューリング技術を備えたインテリジェントリソーススケジューラにより、クラスタ密度の向上、運用コストの削減、パフォーマンスの向上を実現します。

レベルアップ：NVIDIA アクセラレーテッドコンピューティングを搭載した Cloudera AI Inference Service

Cloudera AI Inference Service は、Cloudera の強化された Kubernetes プラットフォームに搭載された最初のデータサービスです。Cloudera Container Service を活用することで、これまで以上に迅速かつ安全に、コスト効率よく AI ワークロードを開発環境から本番環境に移行できるようになります。

Cloudera Container Service は、以下を提供することで、AI 推論を可能にする上で重要な役割を果たします。

• パフォーマンスの最適化：NVIDIA アクセラレーテッドコンピューティングの効率的なスケジューリングとオーケストレーションにより、AI ワークロードがリソースを過剰にプロビジョニングすることなく、必要な処理能力を割り当てることができます。

• エンタープライズグレードのセキュリティ：AI ワークロードは、Cloudera の安全なエンタープライズ対応プラットフォーム内に完全に格納されるため、データのガバナンスとコンプライアンスが確保されます。

• 自動化されたインフラストラクチャ管理：プラットフォームがクラスタのスケーリング、セキュリティポリシー、ワークロードの分離を担当するため、データサイエンティストや AI エンジニアはインフラストラクチャ管理ではなくモデルの最適化に集中できます。

将来を見据えた Kubernetes：AI、分析、その先の用途もカバー

リアルタイムデータストリーミングから大規模分析、次世代のエンタープライズアプリケーションまで、Cloudera の多様なワークロードをサポートするというより広範なビジョンの一環として実施されたこの機能強化は、AI ファーストアプローチを採用する組織にとって大きなメリットとなります。

Kubernetes を基盤として、Cloudera は今日のインフラストラクチャの課題を解決し、今後のイノベーションに対する準備を整えます。

詳細や今後の展望にご興味がある方は

• クラウドの Cloudera の5日間無料トライアルにご登録ください。

• Cloudera の営業チームに直接お問い合わせください。

この記事は、2025/10/8に公開された「Cloudera Container Service—Built-in Security and Smarter Cost Control」の翻訳です。

Cloudera Container Service のご紹介：シンプルかつ安全でコスト効率に優れています

Cloudera Container Service は、Compute Cluster に代わる強化された Kubernetes プラットフォームです。強化された点には、ライフサイクル管理の簡素化、組み込みセキュリティ、マルチクラウド環境全体でコストが最適化されたワークロード管理が含まれます。

Cloudera Container Service を使用すると、複雑なインフラストラクチャよりもイノベーションに重点を置くことができ、マルチクラウド環境全体で Kubernetes を安全かつスケーラブルに、コスト効率よく導入することができます。

「Kubernetes は障害になるのではなく、叶えたいことを実現する存在であるべきです。機能強化により、組み込みのセキュリティを確保しながら、Kubernetes をより効率的に管理し、クラウドコストを削減し、強力な AI およびデータドリブン型アプリケーションを導入するためのツールを企業に提供できるようになります」と Cloudera の製品管理担当副社長である Karthik Krishnamoorthy は語っています。

この記事は、2025/10/3に公開された「Democratize Data for AI Using Interoperability Across Engines and Zero-Copy Data Collaboration」の翻訳です。

Cloudera Iceberg REST カタログを使用してオープンで AI に対応した企業を実現する方法

相互運用性は長い間流行語であり、企業が実際に頼りにできる機能ではありませんでした。その代わりに、データアーキテクトは断片化されたシステムをつなぎ合わせる作業に追われることが多く、最高データ責任者はサイロ化されたガバナンスによる大きなリスクとベンダーロックインに直面し、プラットフォームリーダーはチームに一貫したデータビューを提供することができません。合併、マルチクラウド戦略、または外部パートナーシップに起因するかどうかにかかわらず、コストの上昇、イノベーションの遅れ、そしてAIを確信を持って拡張する能力の制限に関する課題は繰り返されます。

Cloudera では、分断されたメタデータ層、重複したデータパイプライン、ツール間で拡張できないガバナンスモデルなどの課題をお客様が克服できるよう支援し、大規模な相互運用性を実現する、オープンで AI に対応した企業の実現に常に努めています。

エンタープライズ AI にとってオープン性が重要である理由

AI ワークロードを拡張するには、ワークロードの原動力となるデータの可視性と管理が必要です。メタデータインテリジェンスは、この方程式において重要な役割を果たし、組織がデータの所在、構造、およびチームやツール間でどう使用されているかを理解できるようにします。

Apache Iceberg や Iceberg REST Catalog などのオープンスタンダードにより、企業はゼロ ETL データ共有をサポートし、ガバナンスを強化し、分析エンジンと AI エンジン間で安全な相互運用性を実現する統合メタデータレイヤーを獲得できます。この基盤は断片化されたインフラを接続された AI 対応のデータアーキテクチャに変換します。ここではメタデータがインサイトへのアクセスを加速させる鍵となり、同時に信頼を維持します。

オープンかつ安全でシンプル：Cloudera Iceberg REST Catalog

Cloudera Iceberg REST Catalog は、弊社のオープンデータレイクハウスを支え、組織がアーキテクチャを簡素化し、重複を減らし、必要な場所で安全なデータアクセスを拡張するのを支援します。

普遍的で相互運用可能なメタデータレイヤーとして機能し、ツール、クラウド、チームを超えて Iceberg テーブルへのゼロコピーアクセスを提供し、オープンソースツールとサードパーティツールが同じデータにアクセスできるようにします。機能とメリットは以下のとおりです。

• オープンでエンジンにとらわれない：Athena、Databricks、Redshift、Snowflake などのツールをサポートする標準ベースの API を提供し、ベンダーロックインなしで相互運用性を実現します。
• 設計段階で分離：クエリエンジンをバックエンドのメタストアから抽象化し、複雑さを軽減して環境間の移植性を向上させます。
• リアルタイムのメタデータアクセス：Iceberg 対応のメタストアからの高速で最新のメタデータクエリをサポートし、チーム間のデータ可視性を向上させます。
• ガバナンスとセキュリティ：きめ細かなアクセス制御、行レベルの権限、エンタープライズ ID アクセス管理（IAM）統合（LDAP や OAuth2 など）を、接続されているすべてのシステムに拡張し、一貫したポリシーの適用を大規模に実現します。

図1. Cloudera Iceberg REST Catalog は、普遍的で相互運用可能なメタデータレイヤーを提供し、オープンソースツールとサードパーティツールが同じデータにアクセスできるようにします。

Iceberg REST Catalog の実際の使用例と効果

以下の実際の使用例は、企業がどのように Iceberg REST Catalog を活用してデータスタックを簡素化し、総所有コスト（TCO）を削減して、価値実現までの時間を短縮し、データを適切な場所に保持しているかを示しています。

これらの例は、Cloudera のオープンで相互運用可能なアプローチが AI による効果を促進し、エンタープライズ規模で運用効率を高め、セキュリティとコンプライアンスを実現する方法を示しています。

データ共有：AI アプリケーションを3,000人以上のクロスプラットフォームユーザーに拡張

ある高級自動車メーカーでは、Databricks を使用して外部のパートナーとデータを安全に共有するという課題が日に日に大きくなっていました。従来の方法はデータの複製に依存していたため、コストや複雑さ、アーキテクチャの柔軟性の欠如が生じていました。

同社は Iceberg REST Catalog を採用することで、社内システムと外部プラットフォームの両方で、安全なゼロ ETL データ共有を確立しました。このオープンで標準ベースのアプローチにより、複雑なデータパイプラインには Spark を、高速 SQL 分析には Impala を使用するなど、作業に最適なツールを選択できるようになりました。これを基盤に、同社はデータアクセスに対するガバナンスと管理を維持しながら、AI アプリケーションを3,000人以上のユーザーに拡張できました。

データウェアハウスの最適化：データ移動コストを74％削減

ある世界的な衛星通信会社は、合併に伴い、独自のシステムで管理されていた断片的なデータを統合する際に大きな問題に直面しました。一貫性があり、相互運用可能なデータレイヤーが不足していたことで、AI や分析に対する取り組みの拡張が遅れ、管理が困難になったのです。

Iceberg REST Catalog を搭載した Cloudera のオープンデータレイクハウスアーキテクチャは、同社がこれらのサイロを統合し、すべての AI および分析ワークロード向けに信頼できる唯一の情報源を確立するのに役立ちました。マネージド Iceberg テーブルを S3 で直接クエリすることで、冗長なデータパイプラインと再プラットフォーム化の作業の必要性がなくなり、データ移動コストが74%削減されました。

デモ：Cloudera の Iceberg REST Catalog を通したデータ共有を詳しく見る

こちらのインタラクティブなデモでは、金融サービスにおけるシナリオを通じて Iceberg REST Catalog を実際に体験していただけます。デモに登場する架空の親銀行では、さまざまなチームが Snowflake や AWS Athena などの好みのツールを使用して、管理された1つのデータソースに安全にアクセスできます。複雑な ETL やコストのかかるデータ移動は必要ありません。

このサービスの詳細とそれが組織にもたらすメリットについては、以下のリソースをご覧ください。

• Cloudera のオープンデータレイクハウスについて詳しくは、弊社製品ページをご覧ください。
• Cloudera のオープンデータ共有に関するビジョン全文を読むには、プレスリリースをご覧ください。

この記事は、2025/10/1に公開された「Empowering Enterprise AI with Structured Synthetic Data: Preserving Privacy and Source-Statistical Properties」の翻訳です。

データドリブン型 AI の時代においては、AI モデルの分析やトレーニングに高品質のデータセットが必要になりますが、データプライバシーの規制や倫理上の懸念により、現実世界における大規模データの使用や共有は制限されています。機密情報を漏らさずにイノベーションを起こすには、どうしたらよいのでしょうか。

Cloudera は、このギャップを埋めるソリューションを世界で初めて開発しました。Cloudera AI Studio ツールセットの一部である Cloudera Synthetic Data Studioは、組織の実際のデータパターンを模倣して合成データセットを作成するツールであり、組織は機密情報のリスクを負うことなくイノベーションを進めることができます。

ビジネス上の課題：コンプライアンスを確保しながら AI モデルを活用する

ローンの不履行を予測しようとしている金融サービス会社について考えてみましょう。この分野の大規模データは収入レベル、雇用履歴、クレジットスコアなど、機密性の高い情報の宝庫です。このようなデータを第三者や AI モデルと共有することには、規制上および倫理上のハードルが多数存在します。

従来の合成データ手法は不十分である場合が多く、変数間の微妙な論理的関係（既存の債務が返済行動にどのように影響するかなど）や、行と列にわたるデータポイント間の論理的一貫性を捉えることができません。企業には、拡張可能で、元のデータの統計的整合性を維持し、プライバシー標準への準拠を確保できる合成データソリューションが必要です。

Cloudera のソリューション：構造化された合成データの生成

Cloudera のソリューションは、クラスタリング技術、Cloudera Synthetic Data Studio、厳格な検証を組み込んだ4ステップのワークフローに従います。

ステップ1：データのプロファイリング

ワークフローはデータを分割およびクラスタリングし、統計プロファイルを作成することから始まります。リスクレベルに基づいて借り手をグループ（高リスクの申請者と低リスクの申請者など）に分類し、さらに融資額や金利などの変数をクラスタリングすることで、データセットを「シード命令」に抽出します。

シード命令は、平均、標準偏差、相関関係などの各グループの統計的性質をエンコードし、ローン等級やローンステータスなどの借り手の情報を埋め込みます。このステップにより、合成データは機密情報を漏えいすることなく、元のデータの構造を確実に継承できます。

ステップ 2：Cloudera Synthetic Data Studio を使用してデータを生成する

シード命令の準備が整ったら、次の段階に進み、LLM を利用した生成を実行します。Llama 3.3-70B-Instruct などの高度なモデルを使用し、シード命令に表示される統計設計図に基づいて、新しいレコードを合成します。Cloudera Synthetic Data Studio はその創造力を発揮し、シード命令で定義された関係とパターンを保持するデータを生成します。

ここでは、このソリューションの特長が顕著に現れます。モデルは単にランダムな数字を生成するのではなく、借り手の収入が論理的にどのように返済履歴に影響を与えるかなど、現実のシナリオの複雑さを反映するデータを構築するのです。

ステップ3：データのフィルタリング

生成されたすべてのデータが必要な品質を満たすわけではありません。弊社では、忠実性を確保するため、革新的な LLM-as-a-judge（LLM を審査員として利用する）ワークフローを採用しています。

このステップでは、フォーマットの一貫性、論理的一貫性（住宅ローン口座が住宅所有状況と一致しているかどうかの確認など）、現実性（妥当な金利の生成など）といった基準に照らして合成出力を評価し、10点中9点のしきい値を満たす高得点のデータのみが保持されます。このフィルタリングプロセスは品質のチェックポイントとして機能し、最終的なデータセットが現実的かつ統計的に堅牢であることを保証します。

ステップ4：データを検証します

ワークフローの最後の段階は統計的検証と視覚的検証です。カテゴリー変数については KL ダイバージェンス、連続特徴量については平均/標準偏差の差異などの指標を使用して合成データを元のデータセットと比較することで、合成データに現実世界の分布が反映されていることを確認します。

効果：妥協のないプライバシー対応

Cloudera のアプローチでは、個人を特定できる情報（PII）や機密パターンを含まないデータが生成されますが、正確なモデルをトレーニングするために必要な統計的忠実度は確保されます。これにより、企業はデータ侵害や規制上の罰則を恐れることなく、合成データをサードパーティのシステムと共有したり、外部のパートナーと連携したりできるようになります。

テーブル1に示すように、Llama 3.3 70B-Instruct モデルを使用して構造化されたローンデータ（合計27列）を生成すると、生成されたデータの100%が想定される結果と一致し、LLM で判断した場合の列間の論理誤差が97.2%で見られず、統計的平均が元の分布から12%逸脱し、列間の相関が0.24%ずれていることがわかります。

表1：Llama 3.3-70B-Instruct を用いた構造化データの生成結果

まとめ

AI モデルが複雑化し、プライバシー規制が厳しくなるにつれて、高品質でプライバシー規制に準拠したデータに対する需要はますます高まるでしょう。今後数年で、構造化データの生成手法は、医療から金融に至るまで、データプライバシーが譲れない業界を抜本的に変革すると期待しています。

Cloudera の構造化合成データアプローチは、企業がプライバシーやパフォーマンスを犠牲にすることなくこの要求を満たすことができることを示しています。クラスタリングや Cloudera Synthetic Data Studio、厳密な評価を組み合わせることで、組織は構造化データの潜在能力を最大限に引き出すことができます。

詳細を知りたい場合は、Cloudera AI Studios の製品ツアーに参加するか、ai_feedback@cloudera.com から弊社チームにお問い合わせください。

この記事は、2025/10/2に公開された「3 Steps to Cutting Cloud Costs with Data Lineage」の翻訳です。

月を手に入れるなど、到底実現しないような約束をしたことはありますか？そんな約束をしたことがある人も、現実的に価格を知っていたわけではないと思います。

クラウドなら、手に入れる約束をしても、コストを0.001セントまで下げることができます。

Amazon、Azure、Google は、クラウドデータストレージのコスト計算ツールを提供しています。「Google BigQuery でのストリーミング読み取りに必要なデータ量は？」や「Amazon Redshift で ra3.4xlarge または ra3.xlplus インスタンスが必要な場合、ノード数はどれくらい必要か？」など、その特異度には驚かされることでしょう。

クラウドにデータを保存すると、オンプレミスのデータストレージを使用するよりもコスト効率が高くなるとよく言われますが、クラウドストレージのコストを削減するには、調査や余計なものの排除、最適化が必要です。一歩ずつ進んでいきましょう。

ステップ1：調査

データストレージのコストを削減する最も簡単な方法の1つは、保存するデータを減らすことです。誰でも知っていることですが、実行するのは簡単ではありません。

どんなデータでも保有しているのは意味があるはずです。しかし、運用、管理、ビジネスプロセスなどの正当な理由である場合もありますが、「まだ削除していないだけ」など、大きな理由がないものもあります。

どんなデータエコシステムにも、古くなったデータや冗長なデータ、質の悪いデータが存在します。これらを排除することは可能であり、そうすべきですが、見つけるにはどうすればいいのでしょう。

ここで役に立つのが自動化されたデータリネージで、データハウスキーパーの忠実な相棒です。

大掃除に役立つ魔法の杖があると想像してみてください。この杖は、家庭内の各アイテムがどこで購入されたか、最後にいつ使用されたか、どのような形状であるか、同じ機能を果たす他のアイテムがあるかどうかなどを教えてくれます。

これこそ、自動化されたデータリネージが貴社のデータエコシステムにもたらす効果です。その力を解放すれば、数分以内にデータフローが完全にマッピングされ、どのデータアセットがどのレポートにフィードされており、どのソースに由来するのかが分かります。包括的なデータリネージでは、ソースシステムレベルに広げたバージョンと、列レベルに絞ったバージョンの両方を表示します。また、ETL プロセスに入り込み、データの移動時にどのような変換が実行されたかを正確に表示することもできます。

全体像が描けたら、第2段階である排除に進むことができます。

ステップ2：排除

データリネージをよく見直し、以下の質問を投げかけましょう。

• データ資産やデータの使用法（レポートなど）に冗長なものはありますか？
• データ資産やデータの使用法に時代遅れである、または関連性のないものはありますか？

「はい」と答えると、排除できるデータが示され、クラウドベースのストレージコストがダイレクトに削減されます。ただし、排除は慎重に。たとえ2つのデータ資産が実質的に重複していても、両方が下流のレポートで使用されている場合、代わりのデータ資産を用意することなく一方を削除することはできません。

データリネージを活用して影響分析を行うことで、ビジネスプロセスの変更がもたらす影響を予測し、問題を未然に防ぐための予防措置をとることができるようになります。

不要なデータ（古い、冗長、または質が悪いデータ）を特定し、排除できたら、必要ではあるものの、より効率的に保存できるデータに移りましょう。

ステップ3：最適化

データリネージのマッピングをもう一度確認し、保存しているデータについて以下の質問を投げかけましょう。

• このデータの用途は何ですか？
• どのくらいの頻度でアクセスする必要がありますか。
• アクセスしたいときに、どれくらい迅速に利用できる必要がありますか？

クラウドベースのデータストレージプロバイダーは通常、利用しやすさに応じてさまざまなストレージレベルを提供しています。たとえば、Amazon S3 では、頻繁にアクセスするデータ用に Standard（1GB あたり0.023ドル）、頻繁にアクセスしないが必要なときに数ミリ秒で取得する必要があるデータ用に Standard-IA（1GB あたり0.0125ドル）、1分から12時間で取得する必要があるアーカイブおよびバックアップデータ用に Glacier Flexible Retrieval（1GB あたり0.0036ドル）、年に1回か2回しかアクセスせず、取得に12時間かけても構わないアーカイブデータ用に Glacier Deep Archive（1GB あたり0.00099ドル）を提供しています。

1TB のデータを Standard ストレージに保存すると、月額23ドルかかります。同じ1TB のデータを Glacier Deep Archive ストレージに保存すると、月額0.99ドルで済みます。所属している組織がアクセスニーズに基づいて区別せずに、すべてのデータを Standard のクラウドストレージに保存しているなら、ストレージを最適化することで、ストレージコストを大幅に削減できます。

ストレージからコンピューティング、そしてまたストレージへ

データリネージを使用すると以下の両方を確認でき、データストレージコストを削減できます。

• 排除できるデータ
• より効率よく保存できるデータ

効果はそれだけではありません。データ量を減らすことでクラウドストレージのコストが削減されるだけでなく、コンピューティングコストも削減できます。Snowflake や Amazon Redshift のようなクラウドベースのデータウェアハウスでは通常、コンピューティングに対して従量課金モデルを採用しており、データセット全体でクエリを実行するのにかかる時間に対して課金されます。クエリに含めるデータが多いほど実行にかかる時間が長くなり、料金も高くなります。

保存する（または Standard ストレージに保持する）データの量を減らすと、クエリに含まれるデータが減り、間接的にコンピューティングコストが削減されるのが一般的ですが、データリネージは、探索的クエリを制限することで、ダイレクトにコンピューティングコストを削減することもできます。

探索的クエリは膨大な処理能力を必要とする傾向があります。明確なデータリネージマップがあれば、データチームは関連データがどこにあるかを正確に把握できるため、プラットフォーム全体でよりターゲットを絞ったクエリを実行でき、一般的な探索的クエリの必要性がなくなるか、軽減されます。

次のステップへ

クラウドデータのストレージコストがネックになっているのなら、コストを削減し、状況を一変させるチャンスです。自動化されたデータリネージという魔法の杖を取り出し、調査、排除、最適化を行いましょう。

データストレージのコストが下がってきましたか？場合によっては、魔法の杖を振るよりもう少し作業が必要かもしれません…。それでも、クラウドデータサービスプロバイダーからの請求書で料金が下がったことを確認したとき、「魔法のような効果」を実感するでしょう。

さらに詳しく知りたい場合は、Cloudera Octopai Data Lineage のデモをリクエストしましょう。上記のステップを実践し、クラウドストレージのコストを今すぐ削減する上で役立つ自動化されたデータリネージソリューションです。

図1：Cloudera と NVIDIA はデータサイエンスライフサイクル全体に価値を提供します

このブログでは、Cloudera と NVIDIA が連携してアナリティクスと AI を活用し、金融サービス機関にどのような価値をもたらすのかを示す 3 つのユースケースを紹介します。

AML/KYC コンプライアンス対応の Apache Spark 向け NVIDIA RAPIDS アクセラレーター

大規模な金融機関におけるマネーロンダリング防止および顧客確認（AML/KYC）のコンプライアンスライフサイクルは、非常に計算集約的なプロセスです。これは、さまざまな活動にわたる膨大なデータを統合し、標準化する必要があるためです。

• クロスボーダーデータの標準化を必要とし、幅広いトランザクションシステムや外部エンティティ（クレジットカード取引、送金、SWIFT メッセージなど）から取得される取引主体の同一性解決

• 異なる形式で情報を保存する複数の AML/KYC システムからのデータ統合で、統一スキーマに正規化し、クロス事業部門 AML データマートなどのデータプロダクトに構造化

• データ処理、拡充、ルール適用を必要とする継続的なトランザクション監視と規制報告

AML/KYC ユースケースを実装した多くの Cloudera の顧客にとって、Apache Spark はこれらの分析ワークロードを実現する上で重要な役割を果たします。Apache Spark は、インメモリコンピューティングや分散処理などの機能を提供する、データエンジニアリング用の強力なエンジンです。しかし、取引量の急増と AML/KYC コンプライアンス対応の新しいデータソースの多様化により、既存のコンピューティングインフラストラクチャにさらなる負担がかかり、これまで以上のパフォーマンスが求められています。

Apache Spark 用の NVIDIA RAPIDS ライブラリは、コードを変更することなく、特定のデータ処理操作を CPU から GPU に透過的にオフロードします。その結果、Cloudera の顧客は、Apache Spark 3.0 ワークロードに NVIDIA RAPIDS ライブラリを使用することで最大20倍のパフォーマンス向上を体験しました。

決済における不正防止のための NVIDIA NIM マイクロサービス

詐欺防止における 2 つの最大課題として挙げられるのが、デジタルおよびクレジットカード決済における取引量の急増と、詐欺手法の巧妙化です。これらの要因により、AI/ML 推論におけるリソース競合とスケーラビリティの課題が生じ、新たな不正手法に対応するために複数の構成可能な AI/ML モデルを導入する必要があります。

これらの課題に対応するため、Cloudera AI Inference サービスには NVIDIA NIM が含まれています。これは不正防止用の AI モデルに対し、高性能・低レイテンシー・高スループットの推論を NVIDIA のアクセラレーテッドコンピューティング上で実現するよう設計されています。例えば、NVIDIA NIM を使用することで、Cloudera AI Inference サービスは PyTorch モデル (Torch-TensorRTライブラリを使用) で最大6倍の性能向上を実現し、TensorFlow モデル (TF-TensorRT ライブラリを使用) で 2.5 倍の性能向上を実現できます。これらはどちらも、支払い詐欺防止に広く使用されています。

さらに、Cloudera AI Inference サービスは、NVIDIA の動的バッチ機能を活用し、NVIDIA アクセラレーテッドコンピューティングで実行される推論リクエストの処理を高速化します。この機能により、サーバー側の複数の推論リクエストをまとめて処理できるため、一度に1件ずつ処理して GPU がほとんどアイドル状態になるような非効率を避けることができます。その結果、NVIDIA NIM を活用した Cloudera AI Inference サービスは GPU の使用率を向上させ、不正防止に対する需要の高まりに対応するための将来的な GPU 設備投資の削減につながります。

リテールバンキングにおけるローンオリジネーションのための NVIDIA AI-Q ブループリント

信用審査は、銀行業務において重要な機能であり、住宅ローン、クレジットカード融資、商業銀行業務、貿易金融など、さまざまな融資活動にまたがっています。これらのプロセスは、申請の提出から資金調達に至るまでの多くの業務や、意思決定に関わる多数の関係者が存在することから、従来は非効率的であることが常でした。

従来の AI/ML モデルは、ローン発行ワークフローにおける多くの個別作業を効率化できますが、顧客の視点から見ると、依然として手続きは遅く、断片的に感じられます。こうした状況において、エージェント型 AI は大きな効果を発揮します。情報の収集、要約、与信判断の作成にかかる手間を軽減できるのです。また、承認プロセス中のレビューを標準化することで、パーソナライズされ、かつ一貫性のある融資体験を提供できます。さらに、複数の AI エージェントがツールやデータを連携して制御するマルチエージェントワークフローにより、顧客の行動や支出パターンに基づいたパーソナライズされた製品提案も可能になります。

Cloudera AI Inference サービスと NVIDIA のアクセラレーテッド・コンピューティング上で NVIDIA AI-Q Blueprint を活用することで、銀行機関はこの変革的なビジョンを実現することができます。たとえば、AI-Q Blueprint を使用することで、Cloudera はマルチエージェントワークフローを構築できます。この中には、NVIDIA NIM 上に展開された生成 AI ベースのパーソナライズ型ローンアドバイザー、光学文字認識 (OCR) および自然言語処理 (NLP) 技術を活用した AI ベースの文書処理エージェント、既存の与信判断ツールなどが含まれます。

次のステップへ

Cloudera の統合型クラウド対応データプラットフォームと、NVIDIA のハードウェアおよびソフトウェア機能を組み合わせることで、エージェント型 AI ソリューションの開発に向けた包括的なソリューションが実現します。

• Cloudera AI Inference サービスの詳細については、こちらのページをご覧ください。

• Cloudera + NVIDIA の共同バリュープロポジションについては、Enterprise Strategy Group によるホワイトペーパーをご参照ください。

この記事は、2025/9/17に公開された「Cloudera + NVIDIA Deliver AI-Powered Transformation in Financial Services」の翻訳です。

Cloudera と NVIDIA は、Cloudera のデータ管理機能と NVIDIA のフルスタックサービスを組み合わせることで、組織が大規模で複雑なデータパイプラインを合理化できるようにします。

• Cloudera 上の Apache Spark と NVIDIA RAPIDS アクセラレーターによるデータ処理は、特徴エンジニアリングおよびデータエンジニアリングのワークロードの実行を効率化します。

• AI/ML モデルのデプロイメントにおいて、Cloudera AI Inference と NVIDIA NIM マイクロサービスを使用することで、人工知能（AI）モデル（従来の AI/ML と生成 AI の両方）のスループットを高め、レイテンシーを低減します。

• NVIDIA AI-Q Blueprint によるエージェント型AIオーケストレーションは、プライベートデータと AI エージェントの統合を可能にし、APIを通じて他のシステムとのインタラクションを可能にします。

ビジネス上の課題：データプライバシーを損なうことなく AI モデルの速度と精度を両立

Cloudera のカスタマーサポートチームは、AI モデルを活用してサポートチケットをリアルタイムで分析・要約しています。このシステムは、顧客や Cloudera サポート担当者のコメントを入力として受け取り、それぞれのコメントを分析し、感情分析や要約といった一連の分析結果を抽出します。これらの分析は、Cloudera におけるカスタマーエクスペリエンスを向上させる上で極めて重要です。

このパイプラインで処理される顧客データは機密性が高いため、ローカル環境で稼働するモデルのみを使用でき、顧客データを外部ソースと共有することは一切できません。

当初、コメントを分析するためにチームはローカルの LLM (Goliath 120B) に依存していました。これにより基本的な性能要件は満たされましたが、速度と生成性能に課題がありました。平均で 1 件あたりの処理に12～15秒を要し、30秒ごとにリクエストが発生していたのです。期待される出力への適合率は77.5％にとどまり、生成精度も独自モデルより低く、スケーラビリティや LLM の性能におけるボトルネックとなっていました。

ローカルの大規模 LLM (Goliath-120B) を使用する際の課題は明白でした。応答時間の遅さ、コストの増大、最新のクラウドベースモデルと比べた生成精度の低さ、そしてコンプライアンスリスクです。

大規模組織も同様のトレードオフに直面しており、AI の精度と速度をデータ漏洩リスクと天秤にかけてバランスを取らなければなりません。

Cloudera のソリューション：プライベートデータを活用したナレッジ・ディスティレーション

Cloudera のブレークスルーは、プライバシーを最優先としたナレッジ・ディスティレーションのアプローチにあります。

規制や漏洩リスクを伴う生の顧客データでモデルをトレーニングする代わりに、Cloudera Synthetic Data Studio を用いて合成データセットを生成しました。Cloudera AI に新たに搭載されたこのローコードツールは、技術的な質問やトラブルシューティングシナリオなど、実際のやり取りを模倣しつつ、一切の機密情報をさらすことなくデータを作成します。

合成のカスタマーサポートインタラクションを生成することは、規制面や情報漏洩リスクにおける利点をもたらしただけでなく、チームがその合成データを最新のクラウドベース LLM に送信し、顧客感情などのインサイトを最高性能の LLM から抽出することも可能にしました。これらのクラウドベース LLM は、大規模なローカル LLM よりもはるかに正確な情報処理を実現し、最先端の LLM から正確なインサイトを抽出するための理想的な情報源となりました。

Cloudera の合成データソリューションは、コンプライアンスやプライバシーのリスクを排除し、既存の大規模ローカル LLM を上回る最高品質の合成データを生成しました。このアプローチにより、最先端モデルから小規模 LLM へ知識を抽出する選択肢が開かれ、Goliath-120B と同じ課題を、より低コストかつ高精度で解決できるようになりました。

プロセス

データ生成：Synthetic Data Studio のデータ生成ワークフローを用いて、Claude Sonnet に顧客からの質問と回答を生成するよう指示するプロンプトを作成しました。このプロンプトは、LLM にカスタマーサポートの質問と回答を作成させ、トーンを設定し、構造を詳細に規定するよう指示しています。さらに、実際のデータに現れるトピック (Cloudera AI や Cloudera Data Warehouse のカスタマーサポートなど) のリストを提示し、シードトピックを活用することで、多様かつ現実的なカスタマーサポートチケットを生成できるようにしました。

ファインチューニング：フィルタリングしたデータのみを使用し、チームはデータを学習用と開発用に分割して、Claude Sonnet モデルから Meta Llama3.1-8B-instruct モデルへ知識を抽出しました。チームは、最適化された LLM の性能を最大化するファインチューニングのパラメータを選択するために、複数の実験を行いました。

評価：Synthetic Data Studio の評価ワークフローを用いて、チームは LLM-as-a-judge に生成データの品質を評価させ、低品質なサンプルを除外するためのプロンプトを作成しました。

人間による評価と自動化された LLM-as-a-judge 評価の両方を活用し、チームは実際のカスタマーサポートチケットの質問と回答を採点しました。Cloudera のチームは、デプロイ済み LLM と抽出された LLM の回答に違いが出たケースに注目し、それぞれの LLM の勝率を報告しました。さらに、平均実行時間、期待される出力への適合率、モデルのデプロイコストといった観点から、速度の改善度も測定しました。

結果

速度の向上：処理時間が95％短縮されました。

出力構造の改善：出力の適合率が77.5%から99.5%に上昇しました。

LLM 精度の向上：小規模なナレッジ・ディスティレーションを経た LLM (Llama 3.1 8B) とデプロイ済み Goliath LLM (Goliath 120B) を比較したところ、Phi-4 を評価者とした場合の勝率は 70%対 30%、人間による評価では 63%対 37%となりました。

コストと効率の改善：小規模なナレッジディスティレーションを経た LLM は、コンピュートとメモリの要件を削減しながらリアルタイムでのスケーラビリティを高め、データプライバシーを維持しました。その結果、スループットは 11 倍に向上しました。

結果は明らかです。企業はデータプライバシーを損なうことなく、AI 活用の卓越性を実現できます。学習データを合成し知識を抽出することで、企業はイノベーションとコンプライアンスの間でトレードオフを迫られることを回避できます。

この記事は、2025/9/11に公開された「Unlocking Enterprise AI Potential: Knowledge Distillation for Customer Support Analytics」の翻訳です。

現代の企業は大きな課題に直面しています。競争力を維持するために高度な AI モデルを活用したい一方で、クラウドベースの大規模言語モデル (LLM) にかかる高コストを抑え、データプライバシー規制への準拠を維持する必要があるのです。

では、企業はどのようにすれば、予算を超過させたり機密データをさらしたりすることなく、最先端の AI を活用できるのでしょうか。Cloudera では、この課題をチャンスへと変えるソリューションを開発しました。プライベートデータから生成された合成データとナレッジ・ディスティレーションを活用することで、コスト効率に優れ、正確かつコンプライアンスに準拠した AI システムを構築できるのです。

本記事では、Cloudera AI Studios の一部である Cloudera Synthetic Data Generation Studio が、実データが不足している場合や機密性の高い場合でも、組織が AI のイノベーションを活用できるようにする方法について解説します。

規制リスクなくイノベーションを実現する合成データ

ナレッジ・ディスティレーション手法を開発することで、Cloudera は処理時間を 95％削減し、出力構造の適合率を 99.5％に高めました。さらに、Phi-4 を評価者とした場合に 70％、人間による評価で 63％の精度で従来の Goliath 120B モデルを上回る Llama 3.1 8B モデルを導入しました。

この方法は、機密データを直接使用しないことでコンプライアンスリスクを排除し、スループットを11倍に向上させました。これにより、小型で微調整されたモデルが、速度と精度の両方で、大規模でリソースを多く消費する代替モデルを上回ることが示されました。

AMP をお試しいただき、カスタマーサポートのユースケースにおいて、大規模モデルから小規模モデルへ合成プライベートデータを用いて知識を抽出する方法をご確認ください。

図 1.カスタマーサポートのユースケースにおける、合成データとナレッジ・ディスティレーション手法が速度、適合率、コストに与える影響。AWS コストは、LLM を AWS クラウド上で稼働させた場合の仮定値 (2025年2月時点の価格に基づく)。

ユースケースと重要なポイント

ユースケース：社内のユースケースを基に、プライベートデータから生成された合成データを用いた知識蒸留によって、Cloudera のカスタマーサポートチケットパイプラインのパフォーマンスと全体的なスループットを大幅に向上させた方法を、データのプライバシーと規制コンプライアンスを維持しつつ紹介します。

主要なポイント：

• 競争優位としてのデータプライバシー：合成データにより、規制リスクを伴わずにイノベーションを実現。

• コスト効率の高いパフォーマンス：小規模で微調整されたモデルが、大規模でリソースを多く消費する代替手段を上回る性能を発揮。

• 複数のユースケースに適用可能：同じアプローチを、不正検知からパーソナライズされたカスタマーサービスまで幅広いユースケースに活用可能。

この記事は、2025/9/2に公開された「Navigating GxP Compliance in the Age of Precision Medicine and AI」の翻訳です。

多くの業界と同様に、ライフサイエンス業界もデータの爆発的な増加に直面しています。これらのデータは、ゲノム配列から実世界の患者インサイトに至るまで、イノベーションの原動力となり、創薬の加速や患者ケアの革新をもたらす可能性を秘めています。しかし、他業界がデータの増加を活用している一方で、ライフサイエンス業界では、患者の安全性、製品の有効性、規制上の監視といった懸念により、イノベーションと変革が妨げられています。

Good Practice (GxP) コンプライアンスは、研究開発から製造、流通に至るまで、製薬バリューチェーンの各段階で整合性と信頼性を確保するための枠組みを構築し、信頼と発展を支えることを目的としています。そして、GxP コンプライアンスにおいてデータは極めて重要な要素です。

GxP は「Good [Industry] Practice (優良[業界]規範)」の略で、「x」には特定の分野が入ります。GxP コンプライアンスとは、ライフサイエンスや製薬などの厳しく規制された業界において、規制当局によって定められた手順や基準を遵守することを指し、製品の品質や患者の安全を確保するためのものです。

GxP に準拠するには、すべてのデータポイントが追跡可能かつ監査可能でなければなりません。しかし、データは分散しており、さまざまなシステム、クラウド、データセンターに保存されています。さらに、そのデータの量と処理速度の大きさが、状況をいっそう複雑にしています。

このブログでは、GxP コンプライアンスの必要性、データや AI がもたらす複雑性、そして Cloudera がライフサイエンス業界の組織に対して、これらの要件に自信と柔軟性をもって対応できるよう支援している方法について紹介します。

GxP コンプライアンス：ライフサイエンスの基盤

GxP コンプライアンスの本質は、患者を守ることにあります。GMP (適正製造基準)、GCP (適正臨床試験実施基準)、GLP (適正試験所基準) は、医薬品、医療機器、バイオテクノロジー製品が常に最高水準で製造・試験・流通されるよう定められており、安全かつ効果的な治療の実現につながっています。

GxP において特に重要なのが、データの完全性です。ALCOA+（属性が明確、判読可能、同時性がある、原本である、正確である、完全である、一貫性がある、持続可能である、利用可能である）といった原則により、すべてのデータが信頼でき、検証可能であることが求められます。この完全性が損なわれれば、安全かつ有効な医療製品の基盤は崩れ、患者への被害につながる可能性があります。

GxP 準拠は複雑な課題

ライフサイエンス業界は信頼を基盤に運営されています。患者、医療提供者、規制当局は、製薬企業が最高基準を遵守していることを信頼しなければなりません。GxP の遵守は、品質と倫理的行動へのコミットメントを示し、この信頼を育みます。

GxP に違反すると、金銭的な罰則や製品リコール、法的措置、そして回復困難な企業イメージの損失といった重大な影響が生じます。実際、規制遵守にかかるコストは、製薬製造施設の年間運用コストのおよそ 25％ を占めています。GxP は重要なリスク軽減の枠組みとして機能し、負担と見なされがちなものを、業務の卓越性と長期的な持続可能性を支える強固なシステムへと変換します。

しかし、ライフサイエンス企業が GxP に準拠するには、さまざまな課題があります。

• データの爆発的増加：ライフサイエンス組織におけるデータの量、種類、速度の増加は、GxPコンプライアンスをこれまで以上に困難にしています。また、システム、ツール、プラットフォームの普及と分散は、データの監査可能性とトレーサビリティにさらなる複雑さをもたらしています。

• AI/ML ワークロードの複雑性の増加：バリューチェーン全体における人工知能 (AI) と機械学習 (ML) の成長は、さらなる複雑性をもたらします。課題には、モデルの説明可能性と透明性、バイアスの検出と緩和、厳格なトレーニングデータガバナンス、継続的な学習とモデルドリフトの管理が含まれます。

• 責任の分担とシステム統合：ほとんどのプラットフォームやツールは本質的に「GxP 認証」ではありません。最終的な検証は顧客の責任です。一部のワークロードをクラウドに移行している顧客にとっては、こうした分散型の環境が GxP 対象システムの境界定義を複雑にし、特にハイブリッド環境ではその傾向が顕著です。「GxP データが流れるのであれば、すべての下流システムを検証せよ」という原則が適用されることも少なくありません。既存のレガシー GxP バリデーション済みシステム (多くはサイロ化されている) と最新のデータプラットフォームを統合し、エンドツーエンドのデータの来歴を確保することは、大きなハードルとなっています。

• 運用面での厳格さ：技術面だけでなく、GxP に準拠するには、綿密な文書化、厳格な変更管理、継続的なモニタリング、高度に訓練された人材が求められます。継続的な検証と再検証には、多大な労力とコストがかかります。

コンプライアンスの強化：Cloudera が GxP 対応を簡素化する方法

Cloudera は、これらの課題に対応するために構築されたデータプラットフォームであり、AI や ML を含む多様なワークロード全体で GxP 準拠を達成・維持するための堅牢かつスケーラブルな基盤を提供します。Cloudera は、ライフサイエンス企業がより多くのデータを分析に活用できるようにする複数の機能を備えています。以下の機能が、GxP コンプライアンスを支援します。

セキュリティ、ガバナンス、データリネージの統合管理

Cloudera Shared Data Experience (SDX) は、ハイブリッドおよびマルチクラウド環境全体にわたって一貫したセキュリティ、ガバナンス、メタデータのレイヤーを提供します。Apache Ranger によるきめ細かなアクセス制御、Kerberos による強力な認証、Apache Atlas による完全なデータリネージを組み合わせることで、SDX は重要な管理項目を一元的に可視化し、ポリシーの一貫した適用、監査の効率化、保存時および転送時の暗号化 (TLS/SSL) を実現し、GxP 検証を簡素化します。

Cloudera Octopai Data Lineage

Cloudera Octopai Data Lineage は、Cloudera SDX のデータリネージ機能をさらに強化し、Cloudera プラットフォーム内外のシステムを含む企業全体にわたって、自動化されたエンドツーエンドのデータリネージを提供します。Cloudera Octopai Data Lineage は、ETL ツールやデータベース、BI レポート、機械学習モデルなど、さまざまな技術にまたがるデータフローを自動的に検出・マッピングし、データの流れをソースから活用まで把握可能にします。この包括的でクロスプラットフォームな可視性は、GxP コンプライアンスに不可欠な堅牢な監査証跡を提供し、影響分析や原因特定を可能にするとともに、ライフサイエンス分野における重要な洞察に用いるデータの信頼性を確保します。

エンドツーエンドの監査性と AI／ML 対応

Cloudera は、ユーザーアクセス、データの変更、ポリシーの変更に関する詳細な監査証跡を提供します。Cloudera AI は、GxP 準拠の AI／ML に不可欠な、モデル開発や実験の追跡機能を備えています。これには、実験のトラッキング、モデルの登録とバージョン管理、MLOps パイプラインの検証、バイアス検出の基盤提供などが含まれます。

結論：コンプライアンスを確保しながらイノベーションを加速する Cloudera

GxP コンプライアンスは、単なる規制上のハードルではなく、ライフサイエンス分野におけるイノベーションと信頼の要となる存在です。爆発的に増加するデータと急速に広がる AI／ML の活用に対応するには、堅牢で統合されたデータプラットフォームが不可欠です。

Cloudera は、包括的なセキュリティ、ガバナンス、監査機能を備え、多様なワークロードにわたって GxP コンプライアンスの達成と維持を可能にするスケーラブルな基盤を提供します。GxP 対応のプロセスを簡素化することで、Cloudera はライフサイエンス業界の組織にイノベーションの加速、命を救う治療法の迅速な市場投入、そして信頼の維持を支援します。

この記事は、2025/8/14に公開された「Cloudera Recognized Among the Nation’s Cybersecurity Leaders」の翻訳です。

Cloudera は、全米で数千社が審査対象となる中、83社に絞り込まれた一社として、最も信頼されるサイバーセキュリティプロバイダーの一社に認定されたことを誇りに思います。専門家による評価と公開レビューを通じて裏付けられた結果、Cloudera はアプリケーションとデータのセキュリティ、インフラストラクチャのセキュリティ、そして OT・IoT セキュリティという3つの重要な分野で最高評価を獲得しました。

この受賞は、政府、金融、医療、通信、教育といった分野における Cloudera のサイバーセキュリティリーダーシップを示すものです。顧客が機密性の高い市民データやミッションクリティカルな金融システムを管理している場合でも、Cloudera は最高水準の信頼性とコンプライアンスに対応するよう設計された、安全でスケーラブルなプラットフォームを提供します。

Cloudera が注目される点

Cloudera は、サイバーセキュリティの以下の3つの主要分野でサービス品質の栄誉を獲得しました。

• アプリケーション & データセキュリティ：強力な暗号化、アクセス制御、ガバナンス機能が評価されました。

• インフラストラクチャセキュリティ：ゼロトラストアーキテクチャと強靭なハイブリッドクラウド機能が評価されました。

• OT・IoT セキュリティ：接続システムとインテリジェントインフラストラクチャに対する企業向けセキュリティの提供が評価されました。
  
  

これらの機能は、セキュリティとガバナンスこそがデータプラットフォームのあるべき姿を支える基盤である、という Cloudera の長年の信念を反映しています。

「当社のプラットフォームは、お客様がデータからのインサイトを迅速かつ安全に活用できるよう支援します」と、Cloudera フィールド CTO の Carolyn Duby は述べています。「それは、データからインフラストラクチャ、接続システムに至るまで、あらゆるレイヤーにセキュリティを組み込むことから始まります。私たちは、ゼロトラストの原則をすべての段階で適用しながら、複数のプラットフォームにわたってデータを一元的に保護・ガバナンスすることを可能にしています。」

業種を超えたセキュリティ：ビジネスの必須要件

セキュリティは、あらゆる業界において信頼性、コンプライアンス、イノベーションを実現するための基盤となる要素です。Cloudera のセキュア・バイ・デザインのアーキテクチャは、研究データや医療記録から決済システムや接続インフラに至るまで、あらゆるものを保護します。

これらの幅広いニーズに対応するため、Cloudera はプラットフォームのあらゆるレイヤーにガバナンスと保護を組み込んでいます。このコンプライアンスへの取り組みは、最近達成した FedRAMP Moderate 認可 によって裏付けられており、当社は米国政府機関にとって信頼されるプロバイダーとなっています。また、PCI DSS 4.0 準拠により、金融機関が最高水準のデータセキュリティを維持しながら AI を活用できる新たな機会を開拓しています。

脅威の状況に対応して進化

サイバーセキュリティの脅威が高度化し、AI ドリブン型へと進化する中、組織には基本的な防御を超えた、脅威の状況とともに進化するインテリジェントで適応的なツールが必要です。だからこそ Cloudera は、プラットフォームを保護すると同時に、顧客が自らのサイバーセキュリティデータからインサイトを導き出せるよう支援しています。当社は、データの取り込みや脅威モデリングから、異常検知、AI を活用した対応に至るまで、データライフサイクル全体をサポートします。

「AI は検知と対応における戦略的資産です」と Duby は述べています。「Cloudera は、世界で最も重要な企業の一部が大量のサイバーデータを管理し、ローコードツール、AI コードアシスタント、ハイブリッドクラウドソリューションを活用して迅速に対応できるようにしています。」

このビジョンをさらに支えるため、Cloudera は Octopai を買収し、先進的なメタデータの可視性と自動化されたデータリネージをプラットフォームに組み込みました。これにより、顧客は機密データがどこに存在し、どのように流れ、どのように安全にガバナンスできるかを、複雑なハイブリッド環境全体で把握できるようになります。

セキュリティのために構築。イノベーションによって推進

この全米での認定は、顧客がすでに理解していることを裏付けています。Cloudera は、安全でデータドリブン型の大規模オペレーションを構築するための信頼できるパートナーです。公共部門のモダナイゼーションから金融コンプライアンスに至るまで、当社は組織が複雑な規制環境を乗り越え、データを戦略的な強みに変えることを支援します。

厳格に規制された業界で AI を拡張する場合でも、クラウドでミッションクリティカルなアプリケーションを構築する場合でも、Cloudera は安全かつインテリジェントで自信を持って前進するために必要なツールと信頼を提供します。

Cloudera は、ミッションクリティカルなデータを保護し、安全なイノベーションを推進します。当社のプラットフォームと公共部門向け機能の詳細はこちら

この記事は、2025/8/20に公開された「Data Catalog Implementation: A Step-by-Step Guide」の翻訳です。

あらゆるシステムや環境から発生する大量のデータ (データ肥大化) に対処するには、簡単にアクセスできる、整理されたデータカタログを持つことが重要です。データチームと所有者が滞りなく業務を進めるには、データがどこから発生し、どこに保存されているかを理解する必要があります。

データカタログのメリットには以下のようなものがあります。

• より優れた意思決定：データカタログを使用すると、高品質のデータにすばやく簡単にアクセスできます。正確でタイムリーなデータを入手することで、ビジネスユーザーは情報に基づいた意思決定を行い、全体的なビジネス戦略を改善できます。

• コラボレーションの改善：データカタログは、エンタープライズデータの中央リポジトリとして機能することで、さまざまなチーム間のコラボレーションを促進します。関係者全員が同じデータにアクセスし、データが表す内容を同じように理解できるため、誤解や食い違いが減ります。

• リスク管理とコンプライアンスの向上：データカタログは、データの保存方法や使用方法を明確に記録するため、企業が規制コンプライアンスを維持する上で役立ちます。これは、GDPR や HIPAA などの規制を遵守しなければならない業界で特に有益です。カタログは、データの系譜とともに、データの起源を示す真実の情報源として機能します。

明らかにメリットがあるにしても、データカタログの実装は困難で面倒な場合があります。弊社では、データ所有者との話し合いやアンケート調査に基づき、組織内でデータカタログを実装するためのステップバイステップ・ガイドを作成しました。

データカタログの実装に関するベストプラクティス：11ステップのガイド

データカタログを実装する際のベストプラクティスを、分かりやすいステップに分けてご紹介します

1. 明確な目的と範囲を定義する

実装プロセスに進む前に、データカタログの目的と範囲を明確に定義します。含めるデータの種類や対象となるオーディエンス、データカタログがサポートするビジネス目標を特定しましょう。目的と範囲を明確に定義することが実装プロセスを導き、カタログが本来の機能を効果的に果たせるようになります。

2．関係者を特定して関与させる

データカタログの実装を成功させるには、主要な関係者の関与が必要です。こういった関係者にはデータチームやビジネスチームのメンバーが含まれる場合があり、設計および実装プロセスに同メンバーを含めることで、データカタログがチームのニーズを満たし、ビジネス目標に沿ったものになります。

3. データガバナンスポリシーを確立する

堅牢なデータガバナンスポリシーを確立することは、データカタログを実装する上で重要な要素です。ポリシーでは、データ標準、アクセス制御、およびデータ品質の測定基準を定義する必要があり、データカタログの正確さや最新性、および安全性を確保します。

4. 既存のカタログメタデータ標準を使用する

データカタログ内の一貫性と相互運用性を確保するには、他のシステムやデータソースとの一貫性を促進するためにカタログメタデータ標準とデータモデルを定義する必要があります。これらの標準の例としては、統一されたヘッダーや必須記載事項が含まれます。

5. メタデータの取得を自動化する

Cloudera Octopai Data Lineageのような先進的なメタデータ管理ツールを活用し、さまざまなソースからのメタデータ取得プロセスを自動化しましょう。自動化されたメタデータキャプチャは、データカタログの効率、正確性、一貫性を向上させます。

6. 明確なマイルストーンを定義する

マイルストーンの定義は、データカタログを実装する上で極めて重要であり、プロセスは以下のとおりです。

• カタログ化するデータ資産を特定する：次のセクションで説明するガイドラインに基づいて、カタログ化するデータ資産の優先順位を付けます。

• メタデータの要件を定義する：各データ資産に必要な情報レベルと追加情報を決定します。少なめの情報量からスタートし、何が最適かを判断していく方が良い場合もあります。

• タイムラインを作成する：主要なマイルストーンを特定し、プロジェクトの開始日と終了日を設定します。

• プロジェクトのフェーズを定義する：プロジェクトを管理しやすいフェーズに分解します。

• 責任を割り当てる：必要な品質基準に従って時間通りに完了するようにタスクを割り当てます。全員がカタログに合わせて足並みを揃えるべきです。

• 品質管理対策を確立する：取得したメタデータが正確かつ完全であり、確立された標準に準拠していることを確認します。

• 進捗状況を監視する：プロジェクトの進捗状況を追跡し、計画どおりにマイルストーンを達成できるよう、必要に応じて計画を調整します。

7. データ資産の優先順位を付ける

データカタログを作成するときは、組織の業務において重要であり、業績に大きな影響を与える可能性のあるデータ資産を優先します。ビジネスに不可欠なデータ、価値の高いデータ、頻繁に使用されるデータ、見つけにくいデータ、新しいデータ資産などを検討してください。

8. データカタログにデータを投入する

データ所有者または専門家と協力して、管理するデータ資産に関するさまざまな属性を文書化します。この情報 (データソース、系統、品質、使用状況など) は、データカタログの作成に使用できます。

9. 検索および発見機能の使い方をユーザーに教える

貴社が投資したメタデータ管理ツールは、フィルター、タグ、所有者、その他の検索パラメータなどを使用できる検索機能および発見機能を提供し、ユーザーが必要なデータをすばやく見つけてアクセスできるようにする必要があります。ベンダーと協力して、ユーザーがツールを効果的に使用する方法をトレーニングできるようにしましょう。

10. 利用状況と導入状況を監視する

組織内でデータカタログがどのように使用・導入されているかを追跡します。これにより、組織のニーズを満たしているかどうか、また、ユーザーがその機能を効果的に活用しているかどうかを評価できます。

11. 継続的なメンテナンスとサポートを提供する

他のシステムと同様、データカタログにも継続的なメンテナンスとサポートが必要です。これには、関連性や有用性、最新性を維持するための定期的なアップデートと機能強化が含まれます。このプロセスには、発生する可能性のある問題の監視と修正も含まれているため、カタログの整合性と使いやすさが確保されます。

まとめと今後のステップ

データカタログの実装は複雑なプロセスになる可能性がありますが、慎重な計画、関係者の関与、品質と使いやすさへのフォーカスにより、組織に大きなメリットをもたらすことができます。

上記のベストプラクティスに従えば、データカタログを正常に実装し、組織のデータ管理とビジネス目標をサポートできます。データカタログは生きており、組織のデータ環境の変化に合わせて継続的に進化していくということを忘れないでください。すべてのユーザーにとって正確で、便利で、価値のあるものにするためには、献身的な努力と取り組みが必要です。

データの混乱を克服したい場合は、今すぐデモをリクエストして、Cloudera Octopai Data Lineage の利用を開始しましょう。メタデータの自動取得、エンドツーエンドの系譜、直感的なカタログ作成を瞬時に活用することで、チームは手動によるカタログ作成の手間なく、スムーズに連携し、賢明な意思決定を行い、コンプライアンスを維持できます。

この記事は、2025/8/11に公開された「Bringing Private AI To Your Data Center with Cloudera Data Services 1.5.5」の翻訳です。

かつては遠い将来のビジョンだった企業向け AI の時代は、いまやビジネスおよびテクノロジーのリーダーにとって、差し迫った戦略的課題となっています。最近の Google のレポート によると、大規模組織の 74％ が、生成 AI (GenAI) への投資からすでに大きな投資収益 (ROI) を得ていることが明らかになっています。

明確なニーズがあるにもかかわらず、その道のりはリスクに満ちています。最近の調査によれば、企業向け AI プロジェクトの実に 88％ が本番環境に到達できずに失敗しています。この高い失敗率は、企業が乗り越えなければならない複雑な障壁の存在によるものです。リーダーたちは、セキュリティの脆弱性、予測困難なコスト、根強いスキルギャップ、不確かな ROI といった「地雷原」を進まざるを得ず、多くの場合それが乗り越えられない壁となっています。

もし、こうした障壁を根本から覆すことで取り除けるとしたらどうでしょう。機密性が高く、独自性のあるデータを外部のモデルに移して、セキュリティの脆弱性や予測困難なコストに直面するのではなく、すでに投資済みのデータセンター内、つまりデータがすでに存在する安全な場所に 生成AI の力を持ち込める場合です。

今、それが可能になりました。Cloudera Data Services を活用することで、より強力かつセキュアなプラットフォームへのモダナイゼーションを実現し、チームに力を与え、データセンター内でプライベート AI の可能性を最大限に引き出すことができます。つまり、機密性の高い知的財産を外部にさらすことなく、自社のファイアウォールの内側で、AI を自社データに直接適用して安全にイノベーションを進められるということです。

Cloudera Data Services 1.5.5 のご紹介

Cloudera Data Services は、データエンジニアリング、データウェアハウジング、AI のためのコンテナ化アプリケーション群であり、自社のデータセンター内で安全に運用できます。今回の最新リリースは大きな前進を示すものであり、その基盤をさらに拡張して、企業内でプライベート AI の可能性を最大限に引き出します。

このリリースにより、Cloudera Data Services には次の機能が含まれるようになりました。

• プライベートエンタープライズ AI：機密性の高い知的財産を公開することなく、AI をデータに直接取り込むことで、ファイアウォールの内側で安全なイノベーションを実現する能力。
• 真のクラウドネイティブ体験：クラウドの俊敏性、弾力性、自動スケーリングと、自社オンプレミスデータセンターのセキュリティと制御を融合。
• 効率の劇的な向上：コンピュートとストレージを個別にスケーリングすることで、インフラストラクチャコストを削減し、リソース利用を最適化する最新のアーキテクチャ。
• 実務者が主体的に活用できる体験：チームが価値創出までの時間を加速するために必要な次世代ツールとセルフサービス体験へのアクセス。
• オープンなデータレイクハウス基盤：Apache Iceberg や Trino といったオープンスタンダードに基づき、ベンダーロックインを排除する、分析と AI のための統合プラットフォーム。さらに、Apache Ozone を基盤としたペタバイト規模のオブジェクトストアを提供。

ファイアウォールの内側で活用する企業向けプライベート AI

これまでハイブリッド環境で企業向け AI を実行するには、複雑でサポートのない DIY ソリューションを構築する必要がありました。一貫性のある統合プラットフォームがなければ、AI ライフサイクル全体に不可欠な機能はさまざまな場所に分断され、チームはそのギャップを手作業で埋めざるを得ませんでした。Cloudera Data Services 1.5.5 は、どこにあるデータにもアクセスできるツールを提供することで、この状況を根本から変革し、単一のハイブリッドプラットフォーム上でシームレスな AI ライフサイクルを実現します。これにより、プロセスの分断やセキュリティと制御の妥協を招くことなく、より迅速にイノベーションを推進できます。

このリリースの大きな特長の一つは、NVIDIA によって加速されるCloudera AI Inference service と、Cloudera AI Studios のオンプレミス対応が導入されたことです。これらのサービスは従来、クラウドでのみ利用可能でした。

• Cloudera AI Inference service は、安全でスケーラブルなエンジンを提供し、データセンター内であらゆる AI モデルを本番環境にデプロイおよび管理できます。これにより、AI をデータに直接適用し、最も価値のある資産や機密性の高い知的財産を自社のファイアウォール内に安全に保持できます。
• 慢性的なスキルギャップへの対応として、Cloudera AI Studios はローコードのテンプレートを提供し、既存のチームが生成 AI アプリケーションやエージェントを迅速に構築・デプロイできるようにします。これにより、希少で専門的な AI 人材への依存を大幅に減らすことができます。この統合されたデフォルトセキュアなプラットフォームにより、これまで数か月を要したプロトタイプから本番環境までの移行を数日に短縮し、これまでにないスピードで具体的なビジネス価値を提供できるようになります。

これらの機能により、組織は自社データセンターのセキュリティを確保したまま生成 AI アプリケーションを構築・実行でき、機密性の高い知的財産をファイアウォールの内側に安全に保持しつつ、AI 導入を加速できます。モノリシックなクラスターから俊敏なコンテナ化アプリケーション群への移行により、オンプレミスで真のクラウドネイティブ体験を実現し、セキュリティや制御を犠牲にすることなく、俊敏性と効率性を提供します。

実務者を支援し、価値創出を加速

プラットフォームの良し悪しは、それを使う人にかかっています。そのため、この Data Services のリリースは実務者に焦点を当て、ボトルネックを解消し、価値創出までの時間を短縮するよう設計されています。Forrester の調査によれば、この最新アーキテクチャを採用した顧客は、ワークロードのデプロイが 80％ 高速化し、データチームの生産性が 20％ 向上しています。これは、管理者への依存を減らす効率的なセルフサービス体験を提供し、データサイエンティストやエンジニアが管理業務ではなく成果に集中できるようにすることで実現されています。

この強化された体験は、日常のワークフローを簡素化する新機能によって実現されます。実務者は、セルフサービス Kerberos により安全に自身をオンボーディングできるようになり、新しい Hive Query History を使って問題をより迅速にデバッグでき、きめ細かな Spark ジョブアクセス制御リストを通じてより高い自律性を得られます。オンボーディングやセットアップのプロセスを簡素化することで、技術チームは管理業務に費やす時間を減らし、企業を前進させるビジネス価値の提供により多くの時間を充てられるようになります。

企業規模に対応したプラットフォーム

これらの高度な AI 機能や実務者向け機能は、世界で最も要求の厳しい企業向けに設計された基盤の上に構築されています。Data Services の主要なアーキテクチャ上の利点は、その分離されたコンポーネント構造とコンテナ化にあり、これによりコンピュートリソースとストレージリソースを独立して拡張できます。

この効率性は、大幅なコスト削減につながります。社内報告によると、ある大手グローバル銀行は、Cloudera Data Services によるモダナイゼーションによって年間 2,800 万ドルのインフラコスト削減と、コンピュート効率の 30％ 向上を実現しています。これは、あらゆるデータとアプリケーションに対するエンドツーエンドのセキュリティ、ミッションクリティカルな事業継続を支える信頼性、そしてデータやワークロードの増大に応じて一貫したパフォーマンスを発揮できるスケーラビリティという、企業基盤に徹底して注力したプラットフォームによって可能になっています。

モダナイゼーションへの第一歩をここから

Cloudera Data Services 1.5.5 は、データアーキテクチャを変革し、エンタープライズ AI の可能性を最大限に引き出すための明確で実証済みの道筋を提供します。このリリースは、データモダナイゼーションの取り組みを加速するために設計された強力なクラウドネイティブプラットフォームを提供し、重要な進展を示しています。お客様の最新化の旅に次の一歩を踏み出されることをお勧めします。

Data Services 1.5.5 の新機能を体験するデモのスケジュール、技術専門家による詳細セッションの予約、アップグレードや概念実証の計画開始などは、こちらからご連絡ください。

この記事は、2025/8/8に公開された「Cloudera Named a Leader and Fast Mover in 2025 GigaOm Radar for Streaming Data Platforms」の翻訳です。

Cloudera は、GigaOm Radar for Streaming Data Platforms レポートにおいて、2年連続で「リーダー」に選出されました。2025年版レポートでは、上位17のストリーミング・データ・プラットフォームが機能面・非機能面の多様な基準で評価されました。Cloudera は、ストリーミング・データ管理の基本要素すべてにおいてバランスの取れたソリューションを提供している点が評価されました。

GigaOm Radar for Streaming Data Platforms レポートにおける Cloudera の主要な差別化要因

GigaOm は、ストリーミングデータ市場における Cloudera の強みとして、以下の点を挙げています。

幅広いリアルタイム・アプリケーションを実現

Cloudera は、Apache NiFi、Apache Kafka、Apache Flink というデータ・ストリーミング分野における事実上の標準を統合することで、データプロダクトの作成、マルチクラウドでのデータ移動、AI/ML パイプラインなど、幅広いリアルタイムアプリケーションをサポートしています。

高度な分析によってすぐに得られる洞察の提供

リアルタイムで大量のデータを処理する能力は、Cloudera の顧客にとって極めて重要です。Cloudera はそれを、スケーラブルかつ容易に実現します。Cloudera SQL Stream Builder を使えば、ユーザーは SQL を用いてリアルタイムパイプラインを構築し、ストリーミングデータに対する高度な分析を実行できます。

生成AI (GenAI) アプリケーションの加速

Cloudera AI は、AI ユースケースに対応したネイティブ統合機能を備えており、AI モデルへのデータの取り込みや出力を迅速かつ容易に行うことができます。たとえば、Pinecone、Milvus、Qdrant などのベクターデータベースと、専用の NiFi プロセッサ経由で統合することで、データの迅速な処理および埋め込みが可能になります。Cloudera は、データの取り込みから本番環境での AI 活用まで、シームレスなデータフローを提供し、データサイエンスや AI における高度なユースケースを支援します。

リアルタイム分析や AI 主導のアプリケーションは、今日のビジネスユースケースにおいて不可欠なものとなっています。Cloudera のストリーミング・データ・プラットフォームは、生成 AI パイプラインやワークロードの構築、モデルのリアルタイムでの作成・更新、さらに SQL Stream Builder、マルチクラウドパイプライン、ベクターデータベースとの接続といった機能を活用した、高速かつスケーラブルなストリーミングデータ分析を実現するために必要なストリーミング機能を顧客に提供する体制が整っています。

Apache Iceberg によるコスト効率に優れたスケーラブルなデータストレージの実現

ほとんどのストリーミングデータは最終的に保存されます。規制やビジネス上の要件により、こうしたデータを数年間保持しなければならず、その総量は数ペタバイトに及ぶこともあります。Apache Iceberg は、ストリーミングデータに適した、低コストでスケーラブルなストレージソリューションを提供します。これは、ストリーム強化処理や長期的なデータアクセスに最適です。

データレイクハウスは、企業の最新アーキテクチャの中核を成しています。Cloudera は Apache Iceberg の主要な貢献者の一社であり、同社のデータレイクハウスもこれによって支えられています。このようなアーキテクチャに存在するあらゆるストリーミングソリューションは、データレイクハウスと効果的に統合され、低コストかつ効率的なストリーミングデータの保存および強化ソリューションを提供する必要があります。Cloudera は、NiFi、Flink、Kafka を Apache Iceberg と統合することで、この統合をネイティブに提供しています。

リアルタイムデータをオンプレミスまたはあらゆるクラウドで実行することによって実現される、真の柔軟性

Cloudera は、完全に統合されたオープンソース準拠の流れているデータスタックに対して、比類ないサポートを提供しています。当社は、多様なデータの取り込みを可能にする Apache NiFi、スケーラブルなイベントストリーミングを実現する Apache Kafka、そして強力なリアルタイム処理を担う Apache Flink にわたって、シームレスな体験を提供する唯一のベンダーです。この独自の組み合わせにより、企業はオンプレミス、マルチクラウド、エッジ環境をまたぐ堅牢なリアルタイムデータパイプラインを構築できます。

Cloudera では、リアルタイムでのデータの移動と処理こそがデータ駆動型組織の成功の鍵であると考えているため、流れているデータをプラットフォームにおける最重要要素として扱っています。私たちは、オープンソースの革新性とエンタープライズ対応のツールを融合させ、オープンソースコミュニティによる継続的なイノベーションと、企業規模のサポートやカスタマーサービスという両方の利点をお客様に提供します。これにより Cloudera は、信頼できるリアルタイムデータの移動と処理を実現します。

ストリーミング機能は通常、より大きなビジネスユースケースの一部を成しており、他の種類のテクノロジー (例：データレイクハウス、AI 推論、データエンジニアリングツール) との統合が求められます。Cloudera は、ストリーミング技術をより大きなエコシステムの一部として活用することの重要性を理解しており、顧客がさまざまな種類のビジネスアプリケーションやユースケースを迅速かつ容易に実装できる統合された体験を提供しています。

レポートを読む

ストリーミングデータプラットフォーム分野で優れたベンダーと、それぞれの比較について、GigaOm の分析をご覧ください。Cloudera の包括的で企業対応のストリーミングソリューションが、リーダー的かつ急成長企業として位置付けられている理由を、ご自身でご確認ください。

このレポートでは次の内容についても詳しく解説しています。

• 多様なベンダー環境：ニッチな専門企業から Cloudera のようなフルスタックのクラウドプロバイダーまで、幅広いベンダーについて学べます。

• リアルタイム処理：リアルタイム処理、分析、機械学習の統合に優れたベンダーについて理解できます。

• 戦略的適合性と統合性：ソリューションを比較する際に、プラットフォームの機能とインフラストラクチャ、スケーラビリティ、企業向けツールチェーンとの整合性を考慮することが重要である理由を確認できます。

この記事は、2025/7/21に公開された「Ready to Scale: Tackling the Top Challenges of Agentic AI Adoption」の翻訳です。

エージェント型 AI の概要と普及しつつある理由

エージェント型 AI はエンタープライズでの業務の自動化を担う次の一手です。従来のアシスタントやチャットボットとは異なる自律的なシステムであり、人間の指示なしにリアルタイムで複雑な意思決定を行い、推論し、計画し、行動することができます。サプライチェーンのルート変更、診断支援のサポート、財務リスクの警告など、エージェントはすでにビジネスの運営方法を変えています。

この移行は仮説ではなく、今まさに起こっていることです。Cloudera が約1,500人の IT リーダーを対象に実施した2025年グローバル調査では、96％の組織が AI 型エージェントの利用を来年拡大する予定であると回答しており、84％が競争力を維持するためにエージェントが不可欠であると考えています。以前は新興技術であったものが、今や戦略において必要なものになっているのです。

しかし、関心が高い一方で、エージェント型AIの規模拡大は簡単ではありません。53％がデータのプライバシーとコンプライアンスを最大の懸念事項として挙げており、他にも統合 (40％)、実装の複雑さ (39％)、ガバナンスのギャップ (30％) などが規模拡大を妨げています。こういった懸念事項により導入が阻まれることはありませんが、リーダーはパイロットから本番環境に移行する方法を考え直す必要があります。

障害

エージェント型 AI の規模拡大は単なる技術的な強化ではなく、信頼性に関するテストでもあります。できることが限られたパイロット版から実際のワークフローでの利用に移行するにつれ、データのプライバシーやシステムとの統合、倫理感に関する懸念がより明確になるからです。

最も優先すべきはデータのプライバシーです。エージェントが財務記録や患者のデータ、独自のインサイトなど、機密性の高いシステムにアクセスする場合、組織はエージェントがアクセスし、推論に利用できる内容を制限する必要があります。これができなかった場合のリスクは重大です。IBM のレポートによると、データの漏洩による平均損害額は445万ドルであり、この数字は今後も増加し続けると予想されています。一度の失敗がコンプライアンス違反や国民の信頼の失墜につながる可能性があります。

その次に懸念されているのが技術的な複雑さです。とりわけインフラストラクチャが数十年にわたって利用されている通信や金融などの分野においては、リーダーの40%がレガシーシステムとの統合を大きな課題として挙げています。また、さらに差し迫った課題として、企業は人材不足に直面しています。大企業の76%が AI スキルを持つ人材不足を報告しており、44%がその事実に足を引っ張られていると答えています。エージェント型 AI を活用するには、テクノロジーとビジネスの両方を理解しているハイブリッドチームが必要です。両者をつなぐ橋がなければ、資金の充実したプロジェクトでも停滞してしまうことがあるでしょう。

倫理的な側面にも課題があり、リーダーの51％が AI システムにおける偏見について懸念しています。Cloudera のレポートで引用されたイェール大学の研究では、多様性のないデータセットでトレーニングを受けた診断エージェントでは、過小評価された患者に対するパフォーマンスが低下し、遅延や誤診につながることが示されました。偏見はデータ収集、モデル設計、展開など、どの段階でも発生する可能性があり、強力な監視体制がなければ急速に拡大する可能性があります。

しかし、組織も対応を進めています。38%の組織が偏見監査と人間によるレビュープロセスを導入しており、さらに36%が偏見検出ツールを使用しています。しかし、偏見トレーニングはチェックボックスにチェックを入れるだけでは終わりません。長く続く信頼を得るには、継続性や透明性を確保することに加え、説明責任を果たすことが不可欠です。

革新を起こすための青写真

エージェント型 AI の活用に成功している企業の第一手は大規模な展開ではありません。長期的な価値を証明するために設計された、今後に備えた、目的意識の高いパイロットからスタートします。影響の大きい社内プロジェクトは、チームがワークフローを組織全体に拡大する前にテストし、コントロールを確立して、結果を実証する上で役立ちます。

Cloudera の最新の調査では、明確なトレンドが明らかになりました。ほとんどの組織が、社内の IT サポートや DevOps の自動化のような、リスクの低いユースケースから始めているのです。パスワードのリセットやチケットのルーティングなどのタスクは自動化しやすく、日常業務への支障を最小限に抑えながら目に見える ROI を実現します。実際、組織の78%がカスタマーサポートにエージェントを活用しており、71%がプロセスの自動化にエージェントを活用しています。このように早い段階で成功を収めることは、勢いや信頼性、運用態勢を確立する上で役立ちます。

こういったパイロットは単なる技術的なテストではなく、それを支えるチームに対するテストなのです。ローカライズされたプロジェクトからエンタープライズ規模の展開に移行には、リスク管理やガバナンスの強化、システム統合の深化など、新たな課題が生じます。こうしたニーズに応えるには、堅牢なプラットフォームはもちろん、導入をリードするスキル、連携体制、監督力を備えた人材が必要です。

テクノロジーだけで規模を拡張することはできず、どうしても人の手が必要です。迅速に結果を出すことは重要ですが、最も有望なパイロットプロジェクトでも、それらを維持し、拡張する上で適切な人材がいなければ停滞します。生成 AI への投資がエージェント型AIの強固な基盤を築いたと述べている企業は85%にも上りますが、34%は依然として専門知識の欠如を成長の阻害要因として挙げています。

だからこそ、パイロットモードを超えるにはスキルアップが重要なのです。たとえば、医療分野では AI が生成した診断の検証方法を学んでいる放射線科医がいる一方で、管理チームはスケジュールや記録を管理するエージェントとの連携に適応し始めています。このような人間と AI のパートナーシップは、信頼とコンプライアンスを維持するためだけでなく、実際の効果をもたらし、長く持続させる上でも不可欠なのです。

規模を拡大するなら今

エージェント型 AI はもはや遠い未来の話ではなく、すでに現実にあります。業界全体にわたり、エージェントはパイロットから本番環境へと移行しています。医療分野では診断の合理化、通信分野では解約の予測、金融分野ではコンプライアンスの向上などがその例です。これらは実験的に使用されているのではなく、すでに目に見える効果をもたらす運用システムとなっているのです。

業界をリードする企業は、すでに基礎を構築しており、インフラストラクチャを最新化し、チームをトレーニングし、AI ライフサイクル全体にガバナンスを組み込んでいます。待つ者は取り残され、競合他社に遅れをとるだけでなく、顧客や規制当局の期待値を高めるリスクがあります。

信頼できるエージェント型 AI を共に構築しましょう。今すぐ Cloudera にお問い合わせいただき、確信を持って成長規模を拡大する方法をご相談いただくか、無料トライアルを開始してください。

この記事は、2025/7/30に公開された「Ensure Transparency and Build Trust with Data Lineage Automation—Here’s How」の翻訳です。

今日のデータ中心の世界では、データは組織にとって最も価値のある資産です。しかし、多くの人々は複雑で進化する環境の中で、信頼性があり信頼できるデータを維持するのに苦労しています。この課題は、データ戦略と運用を担当する経営幹部にとって特に重要です。

自動化されたデータリネージが、これらの課題をどのように機会へと変えられるのか。その一例として、ここでは「HealthCo」と呼ぶヘルスサービス企業の事例をご紹介します。

データ戦略

多くの先進的な組織と同様に、HealthCo の経営陣は早い段階で「データは単なる貴重な資産ではなく、戦略上不可欠なもの」であると認識しました。データを事業の最前線に据え、意思決定プロセス、製品、サービスに統合しました。そうすることで、イノベーションの推進、業務の最適化、そして患者ケアの向上を目指したのです。

彼らはデータインフラストラクチャに多額の投資を行い、有能なデータサイエンティストとアナリストのチームを雇用しました。目標は、患者のニーズを予測するための予測分析モデル、患者ケアを最適化するツール、運用効率を向上させるダッシュボードなどの高度なデータ製品を開発することでした。これらのデータ製品は、患者の治療成果を向上させ、病院の運営を効率化し、意思決定のための実用的な洞察を提供することを目的としていました。

この戦略的な選択により、同社はデータチーム、インフラ、マネジメント、データサイエンスへのさらなる投資を正当化しました。HealthCo のチームは、データプロダクトからより多くの価値を引き出すほど、データ能力への投資と強化が進むというフライホイール効果を描いていました。

課題：サイロ化と不整合なデータ

しかし、この戦略的ビジョンにもかかわらず、HealthCo は事業を拡大するにつれて重大な課題に直面しました。データエコシステムの複雑さが大きな障障壁となったのです。同社のデータチームは、SQL Server、Oracle データベース、Informatica を含む多様なソースを管理していました。さらに、Power BI、Tableau、MicroStrategy、Qlik といった複数の BI ツールも使用していました。こうした複雑なプラットフォームの網は、統合と管理における大きなハードルを生み出しました。

HealthCo のハイブリッド型データ環境は、柔軟性や先進的なツールへのアクセスを可能にする一方で、重大な統合上の課題ももたらしました。各システムが独自のプロトコルや処理方法を持っていたため、統一されたビューを作成することが難しかったのです。例えば、Oracle データベースの患者ケアデータを Power BI の業務指標と整合させることは、明確なデータリネージがなければ困難でした。各部門がそれぞれ独立してデータを管理していたため、サイロ化と不整合が発生しました。この断片化により、患者治療データと財務記録が一致せず、意思決定を損なう矛盾したインサイトを引き起こす可能性がありました。

データの不整合が増えるにつれて、その正確性に対する懐疑も強まりました。意思決定者たちは、誤りによる影響を恐れ、データドリブン型のインサイトに頼ることをためらいました。患者の再入院を予測する機械学習モデルといった新しいデータプロダクトの導入も、不正確さや患者ケアへの悪影響が懸念され、遅れが生じました。医療規制への準拠を確保することは困難を極めました。データリネージを正確に追跡できないため、監査時にコンプライアンスを証明することが難しかったのです。この状況は法的リスクをもたらし、組織の評判を脅かしました。

データへの信頼の欠如が惰性を生み出しました。影響力の大きいデータドリブン型の取り組みの可能性にもかかわらず、HealthCo はデータの不正確さのリスクが高いことを懸念し、データ製品を医療提供者や患者に直接導入することを躊躇していました。この躊躇は、データ投資を最大限に活用し、患者ケアを改善する能力を妨げました。

ソリューション：自動データリネージ

自動化されたデータリネージはこれらの課題を解決し、すべてのシステムにわたるデータフローの包括的なエンドツーエンドの可視性を提供しました。HealthCo にとって、これは、関係者がデータがソースからさまざまな変換を経て最終的な目的地までどのように移動するかを確認できることを意味しました。この可視性は、データ品質の問題を迅速に特定して修正し、一貫性と信頼性のある洞察を確保するために不可欠でした。HealthCo は、データリネージをマッピングすることでデータサイロを解体し、データ管理への統一されたアプローチを実現しました。これにより、組織全体の統合と一貫性が向上しました。たとえば、業務効率の指標を患者の転帰と直接関連付けることができるようになり、これまで達成できなかった包括的な視点を提供できるようになりました。

正確なデータリネージは、意思決定者の間で信頼を回復しました。HealthCo の経営陣は、データの流れが十分に記録され、信頼できることを確認できたため、自信を持ってデータドリブン型のインサイトを活用できるようになりました。これにより、不正確さを恐れることなく新しいデータプロダクトを導入でき、イノベーションと業務改善を推進することが可能になりました。

自動化されたデータリネージにより、データプロセスの追跡や医療規制への準拠を示すことも容易になりました。監査の際、HealthCo はデータがどのように取り扱われ、処理されたかを明確に示すことができ、コンプライアンス違反による罰則のリスクを低減しました。これにより、組織は法的に保護されると同時に、高水準のデータガバナンスへの取り組みを強化することができました。

自動化された多次元データリネージを採用することで、HealthCo はハイブリッドシステム全体で一貫性と信頼性のあるデータ環境を維持しました。データリネージの問題を解決することは、データの完全性と信頼性を確保することで、同社のデータプロダクトを直接的に支援しました。予測分析モデルは、信頼できるデータフローに基づくことでより正確になりました。患者ケアの最適化ツールは、複数のソースから一貫性のある統合データを取得できるようになり、より効果的な治療計画につながりました。業務効率ダッシュボードも、病院運営に関するリアルタイムで正確なインサイトを提供できるようになり、より良い意思決定を可能にしました。

Cloudera Octopai Data Lineage で、データを最も信頼できる資産に

ここで活躍するのが Cloudera Octopai Data Lineage です。Cloudera のメタデータ管理ソリューションは、自動化された多次元マッピングを提供し、複雑なハイブリッドデータ環境にシームレスに統合することで、データリネージ管理のプロセスを簡素化します。Cloudera Octopai Data Lineage は、dbt、Informatica、Talend、SSIS、あるいはカスタム SQL スクリプトといった専用ツールによって実行される変換プロセスを詳細に可視化し、これらの外部変換ワークフローを自動的にマッピング・分析して、理解可能で、追跡可能で、管理可能なものにします。

Cloudera Octopai Data Lineage ワークスペースは、オンプレミスからマルチクラウド環境まで、データ資産全体にわたってデータを発見し、理解し、管理し、信頼するための一元管理を可能にします。これは、データ実践者、ビジネスユーザー、データスチュワードが自信を持ってデータを分析やAIに活用できるように設計されており、組織がデータの正確性を維持し、信頼を再構築し、イノベーションを推進できるようにします。このソリューションは、企業がデータ戦略と運用の現実とのギャップを埋め、データを信頼性の高い戦略的資産に変えて成功を促進します。

データ戦略と運用を担う経営層にとって、複雑なデータエコシステムを扱いながらデータの信頼性とコンプライアンスを確保することは、極めて大きな課題です。自動化されたデータリネージは、これらの課題に対応するために不可欠であり、Cloudera のソリューションはそれを現実的かつ管理可能なものにします。自動化されたデータリネージを活用することで、組織はデータの可能性を最大限に引き出し、成功を推進する強力な資産へと変えることができます。

Cloudera Octopai Data Lineage がいかにして完全なデータトレーサビリティを実現し、企業データへの信頼を構築するかを直接ご確認いただくには、デモをご予約ください。

この記事は、2025/7/25に公開された「Self-Service vs. Centralized Data Management: How to Leverage Data Lineage to Empower and Control」の翻訳です。

ビッグデータ時代において、組織は膨大なデータを効果的に管理・活用するという課題に直面しています。そこで登場したのが、セルフサービス型データ管理と集中型データ管理という2つの代表的なアプローチです。それぞれのアプローチには独自の利点とトレードオフがあり、これらの枠組みの中でデータリネージをどのように活用するかを理解することによって、組織は自社のデータ資産に対して強力な権限を持ち、重要な制御を実現できます。

セルフサービスデータ管理とは？

セルフサービス型データ管理は、ビジネスユーザーが自らデータへ直接アクセスし、制御できるようにするものです。これにより、IT 部門やデータ専門家に過度に依存することなく、データの探索、操作、分析を行うことが可能になります。このアプローチは機敏性を高め、ビジネスユーザーがより迅速にデータドリブン型の意思決定を行えるよう支援します。一方で、データの不整合、ガバナンスの欠如、セキュリティ上の脆弱性といったリスクも伴います。

集中型データ管理とは？

集中型のデータ管理は、より体系的かつガバナンスの効いたアプローチを重視しています。データは専門のデータチームによって管理・制御されるため、データの品質、セキュリティ、コンプライアンスが確保されます。このアプローチにより、より高い管理性が得られ、データの不整合のリスクも軽減されます。ただし、ビジネスユーザーがデータへのアクセスや分析を中央チームに依存する必要があるため、ボトルネックが発生し、俊敏性が損なわれる可能性もあります。

データリネージが実現するセルフサービス型と集中型データ管理の最適な融合

組織はデータリネージを活用することで、セルフサービス型と集中型データ管理の利点を両立させることができます。データリネージとは、データのソース、変換、移動を自動的に追跡する仕組みであり、データが組織内を起点から利用に至るまでどのように流れているかを包括的に把握できます。これにより、データの経路や依存関係を追跡でき、利用者はデータの文脈、品質、信頼性を理解できるようになります。

Cloudera Octopai Data Lineage で俊敏性と制御のバランスを実現

Cloudera Octopai Data Lineage は、セルフサービスおよび集中型データ管理の両方のシナリオで組織を支援できます。これは、組織がデータ資産を可視化し、管理するのに役立つ、堅牢で自動化されたデータリネージソリューションです。

Cloudera Octopai Data Lineage を活用することで、組織はビジネスユーザーに権限を与えつつ、データ資産に対する制御とガバナンスを維持できます。Cloudera Octopai Data Lineage の直感的なインターフェースと自動化機能により、技術者・非技術者を問わず利用でき、組織全体でのコラボレーションを促進し、データドリブン型の意思決定を推進します。ビジネスユーザーは技術的な専門知識の有無にかかわらずデータリネージを探索・理解でき、正確で信頼できるデータを扱っていることを確認できます。

• セルフサービス型データ管理の文脈において、Cloudera Octopai Data Lineage の機能は、ビジネスユーザーが複雑なデータエコシステムを自在に扱えるよう支援します。ユーザーはデータソースを容易に特定し、データ変換を理解し、自らの変更が及ぼす影響を評価できます。この可視性により、不正確または古い情報に基づいた意思決定のリスクが低減され、ビジネスユーザーはより適切な判断を下し、より良い成果を導くことが可能になります。

• 集中型データ管理の枠組みにおいて、Cloudera Octopai Data Lineage はデータ担当者がデータガバナンスポリシーを効果的に策定・実施できるようにします。包括的なデータリネージのビューを提供することで、データチームはデータの利用状況、アクセス権限、規制要件への準拠状況を把握できます。このインサイトにより、データガバナンスの実践が強化され、データ品質が向上し、組織全体でのコンプライアンスが確保されます。

結論として、Cloudera Octopai Data Lineage は、セルフサービス型と集中型の両方のデータ管理シナリオに対応する強力なソリューションを提供します。ビジネスユーザーがデータを探索・分析できるようにする場合でも、データ担当者がガバナンスポリシーを実施できるようにする場合でも、Cloudera Octopai Data Lineage の機能は、組織がデータ資産の可能性を管理された形で最大限に引き出せるよう支援します。

Cloudera Octopai Data Lineage がどのように完全なデータトレーサビリティを実現し、企業データへの信頼を築くのかにご興味がある方は、デモを予約してください。データフローを変革し、効率性、コンプライアンス、制御を強化する方法をご覧いただけます。

この記事は、2025/6/13に公開された「Streamlining Critical Business Capabilities in Financial Services with Cloudera」の翻訳です。

私たちは金融サービスにおいて前例のない変革の時代に生きています。生成AI (GenAI)、クラウドコンピューティング、進化する規制環境、デジタル資産や決済モデルといった金融商品のイノベーションなど、強力なテクノロジーとビジネスの変化が市場に影響を与えています。これに対応して、金融サービス企業は業務のデジタル化を加速させ、あらゆるチャネルで一貫したデータドリブン型のデジタルファースト顧客体験を提供しようとしています。

しかし、企業が技術革新を活用し、これらの投資から最大の価値を引き出そうとする中で、次のような課題に直面しています。

• AI/ML トレーニングやデータエンジニアリングといった計算負荷の高いタスクに伴う高額なクラウドコスト

• データやテクノロジーのサイロ化による不完全なインサイトで、意思決定に悪影響を及ぼすこと

• システム間でのデータ重複に起因するリアルタイム応答の欠如と、それに伴うデータパイプラインのレイテンシ増大

• 既存のデータおよび分析ツールに包括的かつきめ細やかなセキュリティとガバナンスモデルが欠如していること

金融サービス企業が Cloudera と提携する理由

データ、分析、AI のための唯一の真のハイブリッドプラットフォームとして、Cloudera は金融サービス企業がこれらの課題を克服し、デジタル変換の取り組みを成功裏に進め、モダンデータアーキテクチャを採用できるよう独自の立場で支援します。

当社の主な強みには次のようなものが含まれます。

• データライフサイクル全体にわたるソリューション構築を可能にするマルチファンクション分析機能。リアルタイムおよびバッチデータの移動、AI/ML、生成AI モデルのコンテキスト化とデプロイ、データエンジニアリング、計算負荷の高いワークロード向けデータウェアハウジングを含む

• ベンダーに依存しないデプロイメントモデル。クラウドとオンプレミス環境を、ベンダーや地域を問わずサポート

• 統合されたセキュリティとガバナンス。最も厳格で複雑なセキュリティ要件に対応するため、データサービスおよびデプロイメントモデル全体にわたり一貫したきめ細やかなアクセスモデルを提供

• オープンテーブル形式 (Apache Iceberg) および Iceberg REST Catalog を通じた、企業全体の幅広いデータ・分析環境との統合機能

さらに、さまざまな地域で450を超える金融サービス機関との連携を通じて、Cloudera が卓越したビジネス価値を提供する重要なビジネス機能をいくつか特定しました。その中から例をご紹介いたします。

法規制の順守

より多くの金融データはリスクに関するよりきめ細かなインサイトをもたらす一方で、データ量の増加を管理することは規制遵守の維持を難しくする要因にもなります。これは特に、従来型アーキテクチャで頻繁に見られる複数のデータサイロに苦しむ銀行にとって顕著です。柔軟性に欠けるアーキテクチャは、金融機関の運用レジリエンスを強化し、この業界を狙ったサイバー攻撃に対抗するために設計された DORA など、新たなあるいは進化する規制要件に対応することを極めて困難にします。

Cloudera は、ハイブリッド型のモダンデータアーキテクチャの基盤として機能し、組織がオンプレミスの分析基盤をクラウドに拡張し、規制報告など月末・四半期末のタスクに一時的なコンピュートリソースを活用できるようにします。さらに、Apache Iceberg のタイムトラベル機能を通じて、履歴データの監査や市場シナリオのモデリングといった複雑なデータ管理タスクを効率化することも可能です。

金融リスク管理

金融リスク管理 (市場リスク、信用リスク、流動性リスクの評価を問わず) は、銀行業務の中心にあります。その結果、銀行は既存のリスク管理ストラテジーを継続的に進化させ、ストレステストのようなリスク関連の分析プロセスを完了するまでの時間を短縮する必要があります。

Cloudera AI は、データサイエンスモデルのトレーニングからデプロイメントまでのライフサイクルを効率化し、リスク管理のための革新的な AI/ML モデルを提供します。さらに、Apache Iceberg は、スキーマやパーティションの進化といった基盤的なデータ管理タスクを最適化することで、新しいリスク属性を既存モデルに統合するプロセスを簡素化します。

不正防止

サイバー犯罪者が特に AI をはじめとする新しいテクノロジーを悪用することで、サイバー攻撃や不正行為の手口はますます巧妙化しています。これらの脅威に対抗するため、銀行も新しいテクノロジーを活用する必要がありますが、従来の柔軟性に欠けるアーキテクチャでは、新しいソリューションを迅速かつシームレスに導入することが困難です。

Cloudera は、Cloudera Data Flow と Cloudera Streaming を活用したリアルタイムデータ処理機能を提供し、多面的なサイバー脅威に対応して迅速な検知と対応を可能にします。さらに、NIM マイクロサービスを通じて NVIDIA GPU を最適化することで、大量かつリアルタイムの不正行為を防止する包括的な AI デプロイメントサービスを提供します。Cloudera を活用して企業全体のデータでモデルをトレーニングすることで、金融サービス企業はより正確なモデルを構築でき、誤検知を減らすことで顧客への負担を軽減しつつ資産を安全に保護することが可能になります。

次のステップ：金融サービスにおけるイノベーション

Cloudera が金融サービスにおけるイノベーションをどのように加速しているかについて詳しく知りたい方は、ホワイトペーパーをご覧ください。さまざまな金融サービス分野や地域における顧客成功事例が紹介されています。または、5日間の無料トライアルを通じて、Cloudera が貴社にもたらすメリットをご自身で体験してください。

この記事は、2025/7/16に公開された「Cloudera Data Visualization Now Available On-Premises, Unifying Your Analytics Experience」の翻訳です。

データビジュアライゼーションは、現代のビジネスインテリジェンス (BI) における基盤となっています。しかし、ハイブリッド環境やマルチクラウド環境で運用する組織にとっては、分析基盤全体で一貫性、セキュリティ、コスト効率を維持することが大きな課題となってきました。このたび、Cloudera Data Visualization が Cloudera のオンプレミス環境でも利用可能になったことを発表します。これにより、データの配置場所を問わず、真に統一された分析体験を提供できるようになります。

オンプレミスとクラウドの分析ギャップを解消

厳格なデータガバナンス要件を持つ企業にとって、異なるデプロイメントモデル間で一貫した可視化機能を維持することは容易ではありませんでした。多くの組織が、オンプレミスとクラウドの間を行き来する中で、ダッシュボードの重複管理、レポートプロセスの不整合、セキュリティモデルの分断といった課題に直面しています。

Cloudera Data Visualization のオンプレミス対応により、これらの課題を解消できます。全体のデータ環境にまたがってシームレスに機能する、直感的で統一された操作体験を提供します。このデプロイメントオプションは、オンプレミスおよびクラウドにおける Cloudera Data Warehouse や Cloudera AI に既に備わっている可視化機能を補完するものであり、インフラの選択にツールを合わせるのではなく、ユーザーのインフラストラクチャに適応する真の統合プラットフォームを実現します。

ビジネス成果に直結するメリット

Cloudera Data Visualization のデプロイメントオプションが拡充されたことで、企業にとって非常に魅力的な利点がもたらされます。

直感的で統合された体験による迅速な価値提供

Cloudera Data Visualization がもたらす特に大きな利点の一つは、データから価値を引き出し始めるまでのスピードです。オンプレミスでもクラウドでも、すべてのユーザーが共通の統一インターフェースを使用できるため、導入はより迅速かつシンプルになります。ビジネスアナリストもデータサイエンティストも、直感的に使えるユーザー体験により学習コストを最小限に抑えられ、チームは短時間で効果的なダッシュボードやレポートを作成・共有できるようになります。

この統一された BI 体験は、インサイトを得るまでの時間を短縮するだけでなく、複数の BI ツールの管理や異なるプラットフォームごとのユーザー教育にかかる運用上の負荷も軽減します。ネイティブの AI ツールと自動化機能 によってさらにプロセスが効率化され、ユーザーは高度な技術的スキルがなくてもインサイトを引き出し、行動に移すことが可能になります。その結果、誰もがデータにアクセスできる、変化に柔軟に対応できるデータドリブンな組織が実現します。

コスト最適化と統合

多くの企業では、競合する BI ツールと比較して、ユーザー単位のライセンス料金を廃止することで 50％ 以上のコスト削減を実現しています。クラウドでは使用したコンピュート分のみを支払い、オンプレミスではプラットフォーム利用料のみで済むため、ベンダーの統合とあわせて分析関連コストを大幅に削減できます。

セキュリティとガバナンスの強化

「シングルセキュリティ」統合により、Cloudera Data Visualization はデータと分析基盤全体にわたって一貫したガバナンスとセキュリティを維持します。このアプローチは、厳格な規制要件を持つ組織にとって特に有用であり、ダッシュボード、レポート、分析に使用されるデータを完全に制御することが可能になります。

柔軟かつ可搬性に優れたアナリティクスで将来にも対応

「一度作成すればどこでも展開可能」というモデルにより、BI 分析ユーザーにこれまでにない柔軟性がもたらされます。チームは 1 つの環境でビジュアライゼーションやダッシュボード、レポートを作成し、それらをインフラストラクチャ全体にシームレスに展開できます。これにより、変化するビジネス要件や規制要件にも対応できる柔軟性が企業にもたらされます。組織ががコストやセキュリティの観点からデータ、分析、AI の導入モデルを進化させ続ける中でも、BI／分析ユーザーは、極めて安定した一貫性のあるビジュアライゼーション体験を享受できます。

実世界での成果：大手グローバル銀行の成功事例

ある大手グローバル銀行は、Cloudera Data Visualization をエンタープライズ向けセキュリティ分析プラットフォームとして導入し、システムログ、ネットワークトラフィック、エンドポイントデータ、脅威インテリジェンスをグローバル全体で統合しました。約 2,100 人の定期ユーザーが 4,500 以上のライブダッシュボードと 200 を超えるビジュアルを利用しており、従来のエンタープライズ BI ツールと比較して 55％の直接コスト削減を実現しました。さらに、500 万ドルの運用コスト削減を達成し、以前より厳格なセキュリティ管理も維持しています。

今すぐ分析体験を変革しましょう

クラウドの革新性とオンプレミス要件のバランスを取り続ける中で、Cloudera Data Visualization は、データ主導のイノベーションを加速させるために必要な、一貫性、安全性、優れた費用対効果を兼ね備えたソリューションを提供します。

ハイブリッドなデータ環境全体で、統一されたビジュアライゼーション体験を始めてみませんか？Cloudera Data Visualization のオンプレミス導入が、分析体験をどう変革できるのか、ぜひ Cloudera 担当者までお問い合わせください。

ClouderaNOW ウェビナーをご視聴いただくと、Cloudera Data Visualization を実際にご覧いただけます。

この記事は、2025/7/14に公開された「The Iceberg Wave: How an Open Format Became an Enterprise Standard」の翻訳です。

Cloudera のイノベーションが Iceberg の採用を加速

Apache Iceberg は現在、大規模な構造化データ、半構造化データ、進化するデータを管理するための事実上のオープンスタンダードです。これはもともと、2017年に Netflix で、Apache Hive と Spark 上で信頼性の高いペタバイト(PB) 規模の分析を提供するという課題に対処するために開発され、その後、複数のワークロードを同時に実行するのに適した堅牢なオープンテーブル形式に成長しました。

Iceberg はデータを統合し、SQL のような操作で簡単にアクセスできるようにします。SQL 機能の充実やデータ操作の簡素化により進化を続ける Iceberg は、データエンジニアだけでなく、迅速かつ信頼性の高いデータアクセスを求めるデータサイエンティスト、アナリスト、アプリケーション開発者といった幅広い技術層のユーザーに支持されています。

Iceberg を活用することで、組織はコンピュートとストレージを真に分離でき、比類のない柔軟性を実現できます。多機能なアナリティクス、AI 対応、ベンダーロックインの回避を求めているのであれば、他のテーブル形式では Iceberg に太刀打ちできません。

活気ある成長中のコミュニティ

10 年足らずのうちに、Iceberg は新興技術からエンタープライズ標準へと進化しました。Iceberg の勢いの背景には、そのアーキテクチャの強みと、活気に満ちたオープンなコミュニティの存在があります。

重要なのは、Iceberg のコミュニティは単一のベンダーではなく、ユーザー自身が主導しているという点です。このユーザー主導のガバナンスモデルにより、プロジェクトは現実世界の幅広いニーズに応じて進化しており、それが Iceberg が大きな支持を得ている主な理由の一つとなっています。

Iceberg Summit の注目ポイント

Iceberg が主流として採用されていることは、2025 年にサンフランシスコで開催された Iceberg Summit でも明らかでした。このイベントには、スタートアップ企業、Fortune 500 企業、主要なクラウドプロバイダー 3 社 (AWS、Microsoft、Google) が集結し、世界中から対面およびバーチャルで多くの参加者が集まりました。参加者は皆、学び、貢献し、このエコシステムを成長させようという熱意にあふれていました。

サミットで特に多く語られたテーマの一つが、相互運用性と Iceberg の存在感の高まり (自動化を含むエコシステムや機能の拡充) でした。

相互運用性

Netflix 社、Apple 社、Bloomberg 社をはじめとする多くの企業が、Iceberg を活用することで、あらゆるワークロードの基盤となる「唯一の信頼できるデータソース」を構築し、システム間の不要なデータコピーや移動を大幅に削減できていると語っています。これらの企業は、Iceberg の信頼性の高いデータレイヤーを活用して、セグメンテーション、パーソナライゼーション、離脱／再発予測、レコメンデーション、顧客体験の最適化など、さまざまなワークロードを実現していると語っています。

急成長するエコシステム

もう一つの注目点は、Iceberg エコシステムにおける Comet、Polaris、Lance などの新たなオープンソースツールの登場であり、これらはパフォーマンスの向上やマルチモーダル分析・AI のサポートを目的として設計されています。

Iceberg V3 と V4 における今後のアップデート

Iceberg V3 および V4 に搭載予定の新機能には大きな注目が集まりました。V3 では、データガバナンス、パフォーマンス最適化、Variant や Geospatial といったより複雑なデータ型のサポートが大幅に強化される予定です。Variant はカラムナー形式の原則を活用することで、半構造化データに対して、広範な変換を必要とせずにフィルタリングや集計といった高度なクエリ処理を可能にします。Geospatial のサポートにより、組織は位置情報に基づくデータを管理できるようになり、新たなユースケースの創出が期待されます。また、V4 で提案されている新しい適応型メタデータレイアウトは、小さなファイルにおけるパフォーマンスの向上を実現する見込みです。

自動データ管理

もう一つの注目トピックは、パーティショニング、ソート、圧縮といった定型的なメンテナンス作業を、自動化ポリシーに基づく DevOps スタイルのインターフェースで自動化し、手作業の負担を軽減することでした。組織が Iceberg テーブルにより多くのデータを取り込むにつれて、これらのメンテナンス作業のために専門家を雇う必要が生じ、大きなボトルネックとなっています。

ますます多くのエンジンが Iceberg テーブル内のデータにアクセスするようになる中で、ガバナンス、セキュリティ、リネージの重要性が高まっています。データの流れや変換プロセスを可視化することは、データを信頼するうえで不可欠です。これにより、Iceberg テーブル全体での可視性を高めるために、カタログのフェデレーションやガバナンスの必要性について議論が交わされました。

Cloudera における Iceberg の採用状況

Cloudera は、2021 年に Apache Iceberg をネイティブ統合した パブリッククラウドの Lakehouse プラットフォーム を発表し、続いて 2022 年には オンプレミス対応 を実現しました。現在では、Cloudera の顧客の大半が Iceberg 上で新しいワークロードを運用またはテストしており、全体として PB (ペタバイト) 規模のデータが Iceberg 上で管理されています。

Iceberg は Cloudera にとって成長の原動力です。データプラットフォームのモダナイゼーションと将来性確保のために、Hive のワークロードを Iceberg に移行する顧客が急増しています。- Cloudera プロダクトマネジメント担当 SVP、Venkat Rajaji

企業が Iceberg の導入を開始すると、その利点は次第に大きくなり、Iceberg テーブル上のデータ量の増加、ワークロードの拡大、新たなユースケースの創出へとつながっていきます。パフォーマンスの高速化が最初の動機となることが多く、その後に相互運用性やワークロードの柔軟性によるアジリティが評価されます。Iceberg への移行により、ストレージ、ETL、運用コストを最大 75％ 削減できます。タイムトラベル、スナップショット、Write-Audit-Publish、非表示パーティショニングといった機能も効率性をさらに高め、新しいユースケースの展開に最適な選択肢となります。

Cloudera における Iceberg の代表的なユースケースには、以下のようなものがあります。

• 信頼できる当事者間でのデータ共有：組織内の異なる事業部門間、または信頼できるパートナーやサプライヤーとの間で、異なるベンダーシステム間のデータを共有。
• データエンジニアリング：大規模なデータ準備作業において、最適なコストパフォーマンスを実現。
• ほぼリアルタイムでの分析と意思決定：ストリーミングデータを Lakehouse に取り込むことで実現。
• 規制対応レポートと継続的なリスク軽減：Iceberg のタイムトラベル機能と Cloudera のガバナンス、リネージ、監査機能を活用。
• 分析クラウドコストの最適化：Iceberg に格納されたデータを活用し、Cloudera の堅牢な取り込み・データ処理機能を活かして実現。
• AIのデータ準備を加速する：SparkとNiFiを活用してデータ処理を高速化。
• 効率的なモデル学習：複数バージョンのデータにまたがって、コンピュートおよびストレージの使用量を抑えつつ実行。
• 多層型のフィーチャーストア：Iceberg と HBase を組み合わせることで、低レイテンシな AI を実現。
• ハイブリッドワークロードの実行：オンプレミスに保存された機密データに対し、パブリッククラウドのコンピュートを活用して実行。

Illumina および LY Corporation による Apache Iceberg 導入の取り組みと、スケールする中でデータや分析の課題をどのように克服しているかをご覧ください。

一般的な課題に対応する Cloudera のイノベーション

Lakehouse や Iceberg は、すべてのデータの統合や分析の高速化といった大きな利点をもたらしますが、Iceberg の導入に関連して、Cloudera の顧客からいくつかの課題も共有されています。まず、データが複数のクラウド、オンプレミス、エッジシステムに分散しており、それらすべてを Iceberg 活用のためにクラウドへ移行するのはほぼ不可能です。そのため、オンプレミスとクラウドの両方で同じ Iceberg サポートが必要とされています。次に、複数ベンダーのエンジンとの統合が求められており、信頼性、リネージ、トレーサビリティを備えた形でシステム間のデータ共有を容易に行えるようにする必要があります。データが増加するにつれ、Iceberg テーブルのパフォーマンスを最適化する作業を手動かつ継続的に行うのは非常に高コストであり、専門知識とコンピュートリソース (CPU、メモリなどの計算資源) が求められます。最後に、Iceberg によってデータ活用が促進される一方で、あらゆるツールを取り込める自由度はリスクを伴うため、アクセス制御、監査性、リネージ、可視性のためのメタデータ管理を提供できる、効果的なガバナンスとセキュリティツールが必要です。

Cloudera は常にイノベーションを重ね、お客様の課題解決に取り組んでおり、以下のような一般的な課題に対応するために、プラットフォームのさまざまな強化を行ってきました。

• ハイブリッド Lakehouse による「Iceberg のあらゆる場所での活用」：オンプレミスおよび複数のパブリッククラウドにおける Iceberg のネイティブサポートを実現し、同じデータに対して Impala、Spark、NiFi、Flink、Hive を使って同一の操作体験でアプリケーションやコードを移植可能にします。これにより、クラウドネイティブ機能を活用して、お客様のデータセンターをモダナイズすることが可能になります。Ozone 上の Iceberg により、オンプレミスでも S3 互換のオブジェクトストアを提供します。Cloudera は、クラウドとオンプレミスのデータを単一のガバナンスおよびセキュリティモデルの下で統合し、きめ細かなアクセス制御、バージョン管理されたメタデータ、共有カタログを実現します。
• リアルタイムアプリケーションの構築：リアルタイム CDC パイプラインを構築し、Cloudera の Data in Motion (NiFi＋Kafka＋Flink-on-Iceberg) によって、バッチデータとストリーミングデータをシームレスに取り込み、統合します。
• RESTカタログ統合による完全な相互運用性：単一のセキュリティとガバナンスで、外部エンジンおよびオープンエコシステムとの相互運用性を推進します。
• Cloudera Lakehouse Optimizer による TCO の削減と高速パフォーマンス：AI を活用した自動チューニングにより、圧縮処理、スナップショットの期限管理、レイアウト最適化を実現し、手動での調整が不要です。
• すべてのデータソースとデスティネーションを完全に把握：Cloudera の Octopai により、Cloudera 外も含めたすべてのデータフローに対して、インテリジェントなメタデータ自動化とライフサイクル全体にわたるリネージを提供し、データの可視性を向上します。
• アプリケーション全体での高可用性 (HA) /災害復旧 (DR) と低レイテンシ：Iceberg テーブルのレプリケーションにより、高可用性なデータアーキテクチャにおける柔軟性と耐障害性を実現します。
• スマートな移行ツールによるリスクのない迅速な導入：「Hive テーブルから Apache Iceberg への移行」を支援するブループリントにより、導入プロセスを簡素化します。

Apache Iceberg がデータと AI を横断的に支える基盤および要となる未来を私たちは構想しており、あらゆる企業にこれまでにないアジリティとインテリジェンスをもたらすために、Iceberg の機能強化を絶えず続けています。Cloudera プロダクト戦略担当 VP、Bill Zhang

今後の展望

Iceberg は、オープンテーブル形式におけるエンタープライズ標準として、今後も主導的な地位を維持し続けると私たちは考えています。自動最適化、マルチモーダル対応、メタデータ管理、Python 連携といった新たなイノベーションが、さらなる採用拡大を後押しするでしょう。他のオープンテーブル形式は、特定のワークロードや環境に特化した形で Iceberg を補完する方向へ進んでいくと予想されます。

Cloudera の目標は、Iceberg を基盤とするオープンなデータレイクハウスを、より低い複雑性、より高い柔軟性、そしてより大きな効果とともにお客様が構築できるよう支援することです。私たちは現在、エンタープライズグレードのセキュリティとガバナンス、さらなる最適化、階層型ストレージ機構、そして相互運用性とコラボレーションを強化するための「カタログのカタログ」の提供に注力しています。今すぐCloudera Lakehouse の 5 日間トライアルを始めるか、ハウツーガイドをご覧ください。

この記事は、2025/7/1に公開された「Privacy-First Enterprise AI Innovation with Cloudera Synthetic Data Studio」の翻訳です。

AI 活用におけるデータのプライバシー、品質、アクセスに関する課題

企業は現在、ジレンマに直面しています。競争力を維持し、コストを削減するために AI による業務プロセスの自動化が求められる一方で、GDPR (一般データ保護規則) や CCPA (カリフォルニア州消費者プライバシー法) といった厳格なデータプライバシー規制にも対応しなければなりません。さらに、クラウドベースの大規模言語モデル (LLM) にかかるコストは高騰しており、高品質でオープンかつ即時に利用可能なデータは不足しています。その一方で、企業独自の機密情報や顧客とのやり取り (技術サポートのチケット、財務記録、医療データなど) へのアクセス管理も求められており、こうしたデータは共有や外部公開が許されません。

これにより、AI 開発者はさまざまな課題に直面します。まず、生データをそのままモデルの学習に使用すると、規制違反による法的リスクが生じます。次に、クラウドベースの大規模言語モデル (LLM) にデータを共有することで、プライバシー上の脆弱性が発生します。さらに、アクセス可能で高品質なデータが不足しているため、AI モデルの精度にギャップが生じます。その結果として、イノベーションの停滞、ビジネスチャンスの逸失、そして AI の潜在力と実際の企業導入との間に広がるギャップが生まれています。

Cloudera は、データのプライバシーや予算を損なうことなく、企業が AI の可能性を最大限に活用できるよう支援することに尽力しています。そのミッションの一環として、Cloudera AI Studios をリリースしました。モジュール式のノーコードツールと、高い拡張性を備えたコード対応機能を提供することで、技術者・非技術者を問わず誰もが先進的な AI を活用できる環境を実現し、生成 AI (Gen AI) のライフサイクル全体を開発者がスムーズに扱えるよう支援します。

Cloudera Synthetic Data Studio はこのツール群の一部であり、組織が強力な AI モデルを活用しながら、規制要件や業務効率に対応できるよう支援します。Synthetic Data Studio を使えば、特定のユースケースに応じたオープン言語モデルのファインチューニング用に高品質な合成データを生成したり、検索拡張生成 (RAG) やエージェント型システムの性能を評価したり、AI を活用したデータ拡張を行ったりすることができます。しかも、機密情報を開示することなく、これらすべてを実現できます。

Synthetic Data Studio 概要

Synthetic Data Studio は、現代の AI 活用における複雑な課題に取り組む企業にとって、戦略的な推進力となるツールです。プライバシーを最優先に設計された構成と高度な AI ワークフローを組み合わせることで、実データに基づいた合成データを使って精度の高いモデルを安全に学習させることができます。このアプローチにより、データ漏えいのリスクを排除し、規制要件にも確実に対応できます。

Synthetic Data Studio は、顧客サポートから詐欺検知まで、さまざまなユースケースで AI アプリケーションを拡張することを可能にし、チームが独自のドキュメントに基づいたデータを使用して RAG、エージェント型、その他のシステムをテストできるようにします。品質を保証するために、合成データセットは LLM-as-a-judge を用いて評価され、下流のワークフローにおいて最高品質の出力のみが保持されます。

モデルの正確性と信頼性を確実にする直感的なワークフロー

スタジオのワークフローは、直感的でありながら強力です。ノーコード／ローコードのインターフェースから始めて、チームは LLM に指示を出し、現実のパターンを反映した合成データを生成することができます。たとえば、カスタマーサポートチームは、実際の技術的な問い合わせやサービス依頼に近い内容の合成サポートチケットを作成できます。このシステムは、自由形式の生成、正解付きデータを用いたモデル調整、モデルのアライメントなど複数の生成手法に対応しており、プライベートなドキュメントを用いて文脈に即した生成を行うことも可能です。

一度生成された合成データセットは、厳格な評価を受けます。選定された LLM が審査役として、カスタム基準に基づいてデータを評価し、最高品質の出力のみが保持されます。この品質管理の工程は、モデルの精度と信頼性を維持するうえで非常に重要です。さらに、人間の評価者が介入して、生成されたデータをさらに精査し、より高品質な出力を実現することも可能です。

最終的に、データセットは Cloudera AI Workbench のプロジェクトに自動で統合され、その後のワークフローで活用されます。外部システムとの連携が必要な場合には、JSON や CSV などの形式でエクスポートし、Hugging Face などのプラットフォームで使用することも可能です。

サードパーティツールとの連携を可能にし、高い信頼性を実現するオープンかつスケーラブルなアーキテクチャ

Synthetic Data Studio は、LLM 非依存のアーキテクチャを採用しており、高い柔軟性を確保しています。AWS Bedrock および Cloudera AI Inference を活用することで、ナレッジ・ディスティレーション、自由形式でのデータ生成、正解付きデータによるモデル調整、強化学習、好みの最適化 (KTO、DPO、PPO、ORPO) といった高度な手法を用いて、エージェント型システム向けの推論モデルを構築できます。この適応性は、並列処理とフォールバックメカニズムによるスケーラブルなパフォーマンスと組み合わさることで、大規模データセットに対しても高い信頼性を確保します。

Cloudera AI Workbench の Jobs API を介した CI/CD パイプラインとのシームレスな統合により、合成データの生成や拡張のワークフローを企業の DevOps プラクティスと整合させることができます。この統合により、ワークフローの摩擦が軽減され、AI プロジェクトの価値実現までの時間が短縮されます。

また、Fine-Tuning Studio などの他の Cloudera AI Studios との統合により、ワークフローがさらに効率化されます。モデルの改良、エージェントシステムのテスト、特定のユースケースの最適化など、Synthetic Data Studioは、セキュリティを損なうことなく開発を加速するためのツールを提供します。

ユースケースとインパクト：処理時間を95％短縮

Synthetic Data Studio の真価は、実際のシナリオに適用されたときに明らかになります。たとえば、Cloudera のカスタマーサポートチームは、高品質なデータセットを生成して小型の LLM にナレッジディスティレーションを行うためにこのスタジオを活用し、画期的な成果を上げました。社内テストによると、サポートチケットの分析にかかる処理時間は、大型 LLM と比較して 95% も短縮され、ディスティレーションされたモデルは Goliath-120B などの大型 LLM に対して 70% の勝率を記録。さらに、必要なコンピュートリソースが大幅に削減され、リアルタイム分析におけるスループットは 11 倍に向上しました。

このスタジオの汎用性は、カスタマーサポートにとどまりません。金融分野では、合成トランザクションデータを使用して顧客情報を開示することなく融資判断モデルのトレーニングが可能です。ソフトウェア開発の分野では、合成のコーディング課題とその解答によって、コード生成における LLM の性能を向上させることができます。また、規制遵守の観点では、カスタム基準に基づいてモデルをテストし、各種標準への準拠を確認することも可能です。

Cloudera の Synthetic Data Studio が実現するプライベート AI の未来

Synthetic Data Studio は、AI を活用しながらもデータを保護するという、企業の新たなイノベーションの在り方を示す設計図です。ナレッジディスティレーションなどの合成データ生成手法へのアクセスを広く利用可能にすることで、Cloudera は組織に以下を可能にしています。

• コスト削減：特定のユースケースに特化した小型のディスティルモデルを活用

• 自信に裏打ちされた競争力：規制に準拠しながら最先端の AI を活用

• 倫理的に構築：データプライバシーを競争優位性として確立し、信頼を構築

ビジネスにおいて信頼とコンプライアンスが最優先される中、Synthetic Data Studio はその先を見据えた道を示します。それは単に現在の課題を解決するためのものではなく、企業が将来の AI 革命を責任あるかたちで主導するための基盤となるのです。

次のステップとして、Synthetic Data Studio の詳細はこちらをご覧いただくか、5日間の無料トライアルを通じて、Cloudera AI によって実現される生成 AI 機能をご体験ください。

図 1： AI のコンテキスト提供のために AI エージェントがデータへアクセスする2つのシナリオ

• 左： 共通プロトコルがない場合、AI エージェントは各ソースからコンテキストを取得するために、複数の固有 API を扱う必要があります。
• 右： MCP はアクセスを統一し、エージェントが単一のインターフェースを通じてコンテキストを取得できるようにすることで、統合を簡素化し、スケーラビリティを向上させます。

エージェントアーキテクチャには標準的な統合レイヤーが必要です

企業がエージェント型アーキテクチャを採用しようと急ぐ中、一貫した統合レイヤーの重要性はかつてないほど高まっています。

「エージェント型アーキテクチャ導入ブームの影響で、企業は数多くのプロジェクトを並行して立ち上げています。この勢いは好ましいものの、ソフトウェア工学の黎明期に見られた『スパゲッティコード』の現代版を生み出しかねないというリスクもあります。企業が本当に必要としているのは、エージェント型エコシステムに参加する多様なシステム間での相互運用性を確保できる、シンプルで標準に基づいたアーキテクチャです。Anthropic の MCP は、この分野で有望な標準として台頭しており、すでに AI ベンダーによって広く採用されています。」
— Sanjeev Mohan（SanjMo 代表、元 Gartner アナリスト）

MCP は Cloudera 独自のツールではなく、ベンダーロックインを回避しつつ、拡大を続けるツールのエコシステムを活用できる、広く採用されている標準規格です。Cloudera の MCP サーバーに対する取り組みは、オープン性、シンプルさ、コントロールを重視する MCP の理念と一致しています。Cloudera MCP サーバーは、Cloudera の統合プラットフォーム上でネイティブに稼働し、リスクのあるデータ移動を排除するとともに、マルチクラウドおよびオンプレミス環境の両方でシームレスな展開を可能にします。

プライベート AI の基本原則：データを生かす AI コンピューティングの活用

AI の変革力は、それを支えるデータの質にかかっています。AI が真価を発揮するには、それを支えるデータの質が欠かせません。しかし、データと AI システムが切り離されていると、情報が分断されてインサイトが遅れ、パイプラインは脆弱になり、モデルは正確な判断に必要なコンテキストを得られなくなります。

Cloudera はデータと AI を統合し、一貫したライフサイクルを実現します。データは、共有メタデータ、セキュリティポリシー、最適化されたコンピューティングリソースによる管理のもと、AI ワークフローへスムーズに取り込まれます。このアプローチにより、コストのかかるデータの重複や移動を排除し、すべての予測結果をその起点まで追跡可能にすることで、透明性、信頼性、コンプライアンスを確保します。

次のステップへ

統合を進める上での障壁を回避する準備はできてますか？現在プレビューを提供している Apache Iceberg 向け Cloudera MCP サーバーを詳しく確認し、データが保存されている場所で必要なコンテキストを提供し、AI アプリケーションを強化する方法をこちらからご覧ください。これを今すぐ始めるには、5日間の無料トライアルをお試しください。

この記事は、2025/6/5に公開された「Bringing Context to GenAI with Cloudera MCP Servers」の翻訳です。

3年前、Cloudera の顧客は、データとのやり取りを変革するために生成 AI の活用を開始しました。インテリジェントアシスタントの構築、複雑なドキュメントの要約、オンデマンドでのインサイト生成などがその例です。そして現在、当社の顧客は、オンプレミスおよびクラウド環境を合わせて25エクサバイト（250億ギガバイト）を超える企業データを管理しています。

エンタープライズ AI におけるコンテキストギャップ

企業がデータをどのように管理するかは重要です。AI 時代において、コンテキストは単なる補助ではなく、正確な意思決定と誤った出力（ハルシネーション）を分ける決定的な要素です。AI モデルがインサイトを生み出したり、質問に答えたり、ワークフローを自動化したりするには、独自データへのシームレスなアクセスが不可欠です。しかし、ほとんどの企業では、このデータは分断されたオブジェクトストレージ、Iceberg テーブル、Kafka ストリーム、運用データベースにサイロ化されたままになっています。開発者は、カスタムコネクタの作成や壊れやすいパイプラインの維持に貴重な時間を費やしており、それがイノベーションへの重荷となり、価値実現までの時間を遅らせています。

Cloudera MCP サーバーのご紹介：データへのユニバーサルゲートウェイ

そこで登場するのが、ClouderaのModel Context Protocol（MCP）サーバーです。当社のサーバーは MCP 上に構築されており、企業データを管理するためのユニバーサルゲートウェイを提供します。MCP はオープンスタンダードであり、MicrosoftのOpen Database Connectivity（ODBC）がリレーショナルデータベースを標準化したのと同様の方法で、AI 統合の標準化を目指しています（MCPの詳細は次のセクションで説明します）。

この目的を実現するために、まず、Impala 経由のApache Iceberg 向け Cloudera MCP サーバーの提供を開始します。Apache Iceberg は、ペタバイト規模のデータ管理、ACID 準拠、タイムトラベル、きめ細かなガバナンスを実現する、最新のレイクハウスの中核を担う技術です。データと AI のギャップを埋めるための最適な出発点といえるでしょう。

Apache Iceberg を起点とすることで、AI 活用における大きな課題を解決します。AI アプリケーションは、複雑なカスタムコードを追加せずとも、リアルタイムで管理された分析データにアクセスできることが不可欠だからです。当社の MCP サーバーは、開発者が自然言語で Iceberg テーブルにクエリを実行できるようにし、CrewAI、Microsoft AutoGen、LangChainやLangGraph、LlamaIndex といったフレームワーク、さらにこれらのフレームワークと連携する NVIDIA Agent Intelligence（AIQ）ツールキットなどのエージェント型 AI ツールキットともシームレスに統合できます。さらに、Cloudera SDX ポリシーによる堅牢なセキュリティも維持します。そして、これはまだ始まりに過ぎません。今後の Cloudera MCP サーバーは、ストリーミングデータ、運用データベース、ファイル／オブジェクトストレージへの対応へと拡張される予定です。

AI の未来は、高度なアルゴリズムだけではありません。企業全体で AI をより身近で、相互運用可能で、影響力のあるものにしていくことが重要なのです。Cloudera の5日間無料トライアルから始めて、エンタープライズグレードの AI アプリケーション開発に向けて従業員の力を引き出しましょう。

RAG Studio

RAG Studioは、ノーコードインターフェースを通じて、RAGアプリケーションの迅速な開発と展開を可能にします。外部の知識ソースを大規模言語モデル（LLM）と統合することで、ユーザーは、リアルタイムで動的なデータを扱うドキュメント検索や質疑応答タスクに優れた、より情報豊富でコンテキストを踏まえたAIアプリケーションを作成できます。

Synthetic Data Generation Studio

Synthetic Data Generation Studio は、微調整、モデルのトレーニングやアライメント、評価のための合成データセットを作成するための強力なツールをユーザーに提供します。このスタジオは、現実世界のデータが不足している場合や機密性が高い場合に、スケーラブルでコンプライアンスに準拠した代替手段を提供します。現実世界のパターンを反映したデータを生成することにより、スタジオは組織が AI モデルおよびアプリケーションの堅牢性を向上させると同時に、米国の CCPA や EU の GDPR などの規制に準拠することを可能にします。

この記事は、2025/5/30に公開された「Cloudera's AI Studios: Making Advanced AI Accessible to All」の翻訳です。

AI ドリブン型アプリケーションの需要は急増しており、企業はもはや分断されサイロ化した開発を続ける余裕のない転換点に達しています。

従来、AI 開発は、複数のツールやフレームワークに精通したデータサイエンティストや機械学習の専門家によって行われてきました。しかし現在では、新たなタイプのビルダーが登場しています。彼らは専門家ではなく開発者であり、生成AI（GenAI）の力を活用して現実のユースケースを解決することに意欲的である一方、AI に関する専門的なスキルを持たないことが多いのです。企業は、こうした生成 AI ビルダーのために開発の複雑さを簡素化し、エンタープライズレベルのセキュリティ、ガバナンス、スケーラビリティを維持しながら、より容易かつ迅速に本番環境へ移行できるソリューションを必要としています。

さらに、従来のエンタープライズソフトウェアのアップグレードサイクルは、AI の革新のスピードに追いつくには遅すぎます。この遅れにより、組織は、導入前からすでに時代遅れとなるソリューションを構築してしまうリスクにさらされます。企業は、AI の進化に歩調を合わせて変化できる、適応性とモジュール性を備えたソリューションを必要としており、それによって自社のソリューションを常に最先端に保つことができます。

Cloudera AI Studios は、これらの課題解決を支援します。モジュール式のノーコードツールと高い拡張性を持つハイコード機能を提供することで、開発者が AI アプリケーションのライフサイクルの各段階をスムーズに進められるよう導き、AI 導入を加速させます。AI Studiosは、開発を効率化するだけでなく、より幅広いユーザーに基盤技術に関する知識を提供し、生成AIを活用して重要なビジネス課題を解決できるよう組織を支援するよう設計されています。

AIイノベーションの民主化：Cloudera AI Studiosに込められた戦略的ビジョンと設計

生成 AI で真の企業価値を生み出すには、AI アプリケーションのライフサイクル全体にわたる各段階を確実に習得することが求められます。AI Studios は、これらの重要な段階に直接対応するように意図的に設計されており、技術的な専門知識の有無に関わらず、すべてのユーザーが直感的に操作できるローコードツールによって、プロセス全体を民主化しています。

当社のアプローチは、各開発段階でユーザーをシームレスに案内し、従来の障壁を取り除き、価値実現までの時間を劇的に短縮します。当社の包括的なエコシステムは、生成AI ライフサイクル全体にわたる重要な課題に対応しています。

• Synthetic Data Studio は、コンプライアンスやデータ不足の課題を解決するエンタープライズグレードの合成データセットを生成し、データの可用性を刷新します。

• Retrieval-Augmented Generation (RAG) Studio は、基盤モデルと組織の知識をシームレスに接続することで、モデルのインテリジェンスを変革し、コンテキストを認識する AI を提供します。

• Fine Tuning Studio は、汎用モデルを特定の分野の専門知識に適合させるスムーズな調整プロセスを通じて、モデルの分野特化を再定義します。

• Agent Studio は、企業全体で実証可能な価値を提供する高度なエージェント型アプリケーションを通じて、ビジネストランスフォーメーションの新たなフロンティアを切り開きます。

Fine Tuning Studio

Fine Tuning Studio は、モデルの精度とドメインの関連性を高めることで、特定のビジネスニーズを満たすために基盤モデルをカスタマイズするワンストップショップとして機能します。それがなければ、ファインチューニングには膨大なコードを記述し、複雑なワークフローを管理する必要があります。代わりに、ユーザーは単一のインターフェースを通じて、ベースモデルに対してアダプターをトレーニングし、比較し、評価できます。Fine Tuning Studio は、教師ありファインチューニング（SFT）、MLflow ベースの評価、Cloudera AI Workbench および Inference とのネイティブ統合の組み込みサポートを備えており、モデル適応プロセス全体を簡素化および加速します。

図3：Cloudera AI Workbench プロジェクト内の Synthetic Data Studio

専門知識レベルに応じてカスタマイズ可能

技術系ユーザーと非技術系ユーザーの間の人工的な境界は、歴史的にイノベーションを制限してきました。当社のアーキテクチャアプローチは、この境界を打破し、AI Studios を他のローコードソリューションと差別化しています。ユーザーそれぞれの専門知識やニーズに合わせてカスタマイズ可能な、ビジュアルインターフェースとフルコード環境間のシームレスな切り替えを提供しています。これらの意図的な「エスケープハッチ」は、機能が制限された独自のブラックボックスソリューションへのロックインを防ぎ、経営幹部の意思決定者に本格的な AI 開発のためのローコードソリューションへの投資に自信を与えます。

当社のアーキテクチャは、確立されたエンタープライズグレードのセルフサービス型データサイエンス製品である Cloudera AI Workbench を基盤として構築されています。Cloudera AI Workbench は、インタラクティブノートブック、モデル、ジョブ、アプリケーションといった開発者が使いやすい機能を備えています。AI Workbench 内で AI Studios にアクセスすることで、開発者は直感的なビジュアルインターフェースから作業を開始し、より高度な制御や専門知識が必要になった際には、カスタムコード環境へ移行できます。

AI Studios をこのように設計したのは、技術的な成長は制限されるのではなく、むしろ奨励されるべきだ、という強い信念に基づくものです。分野の専門知識を持つビジネス開発者は、ビジュアルインターフェースを使用し、コーディングインターフェースを使うデータ専門家と同じ環境で効果的にコラボレーションできます。これにより、企業全体での AI の導入が加速します。

AI 開発の各段階における相互運用可能な機能

各 AI Studios は、それぞれ単独で完全な機能を備えるよう設計されていますが、同じプロジェクト環境内で生成された成果物を共有することで、他のスタジオともシームレスに連携できます。これは単なるスタジオ間の統合にとどまらず、Cloudera AI プラットフォーム全体を網羅しています。各スタジオは、基盤となる AI Workbench および AI Inference サービスと直接統合されており、データとモデルのガバナンスを一貫して維持しながら、エンドツーエンドのシステムを構築します。

たとえば、Synthetic Data Studio は、Fine Tuning Studio が基盤モデルをエージェント型タスク向けに適合させる際に利用できる、分野特化型のトレーニングデータセットを生成できます。この特化モデルは、その後 Cloudera AI プラットフォームによって提供され、Agent Studio でオーケストレーションされるエージェント型アプリケーションを支えます。また、RAG Studio によるコンテキスト知識の強化も行われます。この意図的な多層的相互運用性により、企業は包括的な AI ソリューションを構築できる一方で、生成 AI のライフサイクルのどの段階で支援を受け、どの段階を自分たちで処理するかを柔軟に選択することが可能になります。

オープンソースイノベーションの迅速な統合

私たちは、AI コミュニティのイノベーションのスピードに合わせた迅速なリリースサイクルを可能にする独立したコンポーネントとして、各 AI Studios を構築しました。このモジュール型アーキテクチャにより、AI Studios は最先端のオープンソースフレームワークを活用し、コア機能を損なうことなく基盤ライブラリを入れ替えることが可能になります。

これは、「AI のイノベーションは単独の組織だけで推進されるものではない」という私たちの信念を反映しており、オープンソースイノベーションを、進歩を共有する広範なエコシステムへの貢献の手段として取り入れています。

Cloudera AI Studios のご紹介

AI Studios は、生成 AI ライフサイクルの各重要な段階に特化した、目的別の体験を提供します。AI Studios には、Synthetic Data Studio、Fine Tuning Studio、RAG Studio、Agent Studio の4つがあります。

エンタープライズ AI の新たな章

生成 AI が企業のイノベーションの礎となるにつれて、AI Studios はパラダイムシフトを体現しています。つまり、企業が求める堅牢性とセキュリティを維持しつつ、より幅広いユーザーにAIの力を提供しています。AI Studios は現在 Cloudera AI Workbench で利用可能であり、Cloudera AI Inference サービスとともに、エンタープライズ向け Cloudera AI プラットフォームを支えています。

Agent Studio

Agent Studioは、大規模言語モデル（LLM）の推論能力と従来型ソフトウェアの運用力を組み合わせた AI エージェントを、企業が構築、テスト、展開できるよう支援します。Cloudera プラットフォームとのネイティブ統合により、Agent Studio は、Cloudera Data Flow、Cloudera Data Warehouse、Cloudera Data Visualization などの Cloudera のエンタープライズグレードのサービス群を、自由に組み合わせて呼び出せるエージェントとして利用可能にします。この基盤にオープンソースのエージェントやフレームワークを組み合わせることで、構造化データや非構造化データからリアルタイムストリームに至るまで、多様なデータ環境にわたる処理をシームレスに連携させる、高度なマルチエージェントのオーケストレーションが可能になります。

AI Studios の基本的な設計理念は以下のとおりです。

• 専門知識レベルに応じたカスタマイズ性

• AI 開発の各段階における相互運用可能な機能

• オープンソースイノベーションの迅速な統合

この記事は、2025/6/23に公開された「The Future Is Already Here—And It's Agentic」の翻訳です。

このブログでは、皆様を遠いSFの未来ではなく、すぐそこにある明日への旅にお連れしたいと思います。

想像してみてください。職場に入ると、そこにはもはや人間ではない「同僚たち」がいます。それは従来の意味でのロボットではなく、大規模なデータセットで訓練され、意思決定能力を備えた自律型のソフトウェアエージェントです。経済、行政、業務の各分野でタスクを遂行することができます。これらのエージェントは、ポリシーを作成し、サプライチェーンを監視し、医療記録を処理し、ニュースを生成し、さらには私たちのデジタル上のやり取りを統治することさえあります。

これは映画のワンシーンではありません。私たちに迫りつつある地殻変動のような変化であり、働き方、政府の機能、そして地域社会のあり方までもが変わるのです。この世界において、デジタル公共インフラストラクチャ　(DPI) はもはや便利なものではなく、生命線となるのです。

エージェント時代の主権

私たちはよく「誰もがデータを持っている」と言います。しかし本当に問うべきなのは、「そのデータはどこにあるのか」「誰がそれを管理しているのか」「誰がアクセスを制御しているのか」ということです。エージェントが支配する世界では、これらの問いは単なる技術的な問題ではなく、権力と独立性に関わる問題なのです。

主権国家が自国のデータの所在を把握できず、信頼も管理もできないのであれば、それはもはや主権国家とは言えません。自国のエージェントが何を学んだのか、誰と通信しているのかを検証できない政府は、もはや統治しているとは言えません。

この新たなエコシステムの中で生き残り、発展していくためには、DPI は進化し、「デジタル・ショアリング」へと移行する必要があります。それは、主権性・信頼性・開放性を備えた環境を支える基盤であり、4 本の柱の上に成り立ちます。

1. オープンデータ：単なるアクセスではなく、「信頼」が重要です。データのリネージ (来歴)、起源、そして検証可能なガバナンス。自分のデータがどこから来て、どこへ向かうのかを把握することは、もはや「選択肢」ではありません。
   
   

2. オープンソースソフトウェア：ブラックボックスに依存した重要インフラストラクチャのままでは、安全性も主権性も確保できません。
   
   

3. オープンスタンダード：共通プロトコルが存在しない状況では、エージェントは連携できず、組織は相互運用できず、政府は統治機能を果たせません。
   
   

4. オープンスキル：財務諸表を読む力やニューラルネットを監査する力が限られた人にしかない状況では、健全な社会は成り立ちません。
   
   

これは、公平で、主権を持ち、レジリエンスのあるエージェント型社会を支える基盤です。

エージェンティック・インテリジェンス：単なる派手なツール以上の存在

ここで、エージェントとは実際に何なのか、そして何ではないのかを考えてみましょう。

ある企業の財務諸表を、若手アナリストとベテランの経済学者という 2 人に渡す場面を想像してみてください両者とも数値は理解できるかもしれませんが、戦略的な洞察を導き出せるのは一方だけです。同様に、エージェントも読むこと、分析すること、推論することができますが、その行動の質は、どのようなスキルを備えているかに完全に依存しています。こうしたスキルは、訓練によって身につけることも、取得することも、そして最も重要なのは、共有することも可能です。

公共部門において、これは非常に大きなチャンスとなります。なぜ、あらゆる機関が同じエージェントを一から作り直さなければならないのでしょうか。ある部門で使われている不正検出エージェントのスキルを、安全かつ倫理的に、別の部門へ転用できない理由はあるでしょうか。

人が専門知識を共有するのと同じように、デジタル機関同士でエージェントの能力を共有するためのインフラストラクチャが必要です。ここで国連のような組織が役割を果たします。Global Digital Compact (グローバル・デジタル・コンパクト) 構想の視点から、標準の策定や国際的な支援を行うことができるのです。

「ソブリンクラウド」から「ソブリン AI プラットフォーム」へ

現在、多くの議論は「データを国境内にとどめること」に集中しています。しかし、エージェントが活躍する世界において、それだけでは不十分です。本当に重要なのは、モデルがどこで、どのように学習され、どのように管理され、そしてどのように制御されているかです。

今、求められているのは「ソブリン AI プラットフォーム」です。これは、人事部門が従業員を管理するのと同じように、資格を確認し、方針との整合性を保ち、パフォーマンスを監視し、協働を可能にする仕組みとして AI を扱うという考え方です。

Cloudera では、こうしたプラットフォームの基盤を構築しています。具体的には、セキュアなハイブリッド AI 環境、オープンソースのデータパイプライン、ガバナンスを重視したオーケストレーションレイヤー、各国のコンプライアンス基準に対応したモジュール型の LLM 提供インフラストラクチャなどです。ただし、これを一社だけで実現することはできません。これは、世界全体で取り組むべき課題なのです。

設計段階からオープンに、デフォルトで統治可能に

パブリッククラウドの独占環境の上に、公共性を持った AI を構築することはできないという現実に、世界各国の政府はすでに気づき始めています。デジタル ID やエージェントの監視は、非公開・場当たり的・不透明であってはならず、オープンかつ透明であるべきです。

だからこそ、未来はコードも、データも、プロトコルも「設計段階からオープン」でなければなりません。そして同時に、「デフォルトで統治可能」でなければなりません。人間だけでなく、エージェントとその行動までも認証するデジタル ID、複数のシステムにまたがって共有される知識を保持するナレッジグラフ、あらゆる決定・推論・プロンプトを記録する監査証跡など、これらすべてが求められます。

これは単に技術の問題ではありません。それは、国家に権限を与え、市民を保護し、インテリジェンスを民主的な価値観に合わせるために設計された、新しい種類のデジタル社会を構築することです。

前進への道筋

この変革は容易ではありません。それには、大胆な政策、持続的な投資、国境を越えた協力、そして何よりも価値観に根ざした技術的リーダーシップが必要です。

誤解してはならないのは、デジタル上の協調は選択肢ではないということです。それは、エージェント型の世界における主権を確保するための前提条件です。それがなければ、私たちはサイロ化、ベンダーロックイン、そしてアルゴリズムの迷走に直面することになります。一方、それがあれば、人間の知性も機械の知性も公共の利益に貢献する未来を築くことができるのです。

表面的な言葉にとどまらず、実践へと踏み出しましょう。オープンでモジュール型、そして主権性を備えたプラットフォーム、プロトコル、公共財を構築していきましょう。エージェントを単なるツールとしてではなく、統治・信頼・協調を必要とするデジタル社会の一員として扱っていくべきです。

そしておそらく、明日の視点から今日を振り返ったとき、私たちはこの瞬間を危機ではなく、共に未来を築くことを選んだ瞬間として思い出すでしょう。

企業がエージェント型 AI をどのように活用しようとしているのか、完全版レポートで詳しくご覧ください。

この記事は、2025/5/12に公開された「Agentic AI Deep Dive: How AI is Changing the Modern Enterprise」の翻訳です。

エージェント型 AI は、意思決定の精度向上、ワークフローの効率化、顧客とのやり取りや体験の改善を通じて、ほぼすべての業界における業務プロセスを変革する可能性を秘めています。

エージェント型 AI への関心は広まっていますが、それを使用する動機は業界によって異なります。Cloudera は調査を実施し、14か国における1,484人の企業の IT 部門責任者を対象に、各業界がこの技術をどのように導入しようとしているのかを含め、2025年に向けたエージェント型 AI への取り組みを詳しく把握しました。調査の結果、金融や医療といった高い規制を受ける分野では、トランザクション情報や患者記録などの機密データを保護し、サイバーセキュリティ体制を強化する手段として、エージェント型 AI の活用が期待されていることがわかりました。

回答者のほぼ3分の2（63％）が、セキュリティ監視のためにエージェント型 AI を活用する意向を示しています。小売業や通信業といった他の業界では、顧客体験の向上を目的に AI エージェントの活用を検討しており、組織の半数がカスタマーサポート向けにエージェントを導入しています。

エージェント型 AI に対する現状の認識や、業界別の導入計画を詳しく見ていきましょう。

金融・保険業界におけるセキュリティと顧客関係の強化

金融・保険会社は、セキュリティ監視や顧客体験の向上を支援する能力を持つ点で、エージェント型AI 技術を特に重視しています。回答者によると、エージェント型 AI の主な利用目的は、不正検知（56％）、リスク評価（44％）、投資アドバイザリー（38％）です。

AI エージェントは、データセット内のパターンと異常を識別し、セキュリティ監視を通じてデータ侵害を回避し、脆弱性を特定することができます。これは、規制された業界で機密データを保護するために非常に有益です。

AI エージェントは、アドバイザリーサービスやその他の顧客対応業務の改善にも役立ちます。業界の意思決定者の78％が、カスタマーサポートに AI エージェントを活用する意向を示しています。エージェントは複数のソースからデータをすばやく引き出し、クライアントのリクエストに応じて高度な回答を生成します。つまり、顧客が「低リスクかつ高リターンの投資機会」を求めた場合、AI エージェントは大量のデータを分析し、それに基づいた回答を生成することができます。

エージェント型 AI システムが機密データを扱いながら自律的に動作することには、当然ながら懸念が伴いますが、セキュリティガードレールによってこれらのシステムは適切に制御されています。AI システムは許可されたデータにしかアクセスできないため、認可と権限設定はAI導入における重要な要素です。

エージェント型 AI は、顧客体験の一貫性という課題ももたらします。この技術は複数のデータセットを効率的に処理し、顧客情報を迅速に扱える一方で、対面スタッフが提供するような人間的な対応には欠けます。

医療ワークフローの効率化

医療従事者は、事務作業の効率化や、より良い患者ケアの成果をもたらす意思決定支援など、エージェント型 AI のさまざまな活用法を見出しています。調査によると、医療従事者は、この技術の主な活用事例として、予約のスケジュール管理（51%）、診断支援（50%）、医療記録の処理（47%）を挙げています。

AI エージェントは、保険情報の処理や予約のスケジュール調整を通じて、医療従事者の反復的な業務負担を軽減することができます。また、患者の病歴を迅速に処理し、その概要を医療専門家に提供することで、日々のワークフローを合理化し、患者の診察をより効率的にすることも可能です。さらに、診断やエビデンスに基づく治療法の提案を行うことで、これらのシステムは一歩進んだ支援を提供できます。

1つのシナリオとして、数千枚の肺炎や肺がんのX線画像で訓練された AI 診断支援エージェントが想定されます。パターン認識を活用することで、人間の目にはすぐに見えない初期の兆候を発見し、放射線科医がより詳しく調査すべき箇所を明らかにします。これにより、医師はより正確な診断を行うことができます。

製造効率と安全性を向上させる

製造業組織のほぼ半数が、プロセスの自動化（49%）、サプライチェーンの最適化（48%）、品質管理（47%）のために AI エージェントを検討しています。具体的には、生産ラインでの欠陥を高度な方法で検知したり、障害発生時にはサプライチェーンの物流を柔軟に迂回させたりすることで、効率を大幅に向上させることを期待しています。

AI エージェントは、安全性の観点からも業務を効率的に監視できます。通常、安全衛生チームは請負業者を現場に派遣してリスクを評価し、製造工場を検査します。しかし、こうしたプロセスは時間がかかり、マニュアルに従っていても事故が発生することがあるため、ミスも起こりやすいのが現状です。

エージェント型 AI は、この分野に変革をもたらす原動力となります。こ組織は過去のデータを分析し、パターンを検出し、危険が現実化する前に潜在的なリスクを特定できます。その結果、従業員はより正確な自動リスク評価レポートを作成でき、安全な環境の実現につながります。

小売業、Eコマース、通信業界の顧客対応を支援

小売業、Eコマース、通信業界は、主に顧客対応の取り組みに AI エージェントを活用する計画を立てています。これらの業界の組織の半数は、顧客サポート（50%）、価格最適化（49%）、需要予測（48%）の目的で AI エージェントを検討しています。

エージェント型 AI システムは、顧客の閲覧履歴や嗜好、購入履歴を分析し、パーソナライズされた製品提案を行うことで、再購入の可能性を高めることができます。また、個々の顧客データに基づいて、特別オファーやメール、広告をキュレーションし、セールスファネル上で顧客との関係を育成しながら、人間の従業員がより戦略的な業務に集中できるよう支援します。

通信業界の企業は、利用パターンや請求履歴、カスタマーサポートでのやり取りといった過去のデータを精査し、解約リスクのある顧客とその理由を予測するためにエージェントを活用することに価値を見出しています。通信事業者の場合、エージェントは、月間利用量が減少した顧客や、カスタマーサポートとのやり取りが複数回あった顧客を特定して把握することができます。

エージェント型 AI の未来

エージェント型 AI は、業界を問わず、業務の進め方を大きく変革する可能性を秘めています。規制産業では、侵害を防ぐためのセキュリティ監視によって大きな利益を得られる一方、顧客対応を行う企業では、顧客体験の向上が可能になります。

金融企業がセキュリティ強化を目指す場合でも、医療機関が効率化を望む場合でも、小売業者が顧客体験の向上を狙う場合でも、業界特有の目的でこれらのシステムを導入することで、企業は新たな高みへと成長できます。競争優位性を確保するため、企業は今年中にもこの技術の活用を開始し、その後拡張やスケールアップを図ろうとしています。

この記事は、2025/4/10に公開された「Octopai Acquisition Amplifies Metadata Across the Data Estate」の翻訳です。

金融サービス企業であれ、大規模な医療機関であれ、人工知能 (AI) ほどビジネスに変革をもたらすテクノロジーは他にありません。AI は、あらゆる組織におけるデータ活用やビジネスアプリケーションへの取り組み方を根本から変えつつあります。Cloudera はこのような現状を踏まえ、AI と生成 AI の可能性を引き出すには、明確で実用的なロードマップの策定が重要であることを常に認識してきました。

組織の重要なビジネスアプリケーションへのアプローチを変革し続ける当社にとって、Octopai 社の買収はその次なる一歩と言えます。

絶好のタイミングで実現した Octopai 社との連携

AI、機械学習、予測分析の取り組みのためにデータを最大限に活用することは、多くの組織にとって最優先事項であり、業務を改善するための鍵となります。企業が成果につながる効果的かつデータドリブンな意思決定を実現できるかどうかは、自社のデータを活用する能力にかかっています。とりわけ、活用するデータが信頼性の高いものであることが重要です。

つまり、このプロセスの成否は、ユーザーが必要な情報をすばやく見つけられるよう支援するデータリネージシステムに左右されます。適切なツールがなければ、データを探し出す作業は、まるで海を眺めていても海岸線しか見えず、その先に広がる果てしない海が見えていないようなものだからです。

Octopai 社の買収は、2024年に買収した AI スタートアップ企業の Verta 社に続き、Cloudera のポートフォリオをさらに拡大するものとなります。Verta 社の買収は、AI の導入支援に対する Cloudera の強いコミットメントを示すとともに、この分野における業界リーダーとしての地位をより一層揺るぎないものにしました。モデルのカタログ化、モデルの開発、モデルの監視、AI ガバナンス用のツールなど、Verta 社の AI ソリューションを導入し、Cloudera のプラットフォームと組み合わせることでポートフォリオを拡大し、AI の強固な基盤を確立しました。

AI が市場を席巻する中で着実に成長を遂げてきたことで、Cloudera は、データリネージやデータ検出、マッピング、影響分析といった幅広い機能を顧客に提供するのに絶好のタイミングを迎えています。こうして AI ポートフォリオをさらに拡大するための準備が整ったことで、今回の Octopai 社の買収が実現しました。

買収が Cloudera にもたらす意義

今回の買収を通じて、Octopai 社のデータリネージプラットフォームが Cloudera のデータリネージ機能やメタデータ管理機能に統合されるため、組織は自社のデータや AI への取り組みを把握し、管理できるようになります。さらに、Cloudera のプラットフォームに搭載された機能を利用することで、組織はデータの価値を高め、膨大なデータ資産を活用して、「製品としてのデータ」を実現できるようになります。これは、AI 志向の先進的な企業が強く求めているものです。

今、Cloudera のプラットフォームでは、データをこれまで以上に詳しく把握することが可能になりました。これにより、企業は複数のクラウド環境にまたがる複雑なデータセットから関連データをすばやく見つけ出し、ソースからの流れを追跡してデータの品質を確保し、GDPR や HIPAA などの重要な規制要件に準拠することができます。これらを支えているのが、システム間でデータを自動的にマッピングし、詳細な洞察を提供するツールです。

Octopai 社が加わったことは、データ資産内に存在する構造化データと非構造化データの両方を活用したいと考えている組織にとって、大きな転機となります。データ資産を保有することも重要ですが、実際にデータの信頼性を確保し、内容を理解し、それを基に AI を実装してデータドリブンな意思決定を行うには、まったく別の取り組みが求められます。

Cloudera の目標は、データ資産全体にわたって信頼できるデータを提供し、お客様が最も堅牢なデータ活用、分析、AI アプリケーションを推進できるよう支援することです。Octopai 社の統合は、その実現に向けた大きな一歩となります。

Octopai 社の買収と Cloudera のお客様にもたらされるメリットに関する詳細は、こちらをご覧ください。

ダッシュボードを公開する前に、そのダッシュボードに表示されるウェルカムメッセージ、AI モデルに送信されるプロンプト、および応答ごとのトークン制限をカスタマイズできます。これらの設定により、応答の長さを管理したり、パフォーマンスを最適化したり、コストを統制したりできるだけでなく、この強力な AI 分析ソリューションの活用方法をビジネスユーザーにわかりやすく示すことができます。

公開後は、音声またはテキストを使ってデータについて質問することで、AI Visual と対話できます。特定の商品カテゴリーで、ロイヤルティプログラムの新規会員の購入パターンを知りたい場合は、このセグメントのトレンドについて AI Visual に尋ねるだけで、顧客が好む配送方法、購入頻度、割引やプロモーションコードの利用状況に関連する主要なデータポイントが、応答とともに返されます。このようなデータから得られた洞察は、小売戦略をすばやく簡単に最適化するのに役立ちます。

この記事は、2025/4/7に公開された「Use AI to Unearth Trends in Customer Loyalty Program Data」の翻訳です。

Cloudera Data Visualization と Cloudera AI で、BI ワークフローに AI を導入

小売業界や消費財業界の方であれば、顧客データが宝の山であることはご存じでしょう。組織にとっては、顧客データを活用して顧客の行動に関する洞察を引き出せるかどうかが、販売やマーケティング活動を迅速化し、強化するための鍵となります。

例えば、美容ブランドであれば、ロイヤルティプログラムのデータを分析することで、上位の顧客が探し求めているスキンケア製品、リップグロスの色、フレグランスなどを把握できます。また、食品小売業者であれば、食物アレルギーや食事制限があると思われる顧客を特定できます。どちらの小売業者も、こうしたデータを活用することで、より関連性が高く、的を絞ったデジタルクーポンを配信できるようになります。

もちろん、どれほどデータが豊富にあっても、組織がそのデータを実用的な洞察に変えられなければ意味がありません。また当然ながら、顧客データの活用にあたっては、絶えず進化するデータプライバシー規制に対処しながら、セキュリティを確保する必要があります。

Cloudera の人工知能 (AI) とビジネスインテリジェンス (BI) のソリューションは、こうしたデータ活用の取り組みに変革をもたらし、小売業界のあらゆる組織が自社のデータセットを迅速かつ安全に分析し、最終的に ROI を大幅に向上させて、すべての顧客の生涯価値を高められるよう支援しています。

この記事では、Cloudera AI と Cloudera Data Visualization という2つのソリューションを詳しく見ていきます。これらは、小売業者が大量のロイヤルティプログラムデータを細かく分析し、顧客の購買嗜好や取引履歴のパターンや傾向を特定できるよう支援するもので、いずれも堅牢なセキュリティ機能とガバナンス機能に支えられています。

また、Cloudera Data Visualization は、ユーザーからの質問を利用してダッシュボード上にスマートフィルターを自動作成します。例えば、ユーザーがバックパックについて質問すると、関連する製品を含むレコードが表示されるように他のビジュアルもフィルタリングされます。これにより、モデルの回答の精度を視覚的に検証できるだけでなく、関連するデータポイントを探すために何度もメニューを操作することなく、データからさらに深い洞察を得ることができます。

小売業者が AI Visual を活用する方法

Cloudera Data Visualization の AI Visual は、コーディングのスキルがなくても非常に簡単に構築できます。Cloudera Data Visualization のドラッグアンドドロップ式のダッシュボードビルダーを使って、購入商品や使用されたプロモーションコードなどのフィールドを表示するように AI Visual を設定できます。

Cloudera AI を活用してプライベート AI を導入

Cloudera AI は、組織がデータを統制しながら、AI のイノベーションを活用できるように設計されています。

Cloudera AI Inference サービスを利用すれば、AI モデルを本番レベルの環境で大規模にデプロイし、セキュリティを損なうことなく優れたパフォーマンスを実現できます。すべてのモデルのエンドポイントが組織のセキュリティ境界内にあるため、組織独自の顧客ロイヤルティデータなど、自社のデータが外部に漏れることは決してありません。Cloudera を使えば、プライベート AI を企業全体に導入し、BI やデータ分析のワークフローなどで活用できます。

Cloudera Data Visualization の AI Visual のご紹介

Cloudera Data Visualization は、インタラクティブなダッシュボードやカスタムアプリケーションを作成できる強力な BI ツールです。ビジネスアナリストやデータサイエンティスト、業務担当者がデータから洞察を引き出す際の最初のツールとして活用できるよう工夫されています。

Cloudera Data Visualization の AI Visual は、BI ワークフローに AI を組み込みます。ダッシュボード内の検索拡張生成 (RAG) 機能を活用することで、ユーザーは従来の分析作業と並行して AI ドリブンな洞察を引き出したり、大規模なデータセットに対して自然言語でクエリを実行したり、会話の文脈を定型レポートに反映させて動的な意思決定を支援したりできます。

図1: Cloudera Data Visualization のドラッグアンドドロップ式のビジュアルビルダーで、[Embedding Context] シェルフに列を追加している様子。

図2: 公開された Cloudera Data Visualization ダッシュボードの AI Visual に、「バックパックを最近購入した新規会員にはどのような傾向が見られますか」と尋ねている様子。

Cloudera Data Visualization でのモデルプロファイルの構成

Cloudera Data Visualization 8.0.0リリースでは、認証方法を選択して、さまざまなサービスプロバイダーのモデルに接続できます。具体的には、Amazon Bedrock、OpenAI、および Microsoft Azure OpenAI のモデルを標準でサポートしているほか、Cloudera プラットフォーム上で Cloudera AI Workbench と Cloudera AI Inference サービスを通じてホストされているモデルに対して、JWT 認証をシームレスに利用できます。

また、Data Visualization の単一のインスタンス内で、複数のモデルプロファイルを簡単に構成して保存し、選択したモデルに合わせて AI アプリケーションをスムーズに調整できます。そのため、ほとんどのアプリケーションに対しては信頼できる既製のモデルを使用し、特定のダッシュボードに対しては実験的に調整したモデルを使用するといったことも可能です。

Cloudera でデータから深い洞察を獲得

Cloudera を利用すれば、小売業者は顧客データを細かく統制して、洞察を獲得できるようになるため、ロイヤルティプログラムデータ、購入嗜好、取引履歴などのデータセットの解析に必要な時間が短縮されます。

これまでは、ソーシャルメディアやインフルエンサーマーケティングキャンペーン、E コマースや実店舗での販売、サプライチェーンの運用といったさまざまなソースからのデータを、アナリストが何日もかけて分析する必要がありましたが、今では Cloudera のデータと AI ソリューションを活用することで、効率的かつスマートに業務を進めることができます。

小売業界と消費財業界のデータアナリストに、新たなレベルの生産性をもたらしましょう。Cloudera AI と Cloudera Data Visualization を利用すれば、かつてないスピードでデータを分析し、洞察を獲得できます。

ご利用にあたっては、まず以下の方法をご検討ください。

• Cloudera AI Inference サービスの製品ツアーを開始する

• Cloudera Data Visualization で AI Visual を活用するデモ動画を見る

• Cloudera Data Visualization のセルフサービス機能を紹介するウェビナーを見る

• Cloudera の営業チームに直接問い合わせる

• Cloudera ソリューションの5日間無償トライアルを試す

NVIDIA のブログで GTC Paris の発表内容をご確認ください。また、Cloudera の AI に関するブログ、特に Dell、NVIDIA、Cloudera によって実現された最新の「AI in a Box」についての記事もぜひご覧ください。これは、顧客がプライベートAIを迅速かつ容易に、そして最小限のリスクで導入できる新しい方法を提供します。

この記事は、2025/06/11に公開された「Cloudera Supercharges Your Private AI with Cloudera AI Inference, AI-Q NVIDIA Blueprint, and NVIDIA NIM」の翻訳です。

Cloudera が顧客と AI の目標について話す中で、よく耳にする課題の一つは、プライバシーへの懸念が原因で計画や実装が停滞してしまうことです。従業員や顧客が最も正確な結果や回答を得るためには、企業のすべてのデータに AI を活用したいと考えています。しかし同時に、クローズドソースの大規模言語モデル (LLM) のパブリックエンドポイントにデータを送信することはできないと理解しています。その理由は、1. データ量が膨大であること、2. データのプライバシーが保持されなくなること、この 2 点です。

これらの懸念に対応するため、Cloudera はプライベート AI というコンセプトを提唱し始めています。これにより、顧客は AI がもたらすあらゆる利点を享受しつつ、自社の機密データを安全に保護できます。

NVIDIA も同じ課題を、より高次かつ広範なレベルで目の当たりにしています。それは国家レベルです。各国政府は、自国以外で AI を運用することは自国の最善の利益にならないと認識し、自国のデータと AI を国境内にとどめるために必要なインフラ整備を進めています。そして、自国のデータや AI の成果をどの国や組織と共有するかを、自ら管理できるようになります。

本日開催された GTC Paris カンファレンスにおいて、NVIDIA は各国政府の取り組みを支援するためのソブリンAI の基盤を提供しました。この取り組みは、お客様が自社専用のプライベート AI プラットフォームを実装できるよう支援するという Cloudera の重点分野とも高い親和性を持っています。

NVIDIA は Cloudera にとって特に注目すべき 2 つの発表を行いました。本ブログでは、AI-Q NVIDIA Blueprint for Enterprise Research と NVIDIA NIM に焦点を当て、これが当社のお客様にとってどのような意味を持つのかを掘り下げていきます。

AI-Q NVIDIA ブループリントと Cloudera AI

NVIDIA が発表したエンタープライズリサーチ向け AI-Q ブループリントにより、Cloudera AI はお客様の複雑なエージェント型AIニーズを支援するための機能を強化しました。

Cloudera AI Inference は、NVIDIA NeMo Retriever および LLM 推論マイクロサービスをすべてホスティングでき、これらは AI-Q NVIDIA Blueprint を構成しており、NVIDIA Llama Nemotron 推論モデルも含まれます。モデルエンドポイントに対して Cloudera AI プラットフォームが提供する強力なプライバシーとセキュリティに、NVIDIA Agent Intelligence ツールキットの高い性能を組み合わせることで、企業のエージェント型アプリケーションを次のレベルへと引き上げることができます。

Cloudera AI における AI-Q NVIDIA Blueprint 活用の利点

Cloudera AI Inference サービスで AI-Q NVIDIA Blueprint を活用することで、AI の大きな可能性が開かれます。この強力な組み合わせにより、NVIDIA NIM や NeMo Retriever マイクロサービスとして提供される先進的な推論モデルが Cloudera AI に統合され、さらに NVIDIA Agent Intelligence ツールキットとの完全な互換性によって、エージェント、ツール、データ間のシームレスな接続が実現されます。

このマルチフレームワーク対応により、組織は堅牢なプライバシーとセキュリティを備えた高度な企業向け検索拡張生成 (RAG：Retrieval-Augmented Generation) アプリケーションを構築し、最先端の AI 技術を最大限に活用することができます。

Cloudera AI Inference における NVIDIA NIM マイクロサービス

NVIDIA の NIM コンテナは、LLM から最高のパフォーマンスを迅速かつ簡単に引き出す画期的なソリューションです。モデルと GPU ハードウェアに基づいて最適な推論バックエンドを自動的に選択することで、LLM のデプロイメントと推論を大幅に高速化し、多数の最先端 LLM の運用サービスを効率化する、モデルに依存しない推論ソリューションを提供します。

さらに掘り下げると、NVIDIA NIM マイクロサービスは、NVIDIA TensorRT-LLM、vLLM、または SGLang によって高速化された LLM を迅速にデプロイし、あらゆる NVIDIA アクセラレーテッドプラットフォーム上で最高水準の推論を可能にします。Hugging Face や TensorRT-LLM 形式で保存されたモデルをサポートし、幅広い LLM に対して企業向けの推論を提供します。ユーザーは、レイテンシとスループットを最適化するためのスマートデフォルトを利用することも、シンプルな設定オプションでパフォーマンスを微調整することも可能です。NVIDIA AI Enterprise の一部として、NVIDIA NIM マイクロサービスは NVIDIA から継続的にアップデートが提供され、幅広い人気の LLM との互換性が確保されます。

Cloudera AI Inference 内で NVIDIA NIM を使用する利点

NVIDIA の NIM は、顧客が AI アプリケーションで LLM を活用する方法において、より高い柔軟性を提供します。Cloudera AI Inference サービスにはすでに NVIDIA NIM が組み込まれているため、顧客は NVIDIA NIM マイクロサービスを迅速かつ容易に実装できます。顧客は、使いやすさ、安全性、そして単一の統合プラットフォーム Cloudera による効率的なサポートとともに、NVIDIA NIM の利点を享受できます。

NVIDIA NIM マイクロサービスは、Cloudera の AI Inference サービスにシームレスに統合されており、Cloudera AI のお客様に次のような大きな利点をもたらします。

• デプロイの高速化：あらかじめ構築された最適化済みコンテナを利用し、LLM アプリケーションをより迅速に稼働可能。

• パフォーマンス向上：NVIDIA アクセラレーテッドコンピューティングの性能を最大限に活用し、高速推論とレイテンシ削減を実現。

• スケーラビリティ：ビジネスの成長に合わせて LLM デプロイを容易に拡張可能。

• 管理の簡素化：Cloudera の直感的なインターフェースで LLM デプロイを管理・監視可能。

まとめ

Cloudera と NVIDIA は協力し、企業がパブリックデータであれプライベートデータであれ、あらゆるデータに対して最新の AI 技術を容易かつ効率的、そしてコスト効果高く活用できるようにしています。開発からデプロイメントまでの AI アプリケーションライフサイクルを簡素化し、パフォーマンスを最適化することで、私たちはユーザーが AI の可能性を最大限に引き出せるよう支援しています。

この記事は、2025/3/27に公開された「Cloudera Enables Telecommunications Service Providers to Modernize their Data Architecture」の翻訳です。

通信業界のデジタルトランスフォーメーションに取り組んでいる業界団体の TM Forum は2025年2月、ポルトガルのリスボンで Accelerate イベントを開催しました。このイベントでは、同団体の3つの柱である「自律型ネットワーク運用」、「柔軟な IT 環境とエコシステム」、「AI とデータによるイノベーション」にまつわる課題解決に向けて、通信サービスプロバイダーとテクノロジーパートナーが一堂に会します。

なかでも注目されたのが、通信事業者にとって最適なモダンデータアーキテクチャに関する議論でした。データアーキテクチャは、ネットワーク運用への AI の組み込み、サービス提供の最適化とコストの削減、革新的で他社と一線を画す顧客体験の提供など、デジタルトランスフォーメーションのほぼすべての側面に影響します。そのため、通信事業者がデジタルトランスフォーメーションの取り組みを成功させるのに役立つデータアーキテクチャを構築するには、目的を持って戦略的に行動することが重要です。

モダンデータアーキテクチャの主なコンポーネント

モダンデータアーキテクチャは、通信事業者が分散環境全体で大量のデータを管理し、これまで以上にすばやく意思決定を下せるものでなければなりません。しかも、その決定の多くが、人間の介入なしに行われるようにする必要があります。これを実現するには、データアーキテクチャにおける以下の機能のサポートが欠かせません。

• ストリーミングデータの処理: バッチプロセスによるデータの取り込み、処理、分析では、もはや不十分であり、ネットワークテレメトリー分析などのユースケースではなおさらです。通信事業者には、可能な限りソースに近い場所でリアルタイムにデータを収集、処理、分析できる能力が求められます。

• ハイブリッドクラウドの導入: モダンデータアーキテクチャでは、オンプレミス環境とクラウド環境の両方でデータを管理および分析して AI を実行できる、一貫性のあるプラットフォームを提供する必要があります。

• 分散型データ・ファブリック: 通信事業者には、さまざまな理由から分散型データストアが必要です。データの分散化は避けられませんが、モダンデータアーキテクチャにより、サイロ化を解消し、組織のすべてのデータに安全かつリアルタイムでアクセスできなければなりません。

• データガバナンスの統合: ハイブリッドデータアーキテクチャ全体でセキュリティとガバナンスを統合することで、コンプライアンスを維持し、データへの信頼性を確保しながら、セルフサービスアクセスによる AI の利用や分析を可能にします。

• オープンソースとオープン API: 独自のクローズドシステムは、最終的にコストの増加やイノベーションの制約につながります。これに対し、オープンな標準、プロセス、テクノロジーに基づいて構築されたデータアーキテクチャなら、柔軟性や俊敏性をもたらし、あらゆるデータワークロードに最適なツールや実行エンジンを自由に選択できます。

モダンデータアーキテクチャを導入するメリット

データプラットフォームは近年大きく進化しています。かつては、主にレポートを作成したりダッシュボードを利用したりするためのストレージソリューションでしたが、今では事業戦略や事業運営の基盤となっています。具体的には、データプラットフォームの分析機能と AI 機能から得られるデータと洞察が、事業計画の立案や、効率的かつ効果的な運用サポートシステム (OSS) とビジネスサポートシステム (BSS) の運用において中心的な役割を担っています。

モダンデータアーキテクチャを導入することで、通信事業者は組織戦略を推進し、以下のような大きなメリットを実現できます。

1. 運用効率の向上とコストの削減: データを活用したネットワークパフォーマンスの最適化、ダウンタイムの削減、キャパシティプランニングの強化により、サービス提供を最適化し、顧客満足度を向上させ、最終的にコストを削減できます。

2. AI ドリブンな自動化: AI を活用したサービスとアプリケーションによって、ネットワーク運用を自動化し、(予知保全を通じて) 想定外の機能停止の影響を軽減し、顧客とのやり取りをパーソナライズできるため、ゆくゆくは手作業を減らしながら、サービス品質を高められるようになります。

3. データドリブンなイノベーションと成長: 成長の機会を模索している通信事業者は、豊富な顧客データを活用することで、ネットワークやインフラストラクチャーの提供にとどまらず、B2C および B2B 向けのサービスやアプリケーションを提供できます。革新的でスケーラブルな成長の鍵は、データを活用することです。

Cloudera が通信事業者に適したモダンデータアーキテクチャを実現

Cloudera は、オープンなデータ標準、プロセス、テクノロジーに関して、業界有数のソートリーダーの1社として認識されています。また、TM Forum におけるデータと AI 分野の主要メンバーとして、オープンデータアーキテクチャ (ODA) マニフェストに署名し、Modern Data Architecture Collaboration Group の議長を務めているほか、Catalyst プロジェクトのリーダーや貢献者として、他の多くのプロジェクト (データガバナンスや AI ガバナンス関連のプロジェクト) に関わっています。さらに Cloudera は、Amdocs 社、Nokia 社、Mobileum 社、Subex 社などのパートナーとともに、認証取得済みのアプリケーションを通じて ODA Component Directory をサポートし、これまで ODA に明確に含まれていなかった新しいデータプラットフォームコンポーネントの開発や追加を進めています。

以下のように、Cloudera はモダンデータアーキテクチャに欠かせないすべてのコンポーネントを提供しています。

• オープンで拡張性の高い単一のプラットフォームを提供し、通信事業者がオンプレミス、複数のクラウド、ハイブリッドなどあらゆる環境に導入できるようにしています。

• 当社のプラットフォームは、通信事業者がデータをリアルタイムで収集、処理、分析し、移動中のデータと保存されたデータを保護および管理し、そのデータを分析や AI アプリケーションで活用できるようにしています。これらの機能を通じて、当社は通信事業者の業務の効率化、顧客体験の向上、コストの削減を支援します。

• Cloudera のプラットフォームは、オープンな標準とテクノロジーに基づいて構築されているため、通信事業者はあらゆる業務に最適なツールを利用するだけではなく、新しいイノベーションも活用できます。分析や AI に必要なデータを容易に特定して利用しながら、セキュリティ、ガバナンス、信頼性を維持することが可能です。

自社のデータアーキテクチャ向けにエッジから AI までをカバーするキャリアグレードのソリューションを求めている通信事業者は、Cloudera の導入によって、運用を効率化し、成長を追求し、コストを削減することができます。

AI in a Box で広がる無限の可能性

• コンサルティングのご予約：DTW 後にに AI ストラテジーを変革しませんか？こちらからご連絡ください。今後についてのお打ち合わせ、カスタムワークショップの調整、またはビジネスに実質的な成果をもたらすパイロット施策の開始をご検討いただけます。

この記事は、2025/5/20に公開された「AI in a Box: Experience the Future of Private AI at Dell Technologies World with Cloudera, Dell Technologies and NVIDIA」の翻訳です。

企業規模でプライベート AI を運用化する競争は、単にモデルやアルゴリズムの話ではありません。それは、妥協を許さないインフラのことなのです。AI in a Box ブログシリーズの初回記事にようこそ。これは、Cloudera、Dell Technologies、NVIDIA が、最先端のAI最適化ハードウェア、インテリジェントなデータオーケストレーションとAIOps ツール、そしてゼロトラストガバナンスを統合したターンキーソリューションによって、エンタープライズ AI をどのように再定義しているかを解き明かす、3部構成のブログシリーズの初回記事です。もはや、レガシーシステムを場当たり的につなぎ合わせたり、クラウド専用の「ブラックボックス」にすべてを委ねたりする必要はありません。

AI の開発から導入までをシームレスにし、市場投入をスピードアップ

価値実現の加速は、シリコンレイヤーから始まります。Dell PowerEdge サーバーは、NVIDIA のアクセラレーテッド・コンピューティング、NVIDIA RAPIDS、NVIDIA NIM を搭載し、今日の最も要求の厳しい AI ワークロードに対応するための高性能な基盤を提供します。これにより、数十億パラメータ規模のモデルを独自データでコンテキスト化する場合でも、大規模環境で低レイテンシの推論を実現する場合でも、その性能を発揮します。

Cloudera AI は、この基盤の上に構築され、フルマネージドサービスとして提供されることで、運用の複雑さを解消します。ドメイン固有の LLM のファインチューニングやリアルタイム RAG パイプラインの実行といったタスク向けに GPU クラスターを自動でプロビジョニングし、その後は効率を最大化するためにリソースを動的に再割り当てします。

その結果はどうなるでしょうか。インフラストラクチャのサイジングの推測や互換性の問題はもうありません。開発から展開までシームレスなプライベート AI のジャーニーだけです。

スピード面での優位性は、事前に統合された AI のブループリントにも及びます。ある金融機関は、既存のトランザクションシステムに直接接続できる最適化済みのワークフローを活用し、数か月ではなく数日で不正検知モデルを導入しています。ある製造業者は、Dell の高性能ストレージに保存されたセンサーデータで学習を行い、需要の急増時には Cloudera が GPU リソースを自動的にスケーリングすることで、予知保全を実現しています。これらは汎用的なテンプレートではなく、さまざまな業種で磨き上げられた実戦投入済みのパイプラインであり、ゼロトラストセキュリティときめ細かなガバナンスを徹底しています。

プライベート AI ライフサイクル全体で機密データを保護し、新たな規制に準拠する

AI in a Box には、セキュリティとコンプライアンスが組み込まれており、俊敏性を損なうことなくデータ保護と規制遵守を実現します。このソリューションは、NVIDIA MIG テクノロジーによるハードウェアレベルでの分離と、Cloudera の統合ガバナンスを活用し、AI ライフサイクル全体で機密データを保護します。医療、金融、政府といった分野では、HIPAA 準拠の診断機能、エアギャップ構成の引受モデル、改ざん不可能な監査証跡により、国内外のコンプライアンス要件を満たすことができます。

金融サービス分野では、このスタックにより、AI ドリブン型のトランザクション監視、異常検知、リアルタイムレポートを活用して、AML／BSA（マネーロンダリング防止／銀行秘密法）コンプライアンスを迅速化できます。継続的なモニタリング、バイアス軽減ツール、説明可能な AI ワークフローを通じて、EU AI 法、米国証券取引委員会（SEC）、英国金融行動監視機構（FCA）の規制に対応します。データの保存場所の制御とゼロトラストアーキテクチャにより、GDPR や CCPA の要件に対応し、エンドツーエンドの監査証跡によって、信用リスクや不正検知モデルにおける透明性を確保します。

積極的な脅威検出、自動化されたインシデント対応、バーゼル委員会に準拠したフレームワークの順守は、違反や規制リスクを最小限に抑えるのに役立ちます。AI in a Box により、機関は AI を自信を持って拡張でき、企業は規制の複雑さを競争優位の源に変えることができます。管理された更新とパッチ適用により、チームはイノベーションと生産規模の運用の間で適切なバランスを取ることができます。

スケーラブルで拡張可能な AI を用いてコスト効率を最大化

AI コンピューティングをオンプレミスのデータレイクと同一の場所に配置することで、Dell のスケーラブルなストレージはペタバイト規模のデータをローカルに保持します。これにより、このソリューションはクラウド中心の AI で発生する遅延によるパフォーマンス低下やエグレス料金を回避します。NVIDIA の最新 GPU は、従来世代と比べて学習時間を最大で半分に短縮します。一方、Cloudera のポリシードリブン型オートスケーリングにより、リソースがワークロードの需要に的確に適合するよう調整されます。

その結果はどうなるでしょうか。予測可能なコストベースで最適化されたプライベート AI のワークロード経済性を実現し、AI を実験的なサンドボックス環境から、企業の成果を牽引する中核的な価値創出エンジンへと移行させます。

しかし、真に画期的なのは俊敏性です。企業は即座に方向転換できます。今日の顧客離れモデルが、同じインフラ上で明日にはサプライチェーン最適化のツールへと姿を変えるのです。フフルスタックで統合された AI ソフトウェアは、ハイブリッドデータパイプラインの管理からモデルエンドポイントの提供まで、あらゆるプロセスを加速します。さらに、Shared Data Experience（SDX）スタックに組み込まれた Cloudera のデータリネージ機能が、各エンドポイントをそのソースまで追跡し、規制の厳しい業界における監査で不可欠な可視性を提供します。常に将来の互換性を備えた Dell のインフラは、高額な再設計を必要とせずに次世代のチップセットをシームレスに導入できるようにし、データセンター内での持続可能性を効果的に維持します。

プライベート AI の未来の体験

AI in a Box の本質は、シリコンと推論の相乗効果です。NVIDIA H100 GPU と NVLink スイッチトポロジを搭載した Dell PowerEdge サーバーは、兆パラメータのトレーニングとリアルタイム RAG パイプラインにおいて FP8 精度のパフォーマンスを提供します。Kubernetes ドリブン型オーケストレーションは GPU クラスターを自動プロビジョニングし、Mistral-7B モデルの微調整や MONAI 医療画像ワークフローの並列化などのタスクにリソースを動的に割り当てます。Cloudera のデータファブリックは、ストリーミングとバッチの取り込みを最適化された Parquet シンクに統合し、SDX は強力なデータアクセス制御ときめ細かいガバナンスを適用し、生データからモデル予測までのデータリネージを追跡します。

妥協のない、真のエンタープライズ AI です。クラウド移行を待つ必要もなく、断片化されたツールに悩まされることもなく、革新のためにコンプライアンスを犠牲にすることもありません。Cloudera AI、マネージドサービスとして提供される Dell インフラストラクチャ、NVIDIA のアクセラレーテッド・コンピューティング、および NVIDIA NIM を活用すれば、AI を導入するだけでなく、運用化も実現できます。高速。安全。将来を見据えた設計です。

Cloudera、Dell、NVIDIA は、最先端のハードウェア技術とシンプルな運用性を融合させたフルマネージドサービスにより、企業を AI 活用の最前線（高速レーン）へと導いています。これは、既存のインフラに無理やり AI を載せる話ではありません。最新の高性能な Dell PowerEdge サーバー、NVIDIA のアクセラレーテッド・コンピューティング、NVIDIA RAPIDS、NVIDIA NIM、Cloudera AI を活用し、データの持つ力を最大限に引き出すことを目的としています。これらの要素が連携することで、効果的かつ効率的なデータパイプラインを構築し、すぐに使えるエンタープライズ向け AI ソリューションとして提供されます。

当社は、オープンソースの俊敏性、エンタープライズグレードのセキュリティ、プライベート AI への絶え間ない取り組みを戦略の中心に据えることで、組織をこれまでのように妥協を強いられる状況から解放します。AI 革命はこれから起こるものではなく、すでに始まっているのです。そして、Cloudera を利用することで、お客様は自社の思い通りに AI を構築できます。

次のステップへ

自社の条件に合わせて AI を構築する準備はできているでしょうか。Cloudera のプライベート AI 機能の詳細や、プライベート AI の実際の活用方法について知りたい方は、ぜひ5日間の無償トライアルをご利用ください。

この記事は、2025/3/18に公開された「Generative AI needs to become private to thrive - introducing Private AI」の翻訳です。

3年間で25エクサバイトのデータを管理

ヘルスケア、ライフサイエンス、金融サービス、製造、ハイテクなど、さまざまな業界の大手グローバル企業で使用されている Cloudera は、25エクサバイトを超えるデータを一括管理し、AI と分析を通じてリアルタイムの洞察を提供しています。当社はこれまで、生産性の向上とプロセスの変革を実現するアプリケーション、アシスタント、エージェントを構築するために、大規模言語モデル (LLM) を使用している何百もの企業を支援して、ノウハウを確立してきました。そのような中、この3年間でオープンモデルとクローズドモデルが発展し、アプリケーションアーキテクチャが RAG からエージェント型へと進化しています。しかし、一貫して変わらないテーマもあります。それは、企業独自のデータと文脈を生成 AI モデルと組み合わせることです。

プライベート AI とは？

プライベート AI とは、組織独自のあらゆるデータを使用して、AI モデル、アプリケーション、エージェントを構築および実行できる AI 環境を指します。パブリッククラウドでもオンプレミスインフラストラクチャーでも使用でき、データや洞察が組織外に共有されることは一切ありません。

• AI をプライベートで構築すると、トレーニングデータ、構成、およびその結果として調整されたモデルがすべて自社のセキュリティ境界内で保持されるため、モデル作成のあらゆるステップを完全に統制できます。

• AI をプライベートで実行した場合、あらゆるモデルのエンドポイントが自社のセキュリティ境界内に存在することから、モデルに送信されたプロンプトと文脈も受信した応答も、すべてが自社の環境内に留まります。

簡単に言えば、プライベート AI を使うことで、AI の驚異的なイノベーションを取り入れながら、機密データの外部への流出を確実に阻止できるのです。

プライベート AI の主な原則は？

プライベート AI プラットフォームでは、オープンな基盤上に構築すること、パブリックインフラストラクチャーとオンプレミスインフラストラクチャーの両方を活用できること、データと AI のライフサイクル全体でシームレスに統合できることが必須です。では、これらについて具体的に見ていきましょう。

1. オープンソースは単なる理念ではなく、プライベート AI の基盤

オープンソース AI の勢いはとどまることを知りません。BLOOM や Falcon といった初期のモデルは、オープンソース AI が規模と機能の両面でプロプライエタリ AI に匹敵する可能性を秘めていることを証明しました。これが突破口となって、Llama のようなモデルが登場し、自社独自のニーズに合わせてソリューションを調整したいと考える企業に最先端の言語 AI がもたらされました。今では、DeepSeek のような先端技術が、コード生成、推論、運用効率の分野で限界を押し広げています。しかし、これはまだ始まりに過ぎません。オープンソースコミュニティは何度も改善を重ねながら成長しており、将来のモデルはさらに水準が上がり、軽量化、迅速化、専門化が進むことになるでしょう。

オープンソースは Cloudera の基盤であり、Cloudera AI はこの絶え間ないイノベーションの流れを利用できるように設計されています。実際、BLOOM や Falcon のような初期のモデルから、Llama のような汎用性と処理能力の高いモデル、あるいは DeepSeek のような最先端の推論モデルまで、あらゆるオープンソースモデルをお客様が導入できるよう支援しています。当社のプラットフォームでは、AI モデルの世代間でシームレスに移行できるため、コストのかかるインフラストラクチャーの刷新が不要です。現在、当社のお客様は、テキスト生成モデルを活用した要約から、高度な推論機能を活用したミッションクリティカルな課題 (コードの最適化や意思決定の自動化など) への対応まで、Cloudera 上でワークフローを進化させています。また、同じプラットフォームを利用して、将来のマルチモーダル AI のための基盤を築いています。この AI モデルは、テキスト、データ、画像の入力を統合し、従来なら個別のツールやチームで対応する必要があった複雑な問題を解決します。

このような俊敏性は、偶然の産物ではなく、目的をもって実現しています。オープンソースの取り組みのあらゆる段階をサポートすることで、当社はユーザーが混乱をチャンスに変え、お客様が実験、拡張、将来を見据えた AI 投資を、妥協することなく自由に行えるようにしています。

2. データがある場所で AI を実行

AI がもたらす変革の可能性にはごくシンプルな原則があります。それは、モデルの性能が、そのモデルを支えるデータの質や量に左右されるということです。したがって、データと AI システムが個別に運用されていれば、課題が生じます。連携していない複数のシステムにデータを保存していると、データへのアクセスが困難になるため、洞察の獲得が遅れ、パイプラインが脆弱になり、正確な意思決定に必要なリアルタイムの文脈を活用できないモデルが生成されます。また、断片化されたツール間でデータを移動していると、リスクが高まり、セキュリティとコンプライアンスが損なわれることにもなります。

そこで Cloudera は、データと AI を1つのまとまりあるライフサイクルに統合しています。Cloudera プラットフォームと Cloudera AI サービスは、単一の統合システムとして機能するように構築されており、パフォーマンスを最適化しながら、安全に管理されたデータを AI ワークフローにシームレスに取り込めます。また、メタデータ、セキュリティポリシー、コンピュートリソースの共有により、コストのかかるデータの重複や移動を排除できます。さらに、すべての予測の経緯をさかのぼって確認できるため、透明性と信頼性が確保されます。

この統合は、Cloudera の設計の中核を成すものです。データと AI のライフサイクルの統合により、常にモデルを最新の情報で更新しながら、厳格なアクセス統制と監査要件を遵守することが可能になります。組織は AI を実験の段階から大規模なデプロイの段階に移行することで、生データから実用的な成果を得られます。その結果、実際にインパクトを与える AI が実現し、セキュリティ、スピード、ガバナンスを犠牲にすることなく、イノベーションを加速できます。

3. パブリッククラウドでも利用できるプライベート AI

初期の AI の導入には、多くの制約がありました。組織は AI の利用を、一般的なコンテンツの作成、世間の動向の分析、定型業務の自動化など、機密性の低いデータセットに制限していました。組織の独自データを組織外に移動するリスクを許容できなかったためです。この状況は今もあまり変わっていません。そのため、ミッションクリティカルなワークフローへの AI の適用は見送られてきました。例えば、金融機関は取引ログを安全に分析できず、医療機関は患者記録から洞察を得ようとせず、メーカーは独自のセンサーデータを使ったオペレーションの最適化をためらう状況が続いています。

しかし、Cloudera はデータと AI に対応する唯一の真のハイブリッドプラットフォームとして限界の枠を押し広げ、お客様が自社の仮想ファイアウォール内において、同じ AI ワークロードをあらゆるクラウドとデータセンターで実行できるようにします。プライベート AI を利用することで、企業は Llama3 や DeepSeek などのモデルを、データセンター、AWS や Microsoft Azure などの安全なクラウド、ハイブリッドアーキテクチャなど、既存のあらゆるデータ環境に直接デプロイできます。あらゆる企業データを AI で活用することで進化を遂げ、レポート作成などの基本的なタスクから、独自のセンサーデータの分析によるオペレーションの最適化、リアルタイムの取引ログに存在する異常の検出、顧客とのやり取りのパーソナライズなど、ミッションクリティカルな課題を解決できるようになります。しかもそのすべてを、暗号化、アクセスポリシー、コンプライアンスガードレールによって管理できるのです。

これが制約のない AI です。つまり、データを自社で所有し、モデルを自社のインフラストラクチャーに適応させ、自社のリスク許容度に合わせてイノベーションを推進できます。Cloudera なら、プライバシーを制約とみなさずに AI の基盤とし、安全かつシームレスに自社の条件に従ってビジネスのあらゆる領域を変革できます。

Cloudera AI: プライベート AI の構築と実行

Cloudera AI は、イノベーションと統制の二者択一を迫るのではなく、両方を活用できるように構築されています。当社の以下のサービスを利用すれば、AI をプライベートに構築して実行できます。

• Cloudera AI Workbench: ローコードから複雑なコーディングにまで対応する柔軟なプラットフォームで AI 開発を加速します。このプラットフォームは、プライベートデータを活用して、アイデアを本番環境向けのソリューションにすばやく変換することで、モデルの構築と調整やアプリケーションとエージェントの開発を可能にします。
• Cloudera AI Inference: 本番環境に対応したサービスであり、AI モデル、アプリケーション、エージェントをエンタープライズ規模でデプロイできます。ネイティブに統合され、モデル向けに最適化されたマイクロサービスにより、Cloudera プラットフォーム上での推論を36倍速く処理できるため、応答性に優れた高性能 AI の実現を可能にします。また、総所有コスト (TCO) を見積もることができ、ユーザーは速度、規模、コストのいずれも妥協する必要がありません。
• Cloudera AI Registry: AI ライフサイクル全体の中心的なハブとして、モデルの開発と運用を橋渡しします。オープンソースコミュニティや当社の AI パートナーが構築し、最適化された数百のモデルを利用できるため、最先端の技術進歩をいつでもすぐに活用し、簡単に統合して、AI への継続的な取り組みに適用できます。

この記事は、2025/2/24に公開された「The Strategic Importance of a Unified Data Platform」の翻訳です。

今日、組織はデジタル製品の市場投入までの時間を短縮し、運用モデルのあらゆるレイヤでオペレーショナルエクセレンスを促進し、競争力を維持するなど、主要な分野を強化するための変革に継続的に取り組んでいます。ただし、機密性の高い組織データを扱う場合は特に、このような取り組みの進展がコスト効率やサイバーセキュリティを犠牲にしないようにする必要があります。

パブリッククラウドやプライベートクラウドに移行して、運用上の多くのメリットを活用しようとしている組織は、単一プロバイダーのソリューションから脱却しつつあります。Flexera 社の最新の『State of the Cloud Report』によると、現時点で89% の組織がマルチクラウド戦略を採用しています。また、多くの組織がクラウドとオンプレミスのデータセンターを組み合わせたハイブリッド環境を管理しています。ハイブリッドクラウドでは、クラウドがもたらすイノベーションを可能な限り活用しながら、機密データなどのビジネスクリティカルな領域で完全な統制を維持したり、総所有コスト (TCO) の効率が高いインフラストラクチャーと運用方法を選択したりできるため、最大限の柔軟性を得ることができます。

一方、データの成熟度という点では、組織は多くの課題に直面しています。例えば、業界固有の規制要件、洞察の提供に関するさまざまなサービスレベル契約 (SLA)、技術スキルや能力のレベルの違いといった問題です。このようにさまざまな課題があるにもかかわらず、ほとんどの企業は、データ・インジェスチョン (データ採取)、データエンジニアリング、分析、可視化、機械学習 (ML)、人工知能 (AI) のプロセスにおいて、単一の確立された分析ライフサイクルに従っています。しかし、データの急激な増加と、その価値を引き出すためのツールの急増が、大きな障害をもたらしています。具体的には、人材の不足に加え、さまざまなツールが混在した複雑なエコシステムの管理に伴うメンテナンスの負担が、生産性と収益性の低下を引き起こしています。

生産性と収益性を組織全体で向上させるには、クラウド運用、分析、データサイエンスの機能を連携させたシームレスなフレームワークを利用して、相互運用性、自動化、セキュリティ、ガバナンスを促進する必要があります。

クラウドセンターオブエクセレンスの戦略的重要性

Flexera 社のレポートによると、多くの組織 (63%) がクラウドセンターオブエクセレンス (CCoE) をすでに設置しているか、来年中に設置する予定 (14%) です。ただし、大企業ではすでに CCoE を設置している割合が70% だったのに対し、中小企業 (SMB) では29% に過ぎません。さらに大企業では、約15% が今後1年以内に CCoE をさらに新設し、6% がそれ以降に CCoE の新設に乗り出す見込みです。一方で SMB では、将来的に CCoE の設置を計画している割合は4分の1強 (26%) に留まりました。

組織横断型の CCoE は、組織のチームやリーダーシップに指針を示す役割を担うとともに、他のチームでも有効活用できるツールやドキュメントを提供することで、認知負荷を軽減しながら、クラウドネイティブの成熟度を加速させます。こうすることで、クラウドコンピューティングの多くの課題を克服し、各チームがビジネス価値の創出により多くの時間を費やせるようサポートします。CCoE の具体的な役割は以下のとおりです。

1. 専門知識の統合: CCoE は、テクノロジーに限らず、重要な分野に精通したさまざまなチームや事業部門の優秀な専門家で構成された中心的な組織です。CCoE のメンバーは各チームや専門分野のリーダー的存在であり、コミュニケーション能力が高く、リーダーシップがあり、ビジネス感覚や高い共感能力を備えています。

CCoE は優れた意思決定と戦略策定を促進し、チームを問わず利用できる資産を構築して組織のあらゆるチームを強化します。

2. ガバナンスとコンプライアンス: ガバナンスポリシーを策定し、規制基準、優れた設計のフレームワーク、セキュリティフレームワーク、ビジネスに不可欠な設計方針への遵守を徹底します。これらのポリシーにより、クラウドとデータ運用全体で、セキュリティやリスク管理を効率的に強化できます。
こうした重要な点に加え、Cloudera が提供している製品は、さまざまな業界で運用に必要とされるセキュリティ認証のほとんどをすでに取得しているため、すぐに利用することが可能です。

3. コストの最適化: クラウドリソースの使用を最適化し、コスト管理戦略を導入することで、全体的なクラウドコストの削減を支援し、すべてのチームが従うべき FinOps 戦略を策定します。

4. ポートフォリオの階層化: CCoE の主な目標の1つは、再利用可能な成果物、すなわち組織がセルフサービスで利用できる製品設計図を作成することです。これにより、クラウドのアーキテクチャ、開発、運用に関するベストプラクティスを踏襲し、クラウドベースサービスの効率と信頼性が向上します。この手法を実現する最も効果的なアプローチの1つとして挙げられるのが、リファレンスアーキテクチャの構築です。

5. スキル開発: トレーニングとリソースを提供して従業員のスキルアップをサポートし、継続的な学習とイノベーションの文化を育みます。

6. クラウド導入の加速: 指導とサポートを通じて組織におけるクラウドテクノロジーの採用を加速することで、市場投入までの時間を短縮して、イノベーションを実現します。

7. リスクの軽減: 徹底的な評価を実施し、リスク軽減戦略を導入することで、クラウドの移行と運用に関連するリスクを最小限に抑えます。

8. 標準化: クラウドのデプロイと管理に関する基準とフレームワークを確立し、さまざまなクラウド環境間で一貫性と相互運用性を促進します。

9. ベンダーの管理: クラウドサービスプロバイダーとの関係を管理することで、組織の目標との整合性を確保したり交渉を有利な条件で進めたりできるようにします。

10. ビジネスの俊敏性: 俊敏なアプローチと継続的な改善の取り組みを通じて、変化する市場のニーズやチャンスに組織がすばやく対応できるようにします。

Cloudera は、最新のデータ課題に取り組む大企業が真っ先に候補として挙げるソリューションです。さまざまな事業部門間で製品ポートフォリオを標準化しながら、データの成熟度とクラウドネイティブなプロセス (世界トップレベルのセキュリティ、監査、データリネージなど) を維持する取り組みで、世界中の CCoE を支援しています。当社の統合プラットフォームは、クラウドの導入や本番環境に対応した AI のデプロイなど、組織が重要な課題に対処し、その課題を克服するための独自の機能を提供します。

Cloudera は、データライフサイクル全体を管理するエンタープライズグレードのプラットフォームです。業界標準に準拠しながら迅速かつ安全に導入できるように設計されているため、エンドユーザーは、企業のポリシーに沿ってデータから価値を引き出すことに集中できます。また、価値実現までの時間を短縮できるため、IT チームや研究開発チームは、開発や統合の課題への対処ではなく、ビジネス目標の達成に注力できるようになります。Cloudera のハイブリッドプラットフォームが、データ、分析、AI に関してもたらす主なメリットは以下のとおりです。

• 「エッジから AI まで」をカバーし、運用業務を減少またはゼロにするセルフサービス型のプラットフォーム: IoT の現場管理やデータの取り込みからセルフサービスモデルによる AI の活用まで、データライフサイクル全体への対応を、場所にかかわらず大規模に実現します。
• エンタープライズ向けサポート、移行の促進プログラムや支援、プロフェッショナルサービス: Cloudera は、お客様のクラウド移行を促進し、プロジェクトの成熟度を向上させる革新的なツールとプロフェッショナルサービスをまとめて提供することで、コスト効率を高めます。
• 最もオープンで包括的なデータプラットフォーム: ベンダーロックインを回避するために、オープンソースプロジェクトを統合してモダンデータアーキテクチャに対応できるように設計されています。当社は、オープンソース、オープンな基準、オープンな市場がイノベーションの次の波を引き起こすと確信しています。オープンソースはもちろん、コミュニティでの共同開発や知識の共有が、あらゆる組織に力をもたらすはずです。
• セキュリティ: Cloudera は最近、FedRAMP の「In Process」の段階に到達し、AI を安全かつ迅速に導入できる真のハイブリッドデータプラットフォームを、米国政府のあらゆる機関に提供できるようになりました (SOC2 と ISO27001 の認定は取得済み)。また、社内のセキュリティ承認、情報セキュリティ、法的業務においてプロジェクトリーダーを支援しているほか、明確な責任共有モデルを通じて、プラットフォームソフトウェアへのパッチの適用、共通脆弱性識別子 (CVE) への対応、インフラストラクチャーのライフサイクル管理を担っています。お客様やパートナーに必要な作業は、メンテナンス期間に合わせて、必要な更新作業を計画することだけです。
• あらゆるコンピュートフォームファクタに対応した統合的なガバナンスと監査: これほど広い範囲をカバーしたガバナンス機能や、ハイブリッドとマルチクラウドの統合機能を備えた包括的なデータライフサイクル管理プラットフォームは、他にありません。

クラウド運用とデータ分析を組み合わせた最新の統合データプラットフォームを活用することで、重要なタスクをシームレスに自動化し、最も厳しいセキュリティ要件とガバナンス要件を遵守しながらデータを活用できるようになります。

Cloudera のデータプラットフォームの詳細については、こちらをご覧ください。

Cloudera のもたらすメリット

画像: AI エージェントは、Cloudera AI Inference サービスのプライベートな環境でホストされた LLM を活用します

画像: Cloudera AI Inference と統合された AI エージェントのアーキテクチャにより、SOC の業務で使用するプライベート環境の LLM や企業データとの連携を可能にします

画像: AI エージェントは、Cloudera AI Inference サービスのプライベートな環境でホストされた LLM を活用します

この記事は、2025/1/23に公開された「AI-Driven SOC Transformation with Cloudera: Enhancing Security Operations with Agentic AI」の翻訳です。

セキュリティオペレーションセンター (SOC) は、組織のサイバーセキュリティの基盤であり、脅威の検出、調査、対応をリアルタイムで実行する責任を担っています。しかし、サイバー脅威の複雑さと数が増えるにつれて、大きな課題が生じています。SOC チームは多くの場合、アラート疲れやスキル不足、そして時間のかかるプロセスに悩まされています。

生成 AI とエージェント型 AI を組み合わせて使うことで、革新的なアプローチでこうした問題に対処できます。定型作業を自動化し、脅威を事前に軽減し、実用的な洞察を提供する人工知能 (AI) が、SOC の新たな未来像を築こうとしているのです。このブログでは、Cloudera のエージェント型 AI を使って、SOC の対応能力を高め、安全で効率的な運用を実現する方法について説明します。

セキュリティオペレーションセンター (SOC) の課題

Trend Micro 社の調査によると、SOC アナリストの70% がアラートの多さに圧倒されていると答えています。また、Tines 社の別のレポートでは、64% がストレスや燃え尽き症候群を理由に退職を検討していることが分かりました。さらに、72% の組織が機密データの保護について懸念しており、プライベートな環境でホストされた AI ドリブンなソリューションが、こうした課題への対処に不可欠であることが浮き彫りになっています。

疲弊するアナリスト: SOC アナリストは、さまざまなソースから発せられる何千件ものアラートに日々対処しています。この数の多さがアラート疲れを招き、実際の脅威に対する迅速な優先順位付けや効果的な対応を妨げています

熟練アナリストの不足: サイバーセキュリティの人材不足は、今に始まった問題ではありません。SOC 経験豊富な人材に対する需要が供給をはるかに上回っていることか、組織はチームの規模を拡大して強力な防御態勢を維持することが困難になっています。

時間のかかる文書化: インシデント対応では、レポート、監査報告書、関係者向けの概要レポートなど、詳細な文書を作成する作業が必要です。こうした人手による作業が原因で、アナリストは本来の調査業務に専念することができません。

ネットワーク上の機密データ: ネットワーク上の機密性の高いデータを処理しながら高度な AI テクノロジーを統合するには、万全のセキュリティ対策を通じて、データ侵害を確実に防止し、コンプライアンスを確保することが不可欠です。

AI エージェントとは？

AI エージェントは自律的なソフトウェアシステムで、環境に応じて動作しながら、データを収集し、その情報を活用することで、事前に定義された目標を達成するためのタスクを自律的に行います。AI エージェントは AI 分野の中心的な概念であり、意思決定、問題解決、学習といった人間の知的な活動を模倣しながら、ある程度自律的に動作するように設計されています。目標は人間が設定しますが、その目標の達成に最も効果的なアクションは AI エージェントが自ら判断します。

エンタープライズ環境の統合による包括的な文脈の理解

過去のインシデント、ネットワークトポロジー、対応手順など、企業固有のデータを統合することで、AI モデルは非常に関連性の高い洞察を生成できるようになります。こうした文脈を AI モデルが理解することで、その精度と SOC 固有の要件への適用性が向上します。

例えば SOC のユースケースでは、脅威の検出と対応を担う AI エージェントが、ネットワークトラフィックの継続的なモニター、セキュリティログの分析、複数のソースデータの相関付けを通じて、潜在的な脅威を特定することが想定されます。AI エージェントは異常を検出すると、深刻度を評価したり、修復作業を提案したりできるほか、影響を受けたシステムの隔離といった対応を自動で行うこともできます。また、微妙な意思決定を必要とする場合や、AI エージェントの対応範囲を超えるような状況では、AI エージェントはそのインシデントを文脈に即した詳細な洞察とともに人間のアナリストにエスカレーションし、より迅速で情報に基づいた対応を可能にします。

エージェント型 AI ソリューションの主な特長とメリット

エージェント型 AI ソリューションを採用している組織は、よくある脅威シナリオの最大40% に自動対応できるため、ひと月あたり数百時間ものアナリストの業務時間を節約できます。その結果、節約した時間をインパクトの大きい業務に充てることができ、組織全体のセキュリティ態勢が強化されます。

インシデントイベントを要約: 生成 AI は大量のイベントデータを処理してまとめ、インシデントの簡潔な要約をアナリストに提供できます。アナリストは、ログやアラートをひとつ1つ精査することなく、イベントの範囲や性質をすばやく把握できるため、迅速な意思決定が可能になります。

脅威を事前に軽減: エージェント型 AI は、予測分析を活用して潜在的な攻撃経路を予測し、脅威が完全に顕在化する前に緩和戦略を提案します。この機能により、組織は攻撃者に先手を打つことができます。

修復作業を提案: AI を活用したアシスタントは、過去のインシデントとベストプラクティスの分析に基づいて、修復手順を提案できます。影響を受けたシステムの隔離や脆弱性へのパッチの適用、セキュリティ設定の更新といった実用的な洞察を提供してアナリストをサポートします。

アナリストのコーディングを支援: 生成 AI はコーディングアシスタントとしても活用でき、アナリストが新しい調査用ノートブックや検出アルゴリズムを開発する際に役立ちます。このように利用すると、カスタムスクリプトやツールの作成が効率化され、SOC チームが独自の脅威により効果的に対処できるようになります。

SOC チームが直面する課題には、革新的でスケーラブルな解決策が必要です。Cloudera プラットフォームを活用した生成 AI とエージェント型 AI は、業務の効率化、ワークロードの削減、脅威対応の改善を通じて、SOC の運用を変革します。

Cloudera なら、自社向けにカスタマイズされた AI ソリューションを導入して、データのセキュリティとコンプライアンスを確保できます。データ管理、高度な分析、機械学習、AI に対する Cloudera の統合的なアプローチを活用することで、SOC を将来に備えて強化し、サイバーセキュリティの課題に先手を打つことが可能になります。

エージェント型 AI によるセキュリティ運用の強化

生成 AI は、こうした課題に対する有望な解決策を提供します。プライベートな環境でホストし、企業のニーズに合わせて調整した生成 AI の基盤モデルを導入し、さらにエージェント型 AI の機能も取り入れることで、データのセキュリティとコンプライアンスを維持しながら、SOC の対応能力を高めることができます。

SOC の分野において、AI エージェントは自律的で適応性の高いシステムとして、サイバーセキュリティの状況を認識し、脅威の文脈を理解し、リアルタイムでインテリジェントに対応します。

AI エージェントによるプロアクティブで自律的なセキュリティ対策

エージェント型 AI は、生成 AI の機能を土台に、自律性や能動性を積み重ねることで実現します。SOC システムでエージェント型 AI を利用すると、以下が可能になります。

• 脅威を積極的にモニターしてリアルタイムで対応する。
• SOC の日常的なタスクを自動化し、人間の介入を最小限にする。
• 状況に即した意思決定をサポートし、アナリストの認知的負荷を軽減する。

AI エージェントとプライベートな環境でホストされた AI モデル (LLM) の統合

データの機密性を確保するには、生成 AI モデルを安全な環境にデプロイする必要があります。Cloudera AI Inference サービスを利用すれば、オンプレミスまたはクラウドで AI モデルをホストし、AI の力を活用しながらコンプライアンスを維持できます。

これにより、自社独自のデータすべてを組織の VPC 内に残したまま、自社の AI エージェントと Cloudera でホストされている AI モデルがやり取りできるようになります。さらに、企業内のツールや環境と連携して、追加のアクションを実行したりフィードバックを送信したりすることも可能です。

この記事は、2025/4/30に公開された「How Customized Professional Services Elevate Customer Experience in Product Companies: A Technical Perspective Using Apache Trino Integration」の翻訳です。

今日のデジタル経済において、製品を提供する企業は、高品質な製品だけに頼ることはできません。競争の激しい市場で差別化を図るには、シームレスでパーソナライズされた顧客体験を提供することが今や不可欠です。そこで役立つのが、カスタマイズされたプロフェッショナルサービス（CPS）です。

CPS は、各クライアントのニーズに合わせたオーダーメイドのソリューション、専門的な知見、継続的なサポートを提供することで、標準的な製品提供を超えた価値を実現します。本ブログでは、Apache Trino との統合を具体例として挙げながら、CPS がどのように顧客体験を向上させるのかを解説します。

カスタマイズされたプロフェッショナルサービスとは何ですか？

CPS は、顧客の個別の要件に対応するように設計されたカスタマイズサービスです。標準のソリューションとは異なり、CPS ではクライアントの目標、課題、環境を深く理解するための密接な協働を行い、非常に具体的な成果を提供します。

• コンサルティングと戦略開発：顧客がビジネス目標を達成するために、製品を最適に活用する方法を支援します。

• 製品のカスタマイズと構成： 顧客固有のニーズに合わせて製品を調整します。

• 導入と統合：製品を顧客の既存インフラにシームレスに統合できるよう対応します。

• 継続的なサポートと最適化：継続的なサポートを提供し、時間の経過とともに改善のための提案を行います。
  

CPS は複雑なエンタープライズ向けソリューションと関連付けられることが多いですが、既製品だけでは満たせない顧客ニーズがある業界であれば、どの分野でも価値を発揮します。

顧客体験向上における CPS の重要性

顧客体験とは、顧客が企業と行うあらゆるやり取りを指します。これは、顧客満足度やロイヤルティを左右する重要な要素です。顧客が、個別の課題を理解し、カスタマイズされたソリューションを提供してくれていると感じられると、より深く価値のある関係が築かれます。CPS は、以下の提供を通じてこれを実現します。

1. 独自のニーズに応えるためのカスタマイズされたソリューション

すべてのビジネスは異なり、既製品では特定の顧客要件に対応するための柔軟性が不足していることがよくあります。CPS を活用することで、企業はソリューションをカスタマイズし、既存システムと統合し、汎用的な製品では実現できない形で価値を創出できます。

例えば、複数のソースに分散した大規模データセットをクエリするためのデータ分析ソリューションを顧客が必要としている場合、カスタマイズされたサービスによって、その製品が顧客のデータアーキテクチャ、ワークフロー、ビジネス目標にシームレスに適合するようにできます。

2. 価値実現までの時間短縮

CPS は、迅速なオンボーディング、スムーズな導入、阻害要因の除去を通じて、顧客が製品のメリットをより早く享受できるよう支援します。その結果、ROI（投資利益率）の向上と顧客満足度の向上につながります。

3. 専門家の指導とサポート

CPSを利用することで、顧客は専門的な知見、トラブルシューティング、そして戦略的なアドバイスを得ることができます。これは、環境が複雑な場合や社内の専門知識が限られている場合に特に有用です。

4. 長期的なパートナーシップと関係構築

カスタマイズされたサービスを提供することで、企業はより強固な関係を築くことができます。自分のニーズが理解され、支援されていると感じる顧客は、企業へのロイヤルティを維持しやすく、追加のサービスや製品も利用しやすくなります。

5. 拡張性と柔軟性

CPS は、ソリューションが顧客のビジネスの進化に合わせて成長・変化することを可能にします。成長を支えるためのスケーリングや、新たな市場ニーズへの対応など、CPS は顧客が必要とする機動力を提供します。

Apache Trino 統合：カスタマイズされたプロフェッショナルサービスのケーススタディ

Apache Trino（旧称はPrestoSQL）は、高速で分散型の SQL クエリエンジンであり、複数のデータソースにまたがる大規模データセットをクエリするために設計されています。リレーショナルデータベース、NoSQL システム、クラウドストレージプラットフォームなど、さまざまなストレージシステム上のデータをリアルタイムでクエリすることが可能です。その汎用性により、複雑なデータアーキテクチャへの統合に最適であり、CPS は顧客体験の向上において重要な役割を果たします。

Apache Trino を顧客のデータエコシステムに統合する際に、CPS がどのように顧客体験を向上させるかを詳しく見ていきましょう。

1. カスタマイズされた Trino の導入と構成

Apache Trino は強力なツールですが、各組織の特定のデータインフラストラクチャに適合させるための設定は複雑になる場合があります。Cloudera が提供する CPS を利用することで、顧客はカスタマイズされた Trino の導入を実現でき、自社の独自環境で最適に機能させることができます。以下がその例です。

• Cloudera Manager との統合：CM Parcel および CSD ファイルを開発し、Apache Trino をCloudera Manager と統合してアドオンサービスとして提供します。
  

• クラスタサイズの決定：顧客のデータ量、クエリの複雑さ、パフォーマンス要件に基づき、適切なクラスターサイズを決定します。
  

• セキュリティとコンプライアンス：顧客のセキュリティ要件を満たすために、アクセス制御、暗号化、およびコンプライアンス機能を設定します。
  

CPS は、Trino を単に導入するだけでなく、最適化し、安定させ、セキュリティも強化します。

2. 多様なデータソースとの統合

Trino はデータレイク、データウェアハウス、クラウドプラットフォームといった複数の環境にまたがってクエリを実行できる強力な機能を備えていますが、その統合は複雑になる場合があります。CPS は、以下のような形でこれを支援します。

• データコネクタの設定：Hadoop、S3、Teradata など、さまざまなデータソース向けのコネクターを設定します。
  

• データマッピング：スキーマのマッピング、競合の解決、データ形式の標準化を行い、さまざまなソースのデータをシームレスにクエリできるようにします。
  

• ETL の最適化：Trino がデータを効率的にクエリできるよう、抽出・変換・ロード（ETL）プロセスの最適化を支援します。
  

CPS により、Trino は統合されたクエリレイヤーとして機能し、顧客がデータを包括的に把握できるよう支援します。

3. 高度なクエリ最適化とパフォーマンスチューニング

Apache Trino は高性能なクエリ実行のために設計されていますが、速度と効率を最大化するためには、クエリの最適化で支援が必要になる場合があります。CPS を活用することで、製品を提供する企業は以下のような形でパフォーマンスチューニングを行うことができます。

• クエリの最適化：効率的な SQL クエリの作成を支援し、関連するカラムへのインデックス付けや、複雑な結合や集計をより適切に実行する方法を提案します。
  

• クエリプラン分析：クエリ実行プランを分析し、ボトルネックを特定するとともに、パーティション分割、インデックス作成、キャッシュなどの最適化を行います。
  

• リソース割り当て：さまざまなワークロード下で最適なパフォーマンスを発揮できるよう、Trino クラスターのリソース（メモリ、CPU など）の割り当てを調整します。
  

このようなきめ細かなサポートにより、顧客は複雑な分析ワークロードを迅速かつコスト効率よく実行できるようになります。

4. 継続的な監視と支援

導入後も、CPS は以下のような重要なサービスを提供します。

• プロアクティブな監視：Trino クラスターの稼働状況を監視するツールやダッシュボードを設定し、問題を早期に検知して顧客への影響が出る前に対処します。
  

• トラブルシューティングとサポート：Trino システムで発生する問題（クエリの失敗、パフォーマンスの問題、統合の問題など）に対して、実践的なトラブルシューティングとサポートを提供します。
  

• トレーニングと技術的知見の共有：顧客チームが将来的に自律的に Trino を運用・最適化できるように、トレーニングセッションを提供します。
  

このような包括的なサポートにより、初期導入後も、顧客は Trino 統合を継続的に活用し、価値を享受できます。

カスタマイズされたプロフェッショナルサービスで先を行く

カスタマイズされたプロフェッショナルサービスは、顧客体験を飛躍的に高める鍵となります。カスタマイズされたソリューション、専門的なガイダンス、長期的なサポートを提供することで、企業は顧客が Apache Trino のような強力なツールを最大限に活用できるよう支援し、より強固でロイヤルティの高い関係を築けます。

ビジネスニーズがますます複雑化するなかで、CPS の導入は賢明な選択であるだけでなく、競争力を維持するために不可欠です。

RAG ワークフローの重要な段階（ パーティション分割、チャンク化、埋め込み、挿入）を順に見ていき、Cloudera のテクノロジーがそれぞれの工程をどのように簡素化するかをご紹介します。

データパーティション分割：RAG の基盤

RAG ワークフローの最初の重要なステップは、パーティション分割です。このプロセスでは、大規模で時には非構造化データソースを意味のあるセグメントに分割し、非構造化データをプログラム的に反復処理できるようにします。もちろん、パーティション分割を行わなくても検索プロセス自体は可能ですが、処理をより細かく制御できるほど、さまざまなデータソースに対応したフローを柔軟に構築できます。パーティション分割によって、データはユーザーのクエリ方法に沿った、扱いやすい単位に構造化されます。

パーティション分割の戦略は、データの性質によって異なります。たとえば、セクションの見出しごとにパーティション分割することで、ユーザーマニュアルのような長文ドキュメントを処理する際に、より整理された検索が可能になります。対照的に、チャットログのような会話データの場合は、会話の流れを保つためにタイムスタンプごとに内容を分割することがあります。もう1つの重要な考慮点はトークン制限です。ほとんどの埋め込みモデルには、一度に処理できるトークンサイズがあらかじめ定められているため、最適なパフォーマンスを確保するには、パーティション分割をこれらの制約に合わせる必要があります。

明確に定義されたパーティション分割のアプローチは、RAG アプリケーションの精度、効率性、使いやすさを維持するのに役立ちます。開発者は、最も関連性の高いデータのみを取得して LLM に渡し、不要な計算負荷を最小限に抑えることで、応答品質を最適化できます。

チャンク化：コンテキストの保持を確保

パーティション分割が完了したら、次のステップはチャンク化です。チャンク化とは、関連するパーティションをまとめて、意味のあるコンテキストを維持することです。パーティション分割がコンテンツを基本的な要素に分割するのに対し、チャンク化はそれらの要素間の関係性を保ち、コンテキストの欠落を防ぎます。

たとえば、法的文書では、条項や規定が複数の段落にわたることがあります。これらを細かく分割しすぎると、ユーザーのクエリに基づいてコンテンツを検索する際に、意味が失われる可能性があります。チャンク化は、関連するテキストセグメントを、まとめて論理的に完結した単位にすることで機能します。これにより、ユーザーがクエリを実行した際、モデルは十分なコンテキスト情報を受け取り、正確で適切な応答を生成できるようになります。

チャンク化の戦略は、データセットの性質によって異なります。中には、あらかじめ定められたトークン数に基づいてセグメントをまとめる、シンプルな固定長のチャンク化を用いる方法もあります。さらに高度な戦略としては、ドキュメントのタイトルを関連するテキストと一緒にチャンク化する方法があります。

効果的なチャンク化は、検索精度を高め、検索の遅延を最適化し、LLM が生成する応答がコンテキストを踏まえた正確な応答が得られるようにします。さらに、コンテキスト保持を最大化するチャンク化戦略を決定することで、あらかじめ定めたチャンクサイズの情報を基に、埋め込みモデルの判断を支援できます。

埋め込み：テキストを検索可能なベクトルに変換

適切に構造化されたチャンクが配置されたら、RAG ワークフローの次のステップは埋め込みです。埋め込みはテキストを数値で表現したもので、機械がさまざまなテキストセグメントの意味を理解し、比較できるようにします。埋め込みを行わない場合、RAG アプリケーションは単純なキーワード検索に限定され、真の意味でのセマンティック検索に必要なコンテキストの理解が欠如します。

埋め込みは、トークン化、ベクトル変換、保存を含む多段階のプロセスです。テキストチャンクが埋め込みモデルを通過する際、まずトークンに分割されます。これらのトークンは、テキストの本質を捉えた高次元ベクトルに変換され、ユークリッド距離（L2）やコサイン類似度といった数学的な類似度検索に適した形式になります。

適切な埋め込みモデルを選択することは極めて重要です。一部のモデルは汎用的な検索向けに最適化されていますが、他のモデルは法務、医療、技術文書といったドメイン特化型アプリケーション向けに微調整されています。もう1つの重要な考慮事項はベクトルの次元数であり、ベクトルデータベースのスキーマと一致している必要があります。ベクトルサイズが一致していないと、検索の非効率や互換性の問題を引き起こす可能性があります。

テキストチャンクがベクトル表現に埋め込まれると、類似度指標を用いて検索可能になります。これにより、ユーザーのクエリに基づいて最も関連性の高いコンテンツを非常に効率的に検索でき、RAG 搭載アプリケーションの精度と応答性が大幅に向上します。

Cloudera Data Flow は、非常に強力でありながら使いやすい埋め込みプロセッサを提供し、データフローの機能を進化させるとともに、プロセッサのコンテキスト内でモデルを活用できるようにします。API を呼び出す必要はありません（GPUも不要です）。このプロセッサには、次の3つのシンプルなプロパティがあります。

この記事は、2025/4/22に公開された「What no one tells you about RAG」の翻訳です。

RAG アプリケーションの構築 - 細部に宿る課題

検索拡張生成（RAG）アプリケーションの構築は、データ・インジェスチョン (データ採取)、処理、検索を慎重に扱う必要があり、すぐに複雑化する可能性があります。従来、開発者はデータのチャンク化、埋め込みの挿入、ベクターデータベースの統合といった工程を順に進めてきました。

しかし、RAG ソリューションを実装する際によくある落とし穴の1つは、これらのコンポーネントが相互に依存していることを理解していない点です。開発者は、「このデータはそのままチャンク化できるのか、それともチャンク化する前に精査すべきか？」という問いを投げかける必要があります。

Cloudera Data Flow と Cloudera 独自の RAG パイプラインプロセッサは、非構造化データをパーティション分割によって精製し、より効果的なチャンク化と高品質なベクター埋め込みを実現することで、複雑な処理を簡素化します。不適切に設計されたパーティション分割やチャンク化は、パフォーマンスや埋め込みの品質を損なう可能性がありますが、Clouderaのツールはこれらの複雑さの多くを抽象化し、効率的で信頼性の高い RAG ソリューションの開発を容易にします。

これにより、各データフローに最適な埋め込みモデルを選択できるよう、きめ細かな制御が可能になります。

埋め込みチャンクをベクトルデータベースに挿入することで、効率的な検索を実現

RAG ワークフローの最終ステップは、埋め込み済みチャンクをベクトルデータベースに挿入することです。ベクトルデータベースは、高速な類似度検索を実行できるよう設計されており、ユーザーがクエリを実行した際に、関連性の高いコンテンツを効率的に検索できます。

正確な一致のために構造化インデックスに依存する従来型データベースとは異なり、ベクトルデータベースは、ANN や KNN といったアルゴリズムを用いた類似度検索によって、ユーザーのクエリに近い埋め込みを見つけ出します。これにより、RAG アプリケーションは、クエリの表現が保存されているテキストと異なっていても、意味的に関連性の高いコンテンツを検索できるようになります。

埋め込みデータがベクトルデータベースに挿入されると、システムはリアルタイムでのクエリの実行が可能な状態になります。ユーザーがリクエストを送信すると、クエリは埋め込みに変換され、保存されたベクトルと比較され、最も関連性の高い結果が取得されます。これが LLM の応答の基盤となります。

Cloudera Data Flow は、Milvus、Pinecone、Chroma などの多くの VectorDB 接続プロセッサを提供しており、今後さらに追加される予定です。

今すぐ RAG アプリケーション開発を効率化

Cloudera Data Flow とその専用 RAG パイプラインプロセッサを活用することで、企業はこれまでにないほど容易に RAG アプリケーションを構築、展開、最適化できるようになりました。技術的な複雑さの多くを抽象化し、開発者が扱いやすい形にすることで、Cloudera のソリューションは、検索精度の向上、応答生成の最適化、そして全体的なユーザー体験の改善に集中できる環境を提供します。

企業は、Cloudera の独自のパーティショニング、チャンク化、埋め込み、VectorDB 統合プロセッサを活用することで、効率的にスケールし、正確でコンテキストに応じた応答を提供する RAG ソリューションを迅速に実装できます。

Cloudera が RAG アプリケーション開発の効率化をどのように支援できるか詳しく知りたい方は、当社チームまでデモのご依頼や詳細情報の確認のお問い合わせをお願いします。もしくは、技術ドキュメントをご覧ください。

近日公開予定の高度な RAG 最適化アプローチの詳細解説をお見逃しなく！

さらに詳しく

Cloudera Data Flow 2.9 の新機能の詳細とデータパイプラインの変革に役立つ仕組みについては、こちらのビデオをご覧ください。

https://community.cloudera.com/t5/What-s-New-Cloudera/Cloudera-DataFlow-now-powers-GenAI-pipelines-and-supports/ba-p/388173

https://community.cloudera.com/t5/What-s-New-Cloudera/Cloudera-DataFlow-2-9-now-supports-building-GenAI-pipelines/ba-p/395546

この記事は、2025/4/21に公開された「The Breakout Year for Enterprise AI Agents」の翻訳です。

2025年はエンタープライズ AI にとって画期的な年になりそうです。生成 AI（GenAI）と大規模言語モデル（LLM）の進歩により、エージェント AI の変革力がすべてのIT リーダーの意識の最前線に浮上しました。単純なチャットボットと間違われがちですが、AI エージェントははるかに高度で、複雑で目標指向のタスクを実行できる自律的なツールです。その影響は、金融におけるリアルタイムの不正検知から、製造業におけるワークフローの最適化、医療分野における精密診断まで、すでにあらゆる分野に及んでいます。

AI エージェントへの投資と導入が急増する中、企業のリーダーは自社でこのテクノロジーをどのように優先的に位置付けているのでしょうか。この新たな AI の波を企業がどのように受け入れているのかを探るため、Cloudera は14か国のエンタープライズ IT リーダー1,484名を対象に調査を実施しました。調査結果は、AI エージェントへの強い取り組み姿勢だけでなく、企業がそれらを計画、導入、評価する方法における劇的な変化も明らかにしています。

企業はエージェント型 AI への投資を倍増

AI エージェントの導入はもはや実験的な取り組みではなく、戦略上の必須事項となっています。回答者の実に87％が、競争力を維持するためには AI エージェントへの投資が不可欠だと答えました。さらに注目すべきは、96％が今後12か月でエージェントの活用を拡大する予定であり、そのうち半数は企業全体での本格的な導入を目指しているという点です。​

投資の増加を考えると、エージェント型 AI の導入は、多くの企業にとって実際には比較的新しい動きです。実際、回答者の過半数（57％）が、自社での導入は過去2年間に始まったばかりであり、そのうち21％は直近1年以内に開始したと答えています。​エージェント型 AI の急速な受け入れは、企業が投資の優先順位をどのように付けているかにも表れています。

主要な投資分野には、その考え方が反映されています。企業は、生産性と回復力の双方を高めることが期待されるツールとして、パフォーマンス最適化ボット（66％）、セキュリティ監視エージェント（63％）、開発支援アシスタント（62％）を優先的に導入しています​。では、企業はどのようにしてこれらの AI エージェントを定着させているのでしょうか。調査回答者によると、66％が AI エージェントの開発と展開にエンタープライズ向け AI インフラプラットフォームを利用していると答えています。また、60％が既存の基幹アプリケーションに組み込まれたエージェント機能を活用しています。

導入が加速する中、これらの傾向は、企業にとって信頼性が高くスケーラブルなデータインフラストラクチャを整備することが急務であることを示しています。その導入への幅広い投資姿勢を踏まえると、企業は速やかにインフラを整備しなければならず、そうしなければエージェント型 AI への道のりで取り残されるリスクがあります。

AI エージェントが価値を生み出す領域と、その導入を阻む要因

AI エージェントが正常に実装されると、組織に多大な価値をもたらすことができます。企業が実感している具体的なメリットとしては、既存の生成 AI モデルの改善（81%）、顧客サポート（78%）、プロセス自動化（71%）、予測分析（57%）などのアプリケーションが挙げられます。

多くの企業において、これらの AI エージェントは IT 運用に最も深く組み込まれています（61%）。これに次いで、導入分野としてはカスタマーサポート（18％）とマーケティング（6％）が挙げられます。エージェントを IT 機能に導入している企業は、カスタマーサポートやマーケティングのユースケースにも展開する傾向が強く、IT がエージェント型AIのより広範な統合に向けた自然な出発点となっていることを示しています。​

そのメリットは明らかであり、AI エージェントに関連するユースケースは、企業の業務のあり方を大きく変革する可能性を秘めています。しかし、その先に進む道には依然として不安が伴います。具体的には、IT リーダーの半数以上が、エージェント型 AI の導入に際してデータプライバシー（53％）を懸念点として挙げており、次いでレガシーシステムとの統合（40％）や導入コスト（39％）が続いています​。

企業は、機密データを保護しつつ、それを AI ライフサイクル全体で活用できるようにするという、微妙なバランスを管理しなければなりません。その機密データが意図せず漏えいすれば、AI の出力品質を損なうだけでなく、DORA のような主要な規制への準拠を欠くというリスクも企業に生じます。

責任を持って構築された AI

多くの組織が抱える懸念は、結局のところ「信頼性」と「バイアス」という主要な課題に集約されます。AI エージェントがより多くの責任を担い、ミッションクリティカルな業務を管理するようになるにつれ、説明責任、公平性、透明性といった問題が最重要課題として浮上しています。企業の意思決定者の半数超（51％）が、AI システムにおけるバイアスに対して重大な懸念を抱いていると報告しています​。

偏見に対する理解が深まり、企業は説明責任を組み込み、AI を適切に管理するための追加の措置を講じています。回答者のかなりの数（38%）が、人間によるレビュー、多様化されたトレーニングデータ、正式な公平性監査を含むさまざまなプロセスを実施しています。これらのステップに加えて、さらに36%が、定期的な人間によるレビューや偏見検出ツールなど、偏見チェックのための対策を導入したと述べています。

しかし、すべての緩和策が進行中であるにもかかわらず、一部の企業には依然としてギャップが存在します。Cloudera の調査によると、回答者の14%が、これまで偏見に対抗するために最小限またはアドホックな対策しか講じていないと述べています。AI エージェントは説明責任と公平性がなければ機能できません。この技術を採用する企業は、バイアスが現実世界の成果に与える影響を軽減するために必要な措置を講じていることを確認する必要があります。

AI エージェントの採用を加速

2025年は、AI エージェントの採用が加速し、あらゆる企業に新たなユースケースを開拓する大きな年となるでしょう。そして、テクノロジーへの投資が加速するにつれて、長期的な成功のためには、AI エージェントの採用を優先することが急速に不可欠になっています。

Cloudera の調査（英語）で明らかになったその他の内容をぜひご確認ください。2025年における AI エージェントの現状をさらに詳しく掘り下げています。

この記事は、2025/5/8に公開された「Leading in the Age of AI」の翻訳です。

AI が役員たちの間で定期的に話題になるにつれ、多くの経営幹部が戦略、ガバナンス、実装に関して重大な盲点に直面しています。AI をネイティブに使いこなせるユーザーはほとんど存在せず、多くが高いレベルの目標を実用的で説明責任のあるシステムに結びつけるのに苦労しています。

その未来を探るために、天体物理学者から AI のソートリーダーに転向し、コンサルタント会社 XSAIA の CEO である Maya Dillon 博士を、ポットキャストThe AI Forecastにお招きしました。ホストを務める Paul Muller との対談の中で、Dillon 博士は AI における人間中心のリーダーシップの必要性と、AI がビジネスに与える全体的な影響を理解することの重要性を強調しています。

両者の対談で挙がった重要なポイントをいくつかご紹介します。

AIとは？共創の一形態

Paul：あなたにとってAIとは何ですか？

Maya：私にとって AI とは、共創を意味します。私個人についてもう少しお話しすると、履歴書には書かないような、クリエイティブな趣味があります。絵を描いたり、文章を書いたり、音楽を演奏したり。私にとって AI は、自分の声を強化してくれるものであってほしいと思って使っています。これは私が作り出す他のものでも同じことです。AI を取り入れて、アイデアを探したり、すでにあるものをレベルアップしたりするために活用しています。そのプロセスで、これは共創です。 

これが AI が意味することだと考えます。AI はすでにそこにあるものを強化してくれます。「AI は人間の知性を増強するものだ」という格言をお聞きになったことがあると思います。これこそが、AI の存在意義です。AI とは、私たちの最高の側面を引き出して、成長させてくれるものです。 

真のリーダーは「ただ導入する」というプレッシャーを捨て、AI に慎重にアプローチする

Paul：AI の分野で勝者となるのは、最高の技術を持つ者ではなく、優れたリーダーシップを持つ者だという考えについてお話しされていますね。これについて詳しくお聞かせください。

Maya：基本的に、AI ファーストのリーダーシップは、AI を単なる技術スタックとして捉えません。むしろ、戦略の観点から考えます。AI を採用する際、これを上手く活用する企業は、AI の全体的な影響を考慮します。 

それで、通常何がよく起こるかというと、人々は AI を IT や研究開発の枠に入れ、なぜ導入したのに変革が起こらないのか、なぜ創造的破壊者とはならないのか、と首をかしげます。こうしたことは、AI プロジェクトの開発と実装を開始する時点で、すでに現状を変え、現状に挑戦しているために起こる現象です。AI の開発と構築には、特定の質問をする必要があります。「解決しようとしている問題は何か？」「どのようにそれを解決しようとしているのか？」「誰のためか？」「どのように展開され、実際にどのような影響があるか？」などです。 

AI のリーダーは、ビジネスのあらゆる側面に関与します。このため、全体像を描いてリードしないと、常に連絡窓口から連絡窓口へ、場当たり的な対応に追われる羽目になります。そして、あったらいいと思う次の「最新テクノロジー」に翻弄され、周りが先を行く中、自分だけ遅れをとっているように感じられます。これは、他者が最も高速な、または最も洗練されたアルゴリズムを持っているからではありません。むしろ、今説明したように、AI を展開する人が誰であっても、X、Y、Z を達成するという見方を念頭に置いてソリューションを作成しているからです。 

Paul：大きなプレッシャーの問題もあります。「何かを始めなければ、競合他社が始めてしまう。とにかく始めて、後で散らかったものを片付けよう」というような。なぜそうなるのか教えてください。直感的に、それは悪い考えではないように思えるのですが。

Maya：その考え方が良くない理由は、AI は今や普及し広く浸透していて、あらゆる場面で使われており、ソリューションが企業だけでなく、人々の実際の生活にも影響を与えるからです。上手くいかなかった例、人命が影響を受けた例、評判が損なわれた例など、さまざまな事例を挙げるときりがありません。

もうひとつの大きな理由は、このアプローチが評判に悪影響を与えるからです。あるビジネスリーダーは、評判を築くには20年かかった一方、失うのには2分しかかからなかったと言っています。そして、評判が損なわれると、その価値と無形資産への損失は計り知れません。

メンターシップの力：上げ潮はすべての船を浮かび上がらせる

Paul:メンタリングの重要性を常に発信されていますね。これからメンターになろうとする人や、メンターからの学びを希望する人 (メンティー) へのアドバイスはありますか？

Maya：私はメンターとメンティーの両方を経験しました。誰かがメンタリングを求めてあなたのもとに来たときに、一つだけ忘れてはいけないことがあります。それは、「相手の成功はあなたの脅威ではない」ということです。成功とは限られたリソースを奪い合う「ゼロサムゲーム」だと今まで言われてきました。しかし、昔からある言葉に「他のキャンドルに火を灯しても、キャンドルの火は消えない」というものがありますが、まさにそのとおりです。

本当のところ、自分が誰かの成功を後押しすることで、自分自身の成功にもつながります。もしも、「だめだ。もし他の人を助けると、私の仕事や機会が奪われてしまう」という「欠乏マインド」にとらわれてしまったら、その「欠乏マインド」に迎合してしまいます。そして私たちは、その思い込みのなかに自分自身を閉じ込めてしまうことになります。

Maya Dillion 博士との対談の全編は、ポットキャスト番組「AI Forecast」をご確認ください。Apple Podcasts、Spotify、YouTubeでお聴きいただけます。

この記事は、2025/3/31に公開された「Announcing Cloudera’s Unified Runtime」の翻訳です。

Cloudera は、エンタープライズ企業がハイブリッドデータ管理の複雑さを克服し、運用をよりシンプルにできるよう支援しています。この取り組みの一環として、このたび Cloudera 7.3.1 リリースにおいて、Unified Runtime を発表しました。今回のアップデートにより、すべての環境間でワークロードのシームレスな移行、一貫した機能アクセス、同期されたアップデートが可能となり、お客様に真のハイブリッド体験を提供いたします。

「真のハイブリッド」とは

「真のハイブリッド」とは、単なるハイブリッドクラウドインフラを指すものではありません。真のハイブリッド体験を実現するということは、クラウド環境とオンプレミス環境の両方にわたって、データの管理、分析、ガバナンスをシームレスに行える柔軟性を組織にもたらすことを意味します。これにより、データの所在にかかわらず、一貫した運用、ポータビリティ、ガバナンスが可能になります。

真のハイブリッドにおける重要な要素のひとつは、データを中央処理拠点に移動させるのではなく、データが存在する場所でデータ処理を実行できることにあります。これにより、データ移動の必要性を減らし、より高速かつ効率的な分析を可能にします。Cloudera の Unified Runtime を活用することで、組織はサイロを解消し、機能性やユーザーエクスペリエンスを損なうことなく、コスト、パフォーマンス、コンプライアンスの最適化を実現できます。

Unified Runtime がもたらす大きな変化

Unified Runtime により、組織はクラウドとオンプレミスのデプロイメントを統合的に管理し、データと分析基盤を一体化して運用できるようになります。これにより、分析アプリケーションの開発を標準化でき、IT 管理が大幅に簡素化され、運用負荷の軽減にもつながります。

また、機能、更新、ワークフローがインフラストラクチャ間で一貫していることを保証し、すべての環境で同じように機能し、同じように感じられるようにします。これにより、ユーザーエクスペリエンスが劇的に向上します。

さらに、そしておそらく最も重要な点として、Unified Runtime はお客様に真のハイブリッド体験を提供する上で、極めて重要な役割を果たしています。Cloudera は、動的なワークロードポータビリティ、集中管理型のセキュリティ、そしてモダンデータアーキテクチャ向けにスケーラブルなソリューションを提供できる、唯一の真のハイブリッドプラットフォームです。AI イニシアチブの拡張に取り組む場合でも、分析基盤の最適化を進める場合でも、Cloudera のロードマップは、真のハイブリッドの未来を築くという私たちのコミットメントを反映しています。

アップグレード方法

現在のデプロイメント環境に応じて、Cloudera Runtime 7.3.1へのアップグレードを希望されるお客様には、いくつかのパスが用意されています。

• オンプレミス環境で Cloudera Base をご利用の場合は、バージョン7.1.9 SP1、7.1.8、および 7.1.7 SP3 から直接アップグレード（ダウングレードおよびロールバックも含む）が可能です。

• クラウド環境で Cloudera をご利用の場合は、バージョン 7.2.18.0、7.2.18.100、7.2.18.300、7.2.17.200 から 7.2.17.500 までのバージョンから、直接アップグレードが可能です。

• 上記に記載されていない他のバージョンからのアップグレードには、2段階のアップグレードが必要になる場合があります。

詳細な手順については、アップグレードに関するドキュメントをご確認いただくか、Cloudera のアカウント担当者までお問い合わせください。

主な機能

Cloudera Runtime 7.3.1 リリースには、以下の主要な機能と技術革新が含まれています。

• 一度開発すればあらゆる環境へ展開可能：一度開発したワークフローを、リファクタリングなしでハイブリッド環境全体に展開・実行できます。

• AWS Graviton（ARM CPU）対応：Spark ジョブの性能向上により、データ処理ワークロードにおいてパフォーマンス、エネルギー効率、コスト削減を実現します。

• Apache Iceberg と Hive の統合：タイムトラベル、スキーマの進化、効率的なメタデータクエリなどの機能を備えた高度な分析を、ハイブリッドデータワークフローで実現します。

• セキュリティの強化：ハイブリッド展開全体でデータの整合性を維持し、コンプライアンスを確保するために保護手段を強化しました。

詳細はこちらから

Unified Runtime の可能性をさらに知りたい方は、真のハイブリッドチェックリストをご覧いただくか、5日間の無料トライアルで最新機能をぜひ体験してください。今回のリリースがハイブリッドデータ戦略にどのような変革をもたらすか、詳しくご覧になりたい方は、Cloudera の担当者にお問い合わせいただくか、技術リソースをご参照ください。

前提条件

以下のコンポーネントがCloudera Open Data Lakehouse（プライベートクラウド）にインストール・設定済みであること：

• Cloudera Data Platform Private Cloud Base 7.1.9
• Cloudera Flow Management 2.1.6
• 航空会社データセット（GitHubリポジトリからflights.csv.gzipを解凍）

Flink と SSB（CSA 1.11）を利用したストリーミング取り込みも可能ですが、本記事では NiFi を使用します。

NiFi で Iceberg テーブルへストリーミング取り込みの手順

1. Hue／Impala でルート（routes）Iceberg テーブルを作成

-- NiFi用のルートテーブル作成  
CREATE TABLE airlines.routes_nifi_iceberg (
  airline_code STRING,
  airline_name STRING,
  src_airport_code STRING,
  src_airport_name STRING,
  dst_airport_code STRING,
  dst_airport_name STRING,
  equipment STRING
) STORED AS ICEBERG;

まとめ

本記事では Cloudera Flow Management（NiFi） を利用し、コードレスで Kafka 経由に Iceberg テーブルへストリーミングデータを取り込む方法を紹介しました。

次回は Apache Spark によるデータ処理 を取り上げます。

プライベートクラウドで Open Data Lakehouse を構築するには、CDP Private Cloud Base 7.1.9 をダウンロードし、本シリーズの他の記事もぜひご覧ください。

概要：

• プロセスグループを作成。
• 右パネルの Browse で NiFiDemo.json を選択し Addボタンを押す。

4. パラメータコンテキストを更新

事前に用意した Kafka ブローカーや Iceberg カタログの接続情報を入力。

7. Routes Kafka → Iceberg フローを開始し、キューを監視

この記事は、2023/10/17に公開された「Getting Started With Cloudera Open Data Lakehouse on Private Cloud」の翻訳です。

原文：
Getting Started With Cloudera Open Data Lakehouse on Private Cloud
https://www.cloudera.com/blog/technical/getting-started-with-cloudera-open-data-lakehouse-on-private-cloud.html

Part 1：ストリーミング・データ取り込み

はじめに

Cloudera は昨年からパブリッククラウド向けに提供してきた Open Data Lakehouse に加え、プライベートクラウド向けにも Apache Iceberg ベースのフル機能版をリリースしました。これにより 「Iceberg をあらゆる場所へ」 という Cloudera のビジョンが実現し、Public / Private / Hybridを問わず、データの存在する環境に合わせて Open Data Lakehouse を展開し、ワークロードをシームレスに移行できます。

プライベートクラウド版 Cloudera Open Data Lakehouse では、次の主要機能を利用できます。

• マルチエンジン互換性
  NiFi、Flink／SQL Stream Builder（SSB）、Spark、Impala などが Iceberg と連携。
• タイムトラベル
  指定時点やスナップショット ID でクエリを再現可能。監査・ML モデル検証・誤操作のロールバックに有用。
• テーブルロールバック
  問題発生時にテーブルを即座に正常状態へ復元。
• 豊富な SQL（DDL／DML）
  データベースオブジェクトの操作、データのロード／更新、タイムトラベル、Hive 外部テーブルからの Iceberg 変換を SQL で実行。
• インプレースのテーブル進化
  スキーマやパーティションをデータを書き換えずに変更可能。
• SDX 連携
  共通のセキュリティ／ガバナンス、データリネージ、監査を提供。
• Iceberg レプリケーション
  DRとテーブルバックアップに対応。
• ワークロードの移動
  コード改修なしでパブリッククラウドへ移行・戻しが容易。

本ブログでは、最新の Cloudera Iceberg 機能を用いてプライベートクラウドに Open Data Lakehouse を構築する方法を解説します。
第 1 回は ストリーミングデータの取り込み に焦点を当て、Iceberg テーブルへデータをロードし、後続ブログで処理を行える状態にします。

ソリューション概要

アーキテクチャ図：

6. Routes → Kafka フローを開始し、キューを監視

成功／失敗キューでメッセージを確認。

8. Hue／Impala でテーブルを確認

SELECT * FROM airlines.routes_nifi_iceberg;

5. NiFiDemo プロセスグループを開き、Controller Service を有効化

• Canvas 右クリック → Configuration → すべての Controller Service を Enable。
• 各プロセスグループも同様に有効化。

※実際の DDL は環境に合わせて調整してください。

2. NiFi データフローを取得

https://github.com/jingalls1217/airlines/blob/main/Data%20Flow/NiFiDemo.json をダウンロード。

3. NiFi で新規プロセスグループを作成し、フローをインポート

以下のグラフは、単一の Freon インスタンスでスレッド数を増やして負荷を生成したときの読み取り速度を示しています。

Ozone は Ranger と統合され、Kerberos で保護されるように構成されていました。

まとめ:

顧客が増え、Ozone を拡張する必要性が高まる中で、当社は優れたパフォーマンス、拡張性、そしてオペレーショナルエクセレンスを達成するために、革新的な取り組みを継続して可能性を広げています。このような改善は、わずか数ノードの環境から数千ノードの環境まで、あらゆる規模のお客様にとって有益なものとなるでしょう。Apache Ozone は、その優れたパフォーマンス特性と継続的な改善により、最新のデータアーキテクチャの基盤となっています。お客様はこれを活用することで、ハイブリッドクラウドネイティブアーキテクチャをシームレスに構築し、データアプリケーションを効率的に展開できます。Apache Ozone の利用を開始するには、Apache のダウンロードサイトか Cloudera Data Platform のトライアル版のサイトからダウンロードを行ってください。

Ozone によって追跡される多くのメトリクスの1つに、Ozone Manager がリクエストを内部で処理するのにかかる時間があります。セキュアな読み取りを実現するためにブロックトークンの生成を改善したことで、レイテンシがミリ秒未満にまで短縮されました。ブロックトークンの生成を再設計した結果、1回の読み取り操作にかかる時間が約6ミリ秒短縮されたのです。

この記事は、2023/7/19に公開された「Boosting Object Storage Performance with Ozone Manager」の翻訳です。

はじめに

Ozone は Apache Software Foundation のプロジェクトで、分析ワークロード、コンテンツ配信、およびオブジェクトストレージのユースケースで求められる厳しいパフォーマンス要件に応える分散ストレージプラットフォームを構築するためのものです。

この Ozone の重要なコンポーネントとなっているのが、Ozone Manager です。このサービスはレプリケーションによって高可用性を実現しており、Ozone に保存されているすべてのオブジェクトのメタデータを管理する役割を担っています。Ozone はエクサバイト規模のデータまで扱えるため、Ozone Manager が大規模なデータに対応できるようにすることが重要です。このブログ記事では、Ozone Manager のパフォーマンスを改善してエクサバイト規模のデータに対応できるようにするために実施した最近の取り組みをご紹介します。

使用したハードウェアの仕様は、このブログ記事の最後に掲載しています。このハードウェアは、Cloudera とのオープンソースパートナーシップの一環として Cisco 社から提供されました。Cisco 社は Ozone を実行するための複数のリファレンスアーキテクチャを提供しています。今回利用したハードウェアは、パフォーマンスと TCO が最適化された、1ノードあたり500 TB 程度の高密度ノードで構成されています。

1秒あたりの処理数と拡張性の関連

Ozone Manager は、Ozone 内に保存されたオブジェクトのメタデータを管理し、Ratis (Raft 実装) を介してレプリケートされた Ozone Manager インスタンスのクラスタで構成されています。データ処理ワークロードは、データノードとそれを処理するさまざまなアプリケーション間のデータ転送のパフォーマンスによって影響を受けやすい傾向があります。しかし、オブジェクトのメタデータが妥当な低レイテンシで提供されていれば、Ozone Manager への最適化の影響が、一般的なスタンドアローンの分析ベンチマークに現れることはありません。

Ozone は、数百億のオブジェクトとエクサバイト規模の容量に対応できるように設計されています。保存されているデータセット全体のワークロードに対応する必要があるため、Ozone Manager の処理速度は全体の規模が大きくなるほど重要になります。管理対象のデータの規模を拡大しながら、高性能が求められる複数のワークロードに対応するには、このブログで紹介する取り組みが不可欠です。

Cloudera はこの1年間、パフォーマンスを念頭に置き、Ozone Manager に焦点を絞ってパフォーマンスと拡張性を大幅に高めるさまざまな改良を実施してきました。これらの改良は、Cloudera Data Platform リリース7.1.9と Apache Ozone リリース1.4.0に組み込まれる予定です。

当社は、いくつかの主要な分野で改良を実施しました。

1. S3ゲートウェイと Ozone Manager 間の接続の持続性を改善して、S3ゲートウェイがサポートできる1秒あたりの処理数を向上 (HDDS-5881)
2. Ozone Client と Ozone Manager 間のプロトコルを最適化して、ネットワークのラウンドトリップ回数を削減 (HDDS-6996と HDDS-7059)
3. フォアグラウンドとバックグラウンドの間で負荷を分割して、フォアグラウンドとバックグラウンドのトラフィックを個別に拡張 (HDDS-7223)
4. エクサバイト規模の容量をシミュレーション (HDDS-7489)
5. メトリクスの収集を改善して、レイテンシの詳細な内訳を取得 (HDDS-7203)
6. トークンの署名に対称アルゴリズムを使用して、安全なブロックアクセスのパフォーマンスを改善 (HDDS-7733)

パフォーマンスの更新

上記の改善により、Ozone は毎秒約10万5,000回の読み取り操作をサポートできるようになりました。つまり、Ozone Manager の IOPS (1秒あたりの入出力操作数) が Cloudera Data Platform 7.1.8の約7倍に増えたことになります。S3 Gateway については、さまざまなパフォーマンス関連の取り組みを開始してから、1ゲートウェイあたりのパフォーマンスが30倍以上も向上しています。

以下の負荷パターンは、Ozone に組み込まれた CLI 負荷生成ツールを使用して生成されたものです。このツールは、約1億個のキーを持つクラスタ内のオブジェクトのメタデータのみを読み取ります。計測された1秒あたり処理数は、ピーク時で約10万回でした。

以下のグラフは、Ozone Manager によって処理されたキーの読み取り速度を示しています。

Freon は Ozone CLI の拡張機能で、負荷を生成してさまざまな Ozone API のベンチマークテストを実行できます。当社は Freon を使用して、4億個を超えるキーの大規模なデータセットを生成し、それらのキーを読み戻して Ozone Manager に負荷を発生させました。Ozone Freon は16台の物理クライアントノードから負荷を生成し、各インスタンスで最大90スレッドを立ち上げました。

全体として、上記のさまざまな取り組みを通じて、Ozone のキーの読み取り回数は、1秒あたり約1万5000回以下から10万回以上にまで向上しました。

データノード:

今後も、計画中の取り組みによってさらなるパフォーマンスの改善が期待されています。

ハードウェアの詳細

Cisco 社から提供されたハードウェアのセットは、3台のマスターノードと16台のデータノードで構成されていました。

マスターノード:

Ozone の構成

Ozone Manager の1秒あたりの読み取り操作数の測定にあたって、更新した関連設定は以下のとおりです。

この記事は、2024/12/17に公開された「Telco Enterprise Data Platforms: Key Success Factors in Building for an AI Future」の翻訳です。

通信事業者は、2019年に5G ネットワークの商用展開を開始して以来、高速な処理が必要なワークロードの管理、インフラストラクチャーコストの削減、AI や自動化の導入など、さまざまな新しい課題に直面しています。こうした課題を克服するにはデータ管理が重要な要素となるため、通信事業者はハイブリッドクラウドソリューションの導入を進めています。ハイブリッドクラウドソリューションは、5G がもたらす環境の進化に適応するために必要な柔軟性と拡張性を提供します。

高速で強力なネットワークの登場によってデータが爆発的に増えている今、顧客の要求を満たすにはリアルタイムでデータを処理することが欠かせません。しかし、従来のデータアーキテクチャではこのようなワークロードの処理が難しく、堅牢でスケーラブルなハイブリッドデータプラットフォームがなければ、進化に取り残される可能性が高まります。増え続けるデータを管理しながらパフォーマンスと信頼性を維持する必要性が増しており、モダナイゼーションは喫緊の課題となっています。5G アプリケーションが進化を続ける中、通信事業者はパフォーマンスのニーズと複雑化するデータ環境のバランスを保ちながら状況に対応する必要があります。

また、通信事業者は、5G ネットワークに対応できるようにインフラストラクチャーを拡張しており、それに伴うコストも常に懸念すべき問題となっています。インフラストラクチャーと運用のコストを抑えながら成長を可能にするソリューションを見つけることが、今まさに求められています。5G ネットワークによって生成される膨大な量のデータを処理するには、堅牢で拡張性の高いデータプラットフォームが必要であり、アプローチを間違えればコストの急増を招く可能性があります。

データの処理量が増える中で、さまざまなワークロード要件にバランスよく対応するために、通信事業者がハイブリッドクラウドアーキテクチャを採用する必要性はますます高まっています。ネットワークデータなど、高い処理スピードが求められるワークロードを管理するには、事業者が統制できる範囲が広く、コストを最適化できるオンプレミス環境が最適です。一方、顧客アプリケーションや AI ドリブンなサービスといった動的なワークロードへの対応に必要な柔軟性と拡張性を確保するには、パブリッククラウド環境が適しています。

しかし、さまざまな環境でのワークロードの管理は、信じられないほど複雑になる可能性があります。そのため、通信事業者はオンプレミス環境とクラウド環境の両方でパフォーマンスを監視し、ワークロードの分散を最適化し、データガバナンスを確保できるツールを求めています。そこで登場するのが、Cloudera のようなハイブリッドデータプラットフォームです。これにより、通信事業者は複数の環境間でワークロードを柔軟かつシームレスに移行し、高いパフォーマンスを維持しながらコストを最適化できるようになります。

多くの業界と同じく、通信業界の未来も AI と自動化にかかっています。AI ドリブンな自動化が進むことで、カスタマーサービスからネットワーク管理まで、通信事業者の業務の在り方も大きく変わっていくでしょう。ただし、AI モデルの実装に必要な高い処理能力とリアルタイムのデータ処理を実現するには、最新のスケーラブルなデータプラットフォームが不可欠です。

Cloudera の導入で成功を収めた通信事業者の Vi 社

ちょうど6年前に Vodafone India 社と Idea Cellular 社が合併して設立された Vi 社は、現時点で2億人以上の加入者を抱える世界最大の通信事業者の1つです。インドがイノベーションの中心として発展を続ける中、Vi 社はデータの爆発的な増加と自動化へのニーズの高まりという、5G がもたらす課題と機会に意欲的に取り組んでいます。

Vi 社は、パブリッククラウド、プライベートクラウド、オープンソース、プロプライエタリソリューションなど、さまざまなデータプラットフォームの選択肢を検討しましたが、最終的に Cloudera との関係をさらに拡大する道を選びました。その大きな理由は、コストと拡張性の2つです。高速な処理を必要とするデータが大量にある場合、そのデータを適切に振り分けて処理し、配信するには、信頼性と堅牢性を兼ね備えた環境が必要です。ネットワークデータの処理など、スピードが求められる大量の予測可能なワークロードは、Vi 社を含む多くの通信事業者にとって、オンプレミスで処理してから、オンプレミス環境またはパブリッククラウド環境で下流のアプリケーションにデータを渡すのが合理的です。

Vi 社のモダナイゼーションの取り組みは実を結びました。同社はインフラストラクチャーコストを2,000万～3,000万ドル節約し、サポートチケットを80% 削減することに成功したのです。また、このハイブリッドクラウドアーキテクチャは、Vi 社が将来の導入や AI/ML ワークロードにスムーズに対応するために重要な役割を果たします。Vi 社は、ハイブリッドクラウド、ストリーミング分析、およびデータファブリックを採用することで、将来の変革に向けた強固な基盤を築き、AI への取り組みを拡大しています。その成長の可能性は計り知れません。

5G 時代の到来は、通信事業者に大きな課題と機会の両方をもたらしますが、確固としたデータ基盤があれば、課題にも機会にも効果的に対処できます。柔軟性、拡張性、費用対効果に優れた最新のデータアーキテクチャを採用している通信事業者は、機会をいち早く特定し、サービスの低下を未然に防ぎ、プロセスを自動化して効率を最大化する体制が整っています。

通信事業者は、Cloudera などのハイブリッドデータクラウドプラットフォームを導入することで、オンプレミスでワークロードを高速に処理しながら、パブリッククラウドの拡張性を活用できるようになります。これにより、データを効率的に管理するだけでなく、将来のイノベーションの基盤を築くことができます。

この記事は、2024/12/9に公開された「Introducing Accelerator for Machine Learning (ML) Projects: Summarization with Gemini from Vertex AI」の翻訳です。

Cloudera は、新たな Accelerator for Machine Learning Projects (AMP) として、「Vertex AI での Gemini による要約」を発表しました。AMP とは、人工知能 (AI) のユースケース向けに事前構築された高品質で実用最小限の製品 (MVP：Minimal Viable Product) のことで、Cloudera AI (CAI) からワンクリックで展開できます。AMP の目的は、パフォーマンスの高い AI アプリケーションの迅速な構築を支援することです。AMP の詳細については、こちらをご覧ください。

当社がこの AMP を作成した理由は、次の2つです。

1. ドキュメントの全体的な要約と生のテキストの部分的な要約の両方に対応できる AI アプリケーションのプロトタイプを AMP カタログに追加するため。
2. Cloudera AI と Google の Vertex AI Model Garden を使用して、AI アプリケーションを簡単に構築できることを示すため。

要約は、以前から生成 AI のユースケースの効果を最も簡単に実感できる用途とされています。例えば、ある Cloudera のお客様は、契約書の審査プロセスにおいて、契約書の重要条項を抽出して短い要約を表示できるアプリケーションを審査担当者向けに導入し、生産性を大幅に高めました。また、ある銀行のお客様は、数十から数百の財務文書の重要な内容を要約するカスタム生成 AI アプリケーションを使用して、見込み客の資産の出所に関する審査メモの作成にかかる時間を、1日からわずか15分に短縮しました。

この AMP は、当社が初めて Vertex AI の Model Garden を使用して作成したものです。Model Garden は、1つのアカウントで100を超える主要なクローズドソースモデルとオープンソースモデルに API 経由で簡単にアクセスできるという、極めて大きなメリットをもたらします。また、特定のタスクに特化した高性能なモデル群へのアクセスも可能です。Model Garden 内のモデルは、Google のクラウドインフラストラクチャーで効率的に動作するように最適化されており、高スループットのアプリにも対応し、費用対効果の高い推論機能とエンタープライズグレードの拡張性を提供します。

さらに当社は、この AMP で Gemini Pro モデルを初めて使用しています。このモデルは、マルチモーダルアプリケーションやテキスト要約アプリケーションとスムーズに連携し、最大100万トークンという大きなコンテキストウィンドウを提供します。ベンチマークテストによれば、Gemini Pro は GPT-4などの競合モデルよりトークン処理の速度が優れています。また、他の高性能モデルと比較して、無料モデルと有料モデルの両方で手頃な価格体系が用意されているため、品質を維持しながら費用対効果の高い AI ソリューションを求める企業にとって魅力的なオプションとなっています。

この AMP の展開方法

1. Gemini Pro にアクセス: Vertex AI Marketplace で Vertex AI API を見つけて有効にしてから、API キーを作成します。次に、その API キーを生成した同じプロジェクトスペース内で Gemini を有効にします。
2. AMP を起動: Cloudera AI Learning で「Document Summarization with Gemini from Vertex AI」という名前の AMP タイルをクリックし、設定情報 (Vertex AI の API キーと ML ランタイム情報) を入力して、[Launch] をクリックします。

これにより、AMP スクリプトが以下の動作を実行します。

1. すべての依存関係と要件をインストールする (all-MiniLM-L6-v2組み込みモデル、Hugging Face の Transformers ライブラリ、LlamaIndex ベクトルストアなど)
2. サンプルドキュメントを LlamaIndex ベクトルストアにロードする
3. Streamlit UI を起動する

このように、わずか数分で要約アプリケーションを展開できます。今後も Cloudera AI と Vertex AI を使用して新たな AMP を開発する予定です。ぜひご期待ください。

Streamlit UI を使用すると、以下の操作を実行できます。

• 要約に使用する Gemini Pro モデルを選択する
• テキストを貼り付けて要約する
• ドキュメントをベクトルストアにロードする (埋め込みが生成されます)
• ロードされたドキュメントを選択して要約する
• 応答の長さ (最大出力トークン) やランダム性 (temperature 値) を調整する

go01-datamart-master20.go01-dem.ylcu-atmi.cloudera.site 
go01-datamart-master30.go01-dem.ylcu-atmi.cloudera.site 
go01-datamart-master10.go01-dem.ylcu-atmi.cloudera.site

• 3: kudu_master_hosts を検索し、以下のように 3 台のマスターをカンマ区切りで指定（ポート 7051 を付与）

Go01-datamart-master20.go01-dem.ylcu-atmi.cloudera.site:7051

,go01-datamart-master30.go01-dem.ylcu-atmi.cloudera.site:7051,

go01-datamart-master10.go01-dem.ylcu-atmi.cloudera.site

Step 2: CDW Impala仮想ウェアハウスの設定

• 1: CDW で対象の Impala VW を開き Edit → 設定画面へ。Impala VW バージョンが 2023.0.13-20 以上であることを確認
• 2: Impala coordinator のフラグファイル設定を編集

この記事は、2023/7/12に公開された「Integrating Cloudera Data Warehouse with Kudu Clusters」の翻訳です。

Apache ImpalaとApache Kuduは、ストリーミングデータに対するリアルタイム分析や時系列データ、リアルタイム・データウェアハウスのユースケースに最適な組み合わせです。

過去10年間で200社以上のCloudera顧客が、取り込みにApache Spark、リアルタイムBIにApache Impalaを組み合わせてApache Kuduを導入し、数千ノード規模で稼働させています。
ユースケースは、通信(4G/5G)分析、石油・ガス業界のリアルタイムレポートとアラート、製薬企業のサプライチェーン、銀行の基幹システムや株式取引分析など多岐にわたります。

Kuduの強みは、高速性を支えるC++製カラムナー・ストレージエンジンにあります。データは取り込み後わずか数秒でクエリ可能になり、一貫性とアトミック性を確保しつつ更新・削除のトランザクションもサポートします。Impala は分散型C++製SQLエンジンで、Kuduと連携して数百万行規模のクエリに対しサブ秒レベルのSLAを実現します。

Cloudera は、Real Time DataMart クラスター上でApache Kuduを、Kubernetes 上の Cloudera Data Warehouse（CDW）で Apache Impala を提供しています。スケーラブルなImpala（CDW）とKudu（DataHub クラスター）を組み合わせることで、計算（Impala）とストレージ（Kudu）を分離し、それぞれを独立してスケールさせることが可能になります。複数の CDW 仮想クラスターを、用途ごとに異なるリアルタイムDataMartクラスター／Kuduクラスターへ接続する高度なシナリオも実現できます。

構成手順

前提条件

• バージョン7.2.15以降のKudu DataHub クラスターを作成
• CDW 環境を 1.6.1-b258以降（ランタイム 2023.0.13.20）へアップグレード
• CDWでImpala仮想ウェアハウス（VW）を作成

Step 1: Kuduマスターノードの情報を取得

• 1: CDP にログインし Data Hub Clusters へ移動。CDW からクエリしたい Kudu Real Time Data Mart クラスターを選択

まとめ

CDW と Kudu DataHub を統合することで、オンデマンドに計算リソースをスケールアップし、DataHub 側は Kudu のみを実行する構成が可能になります。Impala VW から Kudu をクエリする利点は、ノイジーネイバーからの分離、オートスケーリング、自動停止などです。

さらに Cloudera Data Engineering を使って Kudu へデータを取り込むことで、DataHub クラスターをストレージ専用にすることも可能です。高度なユーザーは、TBLPROPERTIES で Kudu クラスタ情報を指定し、任意の Kudu DataHub クラスタを対象にクエリできます。

この統合により、以下の最新 CDW 機能も利用可能です。

• CDW Impala の JWT 認証
• オブジェクトストアと Kudu テーブルを単一の Impala サービスで利用（BI ツール側の設定が簡素化）
• Kudu（DataHub）の容量不足時のみスケールアップ／アウト可能。将来的にはリアルタイム DM テンプレートでの Impala を停止し、CDW Impala で Kudu をクエリする構成も選択できます

• 2: クラスター詳細の Nodes タブを開き、3 台の Kudu マスターノード名を控える

例：

• 5: Apply changes をクリックして変更内容を適用し、VW の再起動を待つ

Step 3: Kudu テーブルのクエリ実行

VW の更新が完了したら、Hue、Impala Shell、ODBC/JDBC クライアントから Kudu テーブルをクエリできるようになります。

• 4: kudu_master_hosts が存在しない場合は ＋ アイコンで追加。

この記事は、2025/2/26に公開された「Cloudera and NiFi: Driving Data Ingestion and Processing Excellence」の翻訳です。

Apache NiFiは長年にわたり、データエンジニアリングの基盤として、データの収集、変換、配布のための強力で柔軟なフレームワークを提供してきました。NiFiの主要な貢献者であるClouderaは、その進化と普及を牽引してきた存在です。

今回、NiFi 2.0をベースとする初のリリースとしてCloudera Flow Management 4.0(CFM 4.0)がテクニカルプレビュー(Technical Preview)で公開されました。この新バージョンの強化された機能をご紹介します。

NiFi 2.0 と Cloudera Flow Management 4.0 の価値

Cloudera Flow Management 4.0（Apache NiFi 2.0 搭載） では、主に以下の機能強化が行われています。

• パフォーマンス向上
  NiFi 2.0 では処理性能が大幅に向上し、より効率的なデータフローと大規模ワークロードへのスケーリングが可能になりました。これにより、複雑で大容量のデータセットも安心して取り込み・処理・配布できます。
• 開発の効率化
  新しいフローキャンバス UI とドラッグ＆ドロップ操作の改善により、フロー開発が直感的かつ高速化。開発時間を大幅に短縮し、コスト削減に貢献します。
• セキュリティの強化
  改良された暗号化・認証機構により、機密データを扱う際の安全性と信頼性が向上しました。
• 統合範囲の拡大
  NiFi 2.0 は多様なデータソースやシステムとの連携をさらに拡充。Cloudera Flow Management 4.0 では、Apache NiFi 2.0 で削除された Hive や Accumulo などのコンポーネントを引き続き提供するほか、RDB や Iceberg 向けの CDC（Change Data Capture）機能も追加し、Cloudera 製品群および外部システムを組み合わせたエンドツーエンドのシステム設計を支援します。
• Python ネイティブのプロセッサ開発
  NiFi 2.0 には Python SDK が提供され、Python でプロセッサを迅速に開発ができるようになりました。
  Cloudera Flow Management 4.0 では更に、データの埋め込み生成、ベクターデータベースへの取り込み、各種 GenAI システムとの連携、Amazon Bedrock 経由の大規模言語モデル（LLM）操作のためのコンポーネントが追加され、GenAI をビジネスに生かすコンポーネントも追加されています。
• フロー設計のベストプラクティス支援
  NiFi 2.0では、フロー設計のベストプラクティスを推奨・適用するためのルールエンジンが搭載されています。Cloudera Flow Management 4.0では、スレッド管理や推奨コンポーネントなどの側面に対応したフロー分析ルールを提供し、管理者が安定なフローを設計できるよう支援します。

Cloudera と NiFi － 継続的なサポート、イノベーション、そしてアップグレードの簡素化

ClouderaはNiFiの開発を牽引し、オープンソースコミュニティへの貢献や専門的サポートを通じてユーザーを支援してきました。NiFiへの投資を通じて、変化の激しいデータ環境においてその進化と重要性を維持しています。

ClouderaのNiFiへの取り組みは、Apache NiFiコミュニティへの参加、メーリングリストやフォーラム、イベントを通じた知識やベストプラクティスの共有に表れています。
さらに、Cloudera Flow Management Operatorを提供し、Kubernetes上でNiFiクラスターやNiFi Registryインスタンスをデプロイ・管理できるようにしています。コンテナ化されたインフラを活用し、複雑なデータフローのオーケストレーションを効率化します。

Clouderaは、NiFi 1のコンポーネントからNiFi 2のコンポーネントへのアップグレードを簡素化する移行ツールを提供しています。加えて、NiFiの可能性を最大限に活用するための包括的なトレーニングやコンサルティングサービスも提供しています。

データフロー管理の未来を切り拓く

Cloudera Flow Management 4.0（Apache NiFi 2.0 搭載）により、Cloudera はデータフローマ管理におけるリーダーシップを強化します。
今後もNiFiへの継続的な開発・改良に投資し、データエンジニアやデータサイエンティストにとって信頼性の高いツールであり続けることを約束します。
また、クラウドベースのCloudera Flow Managementデプロイを提供し、運用効率を最適化しながらエンタープライズ規模へのスケーリングを可能にしています。
AI ソリューションを強化・統合する機能は、Cloudera Flow Managementの焦点です。

Clouderaは引き続き、顧客がビジネスクリティカルなデータイニシアチブを推進するためにNiFiの力を最大限活用できるよう、サポートとガイダンスを提供します。

さらに詳しく知りたい方へ

Cloudera Flow Management の新機能がどのようにデータパイプラインを変革するかについては、以下をご覧ください。

• Data Distribution Architecture to Drive Innovation

• Scaling NiFi for the Enterprise with Cloudera

この記事は、2024/12/12に公開された「Cloudera Commits to CISA’s “Secure by Design” Pledge, Strengthening Security for Our Customers」の翻訳です。

Cloudera は、米サイバーセキュリティ・インフラセキュリティ庁 (CISA) の「セキュア・バイ・デザイン (Secure by Design)」誓約に署名し、製品ライフサイクルのあらゆる段階でセキュリティを組み込むことを目指す業界トップ企業の仲間入りを果たしました。お客様のデータを責任を持って取り扱うには、セキュリティ機能を後から付け加えるのではなく、提供するすべての製品とサービスの基本要素として最初から組み込むことが重要です。今回の署名は、組織が可能な限り安全かつコンプライアンスに準拠した形でデータを価値ある洞察に変換できるように支援するという、当社が以前から掲げている使命に沿ったものです。

「セキュア・バイ・デザイン」誓約とは？

CISA の「セキュア・バイ・デザイン」誓約は、テクノロジープロバイダーに対し、本番運用後の修正のみに注力するのではなく、開発プロセス全体を通してセキュリティを優先するよう促すものです。このプロアクティブなアプローチでは、製品の初期コンセプトから、設計、テスト、展開、運用のすべてのフェーズにおいてセキュリティを組み込むことが求められます。この誓約に署名することで、Cloudera はサイバーセキュリティ分野のリーダーとしての立場を強化し、すべての製品とサービスの機能が、サイバー脅威に対する回復力を高めるための CISA のベストプラクティスに準拠した厳格なセキュリティ基準を満たしていることを保証します。Cloudera はセキュリティプロトコルを開発パイプラインに直接組み込み、既知の脅威と未知の脅威の両方に備えた堅牢なセキュリティ体制を確立することを公約しています。

「セキュア・バイ・デザイン」が重要な理由

機密データを保護するには、警戒を怠ることなく、セキュリティに対するアプローチを進化させる必要があります。しかし、従来のセキュリティアプローチでは、すでに本番環境に展開された製品の脆弱性を修正することに重点が置かれています。

このような対応も依然として必要ですが、「セキュア・バイ・デザイン」フレームワークでは予防を重視して、開発の初期段階からセキュリティを製品の中核に組み込むアプローチを取っています。その狙いは、セキュリティ脅威に先手で対応し、脆弱性を未然に防ぐことにあります。そのため、Cloudera のテクノロジーは攻撃への対処と機密データの保護を念頭に設計されており、お客様にとってより安全かつ強靭なものになっています。

Cloudera のお客様が当社の「セキュア・バイ・デザイン」の取り組みから得られるメリット

25エクサバイトを超えるデータを管理している Cloudera は、最新のセキュリティ基準を満たすだけでなく、それを上回るソリューションを提供することで、お客様のデータを責任を持って守ることに尽力しています。今回の署名は、そうした姿勢を反映したものです。これにより、お客様には次のようなメリットがもたらされます。

1. プロアクティブなセキュリティ対策の強化
   Cloudera の製品、機能、アップデートは、すべてセキュリティを最優先に考えて設計されています。当社は、開発の初期段階から製品の展開に至るすべてのフェーズでセキュリティ統制を組み込み、データを保護することで、脆弱性を最小限に抑え、コア機能の一環として管理しています。すべての製品にセキュリティ機能を組み込み、潜在的な脆弱性に早いうちから徹底的に対処するという Cloudera のコミットメントは、お客様に安心感をもたらします。
2. セキュリティとコンプライアンスの継続的な監視
   Cloudera は、継続的なセキュリティ管理戦略の一環として、内部監査と外部監査、リスク評価、および継続的なセキュリティ監視を定期的に実施しています。これにより、GDPR、PCI DSS、ISO27001などの業界標準や規制に確実に準拠して、コンプライアンスに関連するお客様の負担を軽減し、リスクの低減をサポートします。当社はこのような厳格なプロセスを通じて、新たなセキュリティ脅威に迅速に対処し、お客様の環境の安全性を維持しています。
3. 誓約に署名している企業との連携
   Cloudera は今後、「セキュア・バイ・デザイン」誓約に署名した他の企業との定期的な技術交流会に参加します。このような会合では、製品やサービスのセキュリティに取り組むテクノロジー企業のコミュニティと連携し、ベストプラクティスを共有できます。こうして得られた専門知識を活用することで、誓約の実現により近づくことができます。
4. 責任共有モデルのサポート
   特にハイブリッド環境とマルチクラウド環境においては、セキュリティに対する責任が Cloudera とお客様の間で共有されることになります。Cloudera は、「セキュア・バイ・デザイン」のアプローチで強固なセキュリティ基盤を構築することにより、お客様があらゆるインフラストラクチャーやデータストアで安全な運用を確保できるよう支援します。お客様は、当社が提供するツール、洞察、リソースを利用することで、情報に基づいてセキュリティ上の意思決定を行い、お客様独自の環境に適した構成を実現できます。
5. 業界をリードするセキュリティの専門知識の活用
   当社のチームは、個々のニーズに合わせた業界最高クラスのセキュリティアーキテクチャと機能を提供して、お客様を継続的にサポートします。お客様は、当社独自のトラストセンターに収録されているリソースを活用して、当社の責任共有モデル、リスク評価、脆弱性管理について調べたり、セキュリティプラクティスに関する包括的なドキュメントを参照したりできます。さらに、Cloudera はお客様と継続的に連携することで、セキュリティライフサイクルのすべての段階で信頼できるパートナーとしてサポートを提供します。
6. 変化する世界に対応する強靭なデータソリューションの構築
   「セキュア・バイ・デザイン」誓約への署名は、お客様を潜在的な混乱から保護するための取り組みを強化するものです。Cloudera は、データソリューションや分析ソリューションのあらゆる層にセキュリティ機能を組み込むことで、データドリブンな世界のニーズに対応できる柔軟性と回復力を提供します。当社はあらかじめ脆弱性を減らすことで、お客様がセキュリティやコンプライアンスに関して妥協することなく、データを実用的な洞察に変えるという最も重要な業務に集中できるよう支援しています。

Cloudera とお客様の未来にもたらすもの

「セキュア・バイ・デザイン」誓約への署名は、単に形式的な義務を果たすためのものではありません。Cloudera が何よりもセキュリティ、信頼、お客様の成功を大切にしていることの証しです。サイバー脅威が進化し続ける中、Cloudera は今後もセキュリティプラクティスを進化させ、セキュアなテクノロジーの最前線に立ち、業界の新しい基準を打ち立てていきます。当社のお客様は、データプラットフォームを使って最も重要な資産であるデータを保護しながら、イノベーションを実現して洞察を引き出し、ビジネス成果の向上につなげることができます。

さらに詳しく

Cloudera のセキュリティへの取り組みがお客様の組織にどのように役立つかについては、トラストセンターでご確認ください。Cloudera の安全なアーキテクチャ、コンプライアンスの基準、リスク管理の実践に関する貴重なリソースをご覧いただけます。また、Cloudera を実際にお試しになりたい場合は、AWS での5日間トライアルをご利用ください。

この記事は、2024/12/4に公開された「Fueling the Future of GenAI with NiFi: Cloudera DataFlow 2.9 Delivers Enhanced Efficiency and Adaptability」の翻訳です。

10年以上にわたり Apache NiFi を熱心に支援し、委員会メンバーも務めてきた Cloudera は、データの採取、変換、配信における Apache NiFi の性能と汎用性を長年高く評価してきました。当社のお客様は、NiFi に加えて関連するサブプロジェクト (Apache MiNiFi および Registry) も利用して、多種多様なデータソースの構造化データ、非構造化データ、マルチモーダルデータに接続しています。データソースには、エッジデバイス、SaaS ツール、サーバーログ、さらには Change Data Capture ストリームなどが含まれます。

生成 AI の時代となった今、データパイプラインには処理能力だけでなく、俊敏性と適応性が求められています。Cloudera DataFlow 2.9はこのニーズに応えて機能強化されており、開発を合理化し、効率性を高め、最先端の生成 AI ソリューションの構築を支援します。

このリリースは、Apache NiFi およびその活発なオープンソースコミュニティに対する Cloudera の確固たるコミットメントを裏付けるものです。当社は、Apache NiFi 2.0の今後の進化とデータフロー管理に変革をもたらす可能性に大きな期待を寄せています。Apache NiFi 2.0を今すぐご利用になりたい方は、5日間の無償トライアルをお試しください。Cloudera DataFlow 2.9の新機能の概要について、以下でご紹介します。

強力な新機能により生成 AI を加速

Cloudera DataFlow 2.9には、生成 AI の取り組みを推進するための特別な新機能が導入されています。

• 新しい AI プロセッサ: 生成 AI アプリケーションのためのシンプルなデータ統合と合理的なデータ準備を実現する新しいプロセッサによって、最先端の AI モデルの力を引き出すことができます。
• RAG アーキテクチャ向け ReadyFlow: 構築済みのデータフローを活用することで、検索拡張生成 (RAG) プロジェクトをすぐに開始できるため、外部のナレッジソースを参照する生成 AI アプリケーションの開発が迅速化されます。

こうした機能強化によって、高度な生成 AI ソリューションを容易かつ効率的に構築し、AI の革新的な力を引き出すことができます。

開発者の生産性が向上

DataFlow 2.9には、開発者の生産性を高め、データパイプラインの開発を合理化する機能が導入されています。

• パラメータグループ: パラメータをグループ化して複数のフローに適用できるため、シンプルなフロー管理が実現し、再利用が容易になります。これにより、開発時間が短縮され一貫性が向上します。
• ReadyFlow: 一般的なデータ統合や処理のタスク向けの構築済みテンプレートを活用することで開発効率が向上し、開発者はより価値の高い業務に専念できるようになります。

DataFlow 2.9によって開発がシンプルになり、再利用性が高まるため、データエンジニアはデータパイプラインを迅速に構築して配備でき、企業の価値実現までの時間が短縮されます。

運用を簡素化してオブザーバビリティを強化

DataFlow 2.9では、データパイプラインの運用と監視をかつてなく容易にする機能強化も行われています。

• 通知: カスタマイズ可能な通知機能を使用して重要なイベントのアラートを受け取ることで、データフローの健全性とパフォーマンスについて常に把握できます。
• 高度な NiFi メトリクス: 監視機能が強化され、データパイプラインの状況を詳しく理解できます。監視機能では、フローパフォーマンスに関する詳細なメトリクスが提供されます。また、任意のオブザーバビリティツールに監視機能を統合することができます。

こうした運用上の機能強化により、データパイプラインの管理がスムーズになるため、トラブルシューティングにかかる時間が短縮され、効率を最大限に高めることができます。

Cloudera のビジョン: ユニバーサルデータ配信

DataFlow 2.9においても、Cloudera はエッジから AI まであらゆる環境に広がるデータのシームレスな移動と処理を可能にするユニバーサルデータ配信のビジョンを形にしています。今回のリリースは、生成 AI 時代においてイノベーションの加速とビジネス価値の促進をもたらす効率的で適応性の高い未来志向のデータパイプラインを構築するうえで欠かせないビルディングブロックとなるものです。

さらに詳しく

Cloudera DataFlow 2.9の新機能の詳細とデータパイプラインの変革に役立つ仕組みについては、こちらのビデオをご覧ください。

Cloudera DataFlow now powers GenAI pipelines and supports changing flow versions of existing deployments in latest 2.8 release (Cloudera DataFlow は最新の 2.8リリースで生成 AI パイプラインに対応し、既存デプロイメントのフローバージョンの変更をサポート)

Cloudera DataFlow 2.9 now supports building GenAI pipelines with NiFi 2, simplifies parameter sharing and improves monitoring capabilities (Cloudera DataFlow 2.9では NiFi 2を用いた生成 AI パイプラインの構築が可能になり、パラメータ共有が簡素化されて監視機能が向上)

この記事は、2024/11/15に公開された「Empower Your Cyber Defenders with Real-Time Analytics」の翻訳です。

今日、組織のセキュリティと保護に取り組むセキュリティ担当者は、これまでにないさまざまな課題に直面しています。実際、Identity Theft Resource Center (ITRC) の『Annual Data Breach Report』によると、2023年には2,365件のサイバー攻撃が発生して3億人以上が被害を受け、データ侵害は2021年から72% 増加しました。

多くの担当者が、ますます巧妙化し、次々と発生するサイバー攻撃への対応に追われ、疲弊しています。攻撃の件数と巧妙さが日々増す中で、セキュリティ侵害に対してプロアクティブかつ効果的に対抗するには、AI と自動化の実装が欠かせません。

しかし、成果を上げるうえで障害となる根本的な課題があります。それはデータです。この記事では、セキュリティ担当者が、データ、分析、AI を活用して仕事に取り組む際に直面する問題、そうした問題を Cloudera のオープンデータレイクハウスで軽減する方法、そして現代のサイバーセキュリティ環境の複雑な状況に対応するうえでの Cloudera アーキテクチャの重要性について取り上げます。

サイバーデータにまつわる問題

データは、セキュリティ担当者にとって最大の資産であると同時に、最大の課題です。問題はデータの多さだけではなく、そのデータを管理し、内容を把握することの難しさにあります。セキュリティ担当者が直面している課題は、次のとおりです。

• 大量のデータ: サイバーセキュリティツールは、ドメインネームサービス (DNS) のレコードやファイアウォールのログなど、膨大な量のログデータを生成します。これらのデータはどれも調査や脅威ハンティングに不可欠ですが、既存のシステムでは効率的な管理が難しいことが少なくありません。たいていの場合、データの取り込みに時間やコストがかかりすぎ、対応が遅れたり対策の機会を逃したりする結果となります。
• 大量のツール: 企業では、サイバー防衛のために平均して40種類以上のツールを展開しています。各ツールには独自の目的がありますが、アナリストは複数のインターフェースを行き来せざるを得ず、総合的な調査が困難になりがちです。また、手動でのツールの切り替えが調査の遅れを招き、原始的な手段に頼らなければ調査結果を追跡できないことが少なくありません。
• 分析に不向きな非構造化データ: ログデータをようやく収集できても、そのデータが分析に適した形式であることはめったにありません。サイバーログは非構造化データや半構造化データであることが多く、そのままでは洞察を引き出すことが困難です。そのため、アナリストは調査用のデータの正規化、解析、準備に貴重な時間とリソースを費やさざるを得ません。

打開策: Cloudera のオープンデータレイクハウス

このような課題を解決するために Cloudera が提供しているのが、オープンデータレイクハウスです。このソリューションは、データレイクストレージの柔軟性と拡張性をデータウェアハウス機能と組み合わせることで、サイバーログデータの管理を統合し、効率化します。データサイロを解消し、複数のソースから得たログデータを統合できるため、セキュリティ担当者はリアルタイムで分析して脅威に迅速に対応できるようになります。

Cloudera は以下のことを可能にします。

• 単一システムへの統合: Cloudera のオープンデータレイクハウスは、すべての重要なログデータを1つのシステムに統合します。大量のデータの高性能分析を行うために設計されたオープンテーブル形式の Apache Iceberg を活用することで、セキュリティ担当者はすべてのデータにアクセスし、調査のスピードと効率を高めることができます。クエリを実行する対象が現在のデータでも過去のデータでも、システムがニーズに合わせてスケールアップまたはスケールダウンを実行します。
• 分析への最適化: Iceberg テーブルは、分析を迅速かつ効果的に実行できるように設計されています。柔軟なスキーマ機能やパーティショニング機能を備えた Iceberg テーブルは、スケールアップによってペタバイト規模のデータを処理しながら、ログを圧縮してストレージコストを節約できます。このメタデータベースのアプローチによってクエリ実行計画を迅速に作成できるため、セキュリティ担当者はすぐに回答を求められた場合でも、処理の遅さに悩まされることがありません。
• データのセキュリティとガバナンスの確保: Cloudera Shared Data Experience (SDX) では、セキュリティとガバナンスがすべてのステップに組み込まれています。サイバーログにはユーザー、ネットワーク、調査に関する機密データが含まれていることが多いため、これらの情報を保護しながら、許可されたチームのみがデータアクセスやデータ共有を安全に実行できるようにすることが重要です。
• リアルタイムで洞察を引き出せるストリーミングパイプライン: オープンデータレイクハウスが分析の基盤を提供する一方で、Cloudera のデータパイプライン機能は、非構造化サイバーログの生データを最適化された Iceberg テーブルに変換します。Cloudera Data Flow と Cloudera Stream Processing を使用すれば、ログデータをリアルタイムでフィルタリング、解析、正規化、強化できるため、高度な分析に適したクリーンな構造化データを常に活用できるようになります。
• シームレスな統合: Cloudera のオープンデータレイクハウスは、さまざまなツールと統合されているため、調査担当者、脅威ハンター、データサイエンティストは好みのツールで作業できます。Cloudera Data Visualization のドラッグアンドドロップ式のインターフェースから、異常検知用の高度な機械学習モデルまで、さまざまなツールを制限なく活用できます。さらに、Iceberg の相互運用性とオープンスタンダードの組み合わせにより、各作業に最適なツールを選択できます。

Iceberg によるリアルタイムの脅威検知

サイバーログデータは膨大な量があり、しかも増え続けています。そのため、従来の多くのシステムでは、クエリ実行計画を作成するのに、クエリ自体を実行するのと同じくらい時間がかかることがあります。Iceberg は、パーティションやファイルの場所に関する情報など、すべてのテーブルメタデータをクエリエンジンが扱いやすい形式で格納することで、クエリ実行計画の作成を効率化します。これにより、拡大し続ける大規模なテーブルでも常に管理できるようになるため、セキュリティ担当者は、クエリ実行計画の非効率的なプロセスに煩わされることなくリアルタイムで脅威を検知し、脅威検知と調査のワークフローを迅速化および効率化できます。

また、脅威の進化に合わせて、脅威の検知と対応に使用するシステムとプロセスも進化させる必要があります。Iceberg を使用すれば、テーブルを書き換えることなく、スキーマ、パーティショニング、データ強化のプロセスをその場で変更できます。さらに、Iceberg スナップショットによるヴァージョニングによって、テーブルの以前の状態を簡単に再現できるため、複数のデータコピーを管理したり維持したりすることなく、いつでも過去の文脈情報にアクセスできます。

未来: AI を活用したサイバー防衛

Cloudera は、AI を活用したサイバーセキュリティの未来に向けてセキュリティ担当者を支援する準備も進めています。SQL AI Assistant のような組み込みの生成 AI ツールを使用することで、アナリストは必要な回答を抽出するための SQL クエリをすばやく記述できます。日常的なタスクの自動化からインシデントを要約するチャットボットの構築まで、Cloudera の AI 機能は、データを常に安全に管理しながらサイバー防衛を効率化します。

結論: セキュリティ担当者を支援してビジネスを保護

Cloudera のオープンデータレイクハウスは、サイバーデータを安全かつ拡張可能で、分析に適した環境に統合することで、サイバー脅威に先手を打てるようにします。Cloudera は、さまざまなツールや実行エンジンとのシームレスな統合、柔軟で費用対効果の高いストレージ、組み込みの AI 機能により、サイバー脅威への対応に役立つ予測的洞察をリアルタイムで提供して、組織を保護するセキュリティ担当者を支援します。

このブログで紹介したソリューションや Cloudera の他のすべてのイノベーションの詳細については、「Cloudera NOW」の録画をオンデマンドでご覧ください。

この記事は、2024/12/4に公開された「Cloudera announces ‘Interoperability Ecosystem’ with founding members AWS and Snowflake」の翻訳です。

今日の企業は、データの取り込み、処理、利用に最適なツールである Cloudera と Snowflake を組み合わせて活用することで、あらゆるデータ、分析、AI のワークロードのための信頼できる唯一の情報源を手に入れることができます。

さらに AWS のお客様は、柔軟性、データの有用性、複雑さを向上させ、最新のデータアーキテクチャを利用できるようになります。これらはすべて、Snowflake、Cloudera、および AWS 独自のサービスにワークロードを簡単に接続できるようにしたことで実現しています。その AWS のサービスには、Simple Storage Service (Amazon S3)、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Relational Database Service (Amazon RDS)、Amazon Elastic Compute Cloud (Amazon EC2)、Amazon EMR、Amazon Athena などが含まれます。

当社のお客様からは、以下を望む声が寄せられています。
 

• 拡張性が高くコスト効率に優れたパフォーマンス: Snowflake のコンピューティングエンジンと Iceberg を導入した Cloudera のレイクハウスによって、コストを最適化しながら、分析と AI ワークロードの規模を動的に拡張
• エコシステムのシームレスな統合: AWS サービス全体のワークフローを統合し、データサイロのないハイブリッド/マルチクラウド環境を実現
• 安全かつリアルタイムの洞察: 強固なガバナンス機能とリアルタイムの分析機能を組み合わせることで、効率的で安全なデータ管理と AI を活用した洞察の取得を実現

各社のコラボレーションにより、以下が可能になります。
 

• シームレスなデータ共有と相互運用性: この統合により、AWS のお客様は、Cloudera のデータレイクハウス機能と Snowflake の AI データクラウドを活用できるようになり、複数プラットフォーム間で一元的なデータアクセスとデータ共有が実現します
• AI/ML のパフォーマンス強化: このパートナーシップにより、AWS で運用している Cloudera のオンプレミスまたはハイブリッド環境のデータセットを Snowflake の分析機能と統合することで、AI/ML アプリケーションのデータワークフローを最適化し、レイテンシを短縮し、洞察を向上させます
• クラウドへの投資を最大限に活用: お客様は、広範なデータ運用を Cloudera で管理しながら、特定の分析ユースケースに Snowflake を活用できます。この2つのプラットフォームの長所を組み合わせることで、AWS インフラストラクチャーへの投資を最大限に活用できます
• マルチクラウド戦略のサポート: このコラボレーションにより、AWS に保存されたデータと Snowflake を簡単に接続することができるため、マルチクラウド戦略をサポートし、特定のベンダーに縛られずに環境間でのデータモビリティを強化することができます
• 拡張性が高く安全なデータ管理: Cloudera のエンタープライズグレードのセキュリティおよびガバナンス機能が Snowflake と共有するデータにまで適用され、機密データを取り扱うお客様のコンプライアンスと拡張性が確保されます

新たに公開されるユースケースがいくつかあります。例えば、ハイブリッドワークロードに Cloudera を使用している AWS のお客様は、分析ワークフローを Snowflake に拡張し、インフラストラクチャー間でデータを移動することなく、より詳細な洞察を取得できるようになりました。また、Cloudera の生データの処理機能と Snowflake の分析機能を組み合わせることで、効率的な AI/ML パイプラインを構築することもできます。ユースケースは無限であり、私たちには想像もできなかったようなユースケースも登場するかもしれません。 

「これにより、どのデプロイメントゾーン、どのフォームファクタ、どのコンピューティングエンジンにも企業のレイクハウスと分析機能を迅速に展開することができるため、TCO を最小限に抑えることができます。AWS 社および Snowflake 社とのパートナーシップにより、お客様はミッションクリティカルなエンタープライズアプリケーションを一度構築すれば、パブリッククラウド、プライベートクラウド、VPC など、どこにでも展開できるようになり、実務担当者とデータチーム間でデータアセットを共有できるようになります」と、Cloudera の最高戦略責任者である Abhas Ricky は説明します。 

「AWS 社、Snowflake 社と手を取り合うことで、強力な3社が独自の協力体制を提供できるようになります。お客様からの肯定的なフィードバックは、お客様にとって有意義な効果が生み出されていることを裏付けています」と、Cloudera のグローバルアライアンス & チャネル担当シニアバイスプレジデントである Michelle Hoover は語ります。

Cloudera は今年初め、Pinecone、Anthropic、Google、Amazon、Snowflake といった各パートナーとともに、エンタープライズ AI エコシステムを拡大することを発表しました。このイニシアチブにより、業界をリードする AI プロバイダーの多様なグループが団結し、AI の価値を最大限に引き出すことができる包括的なエンドツーエンドの AI ソリューションが提供されます。

さらには、REST Catalog エコシステムによって、複数ベンダーにまたがるデータへのアクセスがさらに容易になるため、お客様がベンダーを選別する必要がなくなり、それぞれのベンダーの優れた機能を単一のアクセスポイントから利用できるようになります。 

こちらのブログでは、Amazon EMR を Cloudera のレイクハウスとシームレスに統合し、Iceberg REST Catalog による安全なデータ共有と相互運用性をどのように実現するかについて詳しく説明しています。ぜひご覧ください。  

この記事は、2024/11/4に公開された「Unlocking Faster Insights: How Cloudera and Cohere can deliver Smarter Document Analysis」の翻訳です。

Cloudera は本日、PDF ドキュメントを分析するための新しい Cloudera Accelerator for Machine Learning (ML) Projects (AMP) として、Document Analysis with Command R and FAISS をリリースいたしました。この製品は、Cohere 社の大規模言語モデル (LLM) である Command R 、検索拡張生成 (RAG) アプリケーション用の Cohere Toolkit、および Facebook AI Similarity Search (FAISS) を活用したものです。

ドキュメント分析は、大量のテキストから効率的に洞察を抽出するために欠かせない作業で、法務調査、市場分析、科学研究などさまざまな分野で活用されています。例えば、がん研究者はドキュメント分析を活用することで、特定の種類のがんに関する何千本もの研究論文から主要な調査結果を迅速に把握し、新しい研究の優先順位を決めるのに必要な傾向や知識のギャップを特定できます。

LLM が広く普及するまで、ドキュメント分析は主に手作業やルールベースのシステムで行われていました。しかし、このような手段では時間と労力がかかる上に、複雑な言葉のニュアンスや非構造化データに対応しきれないことが少なくありませんでした。

Cohere 社の Command R のような高度な LLM や、Cloudera Artificial Intelligence (CAI) のような AI プラットフォームが開発されたことで、企業は効果の高いドキュメント分析アプリケーションをかつてないほど簡単に導入できるようになりました。このプロセスをさらに簡単にするために Cloudera が開発したのが、「Document Analysis with Command R and FAISS」と呼ばれる AMP です。

Cohere 社の Command R ファミリーのモデルは、最先端のトランスフォーマーアーキテクチャを活用した高度な LLM で、複雑なテキストを生成したり理解したりするタスクを高い精度と速度で実行できるため、エンタープライズレベルのアプリケーションやリアルタイム処理のニーズに適しています。また、さまざまなアプリケーションに簡単に統合できるように設計されているため、規模の大小を問わずあらゆるサイズの実装に柔軟かつスケーラブルに対応できます。Cohere Toolkit は事前構築済みのコンポーネントのセットで、開発者が検索拡張生成 (RAG) アプリケーションを迅速に構築して展開するのに役立ちます。

CAI は、データサイエンティストや人工知能 (AI) の専門家が、モデルやアプリケーションを大規模に構築、トレーニング、デプロイ、管理するための強力なプラットフォームです。AMP は一般的に使用される AI/ML ベースのプロトタイプをワンクリックで展開できるプロジェクトです。Cloudera の研究と専門知識を活用して、最先端の AI アプリケーションを体験できる高品質のサンプルを提供することで、価値実現までの時間を短縮します。

CAI から単一のプロジェクトとして起動されるこの AMP は、アプリケーションを自動的に展開してベクトルを FAISS ベクトルストアにロードし、Cohere 社の Command R LLM と連携してドキュメント分析を実行できるようにします。下の画像は、AMP で使用される検索拡張生成 (RAG) アーキテクチャと Cohere 社のモデル、FAISS、ユーザーのナレッジベース、Streamlit などの各コンポーネントが連携して、すぐに使える生成 AI のユースケースを構築する仕組みを示しています。

このプロジェクトでは、特に RAG の観点から、いくつかの重要な新しいテーマを Cloudera の AMP ライブラリに加えています。Meta 社のオープンソースである FAISS は、密なベクトルの類似性検索やクラスタリングを効率的に行うためのライブラリです。このライブラリには、RAM に収まらない可能性のあるベクトルを含め、あらゆるサイズのベクトルのセットを検索できるアルゴリズムが含まれています。この AMP で FAISS を活用することで、Cloudera はベクトル検索アプリケーションの柔軟性を実証し、既存の AMP カタログで採用されている Milvus、Chroma、Pinecone などに加えて、この機能を採用しています。

さらにこの AMP は、Cohere 社のモデルおよび FAISS へのカスタムコネクターを利用した LangChain 社の AI ツールキットを活用することで、高度なセマンティック検索と要約機能を簡潔でわかりやすいコードベースで実現しています。また、英語の入力から高品質のテキスト埋め込みを生成するようにカスタマイズされた Cohere 社の embed-english-v3.0 モデルを利用しており、微妙な意味の違いを捉えるのに優れています。UI には Streamlit が使われているため、ユーザーはシンプルなテンプレートで作業を開始し、それをベースに本番環境への本格的な展開を進めることができます。

「Document Analysis with Command R and FAISS」AMP の仕組みや展開方法の詳細については、この Github リポジトリをご覧ください。 

Cohere 社と Cloudera は、高性能な AI アプリケーションをさらに簡単に展開できるようにするために協力して取り組んでいます。今後のニュースにぜひご期待ください。

この記事は、2024/10/22に公開された「The Evolution of LLMOps: Adapting MLOps for GenAI」の翻訳です。

近年、機械学習モデルの開発、展開、管理のための標準的な手法となっているのが機械学習運用 (MLOps) です。MLOps は、プロセスとワークフローを標準化し、モデルをより迅速かつ安全に、そしてスケーラブルに展開できるようにします。また、モデル管理を一元化し、展開のための CI/CD を自動化すると同時に、継続的な監視機能を提供し、ガバナンスとリリースのベストプラクティスを確保します。

その一方で、大規模言語モデル (LLM) の急速な台頭により、コンピューティングコスト、インフラストラクチャーのニーズ、プロンプトエンジニアリング、その他の最適化手法、ガバナンスなどに関する新たな課題が生じています。これに対応するために、MLOps を「大規模言語モデル運用」(LLMOps) と呼ばれるものへと進化させることが求められています。

このブログでは、LLMOps がもたらす新たなプロセスとワークフローによってどのような領域に違いが生じるのか、従来の MLOps と比較しながら説明します。

• 開発に関わる人材の広がり: 従来の ML アプリケーションでは、主にモデルの構築をデータサイエンティストが担う一方で、ML エンジニアが中心となってパイプラインの構築と運用を行っていました。しかし LLM の登場により、このパラダイムに変化が生じています。開発に携わるのは、もはやデータサイエンティストだけではありません。ビジネスチーム、プロダクトマネージャー、エンジニアもより積極的にその役割を担うようになってきています。その主な理由として、LLM によって AI ドリブンアプリケーションの開発への障壁が下がったことが挙げられます。 オープンソースモデル (Llama や Mistral など) と独自のサービス (OpenAI など) の両方の技術進歩によって、モデルの構築とトレーニングに関する複雑な作業の多くが取り除かれました。しかし、このような民主化は諸刃の剣でもあります。LLM は製品への統合が容易である一方で、コンピューティングコスト、インフラストラクチャーのニーズ、ガバナンス、品質など、対処すべき新たな課題を生み出しています。
• 中核機能としてのローコード/ノーコード: MLOps のツールは、主にデータサイエンティスト向けに設計されたものであり、API 中心のアプローチで、Python や R との統合に重点が置かれていました。LLMOps では、広範なユーザーの要求に応え、さまざまなチームが LLM にアクセスできるようにするために、ローコード/ノーコードのツールが不可欠になっています。技術者以外の関係者が最小限のコーディング知識で LLM を構築、実験、展開できるように、プラットフォームがいかに使いやすいインターフェースを備えているかを前面に押し出すことが、現在の LLMOps のトレンドです。
• モデルの最適化を重視: LLM を使用する場合、汎用モデルを対象に、独自のデータを使用して特定のビジネスニーズに合わせてモデルを微調整するのが一般的です。そのため、モデルの最適化のための手法が LLMOps の中心的な課題となりつつあります。対象となるユースケースに合わせて LLM を改良するためには、量子化、プルーニング、プロンプトエンジニアリングといった手法がきわめて重要です。最適化はパフォーマンスを向上させるだけでなく、LLM アプリケーションのコストと拡張性を管理するためにも不可欠です。
• プロンプトエンジニアリング: LLMOps の登場によってもたらされたまったく新しい概念の1つに、プロンプトエンジニアリングがあります。これは、モデルの動作をガイドするための詳細な指示を作成する手法です。プロンプトエンジニアリングは技術であると同時に科学でもあり、LLM レスポンスの品質、関連性、効率を向上させるための重要な手法として機能します。プロンプト管理のためのツールには、プロンプトチェイニング、テストプレイグラウンドのほか、高度な概念であるメタプロンプティングなどがあります。メタプロンプティングとは、ユーザーがプロンプトを活用して別のプロンプトを改善する手法であり、LLMOps を構成する重要な技術の1つです。また、Chain of Thoughts (CoT) や Assumed Expertise などの手法も、この新しい領域における標準的な戦略になりつつあります。
• 検索拡張生成 (RAG) の出現: 従来の ML モデルとは異なり、LLM を含む多くのエンタープライズレベルの生成 AI のユースケースでは、事前にトレーニングされた知識だけでなく、外部ソースから取得した関連データも利用しながら回答を生成しています。これが、検索拡張生成 (RAG) アーキテクチャの発展へと繋がりました。このアーキテクチャは、検索モデルを統合して企業のナレッジベースから情報を取得し、LLM がその情報をランク付けして要約します。 RAG は、ハルシネーション (幻覚) を大幅に減らすと同時に、エンタープライズデータを活用するための費用対効果の高い方法を提供する、LLMOps の新たな基盤となっています。RAG パイプラインの構築と管理は、MLOps 環境では存在しなかったまったく新しい課題です。LLMOps のライフサイクルでは、RAG パイプラインの構築と管理が、従来のモデルトレーニングに取って代わる重要な焦点となっています。ML モデルのトレーニングと同様に、LLM の微調整は依然として重要ですが、これにはインフラストラクチャーとコストに関する新たな課題が生じています。また、RAG パイプラインでエンタープライズデータを使用する際には、データ管理に関する新たな課題も生まれます。ベクトルストレージ、セマンティック検索、埋め込みなどの機能は、LLMOps ワークフローにとって不可欠な構成要素となっています。これらは、MLOps ではあまり一般的ではなかった領域です。
• 評価と監視の予測が困難: LLM の評価と監視は、従来の ML モデルの場合よりも複雑です。LLM アプリケーションはコンテキストへの依存度が高く、評価にあたっては特定分野の専門家 (SME) からの大量のインプットが必要になります。そこで、自動評価フレームワークという技術も登場し始めています。これは、LLM が別の LLM を評価する技術です。一方、生成モデルの予測不可能性の課題やハルシネーション (幻覚) などの問題は、依然として対処が困難です。これらの課題を克服するために、多くの企業はまず、エージェントアシスタントなどの LLM ユースケースを社内に展開し、その信頼性を確認した後、顧客向けアプリケーションをリリースするという戦略を取っています。
• リスク管理とガバナンス: モデルのリスク管理は、MLOps においても常に重要な焦点でしたが、LLMOps では新たな懸念をもたらしています。LLM がどのようなデータを使ってトレーニングされたかについては不透明な部分が多いため、プライバシーや著作権、偏見に関する懸念を引き起こしています。さらに、LLM の監査可能性と説明可能性についての問題は未解決のままです。企業では AI リスクフレームワークの導入が進められていますが、ベストプラクティスはまだ確立してはいません。当面のところ、徹底した評価、継続的な監視、承認済みモデルのカタログ作成、ガバナンスポリシーの確立に注力することが、初期の重要なステップとなるでしょう。今後は、AI ガバナンスが LLMOps ツールの重要な柱となるはずです。

企業での LLM の導入が進むにつれて、直面する独自の課題に対処するためには、MLOps から LLMOps への移行が不可欠です。そして LLMOps においては、プロンプトエンジニアリング、モデルの最適化、RAG が重要です。さらに、ガバナンス、リスク管理、評価の分野に新たな複雑さが加わったことにより、これらの高度なモデルを本番環境で適切に拡張および管理していくためにも、LLMOps の重要性が高まっています。

LLM の活用方法についてさらに詳しく知りたい方は、こちらをご覧ください。

この記事は、2024/10/10に公開された「Cloudera Lakehouse Optimizer Makes it Easier Than Ever to Deliver High-Performance Iceberg Tables」の翻訳です。

オープンデータレイクハウスは、大量のデータに対して統合的な多機能分析を実行するための標準アーキテクチャとなりつつあります。このアーキテクチャは、データレイクストレージの柔軟性と拡張性に、データウェアハウスのデータ分析、データガバナンス、データ管理機能を組み合わせたものです。オープンテーブル形式は、従来のデータウェアハウスが持つ機能の多くをデータレイクストレージで直接提供できることから、このアーキテクチャの重要なコンポーネントとなっています。中でも Apache Iceberg は、ベンダーと顧客の双方で、急速に標準形式として採用されつつあります。

Iceberg はデータを高性能で可視化するために必要な作業を大幅に削減する機能を数多く備えています。しかし、その機能の多くはオーバーヘッドを発生させるため、パフォーマンスとコストを最適化するために手動によるジョブの実行が必要になります。そこで Cloudera は、データレイクハウスの管理をさらに容易にするために、Cloudera Lakehouse Optimizer を導入しました。このソリューションは、Iceberg テーブルのメンテナンスをインテリジェントに自動化するため、こうしたジョブの多くがバックグラウンドで自動的に実行されます。この記事では、Cloudera Lakehouse Optimizer の一部の機能、それらの機能がもたらすメリット、そしてこのサービスの今後の展望についてご説明します。

Cloudera Lakehouse Optimizer の機能

Cloudera Lakehouse Optimizer は、ユーザー設定と Iceberg テーブルの統計情報に基づいて、ポリシーベースの Iceberg テーブル最適化タスクを自動で実行します。この自動の最適化ジョブでは、以下の処理が実行されます。

コンパクト化: 企業では、マイクロバッチ処理やストリーミングデータなど、多くの小さなファイルを取り込むことが多いですが、複数の小さなファイルの読み取りは、クエリのパフォーマンスに悪影響を及ぼす可能性があります。コンパクト化とは、パフォーマンスを高めるために、多数の小さなファイルをまとめて大きなファイルに作り変えるプロセスのことです。Cloudera Lakehouse Optimizer は、データファイルを自動でコンパクト化するのに最適なタイミングを自律的に判断し、ユーザーが常にテーブルから最高のパフォーマンスを得られるようにします。また、最適化すべきテーブルの優先順位を使用パターンに基づいて決定するため、手動による最適化は、実際に ROI が見込める場合に行うだけです。

テーブルのクリーンアップ: テーブルが拡大するにつれて、未使用のデータファイル、マニフェストファイル、スナップショットなど、不要なデータが蓄積されていくことがよくあります。そのため、ストレージ使用率を最適化してパフォーマンスを向上させるために、スナップショットの失効処理、古いメタデータファイルの削除、孤立ファイルの削除といったテーブルメンテナンスの実行が必要になることがあります。Cloudera Lakehouse Optimizer は、こうしたメンテナンスタスクを実行するのに最適なタイミングを自律的に判断し、テーブルのストレージ使用状況を常に最適な状態に保てるようにします。

さらに、Cloudera Lakehouse Optimizer は最適化とポリシーベースの統制だけでなく、最適化ジョブのオブザーバビリティを提供するため、データチームはポリシーがテーブルとストレージの健全性とパフォーマンスに与えている影響を視覚的に把握できます。

メリット

Cloudera Lakehouse Optimizer は、Iceberg テーブルを管理している企業に以下のようなメリットをもたらします。

• ストレージの設置面積を最適化し、クエリの実行時間を短縮することで、総所有コスト (TCO) を削減する。
• クエリで読み取る必要のあるファイルの数を削減することで、データ処理を効率化する。
• レイクハウスで最も面倒なメンテナンスタスクの一部を自動化することで、データ管理の労力とオーバーヘッドを削減する。

今後の展望

当社が Cloudera Lakehouse Optimizer でリリースする機能は、オープンデータレイクハウスアーキテクチャへの移行を検討している企業にとって極めて重要な2つの課題を解決します。Cloudera は、データの高性能な可視化をかつてないほど簡単に実現するというビジョンを掲げていますが、今回のリリースはこのビジョンを推進するための第一歩にすぎません。将来的には、クエリのパフォーマンスに影響を与えかねないデータ分散の問題を解決するためのパーティションの再編成や、クエリの最適化など、さらに多くの最適化機能を追加する予定です。

こうした機能はすべて、Cloudera が Iceberg テーブルの管理とアクセスのための最適なプラットフォームとなること、そしてオープンデータレイクハウスの導入をこれまで以上に簡単にすることを目標としています。

オープンデータレイクハウスの無償トライアル

Cloudera のオープンデータレイクハウスは、AWS 上で今すぐ無料でお試しいただけます。ぜひ5日間無償トライアルに登録して、ご自身の目でお確かめください。