この記事は、2026/3/12に公開された「Accelerating Humanitarian Impact with AI」の翻訳です。

緊急人道支援の NGO である Mercy Corps は、効果的な危機対応のためにタイムリーで十分な情報に基づいた意思決定が不可欠な環境で活動しています。チームはしばしば強いプレッシャーの中で、状況を迅速に評価し、調査や過去の知見を活用することが求められます。

世界的な危機が規模と複雑さを増すにつれ、このモデルを維持することが難しくなってきています。同時に、資金面の制約が業界全体の縮小を引き起こしており、Mercy Corps のような組織には、限られたリソースでより多くのことを行うことが求められています。しかし、分析の遅れは現場の状況に直接悪影響を及ぼす可能性があります。

この課題に取り組むため、Mercy Corps は、データと AI を活用して危機に関する調査の手間を軽減しつつ、人間の判断を置き換えることなく運用する方法を探り始めました。Mercy Corps の人道的専門知識と Cloudera のデータおよび AI 機能を組み合わせることで、2 つの組織は危機対応を強化し、Mercy Corps の使命を大規模に支援することに着手しました。

規模に応じたプロセスの管理

Mercy Corps のグローバル危機分析チームは、急速に変化する状況における援助と開発のトピックに関する調査を行うことで、組織全体の意思決定を支援します。彼らの研究は緊急対応計画から長期的なプログラム設計に至るまで、あらゆる面に影響を与えています。これらのチームは、紛争の動向、食料不安、避難の傾向、経済的ショックなどを分析し、支援ニーズを事前に予測し、行動を適切に導くのに役立てています。

歴史的に、この研究は手作業のプロセスに依存していました。アナリストたちは多数のニュースソース、ウェブサイト、情報プラットフォームを行き来し、情報をコピーしてスプレッドシートや文書に記録し、それをレポートにまとめました。これは綿密なプロセスではあったものの、時間がかかり、迅速な危機分析が必要な際にはボトルネックを生みました。

危機の規模が拡大し、発生のペースも加速するにつれて、Mercy Corps はこのモデルが持続可能ではないと認識しました。この組織は、現実的な制約にも直面しました。技術的な体制には限りがあり、各チームも人員やリソースが不足していました。さらに、社内で新たな AI ソリューションを構築するには、既存の運用を維持しながらでは負担しきれない投資が必要でした。

プロフェッショナルサービスの力を活用する

Cloudera のプロフェッショナルサービスチームは、Mercy Corps が危機的な状況で必要としていた能力と専門知識を提供しました。そして、このパートナーシップを通じて、Mercy Corps は、スタッフやインフラストラクチャを追加するという負担なしに、一流の技術専門家からのサポートを得ました。

CTO & Portfolio のシニアディレクターである Laurence Da Luz は、「このプロジェクトは、ただ入ってきて、仕事をして、終了というものではなく、彼らが自立できるようにする意図がありました」と述べています。

Cloudera のチームは、データ、分析、AI に関する豊富な経験に加え、人道支援団体が直面する運用上および任務上の制約を明確に理解していました。プロフェッショナルサービスチームは、Mercy Corps の利害関係者と緊密に連携して、現実世界の課題を、ニーズの変化に応じて進化できるスケーラブルなソリューションに変換する支援を行いました。

単発の納品として捉えるのではなく、パートナーシップと能力開発に重点を置きました。目標は、危機の時期に迅速に行動し、Mercy Corps が長期にわたって適応し、拡張し、維持できるソリューションを構築することでした。

人間中心の AI アプローチ

当初から、このパートナーシップは、最も重要な人々や意思決定から始めるという明確な目標に基づいて進められました。Cloudera のプロフェッショナルサービスチームは、Mercy Corps のチームと緊密に連携し、危機調査が実際にどのように行われているか、また、遅延やボトルネックが結果に最も直接的な影響を与える箇所はどこかを理解するために協力しました。

「このソリューションには、人間の要素が残っていることを認識することが極めて重要でした」と Da Luz は述べています。「私たちの目標は、彼らの仕事を AI で置き換えることではなく、多くの作業には依然として人間の繊細な判断や専門性が必要だからです。」

このソリューションは、判断を自動化するのではなく、それを加速するように設計されました。AI は情報の集約と早期要約の処理に適用され、アナリストが調査結果の解釈や、人間の判断が不可欠な状況に応じた専門知識の適用により多くの時間を費やすことができるようにしました。

このアプローチにより、断片化されたワークフローをより統一された体験へと統合する、柔軟性の高い AI ドリブン型の研究機能が生まれました。これらの機能により、アナリストは多様な情報源から情報を迅速に特定、アクセス、統合することが可能になり、人間の監視を維持しながら調査サイクル時間を短縮することができました。

技術レベルでは、Mercy Corps のソリューションは、さまざまな人道的研究テーマに合わせた複数のエージェントワークフローを活用しています。これらのエージェントワークフローは、多様で変化の激しい人道支援および社会に関する大量のデータを処理します。その結果得られる出力は、アナリストが明示した目的に基づいて、非常に重要な情報を明らかにするのに役立ちます。このシステムは対話型のインタラクションをサポートしているため、アナリストは結果を繰り返し洗練させ、特定のシナリオに向けて出力を誘導できると同時に、解釈と最終的な結論に対する完全な制御権を保持できます。

人道支援活動の実情に合わせて設計されたこのソリューションは、既存のワークフローに大きな変更を加えることなく、多様な地域、対象者、危機の種類に対応できます。進化する研究ニーズ、多言語の情報源、そして急速に変化する状況への対応を支援することで、チームはより迅速に対応し、タイミングと状況が重要な局面において、多くの情報に基づいた意思決定を行うことができます。

イノベーションを超えたインパクト

Cloudera のチームメンバーにとって、Mercy Corps とのプロジェクトに取り組むことは特に意義深い経験となっています。技術的な課題に挑戦するだけでなく、テクノロジーと社会的インパクトを直接結びつける取り組みだったからです。プロジェクトに関わった多くのメンバーは、「自分の仕事が世界中の人道支援活動を支える一助になっている」と知って、誇りに感じていると語っています。

「彼らが行っている仕事とその理由を理解できると、身が引き締まる思いがします」と、北部EMEA プロフェッショナルサービスディレクターの Alastair Elliot は述べています。

このプロジェクトにより、チームは Cloudera の既存の AI 機能を洗練し、拡張するための新しい洞察と学びを得ました。また、これは Cloudera が持つ、業界を問わず適用可能な実績のあるパターンとリファレンスアーキテクチャのライブラリを強化する上でも直接的に役立ちました。こうした学習とコラボレーションの組み合わせは、チームがビジネス目標と企業理念の両方に合致する業務を追求できるよう支援するという、当社の企業文化を反映しています。

人間らしい目的を深く追求するための AI ソリューション

Cloudera と Mercy Corps のパートナーシップは、高度なデータと AI 機能が明確なミッションと協力的なアプローチと組み合わされたときに何が可能になるかを示しています。両組織は、人々のニーズ、業務上の現実、そして長期的な持続可能性に焦点を当てることで、最も重要な分野で効果を加速させるソリューションを提供しました。

私たちは共に成し遂げた成果を誇りに思い、今後の可能性に胸を躍らせています。このコラボレーションは、組織が AI を責任をもって、効果的かつ目的をもって活用するためのモデルとなっています。単に技術的な課題を解決するだけでなく、世界中の人々やコミュニティを支えるために使うという姿勢を示しています。

Cloudera のプロフェッショナルサービスチームが、最も複雑なデータおよび AI イニシアチブをどのようにサポートするか、詳細をご覧ください。

この記事は、2026/2/27に公開された「Why Native Observability is the Heart of Anywhere Cloud」の翻訳です。

現在のエンタープライズテクノロジーの状況では、業界全体で争奪戦が繰り広げられています。組織がモノリシックアーキテクチャから異種インフラを活用する複雑な環境へと移行する中で、クラウドベースのデータプラットフォームは可視性、つまりオブザーバビリティの壁に直面しています。企業はその対応策として、本来備わっていないオブザーバビリティを「補足」することを目的とした、事後対応型の数十億ドル規模の買収を次々と行っています。

しかし、オブザーバビリティは、最近の合併による後付け項目や一項目であってはならず、中核的な機能であるべきです。Cloudera では、ネイティブのオブザーバビリティ DNA を、統合されたハイブリッドファーストの強力なツールへと進化させ、データ資産全体にわたる真の洞察が、統合データファブリック、オープンデータレイクハウス、データ・イン・モーション、AI、そしてデータプラットフォーム全体の基本的な要件であることを証明しています。これは、アプリ、ワークロード、モデル、エージェントを、パブリッククラウド、オンプレミスのデータセンター、エッジのいずれで実行する場合でも当てはまります。

オブザーバビリティの多面的な性質：単純なモニタリングを超えて

真のオブザーバビリティは単一のツールではありません。データ資産全体のすべての関係者の重要な質問に答えるためにデータプラットフォームに組み込まれた基礎的な機能です。ダッシュボードが更新されない理由を考えているビジネスアナリスト、長時間実行されるクエリを調査しているデータベース管理者、あるいはクラスターノード間で偏ったデータストレージを特定しているシステム管理者にも、オブザーバビリティは即時の実用的な答えを提供する統合されたテレメトリを提供する必要があります。

ハイブリッドおよびマルチクラウド環境の現実では、データ品質、クラウドパフォーマンス、インフラストラクチャの健全性など、データ環境全体で動作しない個別の単一目的ツールに依存していると、真の可視性は得られません。代わりに、観測対象システムが分断された島々になったデータサイロ問題が生じます。

オブザーバビリティが必要なのは、これらのシステム間の相互作用（データ、ワークロード、リソース使用率など）です。これらのカテゴリが切り離されると、組織はオペレーショナルエクセレンスに必要な詳細なコンテキストを失います。そのレベルの洞察を得るには、データ層と基盤インフラ、そしてその間すべてに、ログ、メトリクス、トレースを総合的に結びつける可視性が必要です。

ハイブリッド AI 時代の避けられない複雑さ

生成 AI と大規模モデリングの台頭により、ハイブリッドアーキテクチャは戦略的な選択から技術的必需品へと根本的に変化しました。AI ワークロードでは、トレーニング用の大規模なクラウド規模のコンピューティングと、プライバシーと低レイテンシーの推論のためのローカルなオンプレミスのデータグラビティとの間の微妙なバランスが求められ、結果的に現代の企業は異種環境の複雑なネットワークになります。

コアデータセンターからパブリッククラウド、そしてエッジにまで及ぶ、真に分散されたフットプリントへの移行は、ワークロードがこれらのさまざまなインフラストラクチャ内およびインフラストラクチャ間で異なる動作をするため、本質的に複雑さが増大します。この複雑さにより、パフォーマンスの遅れ、コストの急上昇、消費の問題といった事柄の背後にある重要な「理由」にたどり着くのが飛躍的に難しくなります。このハイブリッド AI 時代では、統一されたビューとテレメトリがないシステムの複雑さは管理不能なブラックボックスとなり、IT リーダーは重大な障害を予測または防止できなくなります。

「ボルトオン」の罠：オブザーバビリティを後付けにしてはならない理由

最近、クラウドベースのデータプロバイダーがオブザーバビリティのスタートアップ企業を買収する動きが急増しています。Snowflake が Observe を買収し、Palo Alto Networks が Chronosphere を買収するなどです。これら数十億ドル規模の買収は、データプラットフォームにネイティブのオブザーバビリティが欠けている場合、最終的には「可視性の壁にぶつかる」ことを示しています。これらのプロバイダーは現在、本来は中核機能であるはずの機能を手軽に後付けしようとしているのです。

現代の企業は、断片化されたクラウドのみのアプローチでは、次のような理由から、真のオペレーショナルエクセレンスを達成するために必要な可視性を提供できません。

• クラウド専用のツールは、スタックの特定のセグメントに制限されており、パブリッククラウドの外部にある膨大なデータ資産は無視されます。

• オブザーバビリティが後付けされたツールは、複雑なハイブリッド環境全体の問題の原因を理解するために必要な統一されたコンテキストを提供するのが困難です。顧客は、ログ、メトリクス、トレースの断片化されたインターフェースを頻繁に扱うことになり、データレイヤーとそれを支えるインフラストラクチャの間に重大な結束が欠如していることが浮き彫りになります。

Cloudera のネイティブかつ統一されたオブザーバビリティ機能

Cloudera Observability は、単純なモニタリングにとどまらず、統合的なパワーハウスとして機能するネイティブな基盤機能です。Cloudera は、可視性を基本要件として位置付け、オンプレミス、パブリッククラウド、エッジなど、ハイブリッドクラウド全体にわたる総合的な洞察を提供します。また、分散トレースとメトリクスを収集およびキャプチャするための可観測性フレームワークとして OpenTelemetry を活用することで、オブザーバビリティ標準の主要なフレームワークに準拠しています。

Cloudera Observability は、パフォーマンスの背後にある「理由」だけではなく、包括的な洞察のサイクルを提供します。私たちは、サブスクリプション契約をしている 130 万以上のノードから収集した診断知識を詰め合わせた高度な診断ツールを作成しました。今や、Cloudera Cloud Factory（旧 Taikun CloudWorks）の統合により、クラウドネイティブのインフラ管理を超えてこれらの機能を拡張するのに最適な位置にあります。

この進化により、予測の信頼性が現代の企業でも確実に手の届く範囲に置かれ、メンテナンスが事後対応型のパッチ適用サイクルから積極的な戦略へと変化します。既知の問題やセキュリティの脆弱性に関する事前警告を活用することで、組織はついに従来のトラブルシューティングを超えて、データ資産全体で継続的かつ信頼できるパフォーマンスを実現できます。

結局のところ可視性は、オブザーバビリティを DNA に組み込んだデータプラットフォームを通じて、ハイブリッド AI 時代の複雑さをナビゲートする唯一の方法です。真のオブザーバビリティを実現するために Cloudera を活用する方法について詳しくは、プロフェッショナルサービスチームにお問い合わせいただくか、製品デモをご覧いただくか、5日間の無料トライアルにご登録ください。

この記事は、2026/2/23に公開された「Bring AI Models to Your Data with Cloudera AI Inference Service」の翻訳です。

AI 導入は新たな段階に入りました。企業の AI プロジェクトの 88% が実稼働前に行き詰まっていますが、これは考え方の詰めが甘かったり、モデルが脆弱だったりするからではありません。インフラストラクチャが追いつかないからです。クラウド API は急速に高額になり、ガバナンスは後回しにされ、遅延は積み重なります。また、規制の厳しい業界では、機密データをパブリックエンドポイントに移動することは、選択肢としてありえません。

AI パイロットと本格的な実稼働との間のギャップを埋めるには、インテリジェンスをソースに直接提供する必要があります。Cloudera AI Inference Service は、データが存在する場所で直接実行される、安全でパフォーマンスが高く、コスト効率の高い本番稼働モデルのサービスレイヤーをエンタープライズの組織に提供します。

Cloudera では、モデルのコンテキストとしてデータをクラウドに送信するのではなく、モデルをお客様の元にお届けします。そのため、必要な場所でインテリジェンスのブロックが解除され、設計の段階からデータは保護され、お客様独自のファイアウォール内で確実に拡張されます。

データに AI を導入することが重要な 3 つの理由：プライバシー、コスト、スケールに応じた選択

データのプライバシーと保護

ほとんどの AI サービスでは、データをクラウドに送信する必要があり、コンプライアンス、コスト、遅延に関するリスクが生じます。Cloudera では、データがすでに存在する場所にモデルを導入するというアプローチを取っています。セキュアな仮想プライベートクラウド（VPC）内、またはエアギャップ（完全にオフラインかつ孤立）されたオンプレミス環境内でも、このモデルツーデータ戦略により、情報のプライバシーとガバナンスが確保され、同時に高パフォーマンスの推論によって本番環境の AI を強化することができます。

長期的に予測可能な経済性

クラウド上で 24 時間 365 日 AI を運用すると、予測不能な費用が急増します。こういったリクエストごとの料金では、使用量に応じて変動する予算を組まねばならず、長期的に予測することが困難になります。組織がすでに所有および管理しているインフラストラクチャに推論を移行することで、チームはこれらの外部使用料を回避できます。AI が安定した実稼働状態に移行すると、コストを予測しやすくなり、ワークロードの拡大に応じて投資収益率が向上します。

コントロールと選択

ほとんどのクラウド AI プロバイダーは、顧客を独自のエコシステムに誘導しているため、モデルの切り替え、拡張、または完全な制御が困難になっています。Cloudera AI Inference Service では、知的財産の管理や所有権を放棄することなく、NVIDIA の Nemotron のようなオープンソースの GenAI LLM から従来の予測モデルまで、幅広い AI 機能を展開できます。Cloudera AI Inference サービスは、NVIDIA AI スタック（NVIDIA Blackwell GPU、NVIDIA Dynamo-Triton、高性能でスケーラブルなモデル提供のためのNVIDIA NIM マイクロサービス）によって加速され、AI インフラストラクチャの柔軟性、移植性、将来性を維持しながら、自由なイノベーションを可能にします。

成功事例：オンプレミス対応 Cloudera AI Inference Service の早期導入

Cloudera AI Inference Service は、オフライン環境、ソブリンインフラストラクチャ、レイテンシーが重要となる運用など、クラウドが利用できない場所で新しい AI ユースケースを実現します。ここでは、Cloudera AI Inference Service によって実現され、早期導入を行った組織によってすでに実行されている 3 つの実際のシナリオをご紹介します。

国家安全保障：決して眠らず、漏洩もしない、隔離されたインテリジェンス

国防において、スピードと安全は譲れません。しかし最近まで、諜報員は機密性の高いオフライン文書を手作業で精査するのに何千時間も費やしており、プロセスによって遅延が生じ、量に圧倒され、公開されている AI ツールを漏洩のリスクなしに活用することができませんでした。

今では、Cloudera AI Inference Service がエアギャップ環境で稼働しているため、防衛機関は膨大な文書コレクションを数秒でスキャンして要約する強力な LLM アシスタントを配置できます。これらのモデルは完全にオフラインで動作します。インターネットがなく、クラウドに依存せず、データ漏洩もなく、アナリストはセキュリティを損なうことなく迅速な意思決定を行うことができます。

グローバルファイナンス：即時運用、データ漏洩ゼロ

国境を越えた金融には数十もの言語が存在します。以前は、契約書、不正報告書、コンプライアンス更新などの文書を翻訳する際には外部ツールを使用せざるを得ず、データ漏洩や監査可能性をめぐる深刻な懸念が生じていました。

現在、世界トップクラスのクレジットカードプロバイダーの 1 社が、Cloudera AI Inference Service を精査し、200 以上の市場でリアルタイムに機密通信を翻訳する多言語モデルのオンプレミス展開を完全な内部管理下でテストしています。自社のインフラストラクチャ上で推論を実行することで、内部運用の迅速化と顧客対応時間の短縮を実現し、同時にサードパーティーの API に伴うコンプライアンスリスクを回避しています。

公共部門：すべての従業員のための AI エージェント

政府機関は、より多くの人々に、より迅速にサービスを提供するというプレッシャーにさらされていますが、職員は時代遅れのポータルや分厚い政策マニュアルに頼っていることがよくあります。プライバシーの規定や予測不可能なコストのため、公共の生成 AI ツールは選択肢にはなりません。

Cloudera AI Inference Service の初期実装では、内部機関文書に基づいてトレーニングされたオンプレミスの AI チャットボットをサポートしています。これらのエージェントは、データ、プロンプト、出力を完全に制御しながら、スタッフと構成員が複雑なトピックを迅速かつ自信を持ってナビゲートし、即座に回答を提供するのに役立ちます。

将来を見据えて：AI の未来はデータが存在するあらゆる場所にある

Cloudera AI Inference Service は、お客様のデータが存在する場所にモデルを導入することで、予測可能なコストと幅広い実稼働モデルから選択できる柔軟性により、企業が独自の条件でインテリジェンスを拡張できるよう支援します。エアギャップ環境のセキュリティ要件に対応するためであれ、大量のグローバルオペレーションを最適化するためであれ、実稼働グレードの AI への道は今、開かれています。

Cloudera AI は、生成型 AI やエージェント型 AI から従来の機械学習まで、データ資産全体にわたってあらゆる種類の AI を構築、展開、管理するための信頼できる基盤です。

拡張する準備はできていますか？インフラストラクチャによって AI 戦略が制限されないようにしましょう。Cloudera AI Inference Service のウェブページでユースケースのデモをご覧いただけます。詳細を解説しているこちらのウェビナー (英語) もご利用いただけます。また、「あらゆる場面で AI を活用」する方法を説明するデモをご予約ください。

この記事は、2026/2/10に公開された「You Can Build It Yourself, But Should You? Protecting the Value of Modern Data Platforms」の翻訳です。

組織は最新のデータプラットフォームに不用意に投資するわけではありません。リアルタイムの不正検出やグローバル在庫の可視化から、民間 AI の対応状況や複雑な規制環境での一貫したガバナンスまで、幅広いミッションクリティカルなニーズに対応するために投資しています。

これらの成果を念頭に置いて、社内の担当チームは迅速に行動し、目的を持って構築する準備を整えます。しかし、意図を効果と価値に変換するのは予想以上に難しいことだと気づくまでに、それほど時間はかかりません。

複雑な環境では、実装の初期段階における決定によって、プラットフォームが耐久性のある基盤になるのか、それとも高価ながらも期待どおりに機能しない機能になるかが決まることがよくあります。

価値実現までのスピードに経験がものを言う理由

問題は、多くの場合、実装がチェックリストとして扱われる点にあります。つまり、特定の成果へとつながる段階的な手順として捉えられがちですが、実際には意思決定ツリーなのです。その過程で下されるそれぞれの選択によって、チームは全く異なる道に導かれ、その場では必ずしも明らかではない長期的な結果をもたらす可能性があります。

こうした学習曲線にはコストがかかり、リリース後も長期間にわたって柔軟性、規模、信頼を制限してしまうアーキテクチャとガバナンスの決定を静かに固定し、総所有コストと価値実現までの時間を大幅に長引かせる可能性があります。

プラットフォームとソリューションの実装に関して豊富な経験を持つチームであれば、熟練した視点でこれらのプロジェクトに取り組みます。経験豊富なチームは早い段階でパターンを認識し、どのトレードオフが実際に重要か（そしてどれが重要でないか）を把握し、理想化された条件ではなく実際の運用条件に合わせて設計します。こうしてプラットフォームから得られる長期的な価値を保護し、持続可能な成果への道筋を加速する早期の決定を形成します。

実践におけるプロフェッショナルサービス & トレーニングの重要性

ここでプロフェッショナルサービス & トレーニング（PS＆T）の出番です。新しいプラットフォームを購入してから組織全体に採用されるまでのギャップを埋めるために協力するチームです。このフェーズは、プラットフォームのライフサイクルにおける重要な時期です。これらの初期段階は、組織が長期的な成功を収めるための準備となるからです。

PS&T の業界特化型の専門家は、プラットフォームの採用やユースケースの実装時に社内チームの延長として機能し、同様の複雑な環境で何百回も繰り返してきた経験による知見を提供します。早期の意思決定を形成し、トレードオフを調整し、データフロー、ガバナンス、セキュリティ、統合における一般的な落とし穴を回避する手助けをしてくれるので、基礎的な部分を作り直す必要があることに気づくのが遅過ぎるということがなくなります。同様に重要なのは、その知識を社内チームにフィードバックし、プラットフォームの長期的な所有権、信頼、自立性が社内に維持されるようにすることです。

PS&T を早期に参加させることで、組織は評価から実行までより迅速かつ自信を持って移行でき、途中で予期しない課題が発生することを回避できます。パイプラインの調整、ガバナンスモデルの再検討、スケールに合わせた改修に何か月も費やさずに、チームは目下のユースケースに対応し、時間の経過とともに成長するように設計された基盤から始めることができます。

「ただ機能する」だけでは足りないとき

プラットフォームが稼働すると、チームは作業完了と考えがちですが、実際にはそれは始まりに過ぎません。必要なツールが揃っているにもかかわらず、多くの人は依然としてデータから真の価値を引き出すのに苦労しています。真の価値を引き出すためには、信頼を構築し、採用を拡大し、自信を持って洞察を運用化する必要があります。

プラットフォームを立ち上げることと、実際にそれを使用することの間に生じるギャップは、多くの場合、微細な、ゆっくりと進行する問題によって生じます。そういった問題が、すぐにシステムを完全に破壊するわけではなく、静かに信頼を蝕むのです。時間の経過とともに、使用の断片化、シャドーシステム、取り組みの停滞、プラットフォームの ROI に対する懐疑心の高まりにつながる可能性があります。これらの問題が認識される頃には、勢いを回復するのが難しい状況になっているかもしれません。

初期段階の決定により、プラットフォームが基盤となるか、徐々に脇に追いやられるかの軌道が決まります。

規制環境における AI 主導のユースケース

この傾向は、規制や運用が複雑な、混沌とした現実世界の環境ではさらに顕著になります。初期段階の決断によって、例えば民間の AI イニシアチブが耐久性のある資産となるか、あるいは新たなリスクをもたらすかが決まります。

ヘルスケア

ヘルスケア分野では、プライベート AI によって、管理ワークフローの自動化から高度な画像診断や診断のサポートまで、幅広いユースケースが可能になります。しかし、そのメリットの実現は、どのモデルも訓練されるずっと前から始まります。

すべてのスタート地点は基盤です。ハイブリッド環境全体でデータを統合し、適切なアクセス許可、タグ付け、コンテキスト化を確保することが重要です。このような構造がなければ、AI の出力は信頼されるために必要な臨床的または規制上のコンテキストを欠き、意思決定の完全性、防御性、コンプライアンスを損なう可能性があります。このような環境では、AI 機能が信頼される臨床ツールに成熟するか、ガバナンスやデータアクセスの制限に制約されたままになるかは、初期段階の導入決定によって決まります。

通信

通信機関も同様の課題に直面しています。データは、多くの場合、複数の地域や規制管轄区域にまたがる、高度に分散されたインフラストラクチャ全体で継続的に生成されます。

プライベート AI は、リアルタイムの脅威検出、停電予測、ネットワークの最適化を可能にしますが、ガバナンス、リネージュ、アクセス制御が一貫している場合に限ります。これらの基盤が不均一な場合、AI 主導の洞察は表面上は実用的に見えても、実際に役立つために必要なコンテキストが欠けている可能性があります。

AI イニシアチブ（ここで使用した例）ではこれらの課題がすぐに表面化する傾向がありますが、分析の最新化、規制報告、運用インテリジェンス、信頼できる適切に管理されたデータに依存するあらゆるユースケースにも同じダイナミクスが当てはまります。いずれにせよ、成功はモデルがどれほど洗練されているかではなく、データのアクセス、セキュリティ、解釈の方法を形作るアーキテクチャとガバナンスの早期決定の一貫性にかかっています。

実装から導入へ：推進力の構築方法

適切な技術的基盤があっても、データプラットフォームの価値をすぐに最大限に実現できるわけではありません。これは、社内の担当チームが結果を検証し、使用を拡大し、洞察を日常のワークフローに統合するにつれ徐々に自信を構築していく計画的なプロセスです。

成功するチームは、実装をゴールではなく旅の始まりとして捉える傾向があります。適切に範囲が定められたユースケースから始め、結果に対する信頼を構築し、自信を深めるにつれ計画的に拡張しています。

プロフェッショナルサービス & トレーニングはガイドの役割を提供できます。社内チームと連携体制を組んで採用の順序を決定し、使用が拡大されるにつれてガバナンスを強化し、新しい AI のユースケースを推進し、やりなおし作業をすることなく前進する勢いを維持します。その結果、時間の経過とともに着実に価値を証明し、当初の投資を保護し、分析、AI、将来のデータイニシアチブの信頼できる基盤となるソリューションが実現します。

++

プラットフォームの立ち上げからその価値の実現までの流れを検討している組織のご担当者は、Clouderaのプロフェッショナルサービスのページをあわせてご確認ください。

この記事は、2026/2/17に公開された「#ClouderaLife Employee Spotlight: Meet Josephine Tan, Cloudera’s Senior Director, Human Resources, APAC」の翻訳です。

Cloudera では、従業員の福利とキャリア形成に重点を置いた環境を育むことに誇りを持っています。2025 年の年末には、そのコミットメントが認められ、複数の Cloudera オフィスに「Best Places to Work (最高の職場)」の栄誉が授与されました。その中でもシンガポールオフィスは、結束力が強く、非常につながりのあるチームです。その成功を支えているチームメンバーに、アジア太平洋（APAC）地域の人事担当シニアディレクター、Josephine Tan がいます。

まもなく入社 6 年目を迎える Josephine は、シンガポールオフィスの文化の確固たる基盤を共有できることを誇りにしています。「文化が強くなれば、チーム内の信頼も深まります。私たちは人々に力を与えます。そこには信頼と誠実さのレベルの高さがあります」と彼女は話してくれました。

今年のこの時期、オフィスでは、四半期末であろうと旧正月の始まりであろうと、大小さまざまな成功を祝うことを楽しみにしています。「一生懸命働き、一生懸命遊ぶ。まさにシンガポールチームが信じていることです。」

ここで少し、Josephine Tan について紹介します。Cloudera での彼女の歩みを探り、この新しい季節の始まりに、旧正月というイベントがシンガポールオフィスをどのように結束させているかを見てみましょう。

Josephine Tan の紹介

Josephine は 2020年3月、ロックダウンが実施される数日前に Cloudera に入社しました。当時、新しい仕事のコツを学ぶだけでなく、事業はオンラインで行われていたため、まったく未知の職業環境を乗り切る必要がありました。「幸いなことに、成長マインドセットは Cloudera の DNA の一部です。」

Josephine は、人材の育成、前向きな文化の形成、組織の成長の支援に重点を置きながら、地域の人材戦略を主導することに尽力しています。彼女は常に、すべての活動の中心にコミュニティを据えています。

「シンガポールの従業員を動かしているのは、ひとつの目的、ひとつの目標です。すべては『私たち』の力にかかっているのです」という信条が、Josephine の道しるべです。「私はチームの専門知識を育むことを信じています。」

「ここは自分が変化を起こせる場所と考えています。人事はメンテナンスだけが目的ではなく、変化を可能にすることが目的です」というように、Josephine にとって人事の役割は、まさに進歩を促すことです。

実行可能な変化を推進するという彼女の熱意は、仕事と課外活動の両方に表れています。仕事以外でも、彼女は慈善活動や公共奉仕を優先しています。「自由時間には、『どうすれば地域社会に貢献できるだろうか？』と自分自身に問いかけています。」それは、影響力と意義に根ざした、リーダーシップとライフスタイルに対する彼女のアプローチを定義する問いかけです。

シンガポールの協働的な性格

リモートワーク環境という考えは、新たな課題を提示したかもしれませんが、障害にはなりませんでした。むしろ、他の Clouderans とのつながりを深め、育む新しい機会になりました。「完全なリモートワークからオフィスに戻るという贅沢さを歩んできたため、私たちは今とても仲良く結束しています」と彼女は力を込めて語ります。この共通の経験からチームが団結し、仕事への献身ぶりが強化され、再確認されました。

シンガポールオフィスの何が特別なのかと尋ねると、Josephine は嬉しそうに「人々です」と答えました。彼女は、この特性はシンガポールに根付いた国際的な歓迎の精神から生まれたものだと信じています。「この 1 つの小さなオフィスにも、すぐに 5 つの異なる文化をあげられます」と彼女は言います。多様性に富んだオフィス構成により、チーム間の協力と一体性の精神が育まれています。これがこのオフィスが堂々の 2 年連続で「Great Place to Work (働きがいのある職場)」として認められた大きな理由です。

旧正月を祝う

この連帯感は、職場で団結して旧正月などの特別な行事を祝う様子に表れています。「どの国籍の方も歓迎され、そういった環境を大切にしています」と Josephine は語ります。シンガポールオフィスのお気に入りの旧正月の行事の一つは、繁栄を祈願するサラダ、「ユーシェン」です。みんなで集まり、縁起の良い言葉を叫びながら、千切りした野菜、クラッカー、新鮮な魚介類などの材料をミックスして空高く投げます。彼女の説明によると、豊かさと活力を象徴するお祝いの伝統である「七面鳥をクリスマスに食べるようなもの」だそうです。

シンガポールの Clouderans は、オフィスの飾り付けをしたり、オレンジをギフトとして交換したり、四半期末の特別なランチを楽しんだりして、この祝日を祝います。このランチでは大抵、繁栄を願うサラダが主役です。テーマに合わせてドレスアップも楽しんでいます。「デニムにゴールドや赤をアクセントにした服を着ます。赤は旧正月の色で、縁起の良いと言われます。」

Josephine は、このようなアクティビティを主催していることからも、オフィスの絆が育まれると考えています。これは Cloudera の経営陣が、インクルーシブな地域主導の文化構築への取り組みの一環として、イニシアチブをグローバルに助長している一例です。旧正月の価値観である再生、再会、そして功績を讃えることは、「これまでビジネスを構築してきた時間を祝い、感謝と評価を表し、共有のコミットメントを強化し、そして新しい章に向けて前を向く時」として、シンガポールの Cloudera に反映されています。

終わりに

Josephine の貢献とコミュニティへの献身は、Cloudera の思いやりのある、人を中心に置いた文化の好例です。彼女のストーリーは、先を見越した取り組みと協力がいかに意義ある成長と強い絆につながるかを示しています。Josephine にとって Cloudera は、これらの価値観を実践するのに完璧な場所です。

他の Clouderan の話を聞き、Cloudera でのキャリアキャリアの機会を検討してみませんか？

実際に動作を見る

実際のデータインテリジェンスプラットフォームがどのようなものか、ご興味がおありですか？
データをコピーしたりガバナンスを損なったりすることなく、Cloudera が管理する Iceberg テーブルを Snowflake と Databricks でクエリする方法をご覧ください。

インテリジェンス第一のプラットフォームへの移行方法

インテリジェンスプラットフォームを採用するということは、インフラストラクチャだけでなく、組織がデータについて考え、信頼する方法においても根本的な変化を意味します。移行期間は、チーム全体の信頼性、統合、採用に対する期待を設定するため、特に重要です。初期段階で失敗があると、長期間の採用過程で長引く課題や、抵抗が生じる可能性があります。

この移行がうまくいけば、安定性と進歩のバランスが取れ、極めて重要なプロセスの実行を続けながら、自信と勢いを築く早期の成果が得られます。

Cloudera のプロフェッショナルサービス & トランスフォーメーション（PS&T）チームは、組織がこのシフトを慎重に進め、一般的なアーキテクチャの落とし穴を回避し、将来の分析と AI のユースケースをサポートする耐久性のある基盤を構築できるよう支援します。

当社の PS&T 機能の詳細については、こちらをご覧ください。

この記事は、2026/2/9に公開された「The Next Evolution of Enterprise Analytics – The Data Intelligence Platform」の翻訳です。

データストレージを統合して簡素化するレイクハウスによって、企業の多くの問題が解決されました。しかし、エンタープライズレベルの運営環境は変化しています。今日、組織はより多くのツールを連携させ、より多くのデータを管理し、AI を運用化し、増加する規制の精査に対応しています。

その結果、データは臨時あるいは個別にクエリするものとして扱うことができなくなりました。現在、データは運用可能である必要があります。つまり、組織全体で、リアルタイムに使用でき、意思決定を自動化し、AI 主導のワークフローに対応できる状態が必要です。この変化により、アーキテクチャはレイクハウスを超えて、より動的なデータインテリジェンスプラットフォームへと推移しています。

何が変化したのか？ 分析がマルチプラットフォームに

現代の企業は、ビジネスインテリジェンスやレポート作成、リアルタイム分析、観測可能性、機械学習、AI を含む幅広いワークロードに対応するために、複数の分析プラットフォームに依存しています。

同じデータでも、各チームに独自のニーズがあります。実際には、プラットフォームの選択は、アーキテクチャの純粋性よりも、生産性とスピードによって決まります。そのデータの多くは、オンプレミスまたは規制された環境に残っているため、クラウドへの移動は実務的ではなく、許可されてもいません。

元のレイクハウスモデルでは、少数の分析プラットフォームへの収束が想定されていました。それに反し、現実ではツール、ユーザー、ワークロードが収束しませんでした。そのため今の課題は、一貫性やコントロールを犠牲にせずにその多様性を支援することです。

データをプラットフォーム所有として扱うコスト

レイクハウスの実装にもかかわらず、エンタープライズデータは、それを管理するプラットフォームに密接に結合されたままになることがよくあります。別のプラットフォームからデータにアクセスする必要がある場合、その環境に合わせてデータはコピー、変換、またはエクスポートされることがよくあります。

時間とともに、これらのさまざまなプラットフォームでデータの一貫性を保ち、アクセスできるようにすることが課題になります。データセットの重複、脆弱なパイプライン、洞察の遅れ、一貫性のないガバナンスによって、運用上のリスクがもたらされ、コストを押し上げます。

その結果、支出の増加、複雑さの増大、データとその出力に対する信頼の低下という、よくあるパターンが生まれます。

レイクハウスからインテリジェンスインフラストラクチャへ

レイクハウスによって、断片化された分析環境が構造化され、データシステムの連携が容易になりました。企業が本格的なデータインテリジェンスプラットフォームの時代に突入すると、焦点は変わります。

個々のツールでデータが形成されて所有されるのではなく、データが物理的に存在するあらゆる場所、つまりアーキテクチャの基盤となるのです。すべてのツールは、データを分離された環境に引き込み、サイロ化された出力を生成するのではなく、共有データレイヤーの上に配置されます。

この変化により、チームは各ワークロードに適したコンピューティングエンジンを選択できるようになります。SQL 分析、大規模処理、または AI であっても、同じ管理された信頼できるデータ基盤上で運用しているという確信を持てます。

データインテリジェンスプラットフォームとは？

データインテリジェンスプラットフォームとは、データの共有インフラストラクチャです。都市のインフラストラクチャをご想像ください。道路や電力、水道設備など、あらゆる建物が利用し、依存している構造です。

同様に、データインテリジェンスプラットフォームは、さまざまなツール、コンピューティングエンジン、アプリケーションを強化する集中型の基盤を提供し、ガバナンスとコンテキストは後から追加されるのではなく、設計段階で組み込まれています。

次のような特徴があります。

• オープンデータ形式に基づいて構築された共有データレイヤー

• 構造、意味、履歴を捉えた豊富なメタデータの系譜

• データとともに移動する組み込みガバナンス

• 複数の分析エンジンおよび AI エンジンをサポート

• ゼロから再構築することなく進化する能力

オープンな基盤によってデータインテリジェンスを実現

このようなプラットフォームは、オンプレミス、クラウド、エッジ、またはそれらの組み合わせであっても、あらゆるツールと環境との間でデータを安全に共有できる場合にのみ機能します。オープンテーブル形式は、異なるエンジン間の相互運用性を可能にする共通の基盤です（都市の比喩表現を引き続き利用するならば、誰もが移動しやすい都市を実現する建築基準法や道路基準に例えられます）。

これらがなければ、ツールを接続するということは、多くの場合、形式の不一致、レイテンシーの矛盾、独自のロックイン、または地理的境界を越えて管理する必要があるデータに対処することになり、監査可能性の低下、データの表示の一貫性のなさ、信頼に関する課題の増大など、よくある問題点が発生する可能性があります。

対照的に、オープンフォーマットであれば、ロックインが減り、拡大するツールのエコシステムに対応できます（つまり、一度設定するだけで、技術スタックに合わせて徐々に拡張できます）。そのためどのエンジンがアクセスを必要とするかに関係なく、ガバナンスポリシーを一度定義して、あらゆる場所（データを簡単に移動できない場所を含む）に適用することが容易になります。また、AI 主導のシステムに一貫した「メモリレイヤー」が作られ、組み込みのトレーサビリティと履歴コンテキストにより、信頼性、監査性、適応性が向上します。

オープンフォーマットと組み込みガバナンスがなければ、インテリジェンスはすぐにサイロ化され、データインテリジェンスプラットフォームが提供するように設計された利点そのものが損なわれます。

この記事は、2026/1/28に公開された「Cheers! To Professional Growth With Toastmasters」の翻訳です。

Cloudera の文化は、エンパワーメント、継続的な学習、そして個人としても職業的にも人々が成長できる空間の創造に根ざしています。これは、世界中のすべての Clouderans (Cloudera社員) に反映されている考え方とアプローチであり、誰もが新しいことに挑戦して成長する力を与えられていると感じることができる環境を構築しています。

この文化が実際に機能している素晴らしい例は、アイルランドのコークにいる当社のチームです。ここでは、グローバルオーダー管理シニアマネージャーの Noel Hayes をはじめとする Clouderans の熱心な努力のおかげで、オフィスでトーストマスターズクラブ (パブリックスピーキングとリーダーシップを学ぶ国際的な非営利団体) が発足しました。活気に満ちた完全対面型のコミュニティは、わずか 1 年でメンバーの自信、コミュニケーション能力、リーダーシップの成長に意義深い影響を与えてきました。

ここでは、Noel がどのようにしてクラブを軌道に乗せ、他の人々に参加する勇気を与え、その足跡を拡大し続けたのか、彼自身の歩みを紹介します。

成長と理解の環境を創造する

Noel は個人的に長年トーストマスターズに参加しており、構造化された公開スピーチの練習によって自信と専門的な能力がいかに形成されるかを理解していました。キャリアの初期にはプレゼンテーションに苦労していましたが、定期的にクラブに参加し、話す役割とリーダーシップの役割の両方を担うことで自信をつけ、存在感をもって主導する能力を強化しました。

Noel は同じ成長経験を同僚にも提供する機会を見出しました。当初、Cloudera の経営陣は、コロナが落ち着いて社員がオフィスに戻り始めたらこのアイデアを再検討するよう勧めました。そして、2024 年後半の最初の集まりを皮切りに、2025 年には正式なクラブが設立されました。今日、クラブの会員数は 40 人を超えています。

2 週間ごとに会合を開き、メンバーがスピーキングの練習をしたり、リーダーシップやリスニングスキルを強化するさまざまな役割を担ったり、体系的なフィードバックや経験の共有を通じて互いに励まし合ったりしています。

環境はとても歓迎ムードにあふれています。メンバーは、かつて人前で話すことが怖いと感じていた人や、これまでこのような役割に就いたことがない人まであらゆる人が参加しています。

プロフェッショナルとしての成長に挑戦する

このグループが好影響を与えた例を挙げましょう。シニアセールスオペレーションアナリストの Barry O'Driscoll の経験です。Noel との会話が切っ掛けとなり、Barry はトーストマスターズクラブと関わりを持つようになりました。話はあっという間に進み、Barry はグループに加わり、最終的には内部コンテストに出場して 2 位を獲得し、その後、国際トーストマスターズイベントでも 2 位という成績を残しました。

これはトーマスマスターズの参加者の一例にすぎません。戸惑うこともあるかもしれませんが、小さく始めることはできます。O’Driscollは、「とにかく会合に参加してみてください。会場のエネルギーを体感し、どうすればいいかがわかれば、目からうろこが落ちる感覚を味わえるはずです」と話しています。

これらの経験は、コーク・トーストマスターズクラブのような場が、Cloudera の大きな価値観とどのように一致しているかを示しています。Cloudera は、従業員が自らイニシアチブを取れるようにし、学習の場を提供し、一人ひとりの成長の旅を支援することで、安心して成長し、有意義に貢献できる文化を築き続けています。

より強固なコミュニティを育む

トーストマスターズは、コークオフィスの Clouderans にとって、スキルを磨き、仕事の中で不安を引き起こす要素に慣れ、自分のコンフォートゾーンから一歩踏み出すための強力なツールです。しかしそれ以上に、従業員がより広いコミュニティ意識を築くことができる場所です。多くの場合、自分の役割や関与している業務の種類に基づいて、グループに細分化されがちです。

このクラブは、人事部からエンジニアまで、誰でも参加できます。どの会合でも、実際には決して出会うことのない人と交流する機会があるかもしれません。クラブは完全に対面式のため、メンバーはより深いレベルでの信頼関係を築き、お互いの専門能力開発をサポートする機会が得られます。

未来への展望

トーストマスターズクラブが発展するにつれ、メンバーは、トーストマスターズの体系的な学習プログラムを進め、優れたステータスを獲得し、コミュニティ内の他のクラブとつながるという新しい目標を設定しています。また、このモデルが Cloudera の他の拠点の従業員をどのようにサポートし、共有学習体験を通じて自信とコミュニティの構築を支援できるかを調査することにも関心が集まっています。

コーク・トーストマスターズクラブの成功から、発展にはさまざまな形があり、人々が励まされ、サポートされ、信頼されてリーダーシップを発揮すると、人の可能性というものは、かつて信じていたよりもはるかに拡大されるということがわかります。

Cloudera でのキャリアについては、こちらをご覧ください。Cloudera が社員の学び、成長、活躍のための職場作りをどのように支援しているかについてもご紹介しています。

この記事は、2026/1/27に公開された「Openness in the Age of AI」の翻訳です。

AI 革命が 1 つの普遍的なデータ管理の真理をもたらしたとすれば、それはデータ資産全体にわたるオープン性と相互運用性が求められるということです。結局のところ、AI が優れている点は、実際にアクセスできるデータによってのみ決まります。

企業はもはや切り離されたレガシー技術に投資する意欲はありません。サイロのコストはかつてインフラストラクチャだけで測定されていましたが、価値実現までの時間の損失と大規模な AI 実行の不可能性で測定すると、今では飛躍的に高くなります。このような状況を踏まえると、企業はデータアーキテクチャを見直さずにはいられません。

Cloudera では、オープン性を 3 層のデータ管理アーキテクチャとして定義しています（図 1を参照）。

• オープンコンピューティング：データがどこに保存されているかに関係なく、任意のエンジンを使用できる機能

• オープンカタログ：異なるデータアクセス層間でスワップインとスワップアウトや相互運用が可能で、表示エンジンに関係なくスキーマとガバナンスの整合性を確保する機能

• オープンデータ：データ資産をどこにあっても移動してアクセスできること

もっと広い意味で言えば、オープン性こそが Cloudera の中核です。

• Apache Iceberg の初期提唱者：Cloudera は 2021 年からパブリッククラウドのレイクハウスで Iceberg のサポートを開始しました。他のベンダーもすぐに追随しました。これは、Iceberg がオープンテーブル形式の勝者であることを事実上認めたことになります。2024 年、Databricks は、オープンガバナンスと洗練された機能を評価して Tabular を買収しました。2025 年、Snowflake と Amazon Web Services（AWS）の両社は、Iceberg のサポートと機能の拡大に投資しました。

• オープンソースの基盤とエコシステム：2008 年の設立以来、オープンソースコミュニティに深く関わっている Cloudera は、オープンソースのデータレイクテクノロジーを商業化した最初の企業であり、50 以上のオープンソースプロジェクトに貢献し、サポートを続けています。Cloudera のオープンソース基盤は、独自のオーバーレイによって顧客をロックインするベンダーと比べてはるかに簡単に、顧客が Cloudera ディストリビューションをオプトインまたはオプトアウトできるようにすることで、選択の自由を提供します。Cloudera の顧客は、縛りがないにもかかわらず、自ら使い続けることを選択しているのです。

• データ管理スタック全体の相互運用性：オープンなコンピューティング、カタログ、データを提供することで、データ管理スタックの各レベルでの相互運用性が確保され、顧客はゼロから構築することなく AI 時代に真に勝利することができます。さらに、Cloudera は、どのコンピュートエンジンでも利用でき、データを任意のクラウドサービスプロバイダー（CSP）に配置する柔軟性を提供します。また、データの所在や使用するコンピューティングエンジンに関わらず、すべての機能に完全にアクセスできます。逆に、一部のベンダーは、スタックのすべてのレイヤーが同じプラットフォームで実行されているかどうかに基づいて機能へのアクセスを制限します。データを所有し、データをコントロールし、データを活用する。それが Cloudera の約束です。

AI 時代におけるオープン性の重要性についてより深く知りたい方は、当社のブログ「今存在する未来：AI 搭載のデータレイクハウス」をご覧ください。

この記事は、2026/1/26に公開された「2025 Was the Year the Cloud Reminded Us Who's Really in Control」の翻訳です。

障害が頻繁に発生する理由とその対策

2025年は、単一のクラウドベンダーに頼っていた企業にとって厳しい1年となりました。Snowflake の利用者は12月、スキーマの更新が複数のリージョンに波及し、13時間にわたってクエリがブロックされるのをなすすべもなく見ていました。また、Databricks のユーザーも数日間にわたって AI サービスの低下に対処する羽目になりました。

10月には Amazon Web Services（AWS）の US-East-1 リージョンが15時間にわたってダウンし、DynamoDB に影響を与える DNS エラーにより 1,000 社以上の企業がダウンしました。さらに6月には、Google Cloud の Service Control バイナリにおける null pointer 例外により、Cloud Storage、Compute Engine、BigQuery など、複数のシステムが数時間にわたり無効化され、Spotify、Discord、OpenAI にも波及効果が及びました。

どのインシデントにおいてもパターンは同じでした。利用者はステータスページを更新し、他の誰かが問題を解決するのを待っていたのです。ベンダーは障害が発生するかどうかではなく、障害が起きたときにどのような選択肢があるかで選ぶ必要があります。

繰り返されるパターン：グローバルリーチを持つ単一の障害点

Snowflake の12月のインシデントは、下位互換性のないデータベーススキーマの更新によって引き起こされました。バージョンの不一致エラーにより、AWS、Microsoft Azure、および Google Cloud Platoform (GCP) の複数のリージョンで操作が失敗したり、無期限にハングしたりしました。Snowflake の発表によると、影響を受けていないリージョンへのレプリケーションを事前に設定していた利用者を除いて、回避策はないとのことでした。その他全員がただ解決を待っていたのです。

Databricks の12月の障害（複数日にわたる）には、Unity Catalog の問題、複数のリージョンにおける計算能力の低下、数日にわたる Mosaic AI の障害が含まれていました。ステータス更新では、「潜在的な緩和策についてクラウドプロバイダーと連携している」と繰り返し報告されていました。このフレーズが依存チェーンのすべてを物語っています。Azure に何かあれば、Azure リージョンの Databricks 利用者にも悪影響があるということなのです。

Google Cloud の6月のインシデントでも同様の脆弱性が明らかになりました。このインシデントでは、空白フィールドの誤ったポリシーがグローバル設定テーブルに挿入され、数秒で世界中に複製されました。破損したデータによりクラッシュループが発生し、コアサービスが7.5時間停止したのですが、Google独自のステータスダッシュボードが当初利用できず、SRE チームは災害の範囲を確認することさえできなかったのです。

障害が物理的なものではなく論理的なものである場合、地域的な冗長性は役に立ちません。プラットフォームがグローバルに調整されたメタデータまたは共有構成に依存している場合、1つの不適切な更新があらゆる場所に伝播し、障害は地域を超えて広がります。

さらに、これらのシナリオでは、インフラストラクチャは分散されていますが、コントロールは一元化されたままです。Snowflake のコントロールプレーンが故障した場合、その下にある AWS、Azure、Google Cloud で実行されていることは関係ありません。Databricks が Azure の修正を待っている場合、マルチクラウドマーケティングは役に立ちません。単一障害点が最上位の独自のレイヤーだからです。

アナリストの声

Gartner®の2025年のクラウド導入動向分析によると、50％以上の組織でマルチクラウド導入時に期待された成果を2029年までに得られないと推定されています。ここでの根本的な問題は、環境間の相互運用性の欠如です。

調査会社 Forrester は「2026年の予測：クラウド障害、プライベートクラウド上のプライベート AI、およびネオクラウドの台頭」の中で、2026年に少なくとも2回、複数日に及ぶ大規模なクラウド障害が発生すると予測しています。ハイパースケーラーが AI ネイティブなデータセンターの構築を競う中、クラウド業界では大規模なインフラストラクチャの移行が進行しています。この投資には代償が伴います。従来の x86 および ARM 環境の優先順位は下げられ、複雑性が増す中で老朽化したインフラストラクチャが機能不全に陥ることになります。

同記事では、2026年に少なくとも15%の企業がプライベートクラウド上に構築されたプライベート AI の展開に移行すると予測しています。その要因は、AI コストの上昇、データロックインへの懸念、他者の優先事項に合わせて最適化されるインフラストラクチャに依存することによる運用上のリスクです。2025年の障害は、ワークロードがプロバイダーの最優先事項でない場合に、何が起こるかを予告する機会となったのです。

回復力を考慮した設計にCloudera を活用

ほとんどの企業は、意図的なアーキテクチャ計画ではなく、買収やシャドー IT、またはベストオブブリードのツールの選択に基づいて「偶発的なマルチクラウド」アーキテクチャを採用しています。ワークロードは複数のプロバイダーに分散されていますが、問題が発生したときにデータやワークロードを移動する能力がありません。

回復力を考慮した設計には、データとAIプラットフォームの移植性を確保し、フェイルオーバーの単一障害点を排除することが含まれます。

Cloudera プラットフォームはポータビリティを考慮して設計されており、環境間でのフェイルオーバーが可能で運用を維持できます。ワークロードやデータは AWS、Azure、Google Cloud、オンプレミス環境間で書き換えや摩擦、ベンダーのロックインなしに移動が可能。更新における変更も、グローバルであることや、下位互換性があることを強制しません。

避けられない障害が発生した場合も、別のクラウドにフェイルオーバーするか、ワークロードをデータセンターに戻すかを選択でき、ステータスページを見ながら待つ必要がありません。データの保存場所に関係なく、データをコントロールしながら、一貫した操作とコンプライアンスを維持できます。

Cloudera で回復力を考慮した設計を行う方法について詳しくは、弊社ブログ「データ回復力を考慮した設計：Cloudera で事業継続性を確保する方法」をご覧ください。

今後の展望

AI の構築はインフラストラクチャに負担をかけており、調査・分析専門企業は今後さらなる混乱（Forrester は数日間にわたる障害、Gartner は防衛的なマルチクラウドの導入）を予測しています。2026年も好調をキープする企業は、回復力をコンプライアンスのためのチェック項目の一つとして扱うのではなく、アーキテクチャの原則として扱う企業でしょう。

追加設定なしで使える、プッシュボタン式のクロスクラウドフェイルオーバー機能は、Cloudera を含め、どこにもありません。しかし、Cloudera は、その設計により、独自のプラットフォームでは実現できない方法で、回復力をサポートできる立場を確立しました。

2025年に起こった障害に不安を感じたのであれば、ぜひご相談ください。クラウドは他人のパソコンと変わりません。そのパソコンの調子が悪ければ、他のパソコンを使えばいいのです。

回復力を考慮した設計に Cloudera を活用する方法について詳しくは、プロフェッショナルサービスチームにお問い合わせいただくか、製品デモをご覧いただくか、5日間の無料トライアルにご登録ください。

この記事は、2026/1/23に公開された「Hybrid by Design: The New AI Mandate」の翻訳です。

過去 10 年近く、企業のテクノロジーに対する要求はシンプルでした。「クラウドファースト」、もっと正確に言えば「クラウドオンリー」です。モダン化とはパブリッククラウドへの移行を意味し、オンプレミスアーキテクチャは移行まで維持されるレガシーインフラとして見なされました。

そして現在、物語は AI をきっかけに劇的に変化しました。最近の ZDNet の記事は、Deloitte と 451 Research の調査を引用し、クラウドファーストの時代は終わりを迎え、より実用的なハイブリッド・バイ・デザインの時代に入ったと宣言しました。このアプローチにより、廃れた負債とされていたオンプレミスインフラストラクチャは、戦略的かつ最適化されたアーキテクチャの中心的な柱へと昇格します。

Cloudera は、まさにこの瞬間のために歩んできました。業界がクラウドオンリーへと大きく傾く中、Cloudera は組織が本当に必要としているのは「どこでもクラウド体験」だと気づきました。現在、市場が追いついてきており、企業は、ワークロードがパブリッククラウド、プライベートデータセンター、エッジの間で流動的に移動しなければならないという事実に気づき始めています。この記事では、変化が起こっている理由と、Cloudera がそれをリードする独自の立場にある理由を解説いたします。

推論経済の警鐘

この変化の主な原動力は、アナリストが「AI インフラストラクチャの再評価」と呼ぶものです。生成 AI（GenAI）の初期の頃、誰もがクラウドへと急ぎ、モデルを文脈化するための大規模な計算能力を求めました。しかし、組織が実験から実稼働へと移行するにつれて、数学的構造は変わります。

何が決定的な転換点になるのでしょうか。それは、推論にかかるコストです。モデルにコンテキストを与える作業は、大規模で一時的かつ突発的なコンピューティングでパブリッククラウドに向いています。しかしそのモデルを動かす（推論する）には 24 時間 365 日のコンピューティングが必要になります。AI を企業規模に拡張すると、クラウドでの推論コストやデータイグレス（データ転送料）といった継続的な費用が、手が出ないほど高額になってしまいます。

2026 年、求められる賢明な対応は、クラウドファーストではなくワークロードファーストです。

• パブリッククラウド：突発的なトレーニングワークロードや柔軟な実験に最適

• オンプレミス： 安定的に大量の本番推論を行うためのコスト効率のに優れたパワーハウス

• エッジ：光速がボトルネックとなるような、低遅延の意思決定には重要

Cloudera を活用して、ワークロードファーストのアプローチをシームレスに実行できます。Cloudera AI を使用すると、1 つのインフラストラクチャでワークスペースを立ち上げて、大規模なデータセットでモデルをコンテキスト化し、その後、リファクタリングすることなく、同じモデルを別のインフラストラクチャに展開して推論を行うことができます。ペタバイトものデータをコンピューティングに移動するための高コストを支払うのではなく、コンピューティングをデータに持ち込みます。これにより、機密 IP を保護するためにオンプレミスでトレーニングを行ってからクラウドにデプロイする、またはその逆など、現実に合ったデプロイメントパターンを選択できるようになります。

ハイブリッドフェイルオーバーによる回復力

企業がクラウドのみの戦略を再考しているもう 1 つの理由は、「集中リスク」です。もっと簡単に言えば、すべてのワークロードが単一のクラウドプロバイダーに結び付けられている場合、避けられない障害が発生すると、ビジネスも停止してしまいます。すべてのデータと AI 操作を単一のパブリッククラウドプロバイダーに依存すると、単一障害点が生じます。これはもはや単なるビジネス感覚の問題ではありません。規制当局は、集中リスクがシステム全体の大惨事を引き起こすのを防ぐために、DORA（デジタル運用レジリエンス法）などの枠組みを導入しています。

多くの人にとって、クラウドオンリーの回復力では不十分です。真の回復力には、停止状態を乗り切るためであれ、地政学的命令に従うためであれ、ワークロードを即座に移動する俊敏性が必要です。

ハイブリッドな世界では、レジリエンスは多様性から生まれます。適切なハイブリッドアーキテクチャにより、あるリージョンから別のリージョンへのフェイルオーバーだけでなく、パブリッククラウドからプライベートクラウド、さらにはあるハイパースケーラーから別のハイパースケーラーへのフェイルオーバーが可能です。

Cloudera は回復力のあるアーキテクチャをサポートしています。当社のプラットフォームは、環境間でデータ、メタデータ、セキュリティポリシーを複製するように構成できます。この構成により、強力な「どこでもフェイルオーバー」機能が確立されます。これらの構成を導入することで、停止したパブリッククラウドリージョンからプライベートデータセンターに移行する場合でも、突然のスパイクを処理するためにオンプレミスからクラウドに移行する場合でも、ミッションクリティカルなアプリケーションをあらゆる方向にフェイルオーバーできるようになります。

安全保障とガバナンス：主権の要素

クラウドファーストのアプローチのもう一つの障壁はガバナンスです。ハイパースケーラーとオンプレミスシステム間でポリシーが断片化されると、セキュリティ上の盲点が生じます。データ主権と規制圧力が高まるにつれ、企業は複雑なコンプライアンス要件に直面しています。GDPR や EU データ法などの地域規制、HIPAA や PCI DSS などの業界標準、あるいは IP 保護のための自主管理を遵守する際、組織は機密データを公共の環境にそのまま公開することはできないことを認識しています。代わりに、多くの企業は制御を取り戻すためにワークロードをオンプレミスに戻しています。

ここで課題が生じます。作業負荷を大幅に増やさずにハイブリッドエステートを管理するにはどうすればよいでしょうか？

Cloudera の統合データファブリックは、まずデータアクセスを解放し、場所に関係なくビジネスの視点から理解を自動化することでこの課題を解決します。この基盤を使えば、セキュリティやガバナンスをインフラから切り離してに運用できます。特定のユーザーの PII をマスキングするなどのポリシーを 1 回定義するだけで、そのポリシーはデータが S3 バケット、オンプレミスクラスター、エッジストリームのどこにあるかに関係なく適用されます。

さらに、Cloudera Data Lineage（旧 Octopai）を追加し、データの流れを自動化しエンドツーエンドで可視化します。これらの高度な機能により、チームは複雑なハイブリッド環境を横断したデータフローを追跡し、コンプライアンスと信頼を確保し、Cloudera は 2025 年第 4 四半期の The Forrester Wave™: Data Fabric Platformsでリーダーとして認められました。他社は別々のツールをつなぎ合わせているかもしれませんが、Cloudera はエクスペリエンス全体を保護および管理する統合プラットフォームを提供します。

すべてのハイブリッドアーキテクチャは一律ではない

2025 年の障害は、クラウドオンリーの時代の終焉を告げる決定打となったかもしれません。しかし、451 Research が指摘するように、組織がサイロと複雑さに苦しむことになる偶発的なハイブリッドアーキテクチャと、意図的にハイブリッド化（ハイブリッド・バイ・デザイン）されたアーキテクチャの間には大きな違いがあります。意図的に設計されたアプローチには、データセンター、クラウド、エッジ全体で複雑さを抽象化する一貫性のあるポータブルなプラットフォームが含まれ、レプリケーションを備えた統一されたデータファブリックによって支えられています。

2026 年以降、成功するためには、組織は偶発的なアーキテクチャを許容できません。Cloudera のハイブリッド・バイ・デザイン・アーキテクチャにより、企業はデータの保存場所について妥協する必要がなくなります。その代わりに、企業はデータの可能性を活かし始め、ハイブリッド環境特有の多様性を負担ではなく、戦略的資産へと変えることができます。

当社は、データが存在する場所にクラウドの最良の部分をもたらすことで、一貫したクラウド体験を提供します。これには、コスト効率、スケーラビリティ、弾力性、俊敏性の向上、IT労力の削減、イノベーションへのより迅速なアクセス、高可用性が含まれます。Cloudera は、クラウド、データセンター、エッジを問わず、あらゆる場所のデータにAIをもたらす唯一のデータとAIプラットフォーム企業です。

Cloudera でハイブリッド・バイ・デザインのアーキテクチャを構築する方法について詳しく知りたい方は、プロフェッショナルサービスチームにお問い合わせいただくか、製品デモをご覧いただくか、無料の5日間トライアルにご登録ください。

リフレッシュ休暇に関して伝えたいことはありますか？

「これは単なる休暇ではなく、長い別れの前に、この瞬間を心ゆくまで楽しむために必要な休息なのです。」- 契約部門シニアマネージャー、Jennifer Parker

「この数日間は本当に楽しく、最高でした。従業員として、心をリフレッシュし、仕事に戻った時に100%の力を発揮するうえで、こういった休暇は特に重要です。」- ソフトウェア QA エンジニア、Gaurav Sharma

「リフレッシュ休暇では、仕事から離れて充電し、集中力とエネルギーを取り戻す自由が得られます。これは信頼と人材を第一に考える企業文化の証です。」- スタッフ・ソフトウェア・エンジニア、Vishnuprakash Palanisamy

Cloudera がすべての従業員にとってインクルーシブで協力的な職場環境の構築を支援する方法について詳しくは、こちらを覧ください。

「リフレッシュ休暇はいつも、想像以上に実りの多いものになります。今回も、人生と人生がもたらすサプライズにおいて新鮮な視点を与えてくれました。また、これまでの休暇がそうであったように、心に深く刻まれていた哲学的な問いへの答えも見つかりました。」- ソフトウェアエンジニア II、Shivam Kumar

「4人の子供や家族と過ごしたり、ロボット犬の開発に取り組むことができました。」– EMEA 担当フィールド CTO、Christopher Royles 博士

「ブラジルは夏なので、景色のいい場所でサイクリングトレーニングをしました。」- ソリューションズエンジニアリング部門シニアマネージャー、Everton Fernandes

「タレント・アクイジション・チームにとって最もやりがいのある瞬間の1つは、候補者が友人やソーシャルメディアを通じて、会社が提供するリフレッシュ休暇について聞いたことがあると言ってくれたときです。仕事のためだけでなく、個人の時間を尊重していることが理由で働きたいと思ってくれているなら、企業文化が浸透しているということです。」- APAC 担当タレント・アクイジション・ディレクター、Rachit Chandra

「チェンマイの山にある木の家に泊まり、瞑想したり、読書をしたり、都会の生活リズムから離れた日々を満喫しました。」– シニア・タレント・アクイジション・アドバイザー、Ziyang Yang

「パントマイム、クリスマスマーケット、外食、ロンドンツアー、大晦日のクリスマスライトや花火ショー鑑賞など、家族や友人と時間を過ごすことができました。」- EMEA担当シニア・プラクティス・マネージャー、Deepa Pednekar

「オフィスに戻ったときに大量のメールが待っていることを気にせず、完全にリラックスできるのは本当にありがたいです。充実した休暇を取れることで生産性が上がり、休暇後にベストを尽くすモチベーションが上がります！」 - シニア・スタッフ・エンジニア、Stamatis Zampetakis

リフレッシュ休暇を提供する会社で働くことは、あなたにとってどのような意味がありますか？

「忙しい母親、妻、社会人として、子供の学校のスケジュール、ホッケーの大会、体操の大会など、必要な時に休みを取れる柔軟性はとてもありがたいです。Cloudera のリフレッシュタイムは、罪悪感を感じることなく休暇を取れる自由を与えてくれます。家庭で最も重要なことに取り組むことで、仕事でのエネルギー充電し、最高のパフォーマンスを発揮できるからです。 」– コミュニケーション＆アナリストリレーションズ担当シニアディレクター、Molly Boyer

「リフレッシュ休暇のおかげで精神的にリフレッシュし、家族との絆を深めることができます。その結果、燃え尽き症候群を防ぐことができ、忠誠心や創造性、生産性の向上につながります。」- パートナー・セールス・マネージャー、Dimas Ramaditya

「健康な体で夢を追いかけるチャンスを得られることで、健康な心を育めます。」- プリンシパル・ストラテジック・カスタマーサクセスマネージャー、Niel Dunnage

「スキューバダイビングをしました！有名なメキシコのセノーテでケープダイビングもたくさんしました。長男にもダイビングを教えました！」 - CTO、Sergio Gago

「このような休暇をいただけるのは、本当に素晴らしいことです。従業員が新しい年に向けて休息をとり、充電できるよう、必要な休暇を与えて健康をサポートしてくれる会社に心から感謝し、大切にしようと思います。」 - パートナー・セールス・ディレクター、Morry Bowling

この記事は、2026/1/20に公開された「Winter, Unplugged: Making the most of the Holiday Season」の翻訳です。

Cloudera は毎年、「Unplug（リフレッシュ）」デーを設け、従業員が仕事から完全に離れてリフレッシュし、プライベートの大切なことに集中できるようにしています。待ちに待った肝いりのプロジェクトを遂行する人もいれば、旅行に出たり、家族や友人と充実した時間を過ごしたりする人もいます。Clouderans がどのように過ごそうと、こうした全社的な休暇の確保は、Cloudera を支える人間性へのコミットメントを強化します。これにより、チームの健康と幸福が確保され、ポジティブなワークライフバランスが促進されます。

Clouderans はちょうど今、冬のリフレッシュ休暇から戻りました。素晴らしい一年の締めくくりとして、リセットする良い機会となったようです。新年が始まり、休暇から戻ってくる社員が増える中、私たちは世界中の Clouderans に2025年冬のリフレッシュ休暇をどのように過ごしたかを聞いてみました。

「私の家族は、リフレッシュデーを中心に1年の予定を立て、全員が楽しみにしています。休暇期間に合わせて旅行をスケジュールすれば、余分に休みをとらなくても長期休暇を取ることができます。このアプローチはビジネスにも大きなメリットがあります。同僚も同じなので、リフレッシュデーを中心に不在期間がクラスタ化され、全員がオンラインで一緒にいる日がより多くなります。」- シニア・スタッフ・エンジニア、Jason Fehr

この記事は、2026/1/8に公開された「2026 Predictions: The Architecture, Governance, and AI Trends Every Enterprise Must Prepare For」の翻訳です。

2026 年は、実験からインテリジェンスオーケストレーションへの移行の年です。AI、データ、インフラストラクチャ、ガバナンスが 1 つの運用モデルに統合される瞬間です。2024 年と 2025 年が概念実証と 1 回限りのモデル展開によって定義されるとしたら、2026 年は企業が大規模に、安全に、そして測定可能な ROI で AI を運用し始める飛躍の年になるでしょう。

当社の経営陣は、今年はデータが置いておくだけの受け身のストレージから、組織の能動的な記憶へと進化する年となると推測しています。クラウドとオンプレミスのコントロールプレーンを統合することで、あらゆる場所の AI にデータを活用できるようになります。また、今年は AI エージェントがデモンストレーションからデジタルワークフォースの一部へと移行する年でもありますが、これは企業がガバナンス、セキュリティ、責任ある AI の実践をコンピューティングの優先事項と同等に位置付けた場合に限られます。

当社経営陣による来年の予測をご紹介します。

Abhas Ricky（最高戦略責任者）：データ基盤がインテリジェンス層となる

2026 年には、データの価値は（単にデータがどれだけ存在するかではなく）どれだけ理解され、行動に移されるかにかかっていると認識している組織が、AI を活用する競争をリードするでしょう。データは、AI が学習し推論できる、生きたセマンティックでガバナンスされた記憶システムとして機能しなければなりません。

言い換えれば、AI の基盤となるデータを再設計しない限り、AI を拡張することはできません。

構造化、非構造化、リアルタイム、またはモデルによって生成されたものであっても、すべてのデータセットは、それ自身のセマンティクス、リネージ、ガードレールを保持する必要があります。この埋め込まれたコンテキストにより、最新のデータレイクハウスは、受動的なストレージから、情報をコンテキスト化し、ポリシーを適用し、決定を監査し、トレーサビリティを維持できるアクティブなインテリジェンスレイヤーへと進化します。

この基盤が整えば、企業は、今後数年間の AI ROI を定義する機能である、リコール、適応、自己修正を行う、真に自律的なワークフローの構築を開始できます。

Manasi Vartak（チーフ AI アーキテクト）：エージェント AI が実稼働環境に移行し、ガバナンスが不可欠に

減速を予測する見出しがあるにもかかわらず、生成 AI およびエージェント AI に対する企業の需要は、測定可能な ROI への決定的なシフトとともに、2026 年も増加し続けるでしょう（つまり、不正な実験が減り、予測可能で意図的なユースケースベースのアプリケーションが増えます）。その価値の多くはエンタープライズに適応したモデルから生まれ、組織が独自のデータとワークフローに合わせたソリューションを優先するにつれて、パブリックモデルへの依存は徐々に減少します。

ここ数年はAIの限界を試すことに関するものでした。

2026 年は、効果のあるものを拡大することが重要です。

本番環境でエージェントシステムを展開するには、組織には次のことが必要です。

• 強固なガバナンスの枠組み

• 明確なデータアクセス制御

• データエージェントがアクセスできるものと実行できるアクションを定義する、セキュリティルールと権限フレームワーク

• エージェントの行動と意思決定へのオブザーバビリティ

• エージェントレジストリとワークフローのバージョン管理で、エージェントの進化を追跡

これにより、責任ある AI の定義が必然的に広がります。公平性とバイアスの軽減は依然として重要ですが、企業がエージェント AI を安全かつ収益性高く拡張したい場合、データパイプライン、システムの動作、AI エージェントの選択全体にわたってエンドツーエンドの説明責任が必要になります。

Sergio Gago（CTO）：コンバージェンスの時代と単一コントロールプレーンの台頭

オンプレミスの制御とクラウドの弾力性の間で長年緊張が続いてきましたが、2026 年は真の融合の年となります。ハイブリッドインフラはもはやレガシーシステムとクラウドシステムの妥協点ではありません。代わりに、大規模に知能を可能にするアーキテクチャの基盤となっています。

Cloudera 経営陣全体で、「AI エージェントが運用ワークフローの一部になる」というテーマが際立っていました。しかしこれまで、その効果は断片化されたデータアクセスによって制限されてきました。一部のモデルはクラウドベースのデータにのみ到達でき、他のモデルは環境全体で部分的なビューを組み合わせていました。多くの人が、統一されたコントロールプレーンは不可能だと考えていました。

しかし、それは2026年に変わります。

Cloudera のハイブリッドアーキテクチャにより、ワークロード（AI エージェントを含む）は、ストレージの場所ではなく、ポリシー、ガバナンス、効率性に導かれて、最も適切な場所で実行できます。これにより、次世代のインテリジェントで調整されたエンタープライズシステムが実現します。

バーティカルによる考察

これらの予測は単なる理論的なものではなく、分野の運用に影響を与える可能性があります。特に小売および金融サービスは、データ基盤の強化、エージェント AI の実稼働への移行、コントロールプレーンの統合により、大きな変革を迎えることになります。

Neelabh Pant（グローバル AI ディレクター）：小売業がサイロ化されたシステムからリアルタイムのコネクテッドインテリジェンスへ

小売業者はすでに AI から大きなリターンを見ており、早期採用者は ROI を最大 6 倍速く実現しています。2026年、成功の鍵を握るのは次のポイントです。

• 店舗、サプライチェーン、顧客とのやり取り、オンラインエコシステムの全体としてデータをつなぐ

• AI エージェントが在庫の更新や返品から顧客の好みまでのリアルタイムの情報に基づいて行動できるようにする

• IT 部門に準備してもらうのを待たずに、代わりに非技術系チームが新しいデータ接続やワークフローを作成できるようにする

コントロールプレーンが統合されることで、AI エージェントはデータがどこに保存されているかに関係なくデータをナビゲートして推論を行うことができ、パーソナライゼーション、運用効率、意思決定の迅速化が実現します。データアーキテクチャをモダナイズする小売業者は、イノベーションのペースを設定し続けるでしょう。

Adrien Chenailler（AI業界ソリューション担当シニアディレクター）：金融サービスはAI がプロジェクトではなく運用レイヤーに

金融機関は何年もかけてデータ基盤の最新化に取り組んできました。2026 年、その努力が報われます。銀行、保険会社、投資会社は、AI エージェントがすでに次の項目などをサポートしており、日常業務を AI で実行するケースが増えていくでしょう。

• 信用リスクスコアリング

• 不正行為の検知と防止

• コンプライアンス調査

• クレジットメモの作成

• カスタマーサービスのワークフロー

金融サービス業界のリーダーの 91% がすでにハイブリッド AI を非常に価値があると評価しているため、実験の必要性は低下しています。当社はすでに実験を実行済みです。これからは、企業は実行力で競争することになります。統合コントロールプレーンは、コンプライアンスや主権を損なうことなく、システム全体の機密データを AI が分析するために必要な、安全で管理された環境を提供します。

Cloudera のプラットフォームはまさにこの時代のために構築されており、データがクラウド、データセンター、エッジのいずれにあっても、統制された企業全体のインテリジェンスにより、どこからでも AI のデータにアクセスできます。

組織が 2026 年以降もどのように備えることができるかについて、Cloudera の最新のリソースとインサイトをご覧ください。

この記事は、2025/12/31に公開された「Unleash Peak Performance: Get 13x Faster Queries with Cloudera Lakehouse Optimizer」の翻訳です。

Cloudera のオープンデータレイクハウスへの取り組みにより、お客様は Cloudera、他のベンダー、オープンソースなど、任意のエンジンやツールを柔軟に選択して使用できるようになります。当社は現代のデータエコシステムの複雑さを理解しており、エンジン中立型のアプローチにより、データにアクセスして分析や AI アプリケーション、エージェントを構築するチーム間でシームレスなコラボレーションを実現します。速度、セキュリティ、自動化、相互運用性に関する革新的な機能でレイクハウスを継続的に強化し、すべてのエンジンが同時に効率的に実行され、すべての機能と最適化にアクセスできるようにします。

Cloudera Lakehouse Optimizer は予測的かつインテリジェントな最適化を提供し、Apache Iceberg テーブルのメンテナンスを自動化し、オープンデータレイクハウスのパフォーマンス、スケーラビリティ、コスト効率を維持します。このサービスは、データチームにすべての AI および分析ワークロードに対応するコスト効率の高いレイクハウスを提供します。

パフォーマンスで証明：クエリが 13 倍高速化、ストレージコストが 36％ 削減

当社はパフォーマンスとコスト効率が最も重要であることを認識しており、社内ベンチマークから得られた説得力のある結果を共有しています。7 つの TPC-DS テーブル（107GB のデータ）を使用し、最適化前と最適化後の TPC-DS クエリを実行して、Cloudera Lakehouse Optimizer をテストしました。キャッシュや異常値の除去を考慮した後でも、非常に意義のある結果となっています。

• クエリが 13 倍高速化：当社のデータによると、クエリ時間が平均 13 倍速くなり、最適化後の平均クエリ時間が 24 秒からわずか 1.8 秒に短縮されました。

• 36% のストレージコスト削減：Cloudera Lakehouse Optimizer は、ストレージフットプリントを最適化することで、大幅なコスト削減も実現します。ベンチマークでは、データセットのサイズが 107GB から 68GB となり、36% 削減されたことが明らかになりました。これは総所有コスト（TCO）の削減に直接つながります。

これらの結果は、Cloudera Lakehouse Optimizer がダウンストリームの AI、レポート、アナリティクスのクエリパフォーマンスを向上させ、ストレージコストを大幅に削減することを示しています。

Cloudera Lakehouse Optimizer の優れた点

Cloudera Lakehouse Optimizer は、コスト管理に重点を置くプラットフォームリード、スケーラブルなソリューションを設計するデータアーキテクト、またはプロセスを合理化するデータエンジニアなど、どのような方でもお使いいただけます。ポリシーのテンプレートと初期設定が付属しているため、広範囲にわたる設定なしですぐに最適化できます。特定の要件については、グラフィカルユーザーインターフェイス（GUI）とアプリケーションプログラミングインターフェイス（API）がクラス最高のコントロールを提供します。

Cloudera Lakehouse Optimizer が独自のテーブル最適化を実現し、パフォーマンスとストレージのメリットを実現する仕組みを見てみましょう。

• インテリジェントなポリシー：Cloudera Lakehouse Optimizerは、テーブルが最適化を必要とするかどうかを評価し、必要なアクションのみが実行されるようにし、必要に応じて自律的に最適化を実行します。すべての Iceberg 最適化に対して豊富で構成可能なアクション引数を提供し、最大のパフォーマンスを実現するための多くの引数をカバーします。

• エンジンとストレージに依存しない：Lakehouse Optimizer によってテーブルが最適化されると、レイクハウスからデータにアクセスするエンジンが Cloudera 所有でも、オープンソースでも、他のベンダーのエンジンでも、どのようなものであっても同じようにクエリのパフォーマンス向上を実感できます。これらの最適化は、クラウドオブジェクトストレージまたはオンプレミスのオブジェクトストアに保存されているデータにも適用されます。

• 比類のないスコープとコントロール：Cloudera Lakehouse Optimizer では、ポリシーの適用をきめ細かく制御できます。テーブル、ネームスペース、カタログ全体のレベルでもポリシーを作成し適用することができ、レイクハウスが進化するにつれて柔軟でスケーラブルな管理を提供します。これにより、ほぼすべての引数に対して最適化を定義できるようになり、テーブルに最適なポリシー定義が可能になります。この幅広い適用範囲は、ポリシー適用が限定されている他のソリューションと比較した場合の大きな差別化要因となります。Optimizer には専用の GUI も付属しているため、すべてのユーザーが最適化を快適に構成および監視できます。プログラムによる制御では、包括的な API/コマンドラインインターフェイス（CLI）アクセスも利用できるため、誰でも簡単に使用できます。また、最適化をいつ、どのように実行するかについて、比類のない柔軟性と制御も提供されます。

  • イベントベースのインテリジェントスケジューリング：更新、挿入、削除などのテーブルイベントが発生したときに、自動的に最適化をトリガーします。
  • 時間ベースのスケジュール設定：Cron のようなスケジュールを使用して、設定された定期的なベースで最適化をスケジュールできます。これは、AWS S3 Table Maintenance や Databricks Predictive Optimizer では利用できない機能です。
  • 手動実行：ポリシーの手動による実行をトリガーし、オンデマンド最適化を可能にします。

レイクハウスを一変させる準備はできましたか？

自動化されたインテリジェントな Iceberg テーブル最適化のパワーを体験して、パフォーマンスとコストの大幅なメリットを今すぐ実現しましょう。

• Cloudera Lakehouse Optimizer の詳細については、デモをご覧ください。

• 特別キャンペーンのご案内：Cloudera Lakehouse Optimizer で処理されたすべてのデータは、2026年4月26日まで無料でご利用いただけます。最小限の基本費用はかかりますが、このプロモーションにより、データ処理費用を心配することなく Cloudera Lakehouse Optimizer の機能をお試しいただけます。さらに、Cloudera Management Console で消費制限を設定して、コストが予想を超えないようにすることができます。

この記事は、2025/12/30に公開された「Deliver Repeatable, Measurable, and Enterprise-Ready AI for Life Sciences」の翻訳です。

ライフサイエンス業界向けに再現可能で測定可能、かつエンタープライズ対応の AI を提供

製薬会社やライフサイエンス企業は、AI を使用して新薬の発見、臨床開発、患者体験を向上させています。このような規制された環境で AI を活用したブレークスルーと投資収益率（ROI）を実現するには、基本に立ち返るアプローチ、つまりデータ統合、相互運用性、セキュリティとガバナンスに焦点を当てることが鍵となります。

Cloudera のグローバル AI ソリューション担当ディレクターである Rameez Chatni は Healthcare IT News のポッドキャスト「HIMSSCast」の最新エピソードで、業界が AI 戦略の初期段階から堅牢なデータ基盤の土台へと移行中であることを説明しています。

バリューチェーン全体での相互運用性を確保する

一般的なグローバル製薬組織は、R&D、製造、営業など、大企業のように12～ 15の異なる業種で構成されており、AI 対応のデータセットを構築するには、高度な分散型アーキテクチャを管理する必要があります。

データの統合は難しく、すべてのデータを単一の均質なシステムに強制的に統合することでは解決できません。そのため、組織はオンプレミスシステム、複数のクラウド、およびソフトウェア・アズ・ア・サービス（SaaS）ソリューションに対応するハイブリッドアーキテクチャを採用しています。

オープンソースで相互運用可能な技術を使用し、オープンデータ形式をサポートすることで、複数のクエリエンジンがエンジニアリング、分析、AIワークロードのデータにアクセスできるようになり、ベンダーロックインのリスクを軽減します。

データ統合の最終的な目標は、組織全体の点をつなぎ、より良い成果を提供する上で必要なコンテキストを AI モデルに提供することです。多くの製薬会社が活用しているコンテキストモデルの1つである「ナレッジグラフ」では、医薬品や遺伝子、病気、臨床試験、商用データとの関連など、人間が見逃しがちなビジネス内の関係性を捉え、包括的で使いやすいデータセットを作成します。

しかし、これらの高度なアーキテクチャは、しばしば見落とされがちな重要な第一歩、すなわちデータインベントリとデータリネージに依存しています。これらは、異なる部門（R&D や製造など）が同じデータセットのライセンスを重複して取得し、リソースを無駄にすることを防ぐ、縁の下の力持ちであり、基盤となる柱です。

ガバナンスをバグではなく機能として扱う

データを用いて迅速にイノベーションを図ろうとするセクターでは、データガバナンスがしばしば後回しにされ、その結果、プロジェクトが最大9ヶ月間停滞する可能性があります。Chatni は、ガバナンスをバグではなく機能として扱う必要があると主張しています。これは、ガバナンスを「ガバナンス・アズ・ア・サービス」、つまり、企業内での予防的かつ継続的な機能へと変革することを意味します。

ガバナンス・アズ・ア・サービスを実現する唯一の方法は、ビジネスリーダー、データストラテジスト、テクノロジーアーキテクト、プライバシーまたは法律の専門家を結び付ける組織横断的な中核部門を利用することです。これにより、データの移動方法を理解している技術チームが、プライバシーと同意の制限を理解している法務チームと効果的にコミュニケーションをとれるようになります。

最も重要なのは、ガバナンスを早期に適用すべきだということです。臨床試験データを二次目的で使用することに対する制限などのコンプライアンスを考慮しないと、プロジェクトの後半でプロジェクト全体が停止する可能性があります。実際、契約レビューを加速し、コンプライアンスチェックが自動化され、監査可能であることを保証するために、AI をガバナンス自体に適用する必要があります。

ROI を証明して規模を拡大する

業界には AI パイロットの失敗に関する報告が溢れています。AI の導入を始めたばかりの組織はまず、日常業務における AI のユースケースを特定する必要があります。臨床試験プロトコルの作成などの「退屈な」タスクを自動化したり（文書1,000件ごとに1週間の節約）、有害事象の処理を迅速化すれば、すぐに成果につながることは明らかです。

Chatni は、ビジネスに合った明確で測定可能な ROI を定義することが成功への第一歩であるとアドバイスしています。製薬業界では、「フェイルファスト（失敗を早く受け入れる）」文化を促進することが ROI につながります。計算処理上の失敗は、臨床試験の後期での失敗よりもはるかに安く済むからです。

また、この ROI について、「問題が早期に発見されればされるほど、問題がさらに大きくなる前に、はるかに早く（解決策）にたどり着くことができます」と簡潔に説明し、問題が深刻化する前に、迅速に問題を特定して解決するための措置を講じるべきだとアドバイスしています。

最後に、システムを標準化します。エージェントフレームワーク、ツール、サポートモデルを定義することに加え、開発環境から検証済みで監査可能な運用環境への移行する際の明確なルールを設定することが最も重要です。

次なるフロンティア：パーソナライズされた AI

今後3〜5年は、さらに大きな変革が期待されています。個々のユーザーに合わせてインタラクションやインサイトをカスタマイズする、パーソナライズされたエージェントが増加するでしょう。

AI モデルは、複数のパラメータを同時に最適化するように進化する見込みです。同モデルでは、有効性のみを最適化するのではなく、効果的で、毒性がなく、製造可能で、賞味期限が長い分子を一度に提案します。「AI によって生成された」薬が初めて市販されるかもしれません。

このような未来に備える方法を知りたい場合は、Rameez Chatni との会話の全編（英語）をお聞きください。AI の実装とベストプラクティスに関して詳しく語られています。

この記事は、2025/12/29に公開された「Context Is the Hard Part: Practical Lessons in Building Agentic AI Systems」の翻訳です。

コンテキストエンジニアリングが重要な理由と、それを実現する方法

「適切なデータを、適切な場所とタイミングで入手するにはどうすればよいでしょうか？」

これは、企業でエージェント AI を導入する時の根本的な課題です。大規模言語モデル（LLM）によって強力な推論機能とオーケストレーション機能が実現しましたが、その有効性はもっと基礎的な要素、つまり推論とアクションの実行に適切なビジネスコンテキストを提供することにかかっています。コンテキストエンジニアリングは、データ、メタデータ、アクセスポリシー、メモリを組み合わせて、エージェントの動作を安全かつ説明可能な方法でガイドすることに重点を置いた分野です。

Cloudera では、新しい生成 AI（GenAI）やエージェント AI のユースケースを実験している企業カスタマーとパートナーシップを組む中、この課題を目の当たりにしています。エージェント AI システムの構築は、AI ライフサイクル全体から知識をキャプチャ、管理、再利用するデータアーキテクチャという、ほとんどの組織が苦労するアーキテクチャに依存しています。

このブログでは、基本的な機能を「つながり」、「コンテキスト化」、「消費」の 3 つのバケットに分類するエージェント AI システムの構築アプローチを紹介します。このアプローチにより、当社の企業カスタマーは、インテリジェントで信頼性が高く、説明可能で、実運用に適したエージェント型システムを構築することができます。

連携：コントロールを活用してサイロを打ち破る

現代の AI エージェントは断片化された環境ではうまく機能しません。しかし、ほとんどの企業では、データが複数のクラウド、データセンター、レガシーシステムに分散され、フォーマットの一貫性もありません。そのデータを構造や保護手段のない AI システムに公開すると、パフォーマンスの問題やガバナンスのリスクにつながります。

成功した実装では、組織がまず、異なる環境や形式に広がる統合データ層の作成に重点を置いていることがわかりました。これはすべてのデータを集中管理するという意味ではなく、データをデータファブリックのアーキテクチャでつなぎ合わせるという作業です。これにより、共有メタデータ、アクセスポリシー、フェデレーションデータエンジニアリング、ランタイム相互運用性を備えた統合レイヤーが提供されます。

オープンテーブル形式と標準 API アクセスを実装することで、柔軟性を提供しつつデータアクセスが簡素化されます。オープンレイクハウスアーキテクチャは、特に信頼性の高い検索拡張生成（RAG）と推論に依存するエージェントワークフローにおいて、エンジン間でデータのリアルタイムかつ一貫したビューを提供するため、ここでは非常に重要になります。

コンテキスト化：エージェントにアクセス以上の価値を提供する

データが接続された後は、どのようなデータが存在し、どのように使用されているかを、エージェントが理解できるように支援することが課題になります。それは検出から始まります。クラウドおよびオンプレミスのシステム間でデータソースを自動的に特定し、メタデータ（テーブル名、フィールド、フォーマットなど）を有効化します。Cloudera Octopai Data Lineage のようなツールは、ETL スクリプトをスキャンし、パイプラインロジックをリバースエンジニアリングし、データがソースから最終目的地までシステム間でどのように移動して変換されるかを、その途中のすべての依存関係を含めキャプチャします。

この情報は、データセットがどのように関連し、時間の経過とともにどのように変化するかを示すリネージの基盤を作ります。リネージが重要になるのは、結果を検証したいとき、推奨事項やエージェントの行動を説明したいとき、あるいは壊れた出力を原因元までたどりたいときです。これでエージェントが関わるシステムに透明性と信頼が生まれます。

最後に、カタログ化によってこれらの情報が実用的な構造にまとめられます。集中管理されたメタデータストアがあると、人もエージェントも必要なものを見つけやすくなり、データセット同士の関係を理解できるようになります。また、データをどう扱うべきかに影響するポリシーも把握できます。強力なカタログは設計図のような役割を果たし、エージェントが企業のデータ資産を明確にたどれる、ナビゲーション可能な地図となるナレッジグラフを提供します。さらに、データを理解して行動に移すために必要な、すべての業務定義や業務ロジックを含む、技術、運用、ビジネスの各種メタデータを取り込みます。

コンテキスト化により、エージェントは情報の取得以上のことができるようになります。パターンを調査し、より的確な質問をするようになり、動作する環境をより深く理解した上で意思決定を行うことができます。

消費：適切なコンテキストを適切なタイミングで提供する

エージェントシステムを構築する最後のステップでは、追跡可能で安全かつ適切な情報に基づいた方法で AI がアクションを実行できるようにする必要があります。ここでアーキテクチャの選択が重要になります。ガードレール、可観測性、制御されたアクセスはすべて、エージェントが重要なときに予測どおりに動作するかどうかを左右します。

一般的なコンテキストエンジニアリングの手法を、それが解決するために設計された根本的なデータ課題にマッピングすると役立つことが分かりました。以下に、それが実際にどのように現れるかの例を示します。

適切な手法の選択は、エージェントの役割、データの機密性、運用環境によって異なります。以下は、一般的なエンタープライズユースケースと、実際にうまく機能した推奨される方法の組み合わせです。

この消費アプローチにより、エージェントは正確かつ安全に、ビジネス目標に沿って業務を遂行できるようになります。

まとめ：フレームワークから実行へ

Cloudera では、企業データの複雑さに対処するために長年を費やしてきました。サイロを解消し、ガバナンスを強化し、AIと分析のための安全なパイプラインを構築し、ハイブリッド環境全体でリネージを可視化させています。そのため、エージェント AI のパターンが現れ始めたとき、私たちはゼロから始めたわけではありませんでした。コンテキストがどこに存在するのか、また適切なガードレールを使用して安全かつ確実にキャプチャする方法を知っていました。

Cloudera Octopai Data Lineage を使用すると、チームはクラウドとオンプレミスの環境間でデータフローを自動的にマッピングし、依存関係を追跡し、メタデータをカタログ化することができます。データカタログ、可観測性、アクセス制御を階層化することで、エージェントはシステムとより安全かつインテリジェントに対話できるようになり、これらのワークフローを企業全体で拡大するために不可欠な可視性、ガバナンス、信頼を獲得できます。

これらの機能を実用化するために、これらの機能を Open Data Lakehouse と Cloudera AI Studios に統合し、企業が本番環境で安全なエージェントシステムを設計、展開、管理するための基盤を提供しています。

Cloudera が AI エージェントを適切なビジネスコンテキストで本番稼働させるのにどのように役立つかについて、Webサイトにてさらに詳しくご確認ください。

この記事は、2025/12/19に公開された「Cloudera Grows Recognition as Great Place to Work」の翻訳です。

Cloudera のイノベーションの核となるのは人材です。だからこそ、「Great Places to Work」の受賞が弊社とって非常に重要なのです。Great Places to Work（働きがいのある会社ランキング）は、従業員の幸福と専門性の開発を重視する組織を認定するものであり、従業員のことを第一に考え、コラボレーションしやすい職場環境を促進するという Cloudera の継続的な取り組みと方向性が一致しています。Cloudera では、誰もが受け入れられ、支えられていると感じ、成長と学習の機会を与えられる職場を構築できるよう、尽力しています。

今年は世界中のオフィスから数々の表彰や認定が寄せられ、素晴らしい一年でした。弊社ではアイルランド、シンガポール、コスタリカ、スペイン、イタリア、フランスのオフィスを含む地域で2025年の「Great Places to Work」を受賞しました。弊社のオフィスがこれまでに受賞したタイトルは以下の通りです。

コスタリカ

• Best Places to Work Costa Rica (コスタリカの働きがいのある会社) 第6位
• Best Place to Work By Employee Quantity (従業員数別働きがいのある会社) 20～100人規模で第7位

スペイン

• Best Workplaces (働きがいのある会社) 初受賞

• Best Workplaces in Tech (テック業界の働きがいのある会社) 第2位

イタリア

• Best Workplaces (働きがいのある会社) 初受賞

フランス

• Best Workplaces (働きがいのある会社) 受賞

アイルランド

• Best Workplace in Ireland (Med) (アイルランドの「働きがいのある会社」中規模部門) 第1位

• Best Small/Med Workplace in Europe (ヨーロッパの「働きがいのある会社」 中小企業部門) 第13位

• Best Workplace for Women (女性にとって「働きがいのある会社」) 受賞

• Best Workplace for Health & Wellbeing (健康とウェルビーイングに最適な職場)

シンガポール

• Best Place to Work (Small) (「働きがいのある会社」小規模部門) 第3位

Cloudera 最高人事責任者の Amy Nelson はこう語ります。「Cloudera は世界中のデータ管理とエンタープライズ AI をリードする存在であり、そのリーダーシップは社員の素晴らしい才能と献身によって支えられています。弊社のグローバルフットプリントが拡大するにつれ、Great Places to Work の受賞は重要なマイルストーンとなり、弊社チームが日々実践している企業文化と献身的な姿勢を一層強固なものにします。」

従業員の幸福に対する Cloudera の取り組みを称えるため、Great Place to Work を受賞した各国のチームのリーダーにインタビューを行い、Great Place to Work の受賞が何を意味するのかを話してもらいました。

各チームの栄誉を称える動画をぜひご覧ください。

さらに詳しく知りたい場合は、「Women Leaders in Tech（テクノロジー業界の女性リーダー）」ページをご覧ください。

この記事は、2025/12/17に公開された「The 3 Eras of Women Leaders in Technology: Mary Wells’ Perspective」の翻訳です。

テクノロジー業界における女性をめぐる議論は、ここ数年で大きく変化してきました。かつては見える化（存在を認識してもらうこと）を求める動きとして始まったものが、いまでは、代表性、アライシップ、影響力をめぐるストーリーと、もっと大きなテーマへと発展しています。

Cloudera の最高マーケティング責任者、Mary Wells は、その進化を間近で見てきました。テクノロジー業界の有名企業での 25 年以上のキャリアの中で、彼女は女性の役割と声がどのように変化したかを直接目にしてきました。Cloudera の Women Leaders in Technology（WLIT）イニシアチブのエグゼクティブスポンサーとして、女性や支持者が学び、リードし、お互いを高め合う場を作るという、次の成長ステージの育成に貢献しています。

Mary が自身の経験を基に、3 つの時代を通じてテクノロジーをリードする女性の進化について説明します。それぞれの時代は前の時代を基盤として発展し、今まさに新たな時代が形作られ始めています。

第一の時代：表現と帰属意識

数十年前、進歩したことと言えば、単に「見られること」でした。

テクノロジー業界の女性の多くは「一人きり」で、1 つの部門やプロジェクトチーム、あるいは建物全体で唯一の女性でした。これらの先駆者は、職務を遂行しながら、自分たちが属する場所であることを証明するという二重の課題に直面していました。

最近のインタビューで Mary は、さまざまな企業や業界のイベントでテクノロジー業界の女性のための非公式な集まりに参加していたこの時代の経験を振り返りました。彼女はその頃を振り返って、今日のより正式な女性技術支援ネットワークの初期の草の根バージョンだったと考えています。

Mary は、女性たちが、自分のフロアや部署で唯一の女性であるという話をしていたことを思い出します。WLIT で他のリーダーたち（たまたま女性だったのですが）と語り合った後、悲しみではなく、安堵から涙を流した人もいました。多くの人にとって、職場での苦労は自分一人ではないと初めて気づいた瞬間でした。自分が経験していることが他の人たちにも映し出されていることから、存在意識と帰属意識が生まれました。

ささやかな会話から、孤立感が和らぎ、連帯感が生まれました。女性たちは、耳を傾け、励まし合い、帰属意識が強さの一種であることを証明するために互いに支え合いました。

この時代、仲間同士のコミュニティが女性たちにそこに留まる勇気を与えていました。

第二の時代：自信と発言力

女性が社内に居場所を持つと、会話は変わり始めました。ただそこにいるだけでは不十分でした。参加することに意義がある時代が来たのです。

だからこそ、テクノロジー分野で女性がリーダーシップを発揮するこの第二の時代は、自信に満ちていると言えるのです。女性たちは、自分たちの発言から意思決定に影響を与え、本物のリーダーシップを発揮する方法を模索し始めました。Mary は、約10年前に最も頻繁に挙げられていた質問が自己不信に関するものだったと覚えています。女性たちは「どうすれば自分たちの存在を意義あるものにできるか？」と問いかけていました。

当時、「インポスター症候群」という言葉は、「物理的にその部屋にいる」ことと、「本当に自分がそこに属している」と感じることとの間のギャップを表現するのによく使われていました。

しかし、時が経つにつれ、Mary はそれが誤った呼び方であると感じ始めました。インポスター症候群は女性だけの問題ではありません。誰もがどこかの時点で自己不信を経験します。重要なのは、それが消えるまで待つのではなく、とにかく前進することです。彼女にとって、ほとんどの場合、自信は勇気から始まります。「不安でも、やってみよう」と彼女は同僚に言います。自分の心地よい領域から一歩踏み出すことが、成長を意味するのだと思い出させてくれる言葉です。

この時代に、女性はリーダーシップを発揮しても良いと許可を待たずに、自ら会話を形作り始めたのです。

第三の時代：アライシップとパートナーシップを通じてすべての人を歓迎する

この第三の時代は、「アライシップ」と「責任の共有」の時代です。もはや単なる「女性の問題」ではありません。今では、すべての人が歓迎されます。男性も女性も同じように、自分たちを取り巻く社会の多様性を反映したチームの構築に取り組んでいます。

Mary はこの変化を身をもって体験しています。最近ロンドンで行われたイベント中のテクノロジー分野の女性リーダーパネルで、彼女は約 60% が男性である聴衆を見つめました。彼女にとってその瞬間は、アライシップと、これらの課題に積極的に耳を傾ける仲間の集団が広がったことを認識し、この話題がどれだけ進展したかを捉えたものでした。

Mary は、ある男性がなぜ WLIT のようなフォーラムが必要なのかと質問し、別の男性がすぐに「周りを見回してごらん」と言ったときのことを覚えています。そこに参加していたほとんどの人にとって、答えは明白だったのです。そのようなアライシップが会話に信頼性と勢いを与えると、彼女は指摘しています。

今や進歩は、誰もが参加し、耳を傾け、その過程で他者を励ますことにかかっています。

新たに発展する時代：リーダーシップと影響力

新たな章はすでに始まっており、次の時代は影響力が重要になります。女性がテクノロジーの未来についての議論にただ参加するだけでなく、それを定義するのに力を添えています。Cloudera のグローバルな EVOLVE イベントシリーズを通して行われる WLIT のセッションは、この新しい時代が実際にどのようなものであるかを鮮明に示しています。

WLIT は、「Accelerate Action, Accelerate Innovation（行動を加速し、イノベーションを加速する）」をテーマに、業界を超えた第一人者を集め、アダプティブ・リーダーシップから責任ある AI まで、幅広いトピックを探求しました。4 つのイベントを通じて、300 人を超える外部登録者と 200 人近くの参加者が、これらの重要な会話に強い関心を示しました。

以下の点について議論しました。

• ガバナンスと透明性を主導する（ロボット工学のルールに触発されて）

• 人々が関わりたくなる責任ある AI の未来を形作る

• 適応力のある、人間中心のリーダーシップスタイルを育成する

これらのセッションからのフィードバックは、これらの会話がいかに共感を呼び、必要とされているかを反映しています。

ある参加者は次のように語りました。

「ニューヨークの WLIT パネルは、これまで私が見た中で最も誠実で魅力的なパネルの 1 つだったと心から感じています。考え方や表現の多様性が素晴らしかったです！」

Mary にとって、EVOLVE の WLIT セッションは、影響力がインパクトに変わる過程を実証するものであり、それはこの過程の自然な進化です。焦点はもはや、女性がテクノロジー分野のリーダーとしての適性を証明することではなく、未来を形作る会話を平等に主導することに置かれています。目標は、「女性リーダー」として見られることではありません。むしろ、私たちはただ、リーダーとして見られたいと思っています。

これからの展望：テクノロジーをリードする女性たち

それぞれの時代が次の時代への道を切り開いてきました。所属意識が自信を築き、自信がアライシップを生み、アライシップが影響力へとつながります。Mary は、すでに第四の時代が形を成しつつあると言います。

テクノロジーをリードする女性たちの物語は、今後も書き続けられています。それは、レジリエンス、勇気、そしてつながりの物語です。一人ではなく、お互いを支え合うことを選んだ人々の物語なのです。

Cloudera や業界全体において、Mary Wells のようなリーダーは、進歩とは、自分たちの立場を活かして他者のための場を作り、次に何を形作るかにあることを私たちに思い出させてくれます。

EVOLVE25 で Women Leaders in Technology の影響力をご体験ください。

この記事は、2025/12/9に公開された「Has the Recent Acquisition Put Your Streaming Data on Lockdown?」の翻訳です。

エンタープライズ AI 向け Agnostic Streaming のパワーを解き放つ

IBM がデータストリーミングプラットフォームである Confluent の買収計画を発表したことを受けて、エンタープライズデータ管理の競争環境は大きく変化しつつあります。この取引の価値は 110 億ドルと評価されています。これは驚くほどの金額であり、現代のデータ戦略における 2 つの重要な要素の価値を裏付けるものです。

1. リアルタイムデータストリーミングはもはや贅沢ではなく、次世代の AI エージェント、インテリジェントアプリケーション、そして真のビジネス自動化のための不可欠な基盤となっている。
   
2. 流れているデータ（データ・イン・モーション）は、統合データおよび AI プラットフォームにおいて重要なレイヤーであり、Cloudera は長年にわたってこれを顧客に提供している。

さらに、IBM による独立系ベンダーの買収は、ベンダーがデータの取り込みから提供までのライフサイクルを包括的に制御しようとする統合への市場動向を示唆しています。重要なのは、このトレンドが常に顧客ニーズと一致するとは限らないという点です。多くのケースで、データと AI プラットフォームとは独立した、俊敏ですぐに組み込めるデータ・イン・モーションのソリューションが求められます。つまり、リアルタイムのストリーミング分析や洞察、推論が必要な場所ならどこにでも導入できるものです。

この統合への移行は、Kubernetes の独立したオペレーターや、データ・イン・モーションのソリューションに関心のある組織にさまざまな影響をもたらします。このブログでは、いくつかの重要な検討事項と、ベンダーロックインへの移行がデータ資産に与える影響について説明します。

統合の隠れたコスト

買収が発表される前は、Confluent はオープンで独立した、クラウドにとらわれないデータストリーミングソリューションとして市場でよく知られていました。リアルタイムのデータをできるだけ早く AI を適用できる場所に持っていく必要がある組織にとって、Confluent のようなソリューションの採用は手に取りやすい選択でした。

現在、オープン性と柔軟性のために Confluent を選んだ組織は、ベンダーロックインの可能性に直面しています。かつては独立していたこのストリーミングベンダーは、新しい親会社の、より広範で重厚なプラットフォームにデータを供給するための「パイプライン」として位置づけられてしまうのでしょうか？かつては機敏だったデータ・イン・モーションのソリューションが、必要でも望んでいないエンタープライズスタック全体という重荷を背負ってしまうのでしょうか？

この懸念はもっともです。現実には、テクノロジーの巨大企業が、より小規模で専門分野に特化したベンダーを吸収すると、優先順位は必然的に変化します。

今こそ、問う時です。AI の未来の生命線となるリアルタイムデータ戦略を、単一の独自のエコシステムに結び付けたいですか？あるいは、特定のベンダープラットフォームに依存せず、既存のデータエコシステムに統合できる、オープン性を重視して構築されたソリューションを求めていますか？

独立したデータ・イン・モーション・ソリューションの力

IBM と Confluent に関するニュースによって、現在のデータ・イン・モーションへの投資の将来の方向性、機能の焦点、価格設定について懸念を抱いている場合は、独立型の管理されコンテナ化された代替案をご検討ください。

Cloudera のデータ・イン・モーションのソリューションは、当社のプラットフォームに統合された一部としても、Kubernetes の独立したオペレーターとしても利用できます。どちらのオプションが適しているかはユースケースによって異なりますが、流れているデータのみに焦点を当てた独立したソリューションを使用することで得られるメリットをいくつかご紹介します。

• プラットフォームの独立性：あなたのデータ、あなたのクラウド。Cloudera のデータ・イン・モーションのオペレーターは、根本からプラットフォームに依存しないように設計されています。重要なリアルタイムパイプライン（Kafka、Flinkなど）は、パブリッククラウド、オンプレミスのデータセンター、またはハイブリッド環境で、ペナルティなしで実行できます。つまり、ベンダーの好むエコシステムへの移行ではなく、データの移動や処理に集中できます。

• イノベーションが速くなり、肥大化が減ります。Cloudera は、Apache Kafka、Flink、NiFi という流れているデータの 3 つの柱をネイティブに組み込んでいます。これにより、効率的なストリーミング分析、データフロー、取り込み、ルーティングを構築して実行するための、完全で視覚的なドラッグアンドドロップ環境が提供されます。たとえば、これまで Kafka 単体ではデータフロー処理が最も効率的ではなかったため、Cloudera は Kafka/Flink を組み合わせたソリューション用のオペレーターと、Kafka/Flink と簡単に統合できる NiFi フローベースのエンジンオペレーターを提供しています。

• ベンダー主導ではなく、自分たち主導のデータ・イン・モーション。Cloudera は、Kubernetes 用の独立したエンタープライズグレードのオペレーターを提供し、流れているデータに対応し、リアルタイムニーズの完全なスイートを管理することができます。さらに、これらすべてを Cloudera プラットフォームの他の部分と簡単に統合できるため、エッジから生成 AI に至るまで、安全で管理された完全なライフサイクルオプションを実現できます。

まとめ

Cloudera は、データ戦略が単一ベンダーの包括的なプラットフォーム構想によって制約されるべきではないと考える顧客のために存在しています。オープンソースを活用し、あらゆる場所で自由にデプロイし、実行できるリアルタイムパイプラインを、本番環境へ最短で導入できるよう支援します。

IBM によって Confluent の体験が大きく変わってしまうのではないかと懸念されている場合、または単純に「データ・イン・モーションのソリューションはデータが存在するあらゆる場所で機能すべきだ」とお考えの場合は、ぜひご相談ください。Clouderaはこの変化する状況を乗り越え、条件に合わせて流れているデータを再び活用できるようお手伝いできます。ぜひ、AWS 上での 5 日間のトライアルをぜひご利用ください。

図2. Cloudera Workbench MCP Server: Security by Design

Cloudera MCP サーバーの利用を開始する方法

Cloudera MCP Server は、確立されたガバナンスの範囲内で運用しながら、アシスタントがプラットフォームと直接やり取りできるように設計されています。

以下の手順に従うことで、簡単に使用を開始できます。

1. サーバーを構成する：Cloudera AI Workbench のホストと API キーをシークレットとして指定し、オープンソースサーバーを Docker で実行します。
2. クライアントを接続する：STDIO コマンドを使用して、お好みの MCP クライアント（Cloudera Agent Studio など）をサーバーに接続します。
3. 最初のリクエストを行う：アシスタントに「プロジェクトをリストアップしてください」と依頼することで、接続をテストできます。

ワークフローの例

以下は、Cloudera MCP サーバーに接続されたアシスタントから実行できるタスクの例です。

• アクティブなプロジェクトをすべてリストアップして、まだ実行中のジョブを表示してください。

• 「new-data-august.zip」ファイルを「fraud-detection」プロジェクトにアップロードしてください。

• 「train-v3.py」スクリプトを使用してジョブを作成し、2つの CPU と 8GB のメモリを割り当てて実行してください。

• これらの指標を「resnet-sweep」という名前の実験に記録し、実行に「new-data」タグを付けてください。

• 最新のモデルビルドを取得し、ステージングエンドポイントに展開してください。

• 「gradio-demo」アプリケーションを再起動してください。

サーバーには、ファイルの管理、ジョブの実行、実験の追跡、モデルの展開、アプリケーションの管理など、プロジェクトライフサイクル全体にわたってこれらのワークフローをサポートするツールが含まれています。

さらに詳しく

詳細なセットアップ手順や例、機能のリスト一覧については、Cloudera MCP サーバー GitHub リポジトリをご覧ください。注：GitHub プロジェクトは現状有姿で提供されており、Cloudera による正式なサポートはありません。Cloudera MCP サーバープロジェクトは Apache 2.0 ライセンスの下で提供されており、Cloudera はその使用に関する保証、サポート、メンテナンスを提供しておりません。

MCP と Cloudera の連携について詳しくは、ブログ「Cloudera MCP サーバーで生成 AI にコンテキストを提供する」をご覧ください。

図1. Cloudera AI Workbench MCP サーバーのアーキテクチャ

既存のガバナンスとの統合

Cloudera MCP サーバーは、既存のエンタープライズガバナンスを回避するのではなく、連携するように設計されています。

• データサイエンティストや AI エンジニアの場合：コンテキストの切り替えが減り、プラットフォームタスクを開始しながらチャットや IDE を使用し続けることができます。アシスタントは調整を担当し、プラットフォームは実行を担当します。

• プラットフォームおよび MLOps チームの場合：評価スクリプトのトリガー、新しいデータセットのアップロード、同様のテストの実行に役立ちます。この統合により、アプリケーションの更新、削除、再開や実験の追跡も可能になります。

セキュリティ・バイ・デザイン

セキュリティはサーバー設計の中核的な要素であり、エンタープライズ環境に適合するように設計されています。

• STDIO トランスポート：デフォルトでは、アシスタントとサーバー間の通信に標準入出力（STDIO）を使用します。これにより、このやり取りのために新しいネットワークエンドポイントを開いて管理する必要がなくなります。

• 認証情報の管理：サーバーは Docker のシークレットや環境変数から認証情報を読み取るよう設計されており、キーをハードコーディングしたりコマンドライン引数で渡す必要がありません。

• アクセスが簡単：既存の Cloudera AI Workbench API キーを使用するため、さまざまなユーザーやユースケースに合わせて権限の範囲を適切に限定できます。

この記事は、2025/12/4に公開された「Integrate Agentic Workflows Using Cloudera AI Workbench MCP Server」の翻訳です。

タスクを自動化してデータ担当者の効率を向上

データサイエンティストや AI エンジニアが日常のワークフローの一環として行う日常的なタスクは数多くあります。たとえば、データセットのアップロード、さまざまなハイパーパラメータに対する同じスクリプトの実行と反復、実験の観察などです。これらのタスクを AI エージェントに任せることで、リソースを節約し、大きな価値を生み出すことができます。

ここで役に立つのが Cloudera AI Workbench MCP サーバーです。オープンソースの Model Context Protocol（MCP）サーバーで、エージェント型ワークフローとより良く統合できるよう設計されています。

Cloudera MCP Server の概要と活用方法

Cloudera の MCP サーバーは安全な翻訳者として機能します。Cloudera Agent Studio、Claude、または Cursor のようなアシスタントが、Cloudera AI Workbench 環境内で直接タスクを実行できるようにします。

つまり、アシスタントにプロジェクトの一覧表示、ファイルのアップロード、ジョブの実行を依頼することで、サーバーがプラットフォームの標準 API を使用してアクションを実行できるようになるということです。

この記事は、2025/12/2に公開された「How to Avoid Building Brick Walls with Your Data and AI Platforms」の翻訳です。

今日の大規模組織のほとんどは、データと AI の取り組みを実行するために 1 つのベンダーだけを選択することはありません。優先するクラウドベンダーを 1 社決めることはあるかもしれません。ただし、マルチクラウドやハイブリッドの採用は拡大しています。特に、次に起こり得る、避けられないパブリッククラウドの障害に備える動きが背景にあります。企業には、景気後退時や予算が厳しくなったときなど、コストを最も最適化した方法でワークロードをいつどこで実行するかについて柔軟なオプションが必要です。

Fortune 2000 IT 組織のデータと AI アーキテクチャを少し見てみると、ガートナーのマジック・クアドラントや Forrester Wave に点在するベンダーから実装された無数のテクノロジーを見つけることができます。

合併や買収に積極的に取り組み、迅速な成果を求めている場合、特定のベンダーの誇大宣伝を信じてしまいがちです。そして、オープンエコシステムのアプローチを維持しようとする最大の意図にもかかわらず、これらの大規模組織は、誇大宣伝されたサービスに多額の投資をする前に、細かい文字で書かれた内容を読まないことがあります。

その結果として、偶発的なアーキテクチャにより「レンガの壁」ができあがり、組織が 1 社のベンダーにロックイン状態となり、コスト増加、柔軟性の制限、イノベーションの遅延につながる可能性があります。

このブログでは、ベンダーロックインの最も一般的な落とし穴と、プラットフォームを評価する際に尋ねるべき重要な質問について探究し、Cloudera のオープンデータアーキテクチャがこれらの課題を回避するのにどのように役立つかを例を挙げて説明します。

強制的で高額なクラウド移行とデータファブリックおよびデータ主権のサポート不足

データと AI プラットフォームは、データが存在する場所で使えますか？

Cloudera はデータが存在する場所であればどこでも動作するため、同じ一貫したプラットフォームでハイブリッド環境全体の分散データを安全に処理し、ガバナンスを実現できます。Cloudera の Trino 統合は、そこからさらに進化しています。データを移動することなく、データウェアハウス、データレイク、オンプレミスシステム全体で高速なフェデレーションクエリを実行できます。Trino は、アクセスを一元化し、インサイトを促進することで、統合データファブリックを構築し、次のフロンティアであるエージェント AI に備える組織にとって重要な推進力です。

クラウド専用のデータや AI プラットフォームの場合、オンプレミスデータを扱うには、数百万ドルの書き直しやリファクタリングにかかるクラウド移行を強いられ、最終的には単一のベンダーに縛られてしまいます。

プラットフォームは、オンプレミスシステムからパブリッククラウドまで、あらゆる場所でサイロ化されたデータを接続できますか？

データファブリックは、どこからでも誰でも、安全かつ効率的にデータにアクセスして使用できるようにする機能をサポートします。この分野における強みが認められ、Cloudera は「2025 Forrester Wave for Data Fabric Platforms」のリーダーに選ばれました。

データファブリックのユースケースをサポートするための最低限のデータ管理要件を満たしていないベンダーは、Forrester のレポートに掲載されません。この評価を受けていない一般的なプラットフォームベンダーにご注意ください。これらのベンダーのソリューションに投資すると、組織はすべてのデータを単一のシステムに移行せざるを得なくなります。

プラットフォームは、ソブリン要件を満たす導入形態として、エアギャップ環境でも稼働できますか？

Cloudera は、完全にエアギャップされた主権型の導入形態をサポートすることで、プライベート AI を提供します。これは、コントロールプレーンやデータが一切顧客の環境の外に出ない仕組みで、規制の厳しい業界、特に公共部門では重要な要件です。他のプラットフォームでは、制御プレーンに常時接続する必要があり、真のプライベート AI は実現不可能です。

機能が限られたデータエステート内でしか動作しないカタログ

データカタログは、データ資産全体にまたがって使えますか？

Cloudera（特にCloudera Octopai Data Lineage）は、すべてのデータプラットフォームにわたってフルスタックのリネージとガバナンスを提供します。他のプラットフォームは、そのプラットフォームに移行したデータのみを管理し、データメッシュアーキテクチャを破壊します。また、Cloudera Octopai Data Lineage は、完全な統合を伴うビジュアルなリネージをすぐに提供します。これは、API エンドポイントは提供するものの、ツール、UI、統合を提供しない他のベンダーと比較した場合の重要な差別化要因です。

データと AI プラットフォームは完全なガバナンスを提供していますか？

Cloudera Shared Data Experience（SDX）は、すべてのワークロードにわたって完全なガバナンスを提供し、長年にわたって実運用で実証されてきました。

他のベンダーはこの分野で不十分です。あるベンダーは数年前にカタログの提供を発表しましたが、タグベースのガバナンスなどの機能が最近になってようやく GA に達しました（最初に発表されてから3年後です）。一方、属性ベースのアクセス制御などの重要な機能はまだパブリックプレビューのままです。大きな発表と製品の納品の間に 2～3 年のギャップがある状態で運営するのは、「Hype Machine（ハイプマシン、誇大宣伝装置）」の定義に当てはまります。

隠れたコスト、ガードレールの欠如、未熟なデータウェアハウス

予想外の高額請求を防ぐための上限設定などを備えた、分かりやすい料金体系はありますか？

Cloudera は隠れた乗数や消費トラップのない、透明な価格設定を提供しています。他のベンダーは上限設定なしで機能を導入し、顧客にわずか 1 日間のテストで数千ドルという驚きの請求を突きつけます。

データウェアハウスは真のエンタープライズ需要に対応できますか？

Cloudera Data Warehouse は、高可用性（HA）とシームレスな拡張を備えた、実稼働レベルのデータウェアハウス機能を提供します。

他のベンダーは自動拡張と HA を追加していますが、これらが互換性のある機能なのか、それとも別々の機能なのかを確認することが重要です。後者の場合、どちらか一方を選択せざるを得なくなります。他に注意すべき制限は、地域別のストレージとベンダーが管理するストレージです。

限定的なデータストリーミングと、怪しい性能改善のコスト

データと AI プラットフォームは、データ集約型のストリーミングワークロードを扱えますか？

Cloudera は、複雑なストリーミングワークロード向けに、生産実績のある Apache Flink、Kafka、NiFi を提供します。他のベンダーは、具体的には Flink と競争できず、ストリーミング再生もありません。

ストリーミングワークロードでのパフォーマンス向上に対して料金がかかりますか？

Cloudera Streaming にはプレミアム価格帯はありません。他では、ストリーミングワークロードではパフォーマンスの向上が見られないことが多いにもかかわらず、約 3 倍のコスト乗数を強制するものもあります。こうしたベンダーが最適化を行うと、追加料金を請求することは珍しくありません。社内分析によると、追加料金は最大 80% にも上ります。

プラットフォームは、真のオープンソースの Kafka を提供していますか、それとも独自の証明されていないバージョンの提供ですか？

Cloudera は実績のある成熟したオープンソースの Apache Kafka に依存しています。他では、Apache Kafka をまったく実行していません。他のベンダーは、まだ初期段階で大規模な実績のない、価格設定が不透明な独自の Kafka 類似品を出荷しています。

AI の所有権に関する明確さの欠如（API アクセスレンタルと比較）と AI Assistants（チャットボットと比較）

データと AI プラットフォームでは、自分で自分の AI モデルを所有するのでしょうか、それとも単純に API アクセスに料金を請求されるのでしょうか？

Cloudera AI は、企業が自社のインフラ上で AI モデルを所有し、運用することを可能にします。他のベンダーはパブリック API の「仲介者」として機能し、顧客に突然のサービス停止や上限のないコストを負わせながら、多額の手数料を徴収します。

プラットフォームには、生産性向上のために信頼できる AI アシスタントが導入されていますか?

Cloudera AI Assistants は、本物のインテリジェンスを備え、プラットフォーム全体に初日から組み込まれます。他のベンダーは、基本的な取得と応答のチャットボットをイノベーションとして再パッケージ化していますが、データ系統の追跡、ガバナンスの適用、構造化データと非構造化データにわたる推論ができなければ、それは単にインターフェースが改善された検索でしかありません。

「オープン」「統合」をうたう流れに便乗しながら、それを裏付けるインフラを持たないベンダー

データとAIプラットフォームは実際、どれくらいオープンですか？

Cloudera はベンダーロックインすることなく、複数のエンジンで Apache Iceberg と Hudi をサポートしています。他のベンダーはオープンアプローチを主張していますが、テーブルフォーマットのサポートは数年先の話であるか、まだベータ段階で、本質的にプロ独自仕様のままで、顧客を閉じこめてしまいます。

プラットフォームは Apache Iceberg に対してどのようなレベルのサポートを提供していますか？

Cloudera は Apache Iceberg をサポートしており、ベンダーロックインなしでプラットフォーム全体で完全な読み取り/書き込み機能を利用できます。Cloudera の Iceberg REST Catalog は、一般的なプラットフォーム、エンジン、チーム間でのゼロコピーアクセスを可能にするオープンでユニバーサルなメタデータ層を提供することで、データ共有をさらに強化します。

他のベンダーはオープン性を主張していますが、Iceberg のサポートはまだベータ段階です。では「統一」テーブルフォーマットはどうでしょうか？データプラクティショナーは実際のデプロイメントではこれをスキップします。これを使用すると、最適化は独自の形式でのみ機能するため、データが重複するかパフォーマンスが犠牲になるからです。

ベンダーロックインを回避する：（実際に）オープンで統合された、ガバナンスのとれたデータおよび AI プラットフォームを選択する

Cloudera は、データが存在する場所を問わずデータに AI をもたらすことで大規模組織が信頼している唯一のデータおよび AI プラットフォーム企業です。他のプロバイダーとは異なり、Cloudera は実績のあるオープンソースの基盤を活用し、パブリッククラウド、データセンター、エッジを統合した一貫性のあるクラウドエクスペリエンスを提供します。ビッグデータのパイオニアである Cloudera は、企業が AI を適用し、100% のあらゆる形態のデータをコントロールできるようにし、統合されたセキュリティ、ガバナンス、リアルタイムの予測的なインサイトを提供します。あらゆる業界にわたる世界最大の組織が、意思決定のあり方を根本から変革するとともに、最終的には収益の向上、脅威対策、人命保護のため Cloudera を活用しています。

Cloudera でデータを安全に大規模に準備、統合、分析する方法について詳しくは、製品デモをご覧ください。または 5 日間の無料トライアルにご登録ください。

この記事は、2025/11/24に公開された「How Leading Data Teams Build AI-Ready Pipelines with Apache Iceberg and Spark」の翻訳です。

スケーラブルな AI に向けてデータエンジニアリングを最新化するグローバル企業2社からの教訓

予測分析から生成 AI まで、すべての企業がデータを価値に変えることを目指しています。しかし、多くのチームにとって、本当の課題はデータを使用可能で、信頼でき、拡張可能なものにするために必要なデータエンジニアリング作業にあります。複雑な環境において、エンジニアは依然として従来のテーブル形式を使用してパイプラインを組み合わせ、ツール間でロジックを複製し、ガバナンスを事後に改良しています。こうした非効率性により、あらゆる段階で障害が発生し、成果が遅れ、最先端の AI・分析イニシアチブの効果さえも制限されてしまいます。

データエンジニアリングスタックを効率化し、今後に備えたい企業にとって、オープンテーブル形式としての Apache Iceberg とオープンコンピューティングエンジンとしての Apache Spark は強力な組み合わせであることが実証されています。これらを組み合わせることで、ガバナンス、柔軟性、パフォーマンスを犠牲にすることなく、ペタバイト（PB）規模のデータを処理・管理するためのオープンでスケーラブルな標準化された基盤が提供されます。

このブログでは、2つのグローバル企業が Cloudera のデータおよび AI プラットフォームで Spark と Iceberg を使用してデータパイプラインを変革した方法を詳述します。同社がクエリにかかる時間を80%削減した方法や、チーム間でワークフローを標準化した方法、未加工のデータを AI 対応のインサイトに変えるまでの時間を短縮した方法を探っていきましょう。

Vodafone Idea がクエリ時間を80％削減した方法

Vodafone Idea はインドの3大通信会社の1つで、2億2,000万人の利用者にサービスを提供しています。同社は規模の問題に苦しんでいました。Hive ベースのデータレイクが17 PB以上に膨れ上がり、パフォーマンスのボトルネックによって重要な業務の運営が危険にさらされていたのです。レポートクエリの中には70時間以上かかるものもあり、コンプライアンスや分析、規制に関するレポートが遅れていました。

Vodafone Idea は、単にインフラストラクチャをアップグレードするのではなく、データプラットフォームを再構築することにしました。Cloudera との協業により、同社は Iceberg を活用してメタデータとスキーマの進化を最適化することでクエリを高速化し、Spark で処理ワークフローを再構築して分散コンピューティングを活用し、効率的で大規模なデータ処理を実現しました。

規制報告に関しては、Iceberg と Apache Impala を組み合わせて、PB スケールのデータセットへの迅速かつ信頼性の高いアクセスをサポートする、インタラクティブなクエリエンジンとして活用しました。Impala がレポーティングクエリを処理する一方、Iceberg は舞台裏で重要な役割を遂行。ACID トランザクション（原子性、一貫性、独立性、耐久性：データベーストランザクションが確実かつ一貫して処理されることを保証するプロパティ）、柔軟なスキーマ進化機能、豊富なメタデータをサポートすることにより、データが変更されてもレポートワークフローの一貫性が保たれました。

Cloudera Shared Data Experience（SDX）との統合により、チームはロールベースおよび属性ベースのアクセス制御によるきめ細かなガバナンスを実現し、適切な担当者が適切なデータにアクセスできるようになりました。この基盤により、同社は増え続ける規制要件を満たしながら、タイムリーで監査可能なレポートを提供できるようになりました。

規模拡大を目指した製薬会社の統合方法：単一の技術スタックで1万件のジョブに対応

PB規模の臨床研究データを管理する世界的な製薬会社は、今増えつつある、よくある課題に直面していました。使用するツールが多すぎてデータの信頼性に課題が生じ、コンプライアンス基準を満たすことが難しいことに加え、高速の AI と分析をサポートしなければならないというプレッシャーにも直面していたのです。データエンジニアリングチームは、毎日10,000件を超える ETL ジョブを実行する必要がありましたが、チーム間でパイプラインを構築、管理、検証するための標準化された方法がありませんでした。

Cloudera on AWS の導入により、同社は明確な方向性を示しました。チームは、Cloudera Data Engineering 上で Spark を使用してすべてのデータパイプラインを標準化し、バッチ、ストリーミング、機械学習のワークロード全体の処理を統合して拡張。それと同時に、Iceberg をデフォルトのオープンテーブル形式として採用し、一貫したスキーマの進化、組み込みのバージョン管理、チームや環境全体でのエンタープライズグレードのガバナンスを確保しました。

Cloudera で Spark と Iceberg を採用することで、同社はクリーンで拡張可能な DataOps 基盤の構築に成功。これにより、データパイプラインが標準化され、チームやツール間での安全なデータ共有が可能になり、より高速で高度な AI と分析への道が開かれました。この基盤は現在、規制監査ワークフローから臨床試験での発見と医薬品開発を加速する AI モデルまで、すべてをサポートしており、今後あらゆる新しいテクノロジーやエンジンを企業がシームレスに統合できるようにします。

データエンジニアリングおよび AI 向けに現代的な基盤を構築

2社のストーリーには、データワークフローの断片化や規模のプレッシャー、複雑性の増大に直面していたという共通点があります。両社とも Apache Spark と Apache Iceberg を Cloudera で標準化することで、オープンでスケーラブルかつ信頼できるコンポーネントを中心にパイプラインを再構築し、ガバナンスの向上、パフォーマンスの高速化、AI と分析のためのデータフローのクリーン化を実現しました。

Cloudera Data Engineering を使用すると、企業はハイブリッドおよびマルチクラウド環境全体で実行されるエンドツーエンドのソリューションを手に入れることができます。これに Spark、Iceberg、Airflow との統合オーケストレーションを組み合わせることで、チームは以下を行うことが可能になります。

• 一度構築したパイプラインをデータセンターでもクラウドでも、どこでも実行。
• オープンデータレイクハウスで信頼とガバナンスを大規模に管理。

Spark と Iceberg が Cloudera 上で信頼性が高くスケーラブルなパイプラインを強化する方法については、このインタラクティブなデモをご覧ください。今すぐ Cloudera Data Engineering の5日間トライアルで実際にお試しいただき、AI に対応したデータワークフローの構築を始めましょう。

図3：Cloudera AI の AI Workbench および AI Inference サービス

Cloudera AI Workbench

Cloudera AI Workbench は、データサイエンティスト、アナリスト、エンジニアがモデルを開発、微調整、テストするためのコラボレーション環境です。この環境ではノートブック、ローコードのアプリケーションビルダー（AMP）、および AI 開発のあらゆる段階に対応する専用スタジオを統合しています。Cloudera AI Workbench は AI の開発と展開を加速するため、ビジネスチームと技術チームのギャップを埋め、AI プロジェクトにおけるコラボレーションを促進する以下の4つの AI スタジオを支えています。

• Synthetic Data Studio は、実際のデータが限られている場合や制限されている場合に、テストやモデルのトレーニング用の合成データセットを生成します。
• Fine-Tuning Studio は、オープンファンデーションモデルを企業固有のデータセットに適合させ、関連性と精度を高めます。
• RAG Studio は、LLM（OpenAI、Anthropic、Amazon Bedrock など）を関連するプライベートデータに接続し、根拠のあるコンテキスト出力を実現する RAG パイプラインを構築します。
• Agent Studio では、モデル、MCP、API、内部データソースを使用して、ドメイン固有のタスクを自動化する、マルチステップのエージェント型ワークフローを作成できます。

これらの機能はすべてオープンなレイクハウス（Iceberg の基盤上）で動作し、安全な管理下での、特定のタスクに必要なデータへのゼロコピーアクセスをチームに提供します。

Cloudera MCP サーバー

Cloudera は、オープンソースのCloudera AI Workbench MCP サーバー をはじめとする一連の新しい MCP サービスを通じて、AI プラットフォームのオープン性を拡大しています。このサービスは AI システムの統合用に設計されており、AI ワークベンチ内でエージェント機能とツール呼び出し機能を有効にします。また、LLM が Cloudera AI Workbench の機能やコンポーネントと安全にやり取りするためのフレームワークを提供し、モデル、データ、アプリケーションを自動化されたエンタープライズワークフローに取り込みます。知的エージェントはこのアーキテクチャにおいて、規制の厳しい業界で必要とされるセキュリティ、制御、監査機能を維持しながら、信頼できる管理された Cloudera 環境全体でタスクの推論、実行、自動化を行うことができます。

Cloudera AI Inference サービス

Cloudera AI Inference Service は、自動拡張、高可用性、エンドツーエンドの観測可能性を備えたモデルを本番環境に導入します。従来の ML モデルと大規模言語モデル（LLM）の両方をサポートし、予測と応答を低遅延で提供します。モデルは、エンタープライズグレードのセキュリティを備えた REST または gRPC エンドポイントとして展開でき、アプリケーションやエージェントからの信頼性が高く一貫したアクセスを保証します。

推論層に統合された Cloudera AI Registry は、追跡、バージョン管理、成果物の保存、系統化のための MLflow 互換 API を備えた集中型モデルライフサイクル管理を提供します。Llama、Cohere、Gemma、Mistral など、さまざまなオープン言語モデルやエンタープライズ言語モデルのオプションから選択できます。

推論層には組み込みの監視機能と可観測性も含まれており、チームは SDX ガバナンスを通じて完全な系統とコンプライアンスを維持しながら、レイテンシー、スループット、モデルのドリフトを追跡できます。これにより、エンタープライズグレードの AI の重要な要件であるモデル予測が説明可能で追跡可能になります。

未来は AI によって推進され、AI はあらゆるデータによって駆動される

AI の成功は、モデルやエージェントの能力だけでなく、データアーキテクチャにも大きく依存しています。レイクハウスは、分析、運用、AI のワークロードを単一の管理されたデータプレーンに統合する基盤を提供します。オープンスタンダードに基づいて構築されていれば、データ、メタデータ、モデルをツール、クラウド、チーム間で問題なく相互運用できます。

Cloudera AI Workbench、AI Inference Service、統合 AI レジストリが一体となって、オープンレイクハウス基盤の上でデータから AI へのライフサイクルを完成させます。管理された Iceberg テーブルとオープンメタデータアクセスに基づいて直接構築されたこのスタックにより、すべてのモデル、プロンプト、エージェントが信頼できるバージョン管理されたデータ上で動作することが保証されます。

エンタープライズ AI の未来は、独自のスタックによって定義されるのではなく、共有された標準と透明な相互運用性を通じてデータ、ガバナンス、インテリジェンスを統一するオープンな基盤によって定義されるでしょう。

Cloudera でデータを安全に大規模に準備、統合、分析する方法について詳しくは、製品デモをご覧ください。または 5 日間の無料トライアルにご登録ください。

図1：オープンな基盤（Apache Iceberg）上に構築された Cloudera のデータと AI プラットフォーム

ここからは、Cloudera のプラットフォーム（図1）に含まれるさまざまなコンポーネントが、ML パイプラインや 生成 AI アプリケーションを構築するチームをどのようにサポートするのか、またデータと AI のライフサイクルのさまざまな段階（取り込みから推論まで）にどのように対応するのかを、相互運用可能な単一のプラットフォームとして動作させながら確認します。各コンポーネントはオープンスタンダードに基づいて構築されており、環境間での柔軟性と相互運用性を保証します。

ストレージ: Apache Iceberg

Apache Iceberg は、Cloudera のレイクハウスアーキテクチャを支える、オープンでバージョン管理されたトランザクションテーブルフォーマットです。Iceberg は、スキーマの進化、タイムトラベル、アトミック操作を可能にし、分析ワークロードと AI ワークロードの両方を同じ管理されたデータ上で一貫して操作できるようにします。Cloudera は、安全に管理され、いつでも過去の履歴に遡れる基盤を提供し、一貫性があり追跡可能なデータビューからすべてのモデル、プロンプト、検索タスクが取得されるようにします。

スキーマの進化などの Iceberg のネイティブ機能も、AI データセットの進化と密接に連携しています。特徴量ストア、トレーニングデータセット、検索コーパスはすべて Cloudera のレイクハウス内で同じ Iceberg テーブルを共有でき、スナップショットを使用してトレーニングデータの一貫性を保持しながら、新たな推論用データの流れを維持できます。これにより、分析テーブルと AI 固有のストレージの間の境界がなくなります。

取り込み：Cloudera データ・イン・モーション

Cloudera DataFlow は Apache NiFi 上に構築されており、レイクハウスへの継続的なデータ移動の基盤となります。これにより、データベース、API、IoT デバイス、イベントログなど、さまざまなエンタープライズソースからの低レイテンシの取り込みが可能になり、バッチとストリーミングの両方のワークロードをサポートします。NiFi のネイティブ Apache Iceberg 統合における最近のイノベーションにより、中間ステージングなしでオープンレイクハウスにデータを直接書き込むことができるようになりました。NiFi と Iceberg のこの緊密な連携により、パイプラインの複雑さが軽減され、データの取り込みと同時にオープンテーブル形式でデータを書き込めるようになります。

リアルタイムのユースケースでは、NiFi、Apache Kafka、Apache Flink がイベントドリブン型の取り込みファブリックを形成します。NiFi はデータのオーケストレーションとルーティングを行い、Kafka は永続的なストリーミングを提供し、Flink はデータを Iceberg に永続化する前にリアルタイムのエンリッチメントを可能にします。この設計により、下流のすべての消費者にわたってデータが最新の状態に保たれ、管理された状態が維持されます。この連続したマルチモーダルデータの流れこそが、レイクハウスの AI ワークロードを支えています。リアルタイムデータを一貫したガバナンスの下、Iceberg テーブルで継続的に利用できるようにすることで、企業は生成 AI システムにドメイン固有の情報をタイムリーに提供し、RAG パイプラインとエージェントのワークフローをより正確で、根拠のある、信頼性の高いものにすることができます。

カタログ：Cloudera Iceberg REST カタログ

Cloudera Iceberg REST カタログ（オープンな REST 仕様に基づく）は、オープン仕様をサポートするサードパーティエンジン（Snowflake、Redshift、Databricksなど）が Iceberg テーブルにゼロコピーアクセスできるようにする中央集権型かつ相互運用可能なメタデータサービスを提供します。1つのプラットフォームで提供される1つの計算エンジンに制限されることなく、タスクに最適なコンピューティングを柔軟に選択できるため、この側面は組織にとって非常に重要です。Cloudera が提供するセキュリティおよびガバナンスポリシーがあらゆる場所のデータに適用され、環境間の一貫性が保証される一方で、ユーザーは好みのツールを使用できます。

この記事は、2025/11/21に公開された「The Future Delivered Today: The AI-Powered Data Lakehouse」の翻訳です。

Cloudera のオープンな基盤なら、データがどこにあっても100%アクセス可能

業界全体にわたり、データチームは、データをインテリジェンスに変換する方法を探っており、情報を保存する以上の機能を備えたシステムの構築および実行方法がないか再検討しています。また、これらのシステムが相互運用できることも重要です。AI モデル、機能パイプライン、ビジネスインテリジェンス（BI）レポート、およびバッチジョブは、多くの場合、複数のチームとエンジンにまたがります。現在では、コピーやリファクタリングを行わずに境界を越えてデータを共有することが最優先事項となっています。

組織はこれまで、BI やレポート用に最適化されたデータウェアハウスと、大規模な AI および機械学習（ML）用に設計されたデータレイクから成る2層のアーキテクチャに依存してきました。しかし、この2つが分離されていることにより、複雑なデータ移動、専門的なエンジニアリング、ほとんど同期されないシステム間での重複したストレージといった問題があり、コストがかかっていました。

Cloudera のオープンレイクハウスアーキテクチャは分析（BI、アドホッククエリ）と AI（予測および生成 AI、または GenAI）のワークロードを一元的に管理されたデータ基盤に統合することで、この課題に対処します。組織は、この一元化されたデータアーキテクチャにより、Apache Iceberg などのオープンテーブル形式を使用して、（データを計算に持ち込むのではなく）計算をデータに持ち込むことができ、データの近くで AI ワークロードを実行するための基盤が提供されます。レイクハウス上の AI ワークロードはガバナンスされ、バージョン管理された、高品質のデータを直接操作できます。

Cloudera は、あらゆる場所のデータに AI の力をもたらす唯一のデータ AI プラットフォーム企業であり、実績のあるオープンソースの基盤を活用して、パブリッククラウド、データセンター、エッジを統合する一貫したクラウドエクスペリエンスを提供します。

AI ワークロードの実行におけるオープンな基盤の重要性

企業はここ10年で、長期的な成功を収めるにはパフォーマンスとスケーラビリティだけでは不十分であり、柔軟性と相互運用性が不可欠であることを学びました。AI ワークロードの活用においては特に、独自の形式やシステムに制約されることなく、さまざまなデータソース、フレームワーク、ツールを使用できる能力が必要です。

そこで、Apache Iceberg などのオープンテーブル形式がデータプラットフォームのアーキテクチャを変えました。Iceberg は、テーブルの論理的定義を物理的なストレージレイアウトから切り離し、複数のエンジンとフレームワークが完全なトランザクション保証の下で同じデータを読み書きできるようにします。このオープン性により、パイプラインを書き換えることなくインフラストラクチャを進化させ、新しいコンピューティングエンジンを採用することが可能になります。

本番環境レベルのパイプラインを実行するには、AI ライフサイクルのすべての段階でデータ、モデル、およびガバナンスをつなぐことができる統合プラットフォームが必要です。ここで中核となるのは、未加工のデータ、構造化データ、半構造化データ、および非構造化データを継続的に AI 対応の形式へと変換し、モデルのトレーニングおよび評価の系統管理と再現性を維持するデータおよび特徴量エンジニアリングパイプラインです。

生成 AI では、従来の ML の枠を超えた、新たな運用要件が導入されます。チームは固有のタスクを解決するために、検索拡張生成（RAG）向けのインフラストラクチャとデータへのアクセスを取得し、プライベートデータでの大規模言語モデル（LLM）を微調整し、エージェント型ワークフローを構築して、モデル、プロンプト、モデルコンテキストプロトコル（MCP）（API）を組み合わせる必要があります。これらのワークロードは、表形式のデータと非構造化データ（テキスト、ドキュメント、画像、埋め込み）の両方に依存しており、どれも単一のデータおよびメタデータプレーンで管理されます。また、これらのモデルを安全かつ効率的に展開して提供するには、スケーラブルな推論層が不可欠です。

AI ワークロードの多機能化とエージェント化が進むにつれて、カタログやメタデータへのアクセスの重要性も増していきます。AI パイプライン、検索システム、自律エージェントはすべて、データセットの検出、トレーニング状態の再現、系統管理の維持にメタデータを活用しています。オープンカタログは、データセットがどこでどのように処理されるかに関係なく、これらのシステムがデータセットを照会、登録、追跡するための普遍的な方法を提供します。

Cloudera のオープンな基盤により、組織は分析、予測、生成 AI のワークロードを完全にサポートできます。

Cloudera の統合データと AI プラットフォーム

Cloudera のオープンデータレイクハウスは、Apache Iceberg や REST カタログなどのオープンな基盤を活用し、データエンジニアリング、分析、AI をガバナンスの効いた同一のアーキテクチャ上に統合します。このプラットフォームは、すでにデータが存在する場所でワークロード（分析ワークロードまたは AI ワークロード）が動作する必要があるという原則に基づいて設計されています。データの移動や複製の摩擦を排除することで、チームはデータの取り込み、変換、分析、モデル運用にまたがる継続的なパイプラインを、完全な系統と統制を備えた状態で構築できます。

図2：Cloudera の Iceberg REST カタログでサードパーティエンジンとの相互運用性を実現

このカタログレイヤーは、機能エンジニアリングパイプライン、エージェント型ワークフロー、および検索システムが、管理されたデータセットを動的に検索してアクセスする上で重要です。AI エージェントは、企業データのナレッジグラフと同じように、REST カタログを使用して Iceberg テーブルをクエリできます。また、利用可能なテーブルを検出し、そのスキーマを解釈し、パーティショニング、スナップショット、リネージなどのテーブルメタデータを考慮して、使用するデータセットを決定できます。

セキュリティとガバナンス：Cloudera SDX

Cloudera Shared Data Experience（SDX）は、取り込みから推論に至るまで、あらゆるサービスにまたがる統一されたセキュリティおよびガバナンスのフレームワークです。SDX は、データのリネージ、監査、アクセス制御、ポリシー適用のための単一の一貫したレイヤーを提供し、すべてのワークロードが実行場所に関係なく同じセキュリティモデルを継承できるようにします。また、エンタープライズ ID システム（LDAP、SSO、OAuth）と統合し、構造化データと非構造化データにわたって、役割ベースおよび属性ベースのきめ細かなアクセス制御をサポートします。

Cloudera は、SDX をオープンなレイクハウス基盤と組み合わせることで、データ、モデル、AI エージェントが同じ管理境界内で動作することを保証し、分析ワークロードと生成 AI ワークロードの両方に透明性、再現性、信頼性を提供します。

Cloudera のデータサービスと AI サービス

統合サービスレイヤーは、チームが AI を変換、分析、および運用化するために必要なすべての機能を統合し、管理された同一のデータ上で同時に作業することを可能にします。

Data Engineering

Cloudera Data Engineering は、オープンソースの Apache Spark と Apache Airflow を基盤に構築れており、Iceberg テーブル上でデータパイプラインの構築、オーケストレーション、スケーリングを行うサーバーレスサービスを提供します。これにより、ハイブリッド環境間での分析や AI ワークロードに対する信頼性が高く、再現可能な ETL および機能パイプラインを実現します。

AIサービス

Cloudera AI サービスレイヤーは、モデルのトレーニングや微調整から安全な導入まで、AI のライフサイクル全体の運用化を Iceberg と同じ管理されたデータ基盤上でネイティブに実行します。また、モデル開発、登録、推論を、データエンジニアリングと AI の運用をつなぐ単一のワークフローに統合します。

この記事は、2025/11/13に公開された「A 5-Step Framework To Streamline Your Post-Merger Data Strategy」の翻訳です。

合併や買収（M&A）などのインオーガニック成長戦略は、戦略的な成長手段として機能し、企業は収益とコストの相乗効果を実現したり、長期的な競争上の優位性をもたらす新機能を迅速に獲得したりできます。たとえば現代では、大手企業が AI 変革の取り組みを加速し、競争上の優位性を獲得するために、小規模で革新的な AI スタートアップ企業を買収するケースが見られます。

テクノロジーの統合は、M&A による価値の獲得において重要な役割を果たします。Deloitte の調査では、IT は統合によるメリットを決定づける重要な要因であり、すべての相乗効果の50％以上を占めると主張しています。しかし、データサイロの増加とテクノロジーアーキテクチャや環境の多様化により、企業は合併後、テクノロジー統合のメリットを実現する上で、データに関するいくつかの課題に直面します。

この記事では、これらの課題に対処し、M＆A 環境における価値獲得を加速するための5段階のフレームワークを紹介します。このフレームワークにより、Cloudera を使用した合併後のデータ戦略で、テクノロジー統合プロセスを効率化するために必要な機能を確実に利用できるようになります。

図1：Cloudera を使用した合併後のデータ統合フレームワーク

1. Cloudera Octopai Data Lineage で M&A 後の統合を加速する

合併後の統合の開始時には、断片化されたソースや文書化されていないソースにより、重要な分析とコンプライアンスに関する取り組みが遅れるため、データ検出フェーズがボトルネックになることがよくあります。Cloudera Octopai Data Lineage は、複雑なハイブリッド環境およびマルチクラウド環境におけるデータ検出、エンドツーエンドのリネージ、カタログ化を加速する AI 搭載の自動メタデータ管理ソリューションを提供することで、この課題に対処します。

Cloudera Octopai Data Lineage は、データフローを効果的にマッピングし、メタデータのギャップを埋めることで、完全な可視性を実現するために起源と変換を追跡する多次元的なリネージを提供します。Cloudera Octopai Data Lineage は、60以上のネイティブ統合と非ネイティブシステム用のユニバーサルコネクタを備えており、取得したデータエステートのオンボーディングを効率化することで、データの透明性、品質、信頼を向上させます。

たとえば、銀行の合併シナリオでこの機能を使用すると、リスク関連のデータセットを迅速に識別してタグ付けすることができ、BCBS 239 などの規制基準への準拠が保証されると同時に、大規模な手動監査や介入の必要性が最小限に抑えられます。

2. Cloudera データ・イン・モーションで異なるデータソースを統合する

多様なデータソースを統合し、複雑なカスタム ETL パイプラインを排除することは、合併後の重要な課題です。Cloudera は、Cloudera Data Flow（Apache NiFi 搭載）と Cloudera Streaming（Apache Kafka および Apache Flink 搭載）を通じて、バッチおよびリアルタイムのデータの取り込み、処理、配信を支える強力な機能を提供します。

450 を超えるコネクタを備えた Cloudera Data Flow は、オンプレミス、クラウド、エッジなど、ドラッグアンドドロップで操作でき、さまざまな異種データソースからデータを取り込めるビジュアルインターフェースを提供します。また、Cloudera Streaming は、2つのエンティティ間のソースシステムと消費システムを分離するメッセージングバスアーキテクチャを提供し、アーキテクチャの複雑さとコストの増加を招くポイントツーポイントの統合を排除します。

合併後の統合において、これらの機能は組織間のデータ移動を大幅に加速・簡素化します。たとえば、Cloudera Data Flow を使用すると、買収した会社の従来のソースシステムにあるオンプレミスのデータを親会社のクラウドネイティブなデータウェアハウスに迅速に統合し、意思決定を迅速化できます。

3. Apache Iceberg を使用して Cloudera オープンデータレイクハウス上に安全なデータ共有レイヤーを構築する

合併する組織間でのデータ共有は、意思決定を統一し、インサイトを得る上で不可欠ですが、多様な探索的データ分析やビジネスインテリジェンステクノロジー、異なるシステムで使用されるさまざまなデータセキュリティモデルが原因で、このプロセスが複雑になる可能性があります。

Cloudera のオープンデータレイクハウスアプローチでは、Apache Iceberg、Cloudera Iceberg REST Catalog、および Cloudera Shared Data Experience（SDX）を組み合わせて一元的なデータ共有レイヤーを開発できます。このレイヤーは、さまざまな分析エンジン（エンジンで Iceberg REST Catalog が有効になっている Snowflake、Databricks、AWS EMR、AWS Athena、Salesforce Data Cloud など）と互換性があり、新たに統合されたデータサイエンスチームを含むさまざまなユーザーのアクセスを管理するための、きめ細かなセキュリティとガバナンスモデルを提供します。

たとえば、医薬品製造に従事する2つの医療機関は、Cloudera を活用して規制要件に準拠しつつ、合併する組織のデータ資産を統合する GxP 準拠のデータレイクハウスを構築できます。

4. 単一のマルチクラウド環境で環境横断的な取り組みを標準化する

合併される2社で分析アクティビティに使用される環境が異なると、データ・インジェスチョンや標準化などの共通タスクで使用するデータエンジニアリングパイプラインが複数になるなど、データライフサイクル全体で操作が重複することにつながります。

Cloudera は、さまざまなプライベートクラウド環境やパブリッククラウド環境にわたって共通のランタイム上でデータと AI 操作を標準化できるようにします。この機能は、環境全体で基盤として使用されるコンテナ化されたインフラストラクチャモデル、一貫したユーザー認証・承認メカニズム（Cloudera SDX）、およびさまざまな展開環境とリージョンにわたるクラスターを管理するための一元化された管理パネルとして機能する Cloudera Manager から派生しています。

合併後の状況において、この標準化はまさに革命です。2社がデータライフサイクルでの操作を単一のランタイムに一元化できるため、冗長なツールがなくなり、データ、分析情報、AI モデルの共有が容易になります。これにより、データ運用や AI/ML モデル開発にかかる技術コストや人件費の削減、実務担当者の生産性の向上、複数のツールの統合、データサイロの削減が実現します。

5. Cloudera AI で AI イニシアチブをあらゆる場所へ拡大する

買収または合併後の当面の課題は、変化する容量需要を管理しながら、新たに買収した革新的なスタートアップ企業のさまざまなツール、モデル、データサイエンティストを統合することです。Cloudera AI Workbench と AI Inference は、以下を実現することで、オンプレミスまたはクラウドで AI イニシアチブを拡張できるようにします。

• 特徴量エンジニアリング、モデルトレーニング、実験追跡、モデル展開のためのコンテナベースのエンドツーエンドソリューションを提供する

• データサイエンティストが異なるチーム間で共同作業できるよう、AI モデルの共有を促進する

• Cloudera パートナーのハードウェアおよびソフトウェアアクセラレーションサービスを活用し、データエンジニアリングのパフォーマンスを20倍に、AI推論性能を最大6倍に向上させることで、データサイエンスのライフサイクル全体を高速化する

合併企業は Cloudera を利用することで、AI/ML モデルの提供などの永続的で計算集約型のワークロードをオンプレミス環境に移行し、コストを大幅に削減できます。また、新しい複合 AI アプリケーションの市場投入までの時間を短縮できることも重要です。これにより、組織は M&A で当初目指していた「競争優位性」を迅速に実現することができます。

合併・買収後の統合を成功させるための次のステップ

Cloudera を利用すれば、2つの組織間の合併後のデータ資産と分析機能の統合を加速できます。弊社プラットフォームは、データライフサイクル全体にわたる拡張性、インフラストラクチャに依存しない展開モデル、Cloudera のサービスと Apache Iceberg 上のデータレイクハウスとの相互運用性を提供します。この組み合わせにより、AI/ML イニシアチブとデータ操作を標準化し、Cloudera のサービスとそうでないサービスの両方で使用できるデータ共有モデルを提供するための、アーキテクチャの設計図が提供されます。

デモや製品ツアーをご希望の方は、弊社チームまでご連絡ください。

この記事は、2025/11/14に公開された「Inside the Third Wave of Data and AI」の翻訳です。

インターネットの台頭からクラウドコンピューティングの爆発的増加まで、その時代の主要なテクノロジーが変わるごとに、データの使用方法と作成方法も変わってきました。現在 Cloudera の最高技術責任者を務める Sergio Gago によると、この時代は、「融合」に焦点を当てたビッグデータの第3段階に入っているそうです。

Gago はまた、最近参加した「AI Forecast（今後の AI の展望）」ポッドキャストで、クラウドとオンプレミスシステムの融合により、企業がデータ、モデル、AI ライフサイクルを完全に制御できる新世代のプライベート AI の土台が構築されつつあると語っています。

このページでは、このディスカッションの主なポイントをご紹介します。

クラウドとオンプレミスの融合とそれがプライベート AI を実現する理由

Paul：あなたのビジョンについて聞かせてください。ビッグデータの第3波はあなたにとって何を意味し、なぜ重要なのでしょうか？

Sergio：当社はコントロールの時代に創設されました。その当時、多くの企業はすでに、自社のデータを管理できる独自のデータセンターを所有していました。クラウドが登場してからは、いわゆる「利便性の時代」に突入し、クレジットカードを持つチームであれば、どんなハイパースケーラーでも利用でき、データを操作して、機械学習やダッシュボードを構築できるようになったのです。作業が非常に簡単になったため、多くの企業でシャドー IT が顕在化し、コストや TCO の管理、データガバナンスがますます困難になりました。

クラウドとデータの構想が落ち着くと、エンジンや、データベース、オプションにあふれた現代につながります。企業は何十、あるいは何百ものコンポーネントを所有し、それらの統合に苦労する「フランケンシュタインアーキテクチャ」に悩まされるようになりました。利便性の時代ならではの複雑性によりもたらされたものです。

最近は AI と AI エージェントの登場により、多くの企業やスタートアップに対する規制とコンプライアンスの要件が急速に高まっています。特に大企業では、コンプライアンスに準拠するため、最初の時代のコントロールをすべて取り戻す必要があります。そのため、企業や個人は、データセンターとクラウドの環境を統合して管理し、クラウドの利便性を保ちながらデータセンターのコントロールとガバナンスを実現することを余儀なくされています。第3波が「融合の時代」と呼ばれるのは、このためです。

プライベート AI：ライフサイクル全体でのコントロールと人間の優位性

Paul：プライベート AI コンポーネントについてお聞きしたいと思います。プライベートデータに関しては、非常に大きな競争優位性があります。プライベート AI は、それを活用する上で、どのように役立つのですか？

Sergio：プライベート AI は、AI アプリケーションのライフサイクル全体をコントロールする機能です。使用しているモデルや展開方法、どのモデルがコンプライアンスの観点から承認されているか、モデルの重みが必要な期間一定に保たれるようにするにはどうすればよいか、などを管理します。貴社のデータはクラウドとデータセンターの両方に存在しており、トレーニングにおいても、微調整においても、RAG などの他の手法においても、そのデータをモデルに安全に取り込む必要があります。これこそ、貴社のモデルが独自なものである理由です。

今日のほとんどの企業の競争優位性はデータだけでなく、スキル、つまりインサイトを導き出す人間の能力にも依ります。必ずしもデータそのものではなく、それを解釈できる経験とドメイン知識が重要なのです。プライベート AI は、モデルのライフサイクルからプロンプト管理、リネージ、ベンチマークまで、すべてをコントロールすることでその優位性を維持したまま、概念実証から本番環境のワークロードへと移行できるようにします。

エージェント、ガバナンス、文化を含む、ROI とリスクに配慮した構築

Paul：「融合」を話題にすると、CTO 向けの、技術的な議論と見なされ、従業員を遠ざけてしまうリスクがあります。Sergio さんの視点から見て、「融合」は CEO やビジネスリーダーとしてこれまで得られなかった新しいユースケースやビジネス価値をもたらす上で何をするのでしょうか。

Sergio：CEO は常に、ROI やコスト削減、企業価値を向上させるという観点から、ツールの実際の価値を理解したいと考えるでしょう。生成AI はそこにたどり着くまでの手段にすぎません。

同時に、すべての CEO が念頭に置いている2つ目の視点として、「リスク」が挙げられます。このリスクは、自社だけが重要な情報を取り逃しているのではないかという不安や大規模な AI ハルシネーションによりニュースの見出しを飾る企業になりたくないと恐れることから生じます。CEO は今、この2つの相反する側面に悩んでいるのです。

生成AI はビジネス目的で使用を開始する必要があります。最初からコンプライアンス、ガバナンス、IT、サイバーセキュリティ、法務を関与させることで、趣味の DIY のような何の成果もない状態に陥らないようにします。こういった分野での価値を示すことで、企業全体での活用に持ち込むことができます。

Sergio Gago との対談全編は Spotify 、 Apple Podcasts 、 YouTube でお聴きいただけます。

この記事は、2025/9/18に公開された「Revolutionize Your Data Strategy: Unleash the Power of Cloudera Octopai Data Lineage for Seamless Metadata Management and Data Lineage」の翻訳です。

今日のデータ環境は広大であり、急速に進化し続けています。組織がクラウドやオンプレミスのプラットフォーム、さまざまな分析ツールを通じてこれまで以上に多くのデータを収集する中で、企業はますます複雑化するデータソースのエコシステムをナビゲートする必要があります。データが複数の環境に分散している場合、その流れを追跡し理解することは複雑で、エラーが発生しやすく、時間がかかります。

このような複雑なデータエコシステムでは、メタデータとデータリネージが唯一の信頼できる情報源となり、データ利用の改善、データサイロの解消、規制コンプライアンスの支援、AIガバナンスの提供につながります。一方で、適切なメタデータとデータリネージインフラストラクチャが欠如していると、実用的な洞察を得るための障壁となり、企業はデータの全体像を把握するのに苦労し、品質、コンプライアンス、セキュリティを確保することが難しくなります。

複数の環境やツールにまたがるメタデータおよびデータリネージ管理の課題

メタデータ管理の不整合

メタデータはしばしば「データに関するデータ」と呼ばれます。メタデータには、業務的、ソーシャル的、運用的な情報が含まれ、生データに対して構造、形式、出所、使用ルールなどの基本的な情報を付加します。しかし、メタデータがシステム間で不整合・分断されている場合、次のようなさまざまな課題が生じます。

• 定義の不一致：部門やシステムごとに、同じデータ要素に対して異なる用語や定義が使われていることがあります。たとえば、営業部門の顧客情報と財務部門の顧客情報では、同じ「顧客レコード」であってもメタデータが一致しない場合があります。こうした不一致は混乱を招き、部門をまたいだ連携を困難にします。ビジネスへの影響も大きく、たとえば営業部門は最近のやり取りに基づいて「アクティブ顧客数は 10,000 人」と報告する一方で、財務部門は「アクティブ」の定義が異なるため 7,500 人と報告するようなケースもあります。このような差異は、誤った戦略的判断、予算の誤配分、さらには部門間のコミュニケーションの不整合による顧客関係の悪化にもつながりかねません。
  

• データ探索の難しさ：メタデータが適切に管理・集約されていれば、チームは必要なデータにすばやくアクセスできます。しかし、メタデータが分散していたり、十分に保守されていない場合、データエンジニアやアナリストにとっては「干し草の山から針を探す」ような状況になります。その結果、チームは正しいデータを探すのに貴重な時間を浪費し、重要なデータセットを見落としてしまい、不完全な分析につながる可能性があります。
  

• コンテキストの理解不足：データの構造や本来の用途を正しく理解していないと、誤って解釈されたり、誤った使い方をされることがあります。たとえば、あるデータセットがすでに整理・変換済みのデータであることを知らなければ、不必要な再処理を行ってしまったり、古い情報を使用してしまう可能性があります。

データのトレーサビリティが不十分

データリネージとは、データの由来、変換内容、および組織内のシステム間での流れを追跡できる状態を指します。明確なデータリネージがないと、企業はデータがどのように流れ、どこから来て、どのように変化しているのかを把握するのが困難になります。特に次のような状況では、深刻な問題となります。

• データが複数のプラットフォームに分散している場合：多くの企業では、オンプレミスのシステム、クラウドプラットフォーム、さまざまなサードパーティ製アプリケーションを併用しています。それぞれのシステムが異なる形式や手法でメタデータやデータリネージを管理していることが多く、データの利用状況や変換の流れを統一的に把握するのが困難になります。
  

• 変換処理の可視性の欠如：データが複数の段階やシステムを経る中で、さまざまな変換処理が行われます。こうした変化を明確に追跡できないと、チームはそのデータを分析に信頼して使うことができず、誤ったインサイトや意思決定につながるおそれがあります。また、データリネージが欠落していたり不完全であると、エラーの原因調査やプロセス改善にも支障をきたします。

• データ追跡性の欠如：データがパイプラインやシステムを通過する過程で、追跡情報が失われることがあります。データの出所や変更内容を正確に特定できなければ、データの整合性を維持したり、重要な意思決定に信頼して活用することが困難になります。

データサイロによる断片化

データが部門や特定のツール内でサイロ化、つまり閉じ込められている状態では、組織全体でデータがどのように流れているのかを把握することが困難になります。データサイロは情報の断片化を引き起こし、メタデータやデータリネージの管理をさらに複雑にします。たとえば次のような課題が生じます。

• 分断されたメタデータ：データが複数のシステムにまたがって保存されるのと同様に、メタデータもサイロ化されていることがよくあります。各システムには独自のメタデータリポジトリが存在する可能性があり、これによりデータのライフサイクルを企業全体で一貫して理解することが難しくなります。メタデータを俯瞰的に捉えることができなければ、正確なデータリネージの追跡はほぼ不可能となります。
  

• 新しいツールの統合が困難：データがサイロ化され、メタデータが標準化されていない場合、新しいツールを既存のエコシステムに統合するのは非常に困難になります。たとえば、新たなデータソースや分析ツールを追加する際には、各システム間でメタデータを手作業で突き合わせる必要があり、これがエラーの原因となったり、導入の遅れにつながることがあります。
  

• コンプライアンスを維持することの難しさ：データが細分化されるにつれて、ガバナンスおよび規制基準に準拠することを確認するのがより困難になります。データがどこにあり、どのように変更されたかを一貫して理解していなければ、企業は GDPR、HIPAA、その他の業界固有の規制などの基準への準拠を保証することはできません。

Cloudera Octopai Data Lineage は、ツール間でメタデータ管理とデータリネージを統合し、自動化します

Cloudera Octopai Data Lineage は、データサイロや複雑な統合によって生じる断片化を解消する、統一された直感的なソリューションを提供し、組織のガバナンス強化とコラボレーションの効率化を支援します。その機能は、データ品質、コンプライアンスとガバナンス、チーム間の連携といった取り組みの基盤として機能します。

• 一貫したメタデータ管理：さまざまなソースからメタデータを収集し、単一の集中管理リポジトリに統合します。これにより、クラウドプラットフォーム、オンプレミスシステム、サードパーティ製ツールなど、すべてのメタデータを一つの場所に集約して扱えます。

• 自動データリネージ追跡：データリネージを自動的にマッピングし、追跡します。これは、データパイプラインとシステム間の接続をスキャンするインテリジェントなアルゴリズムによって実現され、組織全体におけるデータの流れを視覚的に表現します。データリネージ機能は、システム間、内部システム、E2E 列レベルの多層構造を持ち、きめ細かなガバナンス、デバッグ、AI/ML の説明可能性をサポートします。これにより、エンドツーエンドの可視性、ほぼリアルタイムの更新が提供され、エラーや影響を迅速に検出することができます。

• 事前構築されたコネクタでサイロを解消：Cloudera Octopai Data Lineage は、60 を超えるコネクタを提供しており、データベース、クラウドプラットフォーム、ETL ツール、BI ツールなど、広く使用されているさまざまなプラットフォームに対応しています。API とコネクタはいずれも他のシステムやツールとの統合手段ですが、コネクタは統合プロセスを大幅に簡素化します。コネクタは事前構築された接続インターフェースを提供し、大規模なカスタム開発を行うことなく、データソースやシステムへの接続を可能にします。

Cloudera プラットフォームにおける Apache Hive および Apache Impala ワークロード向けコネクタ

今回ご紹介する 2 つのコネクタは、企業のデータ環境で広く利用されている SQL ベースのクエリエンジン、Apache Hive と Apache Impala 用のものです。Apache Hive と Impala は、AI/ML ワークロードにおいて非常に重要な役割を担っており、データのステージング、変換処理、リアルタイム分析の提供に利用されています。

これらのコネクタは、以下のような機能と利点を提供します。

• Hive や Impala のメタデータおよびデータリネージを Cloudera Octopai Data Lineage にシームレスに統合し、データエコシステム全体のより包括的な可視化を実現します。

• Hive、Spark、Impala 環境間でデータがどのように流れ、変換されているかを容易に追跡でき、可視性、データ品質、ガバナンスの向上につながります。

• 複数プラットフォームにまたがるメタデータ管理の複雑さを軽減しながら、データ探索の加速、コラボレーションの強化、コンプライアンスの向上を実現します。

データと AI の未来にとって何を意味するのか

少数のデータソースを管理する場合でも、大規模で複雑なデータエコシステムや AI ワークロードを管理する場合でも、Cloudera Octopai Data Lineage はスケーラビリティを考慮して構築されています。企業は、データインフラストラクチャの進化に伴い、メタデータとデータリネージを効率的に管理し、モデルパイプラインを統制し、トレーニングデータを追跡し、AI の監査基準を満たすために必要な機能とサポートを得ることができます。

AI が重要な意思決定を左右する時代においては、データパイプラインを個別に管理するだけではもはや不十分です。組織は、AI モデルに取り込まれるデータ、その流れ、出力されるデータまでを完全に可視化する必要があります。Cloudera Octopai Data Lineage による高度なリネージおよびメタデータ統合により、Cloudera はガバナンスを AI ワークロードにまで拡張し、責任ある AI の開発・導入・管理を可能にします。これにより、AI を支えるデータの信頼性とコンプライアンスが確保されます。

詳細については、担当のアカウントチームまでお問い合わせください。また、Cloudera のお客様がどのようにして新しいユースケースを切り開いているかをご覧になりたい方は、ぜひお近くで開催の Cloudera EVOLVE にご参加ください。

この記事は、2025/11/6に公開された「Cloud Migration Checklist: Getting Your Data Landscape Ready」の翻訳です。

自分のデータがどこにあるか知っていますか？サーバーを軽く叩き、親しみを込めて「ここだよ！」と言える人は減っています。代わりに、天を仰いで「えっと…ここかな…どこだろ」と答える人が増えました。McKinsey によると、2025年までに、大企業の環境の60%がクラウドに移行するとのことです。

データ資産、プロセス、アプリケーションをクラウドに移行することを検討していませんか？同じことを検討している人はたくさんいます。また、移行を憂鬱に感じているとしても、1人ではありません。データの移行が組織の時間やリソース、忍耐力に負担をかけるのは避けられないことですが、この記事を参考に、適切なチェックリストを使用すれば、プロセスがスムーズになり、移行に集中できます。

以下にクラウド移行時のチェックリストをまとめました。移行を確実に実行する上で必要なポイントを網羅したフレームワークとしてお役立てください。

移行を主導する人がいますか？

このチェックボックスにチェックを入れられないのなら、ここでストップです。回り道をせず、すぐに指導者を探してください。

指導者のいない革命はすぐに混乱に陥ります。クラウドへの移行も同じ運命をたどるでしょう。クラウド移行の指導者は、人事の問題によって移行が停滞したり、妨げられたりしないよう、高度な技術スキルと優れた対人スキルの両方を備えている必要があります。移行の指導者は、データの場所を変更するだけでなく、従業員のデータに対する姿勢や視点の変更も促進する必要があります。

1人で両方の役割を果たせる人材がいない場合は、役職を技術的な「移行アーキテクト」と人事の問題に対処する「移行エバンジェリスト」に分け、それぞれが自分の専門分野でクラウド移行のステップを担当できるようにすることも有効です。

「移行エバンジェリスト」にとって有用なツールの1つにデータカタログを備えたデータインテリジェンスプラットフォームがあります。保存されている場所にかかわらず、すべての従業員が必要なデータ資産を見つけることができれば、抵抗が減り、受け入れられやすくなります。

移行しないものを把握していますか？

ゴミを移動する必要はありません。これを聞いて「当たり前だ」と思った方は、従来のシステムをそのままクラウド環境へ移行するリフト＆シフト手法を経験したことがないのかもしれません。従来のシステムを数年以上使用している組織であれば、ほぼ確実にゴミが存在します。古くなった資産、機能しないレポート、冗長なプロセスなど、あらゆる種類のデジタルのゴミがあちこちに転がっているでしょう。

リフト＆シフトの余地が全くないわけではありませんが、移行を正しく行おうとするのであれば、今あるものを整理し、移行するのに十分な価値があるものと、捨てるものを決めるのに時間をかけるべきです。

ここで大いに役立つのが自動データリネージソリューションです。自動データリネージにより、数分から数時間で従来のデータ環境が完全にマッピングされ、データフローや相互接続が明らかになります。このデータリネージマップには必要な情報のほとんどが網羅されており、よく読むことで、クラウドに移行するものとしないものを決めることができます。

アプリケーションはクラウドの利点を活用する準備ができていますか？

クラウドに移行するものが決まったのですね。素晴らしいことです。ここからは、アプリケーションやパイプラインを細かく見直していきましょう。クラウドへの移行による金銭的および運用上のメリットは、それを活用するように設計された、以下のような機能を備えたデータシステムアーキテクチャがある場合にのみ達成されます。

• 動的スケーリング
• 分散ワークロード
• サーバーレスコンピューティング機能
• 強力な AI および ML 機能

移行を計画しているアプリケーションごとにチェックリストを作成しましょう。それぞれについて、現状でどのクラウドのメリットを活用できるかを確認します。たとえば、アプリケーションに複数の異なるサーバー上で実行する能力がない場合、それをクラウドに複製しても、クラウドの分散ワークロードというメリットを活用することはできません。

このアプリケーションをクラウド対応にするには何が必要ですか？

アプリケーションを素早く簡単にクラウドの速度まで引き上げることができる場合もあれば、何時間も開発に時間を費やす必要がある場合もあります。考えられるシナリオは以下のとおりです。

• リファクタリング（クラウドの機能に合わせてアプリケーションを再構築する）
• 最適化（必要な調整はリファクタリングよりも軽微）

何に投資すれば良いのかがわかれば、十分な情報に基づいて、アプリケーションの扱い方決めることができます。リファクタリングや最適化を行ってもいいですし、リファクタリングや最適化による投資利益率が見込めないのなら、リフト＆シフト手法を検討するのも良いでしょう。

チェック？チェック！

データの移行は簡単ではありませんが、詳細なクラウドデータベース移行チェックリストがあれば、少しは管理しやすくなるでしょう。データ環境を最新の状態にアップデートする準備はできましたか？できたらリストにチェックを入れましょう！

移行完了後のクラウドコストを削減する方法については、「データリネージでクラウドコストを削減する3つのステップ」をご覧ください。

この記事は、2025/11/5に公開された「Cloudera Named a Leader in the 2025 Forrester Wave for Data Fabric Platforms」の翻訳です。

Cloudera が「2025 Forrester Wave for Data Fabric Platforms」のリーダーに選ばれたことをお知らせできることを嬉しく思います。この認定は、ハイブリッドおよびマルチクラウド環境全体で組織がデータを統合、保護、アクティブ化できるように支援するという同社の取り組みを強調しています。

このブログでは、データファブリックとは何か、なぜそれが重要なのか、Cloudera が他と一線を画す理由、リーダーとしての地位を確立した主要な Cloudera プラットフォームの機能、そしてこれらすべてが Cloudera の顧客にとってなぜ重要なのかについて説明します。

データファブリックとは何ですか？

データがこれまで以上に分散している世界では、企業はオンプレミスシステムからパブリッククラウドまで、その間のあらゆる場所にあるサイロ全体の点と点を結びつける方法を必要としています。まさにそれがデータファブリックによって実現されるのです。

データファブリックは、ハイブリッドおよびマルチクラウド環境全体でデータを接続、管理、統制するアーキテクチャアプローチです。このアプローチにより、どこでも、誰でも、安全かつ効率的にデータにアクセスして使用することができます。データファブリックは、すべてのデータを単一のシステムに移行することを組織に強制するのではなく、クラウド、オンプレミス、ストリーミング、エッジなど複数のソースからのデータを 1 つの一貫したフレームワークに統合する仮想の統合レイヤーを作成します。リアルタイムでエンドツーエンドの可視性、リネージ、ガバナンス、アクセスを提供し、チームは適切なデータを検索し、信頼し、使用できるようになります。

今、データファブリックが重要な理由

組織が AI の採用とクラウド変革を加速するにつれて、データの断片化という共通の課題に直面します。データは複数のクラウド、レガシーシステム、オンプレミス環境に分散して存在するため、ビジネスへの影響を考慮した管理、セキュリティ保護、運用が困難になっています。

データファブリックは、分散環境全体でデータ管理を自動化および調整するアーキテクチャレイヤーを提供することで、この問題に対処します。あらゆるソースからのデータを結び付け、一貫したガバナンスを適用し、分析、AI、リアルタイムの意思決定に統一されたアクセスを提供します。

Forrester による主要データファブリックベンダーの評価では、企業がデータおよび AI の取り組みを安全に、かつ大規模に推進するうえで、この機能が重要であることが強調されています。

そして私たちは、Cloudera がそれを現実化するリーダーであると考えています。

Forrester のレポートによると、「（Cloudera は）プライベートクラウドとオンプレミスの展開に重点を置いているため、データ主権やレガシーシステム要件のある業界で強みを発揮」しています。この長年の基盤は、当社のオープンハイブリッドクラウド戦略と相まって、顧客が制御やガバナンスを損なうことなくデータアーキテクチャを最新化するのに役立ちました。

オープンデータファブリックの主要機能：Cloudera が最高得点を獲得

Forrester から5点満点のスコアを獲得できたことは、製品の成熟度以上に、リーダーシップ、顧客検証、測定可能な差別化を示していると私たちは考えています。2025 Forrester Wave for Data Fabric Platforms において、Cloudera は 7 つの基準で最高得点（5 点満点）を獲得しました。

• エンドツーエンドの統合ファブリック（End-to-End Integrated Fabric）

• 統合データカタログ（Unified Data Catalog）

• リアルタイムのパフォーマンスとスケーラビリティ（Real-Time Performance and Scalability）

• メタデータ管理

• エージェント AI（Agentic AI）

• ビジョン

• ロードマップ

エンドツーエンドの統合ファブリックについて Forrester は、分散環境にまたがる包括的かつ統一された管理ポータルを通じ、メタデータ、ガバナンス、ポリシーを統合した高度なデータ管理を提供することをスコア 5 の要件と定義しています。また、主要なオープンソースのファブリック構成要素に対する、ベンダーとしての貢献度が高いことも評価対象として認めています。

統合データカタログでは、5 点満点のスコアは、複数のデータファブリックにまたがる統一された自動データカタログ、AI を活用した検出、メタデータの分類と拡充、完全なカスタマイズ、サードパーティのカタログとのネイティブな統合、ビジネスユーザーがカタログをフル機能で活用できる機能など、ベンダーが優れたサポートを提供していることを示します。

リアルタイムのパフォーマンスとスケーラビリティで 5 点満点のスコアを獲得することは、ベンダーが NVIDIA GPU との認定ハードウェア統合、SIMD との統合、高度な AI/ML クエリの自動チューニング、自動階層型ストレージ、リソースの自動追加/削除、AI 対応のインテリジェントなワークロード管理、高度な水平スケールアウト、動的なシャーディングとバランシング、自動スケールアップとスケールダウン、自動スケールアップとダウンなどの機能を優れた方法でサポートしていることを示しています。

メタデータ管理では、Forrester は、エンドツーエンドのメタデータ検出、タグ付け、分類などの高度な自動化、AI 自動化（機密データの自動タグ付けなど）、分散ファブリック全体にわたる包括的に統合されたメタデータ、データ製品ライフサイクルの統合サポートを求めています。Cloudera による Octopai の買収により、ハイブリッド環境全体でディープリネージとメタデータインテリジェンスを提供し、ガバナンスされたデータ製品のライフサイクル全体をサポートすることで、これらの機能が強化されています。

エージェント AI 基準は、データファブリックをサポートするために自律 AI エージェントを組み込むベンダーを認定します。5 点を獲得するには、プラットフォームが統合、ガバナンス、検出を自動化し、協調的かつ状況に応じて動作する AI エージェントを実証する必要があります。

Forrester によるビジョンとロードマップ基準の 5 点満点スコアは、顧客のニーズを予測し、市場の方向性を形作る戦略と、実行のエビデンスを持つベンダーに限定されています。データ、アナリティクス、AI をあらゆる環境に橋渡しする Cloudera の明確でオープン、かつハイブリッドなアプローチは、業界をリードし続ける大胆かつ差別化されたビジョンを示しています。インテリジェントな自動化、相互運用性、エージェント AI への投資は、ロードマップが着実に前進を示しています。

これらの 5 点満点スコアを合わせると、あらゆるクラウドやインフラストラクチャにわたってデータ、分析、AI を統合する、信頼できる将来対応型のデータプラットフォームとしての地位を裏付けています。メタデータ管理とエージェント AI 基準における 5 点満点スコアは、データファブリックが現代の AI ドリブン型企業のニーズを満たすために進化し続けていることを示しています。

Cloudera の差別化要因：データと AI の未来に向けた戦略

Cloudera の使命は、あらゆる環境でデータと AI をシームレスかつ安全に連携させることです。Cloudera は、オープンスタンダードとオープンソースのイノベーションによって、企業がオンプレミスとマルチクラウド環境の間でデータをシームレスに管理できるようにする、オープンでハイブリッドな設計のアーキテクチャが、Forrester の評価において際立っていた点だと考えています。

Forrester のレポートには、「Cloudera のデータファブリック戦略は、ハイブリッド環境とマルチクラウド環境全体で統合されたガバナンス、可視性、安全なアクセスを実現することを目指して、断片化されたデータの課題に取り組んでいる」と述べられています。

当社の戦略の主な要素は以下の通りです。

• 統合されたガバナンスと可視性：Cloudera Shared Data Experience（SDX）は、アクセス、リネージ、コンプライアンスのポリシーがすべてのワークロードに一貫して適用されるようにします。この統一されたアプローチは、すべてのデータ資産に一貫性と透明性をもたらします。

• メタデータインテリジェンスとリネージ：Cloudera Octopai Data Lineage はエンドツーエンドのリネージ、インパクト分析、自動メタデータ管理を可能にします。

• オープンアーキテクチャと相互運用性：Cloudera の AI 対応アーキテクチャは、高度なアナリティクス、機械学習、リアルタイムストリーミングを統合し、組織が生データを実用的なインサイトに迅速に変換できるよう支援します。Cloudera 以外のエンジンとシームレスに動作するように設計されており、柔軟性をサポートし、ロックインを回避します。

• インテリジェントな自動化：Cloudera のロードマップでは、エージェント AI、自動化、インテリジェントなデータ・ファブリック機能に投資し、ワークロードを最適化して適応型のデータ エクスペリエンスを提供します。

• 信頼と実績：Cloudera のプラットフォームは世界規模で実証されています。大手銀行、通信事業者、公共部門の組織から信頼を受け、世界で最もデータ集約的でミッションクリティカルな業務を信頼性と自信をもって支えています。

これらの進歩は、データが AI ドリブン型の変革の基盤となる中で、企業が複雑さを簡素化し、信頼を確保し、イノベーションを加速できるよう支援するという当社の取り組みを強調しています。

顧客が関心を持つべき理由：Data Fabric は信頼できる AI の基盤

企業が AI イニシアチブを拡大する中、統合され管理されたデータレイヤーの重要性は強調しすぎることはありません。AI モデルの良し悪しは、そのモデルの基盤となるデータの品質に左右されます。そして、そのデータはアクセス可能で、高品質であり、コンプライアンスに準拠している必要があります。どこからでも信頼できる管理されたデータを入手できれば、信頼できる AI をあらゆる場所で活用できます。

Cloudera のデータファブリックにより、組織はあらゆるデータセットを管理し、あらゆるリネージを追跡し、あらゆる予測を信頼することができ、企業および規制基準に準拠した責任ある AI を確保できます。Cloudera のオープンデータレイクハウスは、統一された高品質のデータ上で安全な分析、機械学習、AI を可能にすることで、データファブリックの価値を拡張します。

Cloudera Unified Data Fabric と Cloudera Open Data Lakehouse は、すべてのワークロード、ユーザー、ビジネスの意思決定にインテリジェンスをもたらす現代的なエンタープライズデータ戦略の基盤を形成します。Cloudera を使用することで、企業はデータを統合するだけでなく、その潜在能力を最大限に引き出して、イノベーション、回復力、責任ある AI を大規模に推進することができます。

評価の詳細をご覧ください

Forrester Wave™：データファブリックプラットフォーム、2025 年第 4 四半期版をお読みいただき、ベンダーの比較と、Cloudera がリーダーに選出された理由をご確認ください。レポートにアクセスして、データファブリックアーキテクチャを形成するトレンドを理解し、Cloudera が今後もリードし続ける理由をご確認ください。

Forrester は、同社の調査出版物に含まれるいかなる企業、製品、ブランド、またはサービスも推奨しておらず、また、そのような出版物に含まれる評価に基づいて、いかなる企業またはブランドの製品またはサービスを選択するようにいかなる人物にも助言していません。情報は利用可能な最良の情報に基づいています。意見はその時点での判断を反映しており、変更される可能性があります。詳細については、Forrester の客観性についてこちらをお読みください。

この記事は、2025/10/29に公開された「The Inevitable Outage: Why Your Hybrid Strategy Needs Multi-Cloud Resilience」の翻訳です。

大手クラウドハイパースケーラーが最近経験した世界的な IT 障害は、ダウンタイムやサービスの中断が避けられないことを思い出させる警鐘となりました。このイベントは、銀行、小売、ヘルスケアのサービスに影響を与え、単一のプロバイダーや単一のクラウドリージョンに依存することは、ビジネスに重大な脆弱性を生み出すという強力な警告となりました。

この障害は、クラウド固有の問題ではなく、単一プロバイダー戦略の重大なリスクを浮き彫りにしています。これは、クラウドとデータセンター間でデータと AI ワークロードを自由に移動できるハイブリッドクラウド戦略に、マルチクラウド機能を含める必要がある理由を最も明確に示す例です。

これこそ、Cloudera の「どこでもクラウド」アプローチが事業継続性を確保したい組織にとって最適な選択肢である理由です。ここで言う「あらゆる場所のデータ」とは、データセンター、エッジ、複数のパブリッククラウドにわたるデータを指します。

ハイブリッドは自由の基盤

Cloudera は長年にわたり、企業の自由の基盤として、ハイブリッドクラウド戦略を提唱してきました。弊社では、顧客が顧客のビジネスにとって最も適した場所でデータと AI ワークロードを実行する柔軟性を持つべきだと考えています。それが自社のデータセンターでも、パブリッククラウドでも、エッジでも、その考えは変わりません。また、ビジネスにおける要求の変化とともに、必要に応じて移動する選択肢もあるべきです。

ハイブリッドの目標は、プライベートクラウドのセキュリティとコントロールを維持しながら、パブリッククラウドの俊敏性と拡張性を提供し、どこでも一貫したクラウドエクスペリエンスを実現することです。このアプローチは、企業が摩擦やベンダーのロックインなしに、クラウドとデータセンター間でデータと AI ワークロードを自由に移動できるように設計されています。インフラのロックインから解放されることこそが回復力を考慮したアーキテクチャの核なのです。

ポイント：回復力を得るためにはハイブリッド環境にマルチクラウドを含める

このハイブリッドな基盤は決定的な自由と選択肢を提供しますが、最近の障害により、多くのハイブリッド戦略における重大な盲点が露呈しました。アーキテクチャがデータセンターを単一のパブリッククラウドプロバイダーに接続する場合、依然として脆弱な状態に晒されているのです。これは、単一障害点を別の単一障害点に置き換えただけに過ぎないからです。

前回の記事でもお話ししたように、真の回復力は単一の故障点を排除しないと得られません。現代のハイブリッド戦略にはマルチクラウド戦略が必要なのです。正真正銘の事業継続性を実現するには、「どこでもフェイルオーバー」できる自由が必要です。この機能は、単なるオンプレミスからクラウドへの接続を超えて、クラウドリージョン間のフェイルオーバー、データセンターへのフェイルオーバー、さらには、あるクラウドプロバイダーから別のクラウドプロバイダーへのフェイルオーバーを含める必要があります。

あらゆる場所でクラウドを活用できる Cloudera のプラットフォームで実現

理論上は、マルチクラウドフェイルオーバー戦略が明らかに最良の選択肢なのですが、現実は信じられないほど複雑です。異なるクラウドプロバイダーは異なる API、データサービス、セキュリティモデルを持っています。ほとんどの組織にとって、ミッションクリティカルなデータワークロードをあるクラウドから別のクラウドに移行するには、アプリケーションのリファクタリング、セキュリティポリシーの再構築、データの移行など、面倒で時間のかかる作業が必要になるのです。

弊社のプラットフォームは、この複雑さを軽減するために構築されました。Cloudera の場所を選ばずクラウドを利用できるプラットフォームは、以下の2つの重要な独自機能を提供することで、「どこでもフェイルオーバー」戦略を実現します。

• 一貫性のあるポータブルなプラットフォーム：弊社のオープンデータレイクハウスとポータブルなデータサービスは、どこでも同じように動作します。弊社は AWS、Azure、Google Cloud などのあらゆるクラウド、およびプライベートデータセンターで稼動する、一貫した「一度書き込んだらどこからでも読み込める」データおよび AI プラットフォームを提供します。これにより、異なるインフラストラクチャ間を移動するときにアプリケーションやワークロードをリファクタリングする必要がなくなり、正真正銘のポータビリティが確保され、インフラストラクチャへの依存が排除されます。

• レプリケーションを備えた統合データファブリック：ワークロードにはデータだけでなく、それに伴うセキュリティとガバナンスも含まれます。弊社の統合データファブリックは、Cloudera Shared Data Experience（SDX）によって強化され、重要なメタデータ、セキュリティ、ガバナンスポリシーがどこでも一貫していることを保証します。Cloudera Octopai Data Lineage などの機能はフェイルオーバーシナリオにとっても重要なコンテキストとなる、詳細なメタデータ管理とリネージを提供します。その後、Replication Managerは、メタデータやポリシーを含む重要なコンテキストとデータの両方を別の環境に複製します。

この組み合わせにより、回復力を考慮したマルチクラウドのシナリオが実践可能なものになります。プライマリワークロードを単一のクラウドプロバイダーで実行しながら、Replication Managerを使用して、まったく別のクラウドプロバイダーで同期されたセカンダリ環境を維持できます。プライマリプロバイダーに障害が発生した場合、セカンダリ環境を迅速に昇格させることができ、事業継続性を確保しつつ、データ損失（復旧時点目標：RPO）とダウンタイム（復旧時間目標：RTO）を最小限に抑えることができます。

ハイブリッド戦略ではマルチクラウド対応がマスト

最近起こった障害を教訓にしましょう。この障害では、あらゆる組織の回復力戦略が試され、単一プロバイダーへの依存という共通の重大な脆弱性も明らかになりました。ハイブリッドアーキテクチャは現代の企業に適した基盤ですが、戦略に単一プロバイダーによる盲点が含まれている場合、真の回復力は望めません。これを理解するために、次なる障害を待つ必要はありません。

Cloudera は「あらゆる場所でクラウド体験」を提供し、どんな障害にも耐えられる回復力強化計画を設計する機能を提供します。回復力の高いアーキテクチャを構築する方法について詳しく知りたい場合は、弊社のブログ「データ回復力を考慮した設計」と「Cloudera を活用したマルチクラウド対応」をご覧ください。

この記事は、2025/10/22に公開された「Architecting for Data Resilience: Ensuring Business Continuity with Cloudera」の翻訳です。

最近、クラウドハイパースケーラーで起こった世界規模の IT 障害は、たとえ最小限であっても、ダウンタイムやサービスの中断は避けられないという、テクノロジーの普遍的な真実を思い出させてくれました。影響は広範囲に及び、小売、銀行、医療などの分野でサービスが中断されましたが、これは単一のプロバイダーやクラウドに固有の障害ではありませんでした。つまり、クラウドリージョンやプロバイダーに関係なく、どこでも中断が発生する可能性があるのです。

この経験により明らかになったことが一つあります。それは、絶え間ない変化の中でも適応し、繁栄できる、強靭なデータアーキテクチャを構築することで、組織は主導権を握ることが可能であり、また、握らなければならないということです。このブログでは、シームレスなフェイルオーバーやリカバリを保証するツールとポータブルなアーキテクチャにより、Cloudera の顧客をビジネス継続性を確保する上で有利な立場へ導く方法について説明します。Cloudera は、クラウド、データセンター、エッジを問わず、あらゆる場所のデータに AI の力をもたらす唯一のデータ AI プラットフォーム企業です。

回復力を考慮した設計とは

データの回復力とは、組織がデータ関連の中断や障害に耐え、迅速に回復し、影響を最小限に抑える能力のことです。これは、ビジネス継続性を維持するためのバックアップやディザスタリカバリの範囲を超えた予防型アプローチであり、重要なデータが常に以下の状態であることを保証します。

• 利用可能：必要に応じてユーザーやアプリケーションにアクセスできる（目標復旧時間「RTO」を最小限に抑える）

• 完全または正確（データの完全性）：破損や変更がない（目標復旧時点「RPO」を最小限に抑える）

• 安全：不正アクセス、紛失、盗難から保護されている

真の回復力を実現する設計には、ポータビリティを実現するテクノロジーとフェイルオーバーのための検証済みプロセスという、相互に関連する2つの中核的な柱が必要です。

1. どこでもフェイルオーバーを可能にする：単一障害点の排除

単一のプロバイダー、単一のクラウド、またはクラウド内の単一のリージョンに依存すると、重大なビジネス上の脆弱性、つまり単一障害点が生じます。障害はハードウェアの故障、ソフトウェアの問題、人的ミス、自然災害、またはサイバー攻撃によって発生します。回復力を確保する上での目標は、1つの環境に障害が発生した場合でも、他の場所で操作をシームレスかつ自動的に継続できるようにすることです。

これは、クラウドリージョン間、クラウドプロバイダー間、さらにはデータセンターにまでフェイルオーバーできる必要があるということを意味します。最初の中断がどこで発生したかに関係なく、日々の業務を止めるわけにはいかず、重要なシステムは稼働し続けなければなりません。

2. 回復力を確保するための綿密な計画を立てる

テクノロジーは回復力をもたらしますが、ビジネス継続性を実現するにはプロセスが不可欠です。ディザスタリカバリ計画の多くは、一度作成されると、人やテクノロジーが進化してもほとんど見直されません。十分に吟味された計画を文書化し、実践し、定期的に見直し、障害発生時に組織で確実に実行できるようにする必要があります。計画には以下のような要素を含めます。

• 小売業におけるトランザクション処理や医療におけるリモート監視など、RTO や RPO のサービスレベル契約（SLA）が最も低いミッションクリティカルな操作を確実に実行するためにワークロードの優先順位付けをします。

• 環境間のフェイルオーバー機能を確立して運用を維持し、冗長性と高可用性を確保します。

• 重要なデータやメタデータをバックアップして、保持ポリシーとガバナンスを確立します。

Cloudera を回復力を考慮した設計に役立てる方法

Cloudera は、あらゆる場所のデータに対して一貫したクラウドエクスペリエンスを提供する唯一のデータおよび AI プラットフォームプロバイダーです。これにより、企業は、摩擦やベンダーのロックインなしに、クラウドとデータセンター間でデータと AI ワークロードを自由に移動できるようになり、特定のインフラストラクチャに縛られることがなくなります。その結果、Cloudera を活用して回復力のある設計を実現し、データの保存場所に関係なく一貫した運用とコンプライアンスを維持することで、ビジネスリスクを軽減できます。

Cloudera プラットフォームは、以下のようなソリューションとサービスを通じて、高可用性と耐障害性をサポートしています。

• ポータブルデータサービス：Cloudera のプラットフォームは、クラウドネイティブのデータサービスやデータレイクを備えており、AWS、Azure、Google Cloud などのあらゆるクラウド上で安定して動作するだけでなく、Kubernetes でもオンプレミスで動作します。基盤となるインフラストラクチャから解放されることで、顧客はさまざまなクラウドとオンプレミスリソースを組み合わせて利用可能なサイトを構成でき、単一のプラットフォームやベンダーへの依存を大幅に減らすことができます。

• 流れているデータ：Cloudera Data Flow、 Cloudera Streaming Analytics、Cloudera Streams Messaging により、顧客はどこでもリアルタイムでデータを取得・処理・配信できます。不正行為の検出やネットワークの監視といったミッションクリティカルなリアルタイムのワークロードでは、停止の可能性がビジネスに重大な影響を及ぼすこともあります。Cloudera は、これらのサービス可用性を高く維持し、環境間で複製できることを保証します。

• Replication Manager：Cloudera のコアコンポーネントで、バックアップとリカバリに対する簡素化されたアプローチを提供します。データだけでなく、メタデータやそれに紐づく重要なセキュリティおよびガバナンスポリシーも複製します。このレプリケーションにより、移行が容易になり、継続的な同期が可能になるだけでなく、データ損失を最小限に抑えながらプライマリ運用環境と並行してセカンダリ複製環境を推進することで、迅速なフェイルオーバーが可能になります。

• オープンデータレイクハウス：Cloudera のオープンデータレイクハウスは、一度書き込めばどこでも実行できるアプローチで、安全なデータ管理機能とポータブルなクラウドネイティブデータ分析機能を提供します。これにより、異なるインフラストラクチャ間を移動するときに、アプリケーションまたはワークロードのリファクタリングに関連する時間とコストが削減されます。

図1.Cloudera は Cloud Experience Anywhere で「あらゆる場面で AI を活用」を実現します

これらの機能を組み合わせることで、Cloudera の顧客はミッションクリティカルなデータや AI ワークロードを自信を持って実行できるようになり、インフラストラクチャレベルの停止時でも、最も重要なビジネスプロセスのダウンタイムやデータ損失をほぼゼロに抑えることができます。

地政学的不安定性に直面した AM-BITS による回復力を考慮した設計

最近起こった障害は、多くの企業にとって一時的なものでした。しかし、戦争のような悲劇による中断だったらどうなるのでしょう。ウクライナに拠点を置く AM-BITS は、銀行、通信、小売分野向けの IT ソリューションプロバイダーであり、地政学的な混乱により組織がオンプレミスシステムからクラウドへの急速な移行を強いられる中、クライアントのミッションクリティカルなデータを喫緊に保護し、移行するよう求められました。一般的なクラウド移行には6か月以上かかる場合もありますが、多くの企業は待っている余裕がありません。

この事業継続性の危機に対処するため、AM-BITS は Cloudera を搭載した最新のマルチテナントデータおよび AI プラットフォームを構築しました。同社は Cloudera Shared Data Experience（Cloudera SDX）を活用して、顧客のデータ資産に「技術的なセーフハーバー」を迅速に提供し、データをクラウドに安全に移行する時間を50%も短縮しました。どんな環境でもシームレスに動作する Cloudera により、AM-BITS の顧客は真の柔軟性を手に入れました。また、クラウドに迅速に移行できるだけでなく、別のクラウドに移動したり、データをオンプレミスに戻したりするオプションも維持できました。同社は Cloudera を活用することで、ポータビリティを事業を継続させるための強力なツールに変えました。

次のステップへ

データ関連の中断や停止は、ハードウェアの障害、ソフトウェアの問題、人為的エラー、自然災害、サイバー攻撃などによって引き起こされる可能性があります。システムを設計する際には、これらの障害点を考慮し、IT システムとデータを迅速に、かつ大きな混乱を伴わずに回復するための計画を立てることが極めて重要です。

Cloudera を使用して回復力を構築する方法について詳しくは、ディザスタリカバリに関するチェックリストとリソースをご覧ください。また、回復力の計画設計をサポートする弊社プロフェッショナルサービスチームにお問い合わせください。

この記事は、2025/10/28に公開された「Strengthen Data Governance with the Power of Automated Data Lineage」の翻訳です。

包括的なデータリネージソリューションなしでガバナンスを管理しようとすると、データが逃げ回っているように感じることがあります。移動するデータやメタデータを管理するのは簡単ではありません。優秀なガバナンスマネージャーとデータスチュワードは、データリネージツールを活用し、次に説明する4つの主要な方法でガバナンスを100倍向上させています。
 

データリネージツールを使用してデータガバナンスを改善する4つの方法
 

1. エラーの修正

品質を維持することは、データガバナンスの重要な目標の1つです。経営陣やビジネスユーザーが正確な情報に基づいて重要な決定を下せるようにするのは、組織の責務です。

誤ったデータを見つけたら、もちろんすぐに削除して差し替えてください。しかし、エラーの原因を修正するのではなく、遡及的に修正し続けるということは、そのデータフィールドから生えてくる雑草を永遠に抜き続けるのと同じことで、長期的には、システムのどこでエラーが発生したかを特定し、その発生源を修正する方がはるかに効果的です。

包括的なデータリネージツールを使用すると、データポイントの流れを上って発信元まで、また、流れを下ってターゲットまでの経路を追跡し、その途中でデータを変更したすべてのプロセスを検査できます。

データに欠陥がある場合は、データリネージを使用して根本原因分析を迅速に実行し、エラーが最初に発生した場所まで遡り、正確なデータが欠陥のある状態に変化した段階やプロセスを特定できます。問題を根本から修正できるため、汚染されたデータの増殖がなくなり、環境内のどこでデータが移動してもそのデータを修正する必要がなくなります。

2. 細かい変更への対応

ゆっくり変化する業界で働きたいなら、古生物学を試してみると良いでしょう。データガバナンスに取り組む場合、変化は絶え間なく、急速に起こります。テクノロジーが進化し、ソースシステムが開発されると、データの新たなビジネス要求を反映するようにデータセットの構造が変更され、計算方法も変化します。

すべての小さな変更は、データガバナンスプラットフォームに反映される必要があります。そうしないと、すぐに管理されていないデータが大量に蓄積されてしまいます。データガバナンスプラットフォームを更新するために人間の手動作業に頼っていると、変更が見落とされやすくなります。

一方、データガバナンス用の自動データリネージツールは、すべてのメタデータを定期的かつ自動的に処理し、新たな追加や削除、変更を記録します。また、新しいフィールドや計算、その他のメタデータでお使いのデータガバナンスプラットフォームを更新します。

自動化されたデータリネージソリューションを活用することで、データを追いかけるのではなく、管理とガバナンスに集中できます。

3. 大きな変化への備え

合併、移行、変更…頭が痛くなりそうですよね...。ほとんどのデータ担当者は、キャリアの過程で、このような大きなイベントを経験するか、場合によっては主導することになります。

移行は通常、避けられません。また、新しいシステムに対応するために行われた変更が現在のワークフローに与える影響を予測しない限り、ガバナンスから BI、ビジネスに至るまで、データとその結果に関与する社員の作業に大混乱が生じることは避けられません。

現在のシステムとデータフローを完全に視覚化し、それを新しいシステムで予定されているレイアウトやプロセスと比較して、あるシステムから別のシステムにスムーズに移行する方法を計画しないと、先を読むことはできません。（なんでもお見通しの魔法の水晶玉を持っていれば話は別ですが。）

また、通常は、さまざまな部門のメンバー間で多くのコミュニケーションを取り、予定されている変更について知らせ、これらの変更がメンバー自身、メンバーのデータ、およびメンバーのプロセスにどのような影響を与えるかを聞き取りします（そして、メンバーが実際にタイムリーに対応してくれることを期待します）。このプロセスを手作業で行う場合、通常、データ部門全体が完了するまでに数か月かかります。

さらに、今後予定されている大規模な移行は、データガバナンスをより効率的にするための機会となり得ます。休眠状態のフィールドを削除し、重複する定義を統合し、プロセス結果の一貫性をチェックする機会です。しかし、そのチャンスを生かすには、データ管理の合理化という実際の作業の準備のために、手作業によるマッピングに数か月を要することがあります。

自動データリネージツールを使用すると、数か月かかる手作業の影響分析を数日、あるいは 1 日で完了できます。効率について話すならば、自動データリネージツールにとっての小さな一歩は、データガバナンスにとっての大きな飛躍です。

4. セットアップ

さて、新しいエンタープライズデータガバナンスプラットフォームを手に入れた日のことを振り返りましょう。「おめでとうございます！このプラットフォームはセットアップするとすぐに、会社に素晴らしい効果を発揮します」と言いたいところですが、言うは易く行うは難しです。

データガバナンスプラットフォームには通常、データカタログが組み込まれており、セットアップとはそのカタログに管理を計画しているすべてのメタデータを投入することを意味します。このプロセスには通常、何か月もかかります。ただし、自動データリネージツールを使用すると、昼休みにデータカタログ全体をセットアップできます。

前述のように、包括的なデータリネージソリューションは、初回のクリーンアップが終わった後も、定期的に更新され、メタデータの変更や追加がデータガバナンスプラットフォームに反映されるため、「フィールド、プロセス、レポートに変更が加えられたら必ず管理者やプラットフォーム側に更新を依頼するように」と常に注意喚起して他の部門との業務関係が気まずくなることはありません。

データガバナンスにおけるデータリネージのための適切なツールの選定

「データリネージ」ソリューションと呼ばれるものすべてが、実際に上記のすべての機能を実行できるわけではありません。一部のツールには、自動リネージ機能が組み込まれていますが、それでもかなりの手作業（と頭痛の種）がつきまといます。そのため、ソリューションを評価して、必要な機能とメタデータ管理の完全なスイートが提供されていることを確認することが重要です。

これを行うために、Cloudera Octopai Data Lineage の導入に向けたデモをご依頼ください。これらの機能を実行し、データガバナンスを向上させる自動リネージソリューションをご確認いただけます。

図1：Cloudera Container Service のアーキテクチャ

簡素化されたKubernetesライフサイクル管理

Cloudera は、Kubernetes とアドオンサービスを複数の環境にわたって簡単に運用できるようにするための投資を継続しています。Cloudera Container Service を使用すると、直感的な UI を使用して Kubernetes クラスタを簡単にデプロイできるようになります。今後は、Cloudera が管理するクラスタ資産全体に統合ライフサイクル管理を拡張し、エンタープライズ管理者が統合 UI からライフサイクルの更新を一貫して管理できるようにする予定です。

組み込みのセキュリティとコンプライアンス

Cloudera Container Service は、Kubernetes の導入が初日から安全であることを保証するセキュリティ機能を追加設定なしで提供し、迅速な移行とリスクの軽減を支援します。これらの機能には以下が含まれます。

• Istio サービスメッシュ：ユーザーが Istio を個別にインストールまたは設定しなくても、マイクロサービス間の安全で認証された通信を保証します。
• Knox ゲートウェイ（Istio 外部認証プロバイダーとして機能）：Istio のネイティブなセキュリティフレームワークを維持しながら、外部サービスによるエンタープライズグレードの認証とアクセス制御を実現します。
• Calico : きめ細かなトラフィック制御による安全なポッド間通信を通じて、ワークロードを分離し、コンプライアンス要件を満たすネットワークポリシー適用を提供します。
• プライベートクラスタのサポート：顧客のクラウドネットワーク内のアクセスを制限することで、ワークロードをパブリックインターネットから隔離し、複雑なネットワークポリシー設定の必要性を低減します。
• IMDSv2（インスタンスメタデータサービス v2）：セッションベースのトークンを使用して AWS インスタンスメタデータへのアクセスを保護し、リスクを軽減し、クラウドワークロードのセキュリティを向上させます。
• 非透過性プロキシのサポート：各データサービス構成ごとに手動プロキシ設定を必要とせず、 Kubernetes クラスタからの安全で監査可能なアウトバウンドトラフィックを可能にします。

よりスマートでコストが最適化されたワークロード管理

「2026年までに、クラウドベースのワークロードのリアルタイムコストまたはパフォーマンスの最適化を行う組織は、2022年の20%未満から50%に増加するでしょう」 - Gartner™、「Evolve Service Management and Cloud Operations（サービス管理とクラウド運用の進化）」

これらのインサイトは、組織がクラウド技術を活用しながら経費を管理しようとする中で、クラウドコスト最適化への注目が高まっていることを浮き彫りにしています。

Cloudera は、企業がコスト削減メカニズムを管理できるようにすることで、Kubernetes ベースのワークロードの柔軟性を維持しながら、組織が実際に使用したリソースに対してのみ料金を支払うようにします。

Cloudera が最近行った機能強化により、組織は以下のようなさまざまな方法でパフォーマンスを維持しながら支出を最適化できます。

• AWS Graviton のサポート：ARM ベースのインスタンスでコスト効率の高いコンピューティングを可能にし、クラウドの費用とエネルギー消費を削減します。さらに、マルチアーキテクチャコンテナイメージを構築することで、「一度構築すればどこにでもデプロイできる」アプローチが可能になります。

• クラスタの一時停止または再開：企業が使用していないときはワークロードを一時停止し、必要に応じて再開できるため、不要なインフラコストを削減できます。

• 共有データサービス：複数のデータサービスが共有インフラストラクチャを活用できるようにすることでリソースを最適化し、重複を減らして効率を高めます。

• Apache Yunikorn : ビンパッキング、階層型クォータ管理、ギャングスケジューリングなどの強化されたワークロード配置およびスケジューリング技術を備えたインテリジェントリソーススケジューラにより、クラスタ密度の向上、運用コストの削減、パフォーマンスの向上を実現します。

レベルアップ：NVIDIA アクセラレーテッドコンピューティングを搭載した Cloudera AI Inference Service

Cloudera AI Inference Service は、Cloudera の強化された Kubernetes プラットフォームに搭載された最初のデータサービスです。Cloudera Container Service を活用することで、これまで以上に迅速かつ安全に、コスト効率よく AI ワークロードを開発環境から本番環境に移行できるようになります。

Cloudera Container Service は、以下を提供することで、AI 推論を可能にする上で重要な役割を果たします。

• パフォーマンスの最適化：NVIDIA アクセラレーテッドコンピューティングの効率的なスケジューリングとオーケストレーションにより、AI ワークロードがリソースを過剰にプロビジョニングすることなく、必要な処理能力を割り当てることができます。

• エンタープライズグレードのセキュリティ：AI ワークロードは、Cloudera の安全なエンタープライズ対応プラットフォーム内に完全に格納されるため、データのガバナンスとコンプライアンスが確保されます。

• 自動化されたインフラストラクチャ管理：プラットフォームがクラスタのスケーリング、セキュリティポリシー、ワークロードの分離を担当するため、データサイエンティストや AI エンジニアはインフラストラクチャ管理ではなくモデルの最適化に集中できます。

将来を見据えた Kubernetes：AI、分析、その先の用途もカバー

リアルタイムデータストリーミングから大規模分析、次世代のエンタープライズアプリケーションまで、Cloudera の多様なワークロードをサポートするというより広範なビジョンの一環として実施されたこの機能強化は、AI ファーストアプローチを採用する組織にとって大きなメリットとなります。

Kubernetes を基盤として、Cloudera は今日のインフラストラクチャの課題を解決し、今後のイノベーションに対する準備を整えます。

詳細や今後の展望にご興味がある方は

• クラウドの Cloudera の5日間無料トライアルにご登録ください。

• Cloudera の営業チームに直接お問い合わせください。

この記事は、2025/10/8に公開された「Cloudera Container Service—Built-in Security and Smarter Cost Control」の翻訳です。

Cloudera Container Service のご紹介：シンプルかつ安全でコスト効率に優れています

Cloudera Container Service は、Compute Cluster に代わる強化された Kubernetes プラットフォームです。強化された点には、ライフサイクル管理の簡素化、組み込みセキュリティ、マルチクラウド環境全体でコストが最適化されたワークロード管理が含まれます。

Cloudera Container Service を使用すると、複雑なインフラストラクチャよりもイノベーションに重点を置くことができ、マルチクラウド環境全体で Kubernetes を安全かつスケーラブルに、コスト効率よく導入することができます。

「Kubernetes は障害になるのではなく、叶えたいことを実現する存在であるべきです。機能強化により、組み込みのセキュリティを確保しながら、Kubernetes をより効率的に管理し、クラウドコストを削減し、強力な AI およびデータドリブン型アプリケーションを導入するためのツールを企業に提供できるようになります」と Cloudera の製品管理担当副社長である Karthik Krishnamoorthy は語っています。

この記事は、2025/10/3に公開された「Democratize Data for AI Using Interoperability Across Engines and Zero-Copy Data Collaboration」の翻訳です。

Cloudera Iceberg REST カタログを使用してオープンで AI に対応した企業を実現する方法

相互運用性は長い間流行語であり、企業が実際に頼りにできる機能ではありませんでした。その代わりに、データアーキテクトは断片化されたシステムをつなぎ合わせる作業に追われることが多く、最高データ責任者はサイロ化されたガバナンスによる大きなリスクとベンダーロックインに直面し、プラットフォームリーダーはチームに一貫したデータビューを提供することができません。合併、マルチクラウド戦略、または外部パートナーシップに起因するかどうかにかかわらず、コストの上昇、イノベーションの遅れ、そしてAIを確信を持って拡張する能力の制限に関する課題は繰り返されます。

Cloudera では、分断されたメタデータ層、重複したデータパイプライン、ツール間で拡張できないガバナンスモデルなどの課題をお客様が克服できるよう支援し、大規模な相互運用性を実現する、オープンで AI に対応した企業の実現に常に努めています。

エンタープライズ AI にとってオープン性が重要である理由

AI ワークロードを拡張するには、ワークロードの原動力となるデータの可視性と管理が必要です。メタデータインテリジェンスは、この方程式において重要な役割を果たし、組織がデータの所在、構造、およびチームやツール間でどう使用されているかを理解できるようにします。

Apache Iceberg や Iceberg REST Catalog などのオープンスタンダードにより、企業はゼロ ETL データ共有をサポートし、ガバナンスを強化し、分析エンジンと AI エンジン間で安全な相互運用性を実現する統合メタデータレイヤーを獲得できます。この基盤は断片化されたインフラを接続された AI 対応のデータアーキテクチャに変換します。ここではメタデータがインサイトへのアクセスを加速させる鍵となり、同時に信頼を維持します。

オープンかつ安全でシンプル：Cloudera Iceberg REST Catalog

Cloudera Iceberg REST Catalog は、弊社のオープンデータレイクハウスを支え、組織がアーキテクチャを簡素化し、重複を減らし、必要な場所で安全なデータアクセスを拡張するのを支援します。

普遍的で相互運用可能なメタデータレイヤーとして機能し、ツール、クラウド、チームを超えて Iceberg テーブルへのゼロコピーアクセスを提供し、オープンソースツールとサードパーティツールが同じデータにアクセスできるようにします。機能とメリットは以下のとおりです。

• オープンでエンジンにとらわれない：Athena、Databricks、Redshift、Snowflake などのツールをサポートする標準ベースの API を提供し、ベンダーロックインなしで相互運用性を実現します。
• 設計段階で分離：クエリエンジンをバックエンドのメタストアから抽象化し、複雑さを軽減して環境間の移植性を向上させます。
• リアルタイムのメタデータアクセス：Iceberg 対応のメタストアからの高速で最新のメタデータクエリをサポートし、チーム間のデータ可視性を向上させます。
• ガバナンスとセキュリティ：きめ細かなアクセス制御、行レベルの権限、エンタープライズ ID アクセス管理（IAM）統合（LDAP や OAuth2 など）を、接続されているすべてのシステムに拡張し、一貫したポリシーの適用を大規模に実現します。

図1. Cloudera Iceberg REST Catalog は、普遍的で相互運用可能なメタデータレイヤーを提供し、オープンソースツールとサードパーティツールが同じデータにアクセスできるようにします。

Iceberg REST Catalog の実際の使用例と効果

以下の実際の使用例は、企業がどのように Iceberg REST Catalog を活用してデータスタックを簡素化し、総所有コスト（TCO）を削減して、価値実現までの時間を短縮し、データを適切な場所に保持しているかを示しています。

これらの例は、Cloudera のオープンで相互運用可能なアプローチが AI による効果を促進し、エンタープライズ規模で運用効率を高め、セキュリティとコンプライアンスを実現する方法を示しています。

データ共有：AI アプリケーションを3,000人以上のクロスプラットフォームユーザーに拡張

ある高級自動車メーカーでは、Databricks を使用して外部のパートナーとデータを安全に共有するという課題が日に日に大きくなっていました。従来の方法はデータの複製に依存していたため、コストや複雑さ、アーキテクチャの柔軟性の欠如が生じていました。

同社は Iceberg REST Catalog を採用することで、社内システムと外部プラットフォームの両方で、安全なゼロ ETL データ共有を確立しました。このオープンで標準ベースのアプローチにより、複雑なデータパイプラインには Spark を、高速 SQL 分析には Impala を使用するなど、作業に最適なツールを選択できるようになりました。これを基盤に、同社はデータアクセスに対するガバナンスと管理を維持しながら、AI アプリケーションを3,000人以上のユーザーに拡張できました。

データウェアハウスの最適化：データ移動コストを74％削減

ある世界的な衛星通信会社は、合併に伴い、独自のシステムで管理されていた断片的なデータを統合する際に大きな問題に直面しました。一貫性があり、相互運用可能なデータレイヤーが不足していたことで、AI や分析に対する取り組みの拡張が遅れ、管理が困難になったのです。

Iceberg REST Catalog を搭載した Cloudera のオープンデータレイクハウスアーキテクチャは、同社がこれらのサイロを統合し、すべての AI および分析ワークロード向けに信頼できる唯一の情報源を確立するのに役立ちました。マネージド Iceberg テーブルを S3 で直接クエリすることで、冗長なデータパイプラインと再プラットフォーム化の作業の必要性がなくなり、データ移動コストが74%削減されました。

デモ：Cloudera の Iceberg REST Catalog を通したデータ共有を詳しく見る

こちらのインタラクティブなデモでは、金融サービスにおけるシナリオを通じて Iceberg REST Catalog を実際に体験していただけます。デモに登場する架空の親銀行では、さまざまなチームが Snowflake や AWS Athena などの好みのツールを使用して、管理された1つのデータソースに安全にアクセスできます。複雑な ETL やコストのかかるデータ移動は必要ありません。

このサービスの詳細とそれが組織にもたらすメリットについては、以下のリソースをご覧ください。

• Cloudera のオープンデータレイクハウスについて詳しくは、弊社製品ページをご覧ください。
• Cloudera のオープンデータ共有に関するビジョン全文を読むには、プレスリリースをご覧ください。

この記事は、2025/10/1に公開された「Empowering Enterprise AI with Structured Synthetic Data: Preserving Privacy and Source-Statistical Properties」の翻訳です。

データドリブン型 AI の時代においては、AI モデルの分析やトレーニングに高品質のデータセットが必要になりますが、データプライバシーの規制や倫理上の懸念により、現実世界における大規模データの使用や共有は制限されています。機密情報を漏らさずにイノベーションを起こすには、どうしたらよいのでしょうか。

Cloudera は、このギャップを埋めるソリューションを世界で初めて開発しました。Cloudera AI Studio ツールセットの一部である Cloudera Synthetic Data Studioは、組織の実際のデータパターンを模倣して合成データセットを作成するツールであり、組織は機密情報のリスクを負うことなくイノベーションを進めることができます。

ビジネス上の課題：コンプライアンスを確保しながら AI モデルを活用する

ローンの不履行を予測しようとしている金融サービス会社について考えてみましょう。この分野の大規模データは収入レベル、雇用履歴、クレジットスコアなど、機密性の高い情報の宝庫です。このようなデータを第三者や AI モデルと共有することには、規制上および倫理上のハードルが多数存在します。

従来の合成データ手法は不十分である場合が多く、変数間の微妙な論理的関係（既存の債務が返済行動にどのように影響するかなど）や、行と列にわたるデータポイント間の論理的一貫性を捉えることができません。企業には、拡張可能で、元のデータの統計的整合性を維持し、プライバシー標準への準拠を確保できる合成データソリューションが必要です。

Cloudera のソリューション：構造化された合成データの生成

Cloudera のソリューションは、クラスタリング技術、Cloudera Synthetic Data Studio、厳格な検証を組み込んだ4ステップのワークフローに従います。

ステップ1：データのプロファイリング

ワークフローはデータを分割およびクラスタリングし、統計プロファイルを作成することから始まります。リスクレベルに基づいて借り手をグループ（高リスクの申請者と低リスクの申請者など）に分類し、さらに融資額や金利などの変数をクラスタリングすることで、データセットを「シード命令」に抽出します。

シード命令は、平均、標準偏差、相関関係などの各グループの統計的性質をエンコードし、ローン等級やローンステータスなどの借り手の情報を埋め込みます。このステップにより、合成データは機密情報を漏えいすることなく、元のデータの構造を確実に継承できます。

ステップ 2：Cloudera Synthetic Data Studio を使用してデータを生成する

シード命令の準備が整ったら、次の段階に進み、LLM を利用した生成を実行します。Llama 3.3-70B-Instruct などの高度なモデルを使用し、シード命令に表示される統計設計図に基づいて、新しいレコードを合成します。Cloudera Synthetic Data Studio はその創造力を発揮し、シード命令で定義された関係とパターンを保持するデータを生成します。

ここでは、このソリューションの特長が顕著に現れます。モデルは単にランダムな数字を生成するのではなく、借り手の収入が論理的にどのように返済履歴に影響を与えるかなど、現実のシナリオの複雑さを反映するデータを構築するのです。

ステップ3：データのフィルタリング

生成されたすべてのデータが必要な品質を満たすわけではありません。弊社では、忠実性を確保するため、革新的な LLM-as-a-judge（LLM を審査員として利用する）ワークフローを採用しています。

このステップでは、フォーマットの一貫性、論理的一貫性（住宅ローン口座が住宅所有状況と一致しているかどうかの確認など）、現実性（妥当な金利の生成など）といった基準に照らして合成出力を評価し、10点中9点のしきい値を満たす高得点のデータのみが保持されます。このフィルタリングプロセスは品質のチェックポイントとして機能し、最終的なデータセットが現実的かつ統計的に堅牢であることを保証します。

ステップ4：データを検証します

ワークフローの最後の段階は統計的検証と視覚的検証です。カテゴリー変数については KL ダイバージェンス、連続特徴量については平均/標準偏差の差異などの指標を使用して合成データを元のデータセットと比較することで、合成データに現実世界の分布が反映されていることを確認します。

効果：妥協のないプライバシー対応

Cloudera のアプローチでは、個人を特定できる情報（PII）や機密パターンを含まないデータが生成されますが、正確なモデルをトレーニングするために必要な統計的忠実度は確保されます。これにより、企業はデータ侵害や規制上の罰則を恐れることなく、合成データをサードパーティのシステムと共有したり、外部のパートナーと連携したりできるようになります。

テーブル1に示すように、Llama 3.3 70B-Instruct モデルを使用して構造化されたローンデータ（合計27列）を生成すると、生成されたデータの100%が想定される結果と一致し、LLM で判断した場合の列間の論理誤差が97.2%で見られず、統計的平均が元の分布から12%逸脱し、列間の相関が0.24%ずれていることがわかります。

表1：Llama 3.3-70B-Instruct を用いた構造化データの生成結果

まとめ

AI モデルが複雑化し、プライバシー規制が厳しくなるにつれて、高品質でプライバシー規制に準拠したデータに対する需要はますます高まるでしょう。今後数年で、構造化データの生成手法は、医療から金融に至るまで、データプライバシーが譲れない業界を抜本的に変革すると期待しています。

Cloudera の構造化合成データアプローチは、企業がプライバシーやパフォーマンスを犠牲にすることなくこの要求を満たすことができることを示しています。クラスタリングや Cloudera Synthetic Data Studio、厳密な評価を組み合わせることで、組織は構造化データの潜在能力を最大限に引き出すことができます。

詳細を知りたい場合は、Cloudera AI Studios の製品ツアーに参加するか、ai_feedback@cloudera.com から弊社チームにお問い合わせください。

この記事は、2025/10/2に公開された「3 Steps to Cutting Cloud Costs with Data Lineage」の翻訳です。

月を手に入れるなど、到底実現しないような約束をしたことはありますか？そんな約束をしたことがある人も、現実的に価格を知っていたわけではないと思います。

クラウドなら、手に入れる約束をしても、コストを0.001セントまで下げることができます。

Amazon、Azure、Google は、クラウドデータストレージのコスト計算ツールを提供しています。「Google BigQuery でのストリーミング読み取りに必要なデータ量は？」や「Amazon Redshift で ra3.4xlarge または ra3.xlplus インスタンスが必要な場合、ノード数はどれくらい必要か？」など、その特異度には驚かされることでしょう。

クラウドにデータを保存すると、オンプレミスのデータストレージを使用するよりもコスト効率が高くなるとよく言われますが、クラウドストレージのコストを削減するには、調査や余計なものの排除、最適化が必要です。一歩ずつ進んでいきましょう。

ステップ1：調査

データストレージのコストを削減する最も簡単な方法の1つは、保存するデータを減らすことです。誰でも知っていることですが、実行するのは簡単ではありません。

どんなデータでも保有しているのは意味があるはずです。しかし、運用、管理、ビジネスプロセスなどの正当な理由である場合もありますが、「まだ削除していないだけ」など、大きな理由がないものもあります。

どんなデータエコシステムにも、古くなったデータや冗長なデータ、質の悪いデータが存在します。これらを排除することは可能であり、そうすべきですが、見つけるにはどうすればいいのでしょう。

ここで役に立つのが自動化されたデータリネージで、データハウスキーパーの忠実な相棒です。

大掃除に役立つ魔法の杖があると想像してみてください。この杖は、家庭内の各アイテムがどこで購入されたか、最後にいつ使用されたか、どのような形状であるか、同じ機能を果たす他のアイテムがあるかどうかなどを教えてくれます。

これこそ、自動化されたデータリネージが貴社のデータエコシステムにもたらす効果です。その力を解放すれば、数分以内にデータフローが完全にマッピングされ、どのデータアセットがどのレポートにフィードされており、どのソースに由来するのかが分かります。包括的なデータリネージでは、ソースシステムレベルに広げたバージョンと、列レベルに絞ったバージョンの両方を表示します。また、ETL プロセスに入り込み、データの移動時にどのような変換が実行されたかを正確に表示することもできます。

全体像が描けたら、第2段階である排除に進むことができます。

ステップ2：排除

データリネージをよく見直し、以下の質問を投げかけましょう。

• データ資産やデータの使用法（レポートなど）に冗長なものはありますか？
• データ資産やデータの使用法に時代遅れである、または関連性のないものはありますか？

「はい」と答えると、排除できるデータが示され、クラウドベースのストレージコストがダイレクトに削減されます。ただし、排除は慎重に。たとえ2つのデータ資産が実質的に重複していても、両方が下流のレポートで使用されている場合、代わりのデータ資産を用意することなく一方を削除することはできません。

データリネージを活用して影響分析を行うことで、ビジネスプロセスの変更がもたらす影響を予測し、問題を未然に防ぐための予防措置をとることができるようになります。

不要なデータ（古い、冗長、または質が悪いデータ）を特定し、排除できたら、必要ではあるものの、より効率的に保存できるデータに移りましょう。

ステップ3：最適化

データリネージのマッピングをもう一度確認し、保存しているデータについて以下の質問を投げかけましょう。

• このデータの用途は何ですか？
• どのくらいの頻度でアクセスする必要がありますか。
• アクセスしたいときに、どれくらい迅速に利用できる必要がありますか？

クラウドベースのデータストレージプロバイダーは通常、利用しやすさに応じてさまざまなストレージレベルを提供しています。たとえば、Amazon S3 では、頻繁にアクセスするデータ用に Standard（1GB あたり0.023ドル）、頻繁にアクセスしないが必要なときに数ミリ秒で取得する必要があるデータ用に Standard-IA（1GB あたり0.0125ドル）、1分から12時間で取得する必要があるアーカイブおよびバックアップデータ用に Glacier Flexible Retrieval（1GB あたり0.0036ドル）、年に1回か2回しかアクセスせず、取得に12時間かけても構わないアーカイブデータ用に Glacier Deep Archive（1GB あたり0.00099ドル）を提供しています。

1TB のデータを Standard ストレージに保存すると、月額23ドルかかります。同じ1TB のデータを Glacier Deep Archive ストレージに保存すると、月額0.99ドルで済みます。所属している組織がアクセスニーズに基づいて区別せずに、すべてのデータを Standard のクラウドストレージに保存しているなら、ストレージを最適化することで、ストレージコストを大幅に削減できます。

ストレージからコンピューティング、そしてまたストレージへ

データリネージを使用すると以下の両方を確認でき、データストレージコストを削減できます。

• 排除できるデータ
• より効率よく保存できるデータ

効果はそれだけではありません。データ量を減らすことでクラウドストレージのコストが削減されるだけでなく、コンピューティングコストも削減できます。Snowflake や Amazon Redshift のようなクラウドベースのデータウェアハウスでは通常、コンピューティングに対して従量課金モデルを採用しており、データセット全体でクエリを実行するのにかかる時間に対して課金されます。クエリに含めるデータが多いほど実行にかかる時間が長くなり、料金も高くなります。

保存する（または Standard ストレージに保持する）データの量を減らすと、クエリに含まれるデータが減り、間接的にコンピューティングコストが削減されるのが一般的ですが、データリネージは、探索的クエリを制限することで、ダイレクトにコンピューティングコストを削減することもできます。

探索的クエリは膨大な処理能力を必要とする傾向があります。明確なデータリネージマップがあれば、データチームは関連データがどこにあるかを正確に把握できるため、プラットフォーム全体でよりターゲットを絞ったクエリを実行でき、一般的な探索的クエリの必要性がなくなるか、軽減されます。

次のステップへ

クラウドデータのストレージコストがネックになっているのなら、コストを削減し、状況を一変させるチャンスです。自動化されたデータリネージという魔法の杖を取り出し、調査、排除、最適化を行いましょう。

データストレージのコストが下がってきましたか？場合によっては、魔法の杖を振るよりもう少し作業が必要かもしれません…。それでも、クラウドデータサービスプロバイダーからの請求書で料金が下がったことを確認したとき、「魔法のような効果」を実感するでしょう。

さらに詳しく知りたい場合は、Cloudera Octopai Data Lineage のデモをリクエストしましょう。上記のステップを実践し、クラウドストレージのコストを今すぐ削減する上で役立つ自動化されたデータリネージソリューションです。

図1：Cloudera と NVIDIA はデータサイエンスライフサイクル全体に価値を提供します

このブログでは、Cloudera と NVIDIA が連携してアナリティクスと AI を活用し、金融サービス機関にどのような価値をもたらすのかを示す 3 つのユースケースを紹介します。

AML/KYC コンプライアンス対応の Apache Spark 向け NVIDIA RAPIDS アクセラレーター

大規模な金融機関におけるマネーロンダリング防止および顧客確認（AML/KYC）のコンプライアンスライフサイクルは、非常に計算集約的なプロセスです。これは、さまざまな活動にわたる膨大なデータを統合し、標準化する必要があるためです。

• クロスボーダーデータの標準化を必要とし、幅広いトランザクションシステムや外部エンティティ（クレジットカード取引、送金、SWIFT メッセージなど）から取得される取引主体の同一性解決

• 異なる形式で情報を保存する複数の AML/KYC システムからのデータ統合で、統一スキーマに正規化し、クロス事業部門 AML データマートなどのデータプロダクトに構造化

• データ処理、拡充、ルール適用を必要とする継続的なトランザクション監視と規制報告

AML/KYC ユースケースを実装した多くの Cloudera の顧客にとって、Apache Spark はこれらの分析ワークロードを実現する上で重要な役割を果たします。Apache Spark は、インメモリコンピューティングや分散処理などの機能を提供する、データエンジニアリング用の強力なエンジンです。しかし、取引量の急増と AML/KYC コンプライアンス対応の新しいデータソースの多様化により、既存のコンピューティングインフラストラクチャにさらなる負担がかかり、これまで以上のパフォーマンスが求められています。

Apache Spark 用の NVIDIA RAPIDS ライブラリは、コードを変更することなく、特定のデータ処理操作を CPU から GPU に透過的にオフロードします。その結果、Cloudera の顧客は、Apache Spark 3.0 ワークロードに NVIDIA RAPIDS ライブラリを使用することで最大20倍のパフォーマンス向上を体験しました。

決済における不正防止のための NVIDIA NIM マイクロサービス

詐欺防止における 2 つの最大課題として挙げられるのが、デジタルおよびクレジットカード決済における取引量の急増と、詐欺手法の巧妙化です。これらの要因により、AI/ML 推論におけるリソース競合とスケーラビリティの課題が生じ、新たな不正手法に対応するために複数の構成可能な AI/ML モデルを導入する必要があります。

これらの課題に対応するため、Cloudera AI Inference サービスには NVIDIA NIM が含まれています。これは不正防止用の AI モデルに対し、高性能・低レイテンシー・高スループットの推論を NVIDIA のアクセラレーテッドコンピューティング上で実現するよう設計されています。例えば、NVIDIA NIM を使用することで、Cloudera AI Inference サービスは PyTorch モデル (Torch-TensorRTライブラリを使用) で最大6倍の性能向上を実現し、TensorFlow モデル (TF-TensorRT ライブラリを使用) で 2.5 倍の性能向上を実現できます。これらはどちらも、支払い詐欺防止に広く使用されています。

さらに、Cloudera AI Inference サービスは、NVIDIA の動的バッチ機能を活用し、NVIDIA アクセラレーテッドコンピューティングで実行される推論リクエストの処理を高速化します。この機能により、サーバー側の複数の推論リクエストをまとめて処理できるため、一度に1件ずつ処理して GPU がほとんどアイドル状態になるような非効率を避けることができます。その結果、NVIDIA NIM を活用した Cloudera AI Inference サービスは GPU の使用率を向上させ、不正防止に対する需要の高まりに対応するための将来的な GPU 設備投資の削減につながります。

リテールバンキングにおけるローンオリジネーションのための NVIDIA AI-Q ブループリント

信用審査は、銀行業務において重要な機能であり、住宅ローン、クレジットカード融資、商業銀行業務、貿易金融など、さまざまな融資活動にまたがっています。これらのプロセスは、申請の提出から資金調達に至るまでの多くの業務や、意思決定に関わる多数の関係者が存在することから、従来は非効率的であることが常でした。

従来の AI/ML モデルは、ローン発行ワークフローにおける多くの個別作業を効率化できますが、顧客の視点から見ると、依然として手続きは遅く、断片的に感じられます。こうした状況において、エージェント型 AI は大きな効果を発揮します。情報の収集、要約、与信判断の作成にかかる手間を軽減できるのです。また、承認プロセス中のレビューを標準化することで、パーソナライズされ、かつ一貫性のある融資体験を提供できます。さらに、複数の AI エージェントがツールやデータを連携して制御するマルチエージェントワークフローにより、顧客の行動や支出パターンに基づいたパーソナライズされた製品提案も可能になります。

Cloudera AI Inference サービスと NVIDIA のアクセラレーテッド・コンピューティング上で NVIDIA AI-Q Blueprint を活用することで、銀行機関はこの変革的なビジョンを実現することができます。たとえば、AI-Q Blueprint を使用することで、Cloudera はマルチエージェントワークフローを構築できます。この中には、NVIDIA NIM 上に展開された生成 AI ベースのパーソナライズ型ローンアドバイザー、光学文字認識 (OCR) および自然言語処理 (NLP) 技術を活用した AI ベースの文書処理エージェント、既存の与信判断ツールなどが含まれます。

次のステップへ

Cloudera の統合型クラウド対応データプラットフォームと、NVIDIA のハードウェアおよびソフトウェア機能を組み合わせることで、エージェント型 AI ソリューションの開発に向けた包括的なソリューションが実現します。

• Cloudera AI Inference サービスの詳細については、こちらのページをご覧ください。

• Cloudera + NVIDIA の共同バリュープロポジションについては、Enterprise Strategy Group によるホワイトペーパーをご参照ください。

この記事は、2025/9/17に公開された「Cloudera + NVIDIA Deliver AI-Powered Transformation in Financial Services」の翻訳です。

Cloudera と NVIDIA は、Cloudera のデータ管理機能と NVIDIA のフルスタックサービスを組み合わせることで、組織が大規模で複雑なデータパイプラインを合理化できるようにします。

• Cloudera 上の Apache Spark と NVIDIA RAPIDS アクセラレーターによるデータ処理は、特徴エンジニアリングおよびデータエンジニアリングのワークロードの実行を効率化します。

• AI/ML モデルのデプロイメントにおいて、Cloudera AI Inference と NVIDIA NIM マイクロサービスを使用することで、人工知能（AI）モデル（従来の AI/ML と生成 AI の両方）のスループットを高め、レイテンシーを低減します。

• NVIDIA AI-Q Blueprint によるエージェント型AIオーケストレーションは、プライベートデータと AI エージェントの統合を可能にし、APIを通じて他のシステムとのインタラクションを可能にします。

ビジネス上の課題：データプライバシーを損なうことなく AI モデルの速度と精度を両立

Cloudera のカスタマーサポートチームは、AI モデルを活用してサポートチケットをリアルタイムで分析・要約しています。このシステムは、顧客や Cloudera サポート担当者のコメントを入力として受け取り、それぞれのコメントを分析し、感情分析や要約といった一連の分析結果を抽出します。これらの分析は、Cloudera におけるカスタマーエクスペリエンスを向上させる上で極めて重要です。

このパイプラインで処理される顧客データは機密性が高いため、ローカル環境で稼働するモデルのみを使用でき、顧客データを外部ソースと共有することは一切できません。

当初、コメントを分析するためにチームはローカルの LLM (Goliath 120B) に依存していました。これにより基本的な性能要件は満たされましたが、速度と生成性能に課題がありました。平均で 1 件あたりの処理に12～15秒を要し、30秒ごとにリクエストが発生していたのです。期待される出力への適合率は77.5％にとどまり、生成精度も独自モデルより低く、スケーラビリティや LLM の性能におけるボトルネックとなっていました。

ローカルの大規模 LLM (Goliath-120B) を使用する際の課題は明白でした。応答時間の遅さ、コストの増大、最新のクラウドベースモデルと比べた生成精度の低さ、そしてコンプライアンスリスクです。

大規模組織も同様のトレードオフに直面しており、AI の精度と速度をデータ漏洩リスクと天秤にかけてバランスを取らなければなりません。

Cloudera のソリューション：プライベートデータを活用したナレッジ・ディスティレーション

Cloudera のブレークスルーは、プライバシーを最優先としたナレッジ・ディスティレーションのアプローチにあります。

規制や漏洩リスクを伴う生の顧客データでモデルをトレーニングする代わりに、Cloudera Synthetic Data Studio を用いて合成データセットを生成しました。Cloudera AI に新たに搭載されたこのローコードツールは、技術的な質問やトラブルシューティングシナリオなど、実際のやり取りを模倣しつつ、一切の機密情報をさらすことなくデータを作成します。

合成のカスタマーサポートインタラクションを生成することは、規制面や情報漏洩リスクにおける利点をもたらしただけでなく、チームがその合成データを最新のクラウドベース LLM に送信し、顧客感情などのインサイトを最高性能の LLM から抽出することも可能にしました。これらのクラウドベース LLM は、大規模なローカル LLM よりもはるかに正確な情報処理を実現し、最先端の LLM から正確なインサイトを抽出するための理想的な情報源となりました。

Cloudera の合成データソリューションは、コンプライアンスやプライバシーのリスクを排除し、既存の大規模ローカル LLM を上回る最高品質の合成データを生成しました。このアプローチにより、最先端モデルから小規模 LLM へ知識を抽出する選択肢が開かれ、Goliath-120B と同じ課題を、より低コストかつ高精度で解決できるようになりました。

プロセス

データ生成：Synthetic Data Studio のデータ生成ワークフローを用いて、Claude Sonnet に顧客からの質問と回答を生成するよう指示するプロンプトを作成しました。このプロンプトは、LLM にカスタマーサポートの質問と回答を作成させ、トーンを設定し、構造を詳細に規定するよう指示しています。さらに、実際のデータに現れるトピック (Cloudera AI や Cloudera Data Warehouse のカスタマーサポートなど) のリストを提示し、シードトピックを活用することで、多様かつ現実的なカスタマーサポートチケットを生成できるようにしました。

ファインチューニング：フィルタリングしたデータのみを使用し、チームはデータを学習用と開発用に分割して、Claude Sonnet モデルから Meta Llama3.1-8B-instruct モデルへ知識を抽出しました。チームは、最適化された LLM の性能を最大化するファインチューニングのパラメータを選択するために、複数の実験を行いました。

評価：Synthetic Data Studio の評価ワークフローを用いて、チームは LLM-as-a-judge に生成データの品質を評価させ、低品質なサンプルを除外するためのプロンプトを作成しました。

人間による評価と自動化された LLM-as-a-judge 評価の両方を活用し、チームは実際のカスタマーサポートチケットの質問と回答を採点しました。Cloudera のチームは、デプロイ済み LLM と抽出された LLM の回答に違いが出たケースに注目し、それぞれの LLM の勝率を報告しました。さらに、平均実行時間、期待される出力への適合率、モデルのデプロイコストといった観点から、速度の改善度も測定しました。

結果

速度の向上：処理時間が95％短縮されました。

出力構造の改善：出力の適合率が77.5%から99.5%に上昇しました。

LLM 精度の向上：小規模なナレッジ・ディスティレーションを経た LLM (Llama 3.1 8B) とデプロイ済み Goliath LLM (Goliath 120B) を比較したところ、Phi-4 を評価者とした場合の勝率は 70%対 30%、人間による評価では 63%対 37%となりました。

コストと効率の改善：小規模なナレッジディスティレーションを経た LLM は、コンピュートとメモリの要件を削減しながらリアルタイムでのスケーラビリティを高め、データプライバシーを維持しました。その結果、スループットは 11 倍に向上しました。

結果は明らかです。企業はデータプライバシーを損なうことなく、AI 活用の卓越性を実現できます。学習データを合成し知識を抽出することで、企業はイノベーションとコンプライアンスの間でトレードオフを迫られることを回避できます。

この記事は、2025/9/11に公開された「Unlocking Enterprise AI Potential: Knowledge Distillation for Customer Support Analytics」の翻訳です。

現代の企業は大きな課題に直面しています。競争力を維持するために高度な AI モデルを活用したい一方で、クラウドベースの大規模言語モデル (LLM) にかかる高コストを抑え、データプライバシー規制への準拠を維持する必要があるのです。

では、企業はどのようにすれば、予算を超過させたり機密データをさらしたりすることなく、最先端の AI を活用できるのでしょうか。Cloudera では、この課題をチャンスへと変えるソリューションを開発しました。プライベートデータから生成された合成データとナレッジ・ディスティレーションを活用することで、コスト効率に優れ、正確かつコンプライアンスに準拠した AI システムを構築できるのです。

本記事では、Cloudera AI Studios の一部である Cloudera Synthetic Data Generation Studio が、実データが不足している場合や機密性の高い場合でも、組織が AI のイノベーションを活用できるようにする方法について解説します。

規制リスクなくイノベーションを実現する合成データ

ナレッジ・ディスティレーション手法を開発することで、Cloudera は処理時間を 95％削減し、出力構造の適合率を 99.5％に高めました。さらに、Phi-4 を評価者とした場合に 70％、人間による評価で 63％の精度で従来の Goliath 120B モデルを上回る Llama 3.1 8B モデルを導入しました。

この方法は、機密データを直接使用しないことでコンプライアンスリスクを排除し、スループットを11倍に向上させました。これにより、小型で微調整されたモデルが、速度と精度の両方で、大規模でリソースを多く消費する代替モデルを上回ることが示されました。

AMP をお試しいただき、カスタマーサポートのユースケースにおいて、大規模モデルから小規模モデルへ合成プライベートデータを用いて知識を抽出する方法をご確認ください。

図 1.カスタマーサポートのユースケースにおける、合成データとナレッジ・ディスティレーション手法が速度、適合率、コストに与える影響。AWS コストは、LLM を AWS クラウド上で稼働させた場合の仮定値 (2025年2月時点の価格に基づく)。

ユースケースと重要なポイント

ユースケース：社内のユースケースを基に、プライベートデータから生成された合成データを用いた知識蒸留によって、Cloudera のカスタマーサポートチケットパイプラインのパフォーマンスと全体的なスループットを大幅に向上させた方法を、データのプライバシーと規制コンプライアンスを維持しつつ紹介します。

主要なポイント：

• 競争優位としてのデータプライバシー：合成データにより、規制リスクを伴わずにイノベーションを実現。

• コスト効率の高いパフォーマンス：小規模で微調整されたモデルが、大規模でリソースを多く消費する代替手段を上回る性能を発揮。

• 複数のユースケースに適用可能：同じアプローチを、不正検知からパーソナライズされたカスタマーサービスまで幅広いユースケースに活用可能。

この記事は、2025/9/2に公開された「Navigating GxP Compliance in the Age of Precision Medicine and AI」の翻訳です。

多くの業界と同様に、ライフサイエンス業界もデータの爆発的な増加に直面しています。これらのデータは、ゲノム配列から実世界の患者インサイトに至るまで、イノベーションの原動力となり、創薬の加速や患者ケアの革新をもたらす可能性を秘めています。しかし、他業界がデータの増加を活用している一方で、ライフサイエンス業界では、患者の安全性、製品の有効性、規制上の監視といった懸念により、イノベーションと変革が妨げられています。

Good Practice (GxP) コンプライアンスは、研究開発から製造、流通に至るまで、製薬バリューチェーンの各段階で整合性と信頼性を確保するための枠組みを構築し、信頼と発展を支えることを目的としています。そして、GxP コンプライアンスにおいてデータは極めて重要な要素です。

GxP は「Good [Industry] Practice (優良[業界]規範)」の略で、「x」には特定の分野が入ります。GxP コンプライアンスとは、ライフサイエンスや製薬などの厳しく規制された業界において、規制当局によって定められた手順や基準を遵守することを指し、製品の品質や患者の安全を確保するためのものです。

GxP に準拠するには、すべてのデータポイントが追跡可能かつ監査可能でなければなりません。しかし、データは分散しており、さまざまなシステム、クラウド、データセンターに保存されています。さらに、そのデータの量と処理速度の大きさが、状況をいっそう複雑にしています。

このブログでは、GxP コンプライアンスの必要性、データや AI がもたらす複雑性、そして Cloudera がライフサイエンス業界の組織に対して、これらの要件に自信と柔軟性をもって対応できるよう支援している方法について紹介します。

GxP コンプライアンス：ライフサイエンスの基盤

GxP コンプライアンスの本質は、患者を守ることにあります。GMP (適正製造基準)、GCP (適正臨床試験実施基準)、GLP (適正試験所基準) は、医薬品、医療機器、バイオテクノロジー製品が常に最高水準で製造・試験・流通されるよう定められており、安全かつ効果的な治療の実現につながっています。

GxP において特に重要なのが、データの完全性です。ALCOA+（属性が明確、判読可能、同時性がある、原本である、正確である、完全である、一貫性がある、持続可能である、利用可能である）といった原則により、すべてのデータが信頼でき、検証可能であることが求められます。この完全性が損なわれれば、安全かつ有効な医療製品の基盤は崩れ、患者への被害につながる可能性があります。

GxP 準拠は複雑な課題

ライフサイエンス業界は信頼を基盤に運営されています。患者、医療提供者、規制当局は、製薬企業が最高基準を遵守していることを信頼しなければなりません。GxP の遵守は、品質と倫理的行動へのコミットメントを示し、この信頼を育みます。

GxP に違反すると、金銭的な罰則や製品リコール、法的措置、そして回復困難な企業イメージの損失といった重大な影響が生じます。実際、規制遵守にかかるコストは、製薬製造施設の年間運用コストのおよそ 25％ を占めています。GxP は重要なリスク軽減の枠組みとして機能し、負担と見なされがちなものを、業務の卓越性と長期的な持続可能性を支える強固なシステムへと変換します。

しかし、ライフサイエンス企業が GxP に準拠するには、さまざまな課題があります。

• データの爆発的増加：ライフサイエンス組織におけるデータの量、種類、速度の増加は、GxPコンプライアンスをこれまで以上に困難にしています。また、システム、ツール、プラットフォームの普及と分散は、データの監査可能性とトレーサビリティにさらなる複雑さをもたらしています。

• AI/ML ワークロードの複雑性の増加：バリューチェーン全体における人工知能 (AI) と機械学習 (ML) の成長は、さらなる複雑性をもたらします。課題には、モデルの説明可能性と透明性、バイアスの検出と緩和、厳格なトレーニングデータガバナンス、継続的な学習とモデルドリフトの管理が含まれます。

• 責任の分担とシステム統合：ほとんどのプラットフォームやツールは本質的に「GxP 認証」ではありません。最終的な検証は顧客の責任です。一部のワークロードをクラウドに移行している顧客にとっては、こうした分散型の環境が GxP 対象システムの境界定義を複雑にし、特にハイブリッド環境ではその傾向が顕著です。「GxP データが流れるのであれば、すべての下流システムを検証せよ」という原則が適用されることも少なくありません。既存のレガシー GxP バリデーション済みシステム (多くはサイロ化されている) と最新のデータプラットフォームを統合し、エンドツーエンドのデータの来歴を確保することは、大きなハードルとなっています。

• 運用面での厳格さ：技術面だけでなく、GxP に準拠するには、綿密な文書化、厳格な変更管理、継続的なモニタリング、高度に訓練された人材が求められます。継続的な検証と再検証には、多大な労力とコストがかかります。

コンプライアンスの強化：Cloudera が GxP 対応を簡素化する方法

Cloudera は、これらの課題に対応するために構築されたデータプラットフォームであり、AI や ML を含む多様なワークロード全体で GxP 準拠を達成・維持するための堅牢かつスケーラブルな基盤を提供します。Cloudera は、ライフサイエンス企業がより多くのデータを分析に活用できるようにする複数の機能を備えています。以下の機能が、GxP コンプライアンスを支援します。

セキュリティ、ガバナンス、データリネージの統合管理

Cloudera Shared Data Experience (SDX) は、ハイブリッドおよびマルチクラウド環境全体にわたって一貫したセキュリティ、ガバナンス、メタデータのレイヤーを提供します。Apache Ranger によるきめ細かなアクセス制御、Kerberos による強力な認証、Apache Atlas による完全なデータリネージを組み合わせることで、SDX は重要な管理項目を一元的に可視化し、ポリシーの一貫した適用、監査の効率化、保存時および転送時の暗号化 (TLS/SSL) を実現し、GxP 検証を簡素化します。

Cloudera Octopai Data Lineage

Cloudera Octopai Data Lineage は、Cloudera SDX のデータリネージ機能をさらに強化し、Cloudera プラットフォーム内外のシステムを含む企業全体にわたって、自動化されたエンドツーエンドのデータリネージを提供します。Cloudera Octopai Data Lineage は、ETL ツールやデータベース、BI レポート、機械学習モデルなど、さまざまな技術にまたがるデータフローを自動的に検出・マッピングし、データの流れをソースから活用まで把握可能にします。この包括的でクロスプラットフォームな可視性は、GxP コンプライアンスに不可欠な堅牢な監査証跡を提供し、影響分析や原因特定を可能にするとともに、ライフサイエンス分野における重要な洞察に用いるデータの信頼性を確保します。

エンドツーエンドの監査性と AI／ML 対応

Cloudera は、ユーザーアクセス、データの変更、ポリシーの変更に関する詳細な監査証跡を提供します。Cloudera AI は、GxP 準拠の AI／ML に不可欠な、モデル開発や実験の追跡機能を備えています。これには、実験のトラッキング、モデルの登録とバージョン管理、MLOps パイプラインの検証、バイアス検出の基盤提供などが含まれます。

結論：コンプライアンスを確保しながらイノベーションを加速する Cloudera

GxP コンプライアンスは、単なる規制上のハードルではなく、ライフサイエンス分野におけるイノベーションと信頼の要となる存在です。爆発的に増加するデータと急速に広がる AI／ML の活用に対応するには、堅牢で統合されたデータプラットフォームが不可欠です。

Cloudera は、包括的なセキュリティ、ガバナンス、監査機能を備え、多様なワークロードにわたって GxP コンプライアンスの達成と維持を可能にするスケーラブルな基盤を提供します。GxP 対応のプロセスを簡素化することで、Cloudera はライフサイエンス業界の組織にイノベーションの加速、命を救う治療法の迅速な市場投入、そして信頼の維持を支援します。

この記事は、2025/8/14に公開された「Cloudera Recognized Among the Nation’s Cybersecurity Leaders」の翻訳です。

Cloudera は、全米で数千社が審査対象となる中、83社に絞り込まれた一社として、最も信頼されるサイバーセキュリティプロバイダーの一社に認定されたことを誇りに思います。専門家による評価と公開レビューを通じて裏付けられた結果、Cloudera はアプリケーションとデータのセキュリティ、インフラストラクチャのセキュリティ、そして OT・IoT セキュリティという3つの重要な分野で最高評価を獲得しました。

この受賞は、政府、金融、医療、通信、教育といった分野における Cloudera のサイバーセキュリティリーダーシップを示すものです。顧客が機密性の高い市民データやミッションクリティカルな金融システムを管理している場合でも、Cloudera は最高水準の信頼性とコンプライアンスに対応するよう設計された、安全でスケーラブルなプラットフォームを提供します。

Cloudera が注目される点

Cloudera は、サイバーセキュリティの以下の3つの主要分野でサービス品質の栄誉を獲得しました。

• アプリケーション & データセキュリティ：強力な暗号化、アクセス制御、ガバナンス機能が評価されました。

• インフラストラクチャセキュリティ：ゼロトラストアーキテクチャと強靭なハイブリッドクラウド機能が評価されました。

• OT・IoT セキュリティ：接続システムとインテリジェントインフラストラクチャに対する企業向けセキュリティの提供が評価されました。
  
  

これらの機能は、セキュリティとガバナンスこそがデータプラットフォームのあるべき姿を支える基盤である、という Cloudera の長年の信念を反映しています。

「当社のプラットフォームは、お客様がデータからのインサイトを迅速かつ安全に活用できるよう支援します」と、Cloudera フィールド CTO の Carolyn Duby は述べています。「それは、データからインフラストラクチャ、接続システムに至るまで、あらゆるレイヤーにセキュリティを組み込むことから始まります。私たちは、ゼロトラストの原則をすべての段階で適用しながら、複数のプラットフォームにわたってデータを一元的に保護・ガバナンスすることを可能にしています。」

業種を超えたセキュリティ：ビジネスの必須要件

セキュリティは、あらゆる業界において信頼性、コンプライアンス、イノベーションを実現するための基盤となる要素です。Cloudera のセキュア・バイ・デザインのアーキテクチャは、研究データや医療記録から決済システムや接続インフラに至るまで、あらゆるものを保護します。

これらの幅広いニーズに対応するため、Cloudera はプラットフォームのあらゆるレイヤーにガバナンスと保護を組み込んでいます。このコンプライアンスへの取り組みは、最近達成した FedRAMP Moderate 認可 によって裏付けられており、当社は米国政府機関にとって信頼されるプロバイダーとなっています。また、PCI DSS 4.0 準拠により、金融機関が最高水準のデータセキュリティを維持しながら AI を活用できる新たな機会を開拓しています。

脅威の状況に対応して進化

サイバーセキュリティの脅威が高度化し、AI ドリブン型へと進化する中、組織には基本的な防御を超えた、脅威の状況とともに進化するインテリジェントで適応的なツールが必要です。だからこそ Cloudera は、プラットフォームを保護すると同時に、顧客が自らのサイバーセキュリティデータからインサイトを導き出せるよう支援しています。当社は、データの取り込みや脅威モデリングから、異常検知、AI を活用した対応に至るまで、データライフサイクル全体をサポートします。

「AI は検知と対応における戦略的資産です」と Duby は述べています。「Cloudera は、世界で最も重要な企業の一部が大量のサイバーデータを管理し、ローコードツール、AI コードアシスタント、ハイブリッドクラウドソリューションを活用して迅速に対応できるようにしています。」

このビジョンをさらに支えるため、Cloudera は Octopai を買収し、先進的なメタデータの可視性と自動化されたデータリネージをプラットフォームに組み込みました。これにより、顧客は機密データがどこに存在し、どのように流れ、どのように安全にガバナンスできるかを、複雑なハイブリッド環境全体で把握できるようになります。

セキュリティのために構築。イノベーションによって推進

この全米での認定は、顧客がすでに理解していることを裏付けています。Cloudera は、安全でデータドリブン型の大規模オペレーションを構築するための信頼できるパートナーです。公共部門のモダナイゼーションから金融コンプライアンスに至るまで、当社は組織が複雑な規制環境を乗り越え、データを戦略的な強みに変えることを支援します。

厳格に規制された業界で AI を拡張する場合でも、クラウドでミッションクリティカルなアプリケーションを構築する場合でも、Cloudera は安全かつインテリジェントで自信を持って前進するために必要なツールと信頼を提供します。

Cloudera は、ミッションクリティカルなデータを保護し、安全なイノベーションを推進します。当社のプラットフォームと公共部門向け機能の詳細はこちら

この記事は、2025/8/20に公開された「Data Catalog Implementation: A Step-by-Step Guide」の翻訳です。

あらゆるシステムや環境から発生する大量のデータ (データ肥大化) に対処するには、簡単にアクセスできる、整理されたデータカタログを持つことが重要です。データチームと所有者が滞りなく業務を進めるには、データがどこから発生し、どこに保存されているかを理解する必要があります。

データカタログのメリットには以下のようなものがあります。

• より優れた意思決定：データカタログを使用すると、高品質のデータにすばやく簡単にアクセスできます。正確でタイムリーなデータを入手することで、ビジネスユーザーは情報に基づいた意思決定を行い、全体的なビジネス戦略を改善できます。

• コラボレーションの改善：データカタログは、エンタープライズデータの中央リポジトリとして機能することで、さまざまなチーム間のコラボレーションを促進します。関係者全員が同じデータにアクセスし、データが表す内容を同じように理解できるため、誤解や食い違いが減ります。

• リスク管理とコンプライアンスの向上：データカタログは、データの保存方法や使用方法を明確に記録するため、企業が規制コンプライアンスを維持する上で役立ちます。これは、GDPR や HIPAA などの規制を遵守しなければならない業界で特に有益です。カタログは、データの系譜とともに、データの起源を示す真実の情報源として機能します。

明らかにメリットがあるにしても、データカタログの実装は困難で面倒な場合があります。弊社では、データ所有者との話し合いやアンケート調査に基づき、組織内でデータカタログを実装するためのステップバイステップ・ガイドを作成しました。

データカタログの実装に関するベストプラクティス：11ステップのガイド

データカタログを実装する際のベストプラクティスを、分かりやすいステップに分けてご紹介します

1. 明確な目的と範囲を定義する

実装プロセスに進む前に、データカタログの目的と範囲を明確に定義します。含めるデータの種類や対象となるオーディエンス、データカタログがサポートするビジネス目標を特定しましょう。目的と範囲を明確に定義することが実装プロセスを導き、カタログが本来の機能を効果的に果たせるようになります。

2．関係者を特定して関与させる

データカタログの実装を成功させるには、主要な関係者の関与が必要です。こういった関係者にはデータチームやビジネスチームのメンバーが含まれる場合があり、設計および実装プロセスに同メンバーを含めることで、データカタログがチームのニーズを満たし、ビジネス目標に沿ったものになります。

3. データガバナンスポリシーを確立する

堅牢なデータガバナンスポリシーを確立することは、データカタログを実装する上で重要な要素です。ポリシーでは、データ標準、アクセス制御、およびデータ品質の測定基準を定義する必要があり、データカタログの正確さや最新性、および安全性を確保します。

4. 既存のカタログメタデータ標準を使用する

データカタログ内の一貫性と相互運用性を確保するには、他のシステムやデータソースとの一貫性を促進するためにカタログメタデータ標準とデータモデルを定義する必要があります。これらの標準の例としては、統一されたヘッダーや必須記載事項が含まれます。

5. メタデータの取得を自動化する

Cloudera Octopai Data Lineageのような先進的なメタデータ管理ツールを活用し、さまざまなソースからのメタデータ取得プロセスを自動化しましょう。自動化されたメタデータキャプチャは、データカタログの効率、正確性、一貫性を向上させます。

6. 明確なマイルストーンを定義する

マイルストーンの定義は、データカタログを実装する上で極めて重要であり、プロセスは以下のとおりです。

• カタログ化するデータ資産を特定する：次のセクションで説明するガイドラインに基づいて、カタログ化するデータ資産の優先順位を付けます。

• メタデータの要件を定義する：各データ資産に必要な情報レベルと追加情報を決定します。少なめの情報量からスタートし、何が最適かを判断していく方が良い場合もあります。

• タイムラインを作成する：主要なマイルストーンを特定し、プロジェクトの開始日と終了日を設定します。

• プロジェクトのフェーズを定義する：プロジェクトを管理しやすいフェーズに分解します。

• 責任を割り当てる：必要な品質基準に従って時間通りに完了するようにタスクを割り当てます。全員がカタログに合わせて足並みを揃えるべきです。

• 品質管理対策を確立する：取得したメタデータが正確かつ完全であり、確立された標準に準拠していることを確認します。

• 進捗状況を監視する：プロジェクトの進捗状況を追跡し、計画どおりにマイルストーンを達成できるよう、必要に応じて計画を調整します。

7. データ資産の優先順位を付ける

データカタログを作成するときは、組織の業務において重要であり、業績に大きな影響を与える可能性のあるデータ資産を優先します。ビジネスに不可欠なデータ、価値の高いデータ、頻繁に使用されるデータ、見つけにくいデータ、新しいデータ資産などを検討してください。

8. データカタログにデータを投入する

データ所有者または専門家と協力して、管理するデータ資産に関するさまざまな属性を文書化します。この情報 (データソース、系統、品質、使用状況など) は、データカタログの作成に使用できます。

9. 検索および発見機能の使い方をユーザーに教える

貴社が投資したメタデータ管理ツールは、フィルター、タグ、所有者、その他の検索パラメータなどを使用できる検索機能および発見機能を提供し、ユーザーが必要なデータをすばやく見つけてアクセスできるようにする必要があります。ベンダーと協力して、ユーザーがツールを効果的に使用する方法をトレーニングできるようにしましょう。

10. 利用状況と導入状況を監視する

組織内でデータカタログがどのように使用・導入されているかを追跡します。これにより、組織のニーズを満たしているかどうか、また、ユーザーがその機能を効果的に活用しているかどうかを評価できます。

11. 継続的なメンテナンスとサポートを提供する

他のシステムと同様、データカタログにも継続的なメンテナンスとサポートが必要です。これには、関連性や有用性、最新性を維持するための定期的なアップデートと機能強化が含まれます。このプロセスには、発生する可能性のある問題の監視と修正も含まれているため、カタログの整合性と使いやすさが確保されます。

まとめと今後のステップ

データカタログの実装は複雑なプロセスになる可能性がありますが、慎重な計画、関係者の関与、品質と使いやすさへのフォーカスにより、組織に大きなメリットをもたらすことができます。

上記のベストプラクティスに従えば、データカタログを正常に実装し、組織のデータ管理とビジネス目標をサポートできます。データカタログは生きており、組織のデータ環境の変化に合わせて継続的に進化していくということを忘れないでください。すべてのユーザーにとって正確で、便利で、価値のあるものにするためには、献身的な努力と取り組みが必要です。

データの混乱を克服したい場合は、今すぐデモをリクエストして、Cloudera Octopai Data Lineage の利用を開始しましょう。メタデータの自動取得、エンドツーエンドの系譜、直感的なカタログ作成を瞬時に活用することで、チームは手動によるカタログ作成の手間なく、スムーズに連携し、賢明な意思決定を行い、コンプライアンスを維持できます。

この記事は、2025/8/11に公開された「Bringing Private AI To Your Data Center with Cloudera Data Services 1.5.5」の翻訳です。

かつては遠い将来のビジョンだった企業向け AI の時代は、いまやビジネスおよびテクノロジーのリーダーにとって、差し迫った戦略的課題となっています。最近の Google のレポート によると、大規模組織の 74％ が、生成 AI (GenAI) への投資からすでに大きな投資収益 (ROI) を得ていることが明らかになっています。

明確なニーズがあるにもかかわらず、その道のりはリスクに満ちています。最近の調査によれば、企業向け AI プロジェクトの実に 88％ が本番環境に到達できずに失敗しています。この高い失敗率は、企業が乗り越えなければならない複雑な障壁の存在によるものです。リーダーたちは、セキュリティの脆弱性、予測困難なコスト、根強いスキルギャップ、不確かな ROI といった「地雷原」を進まざるを得ず、多くの場合それが乗り越えられない壁となっています。

もし、こうした障壁を根本から覆すことで取り除けるとしたらどうでしょう。機密性が高く、独自性のあるデータを外部のモデルに移して、セキュリティの脆弱性や予測困難なコストに直面するのではなく、すでに投資済みのデータセンター内、つまりデータがすでに存在する安全な場所に 生成AI の力を持ち込める場合です。

今、それが可能になりました。Cloudera Data Services を活用することで、より強力かつセキュアなプラットフォームへのモダナイゼーションを実現し、チームに力を与え、データセンター内でプライベート AI の可能性を最大限に引き出すことができます。つまり、機密性の高い知的財産を外部にさらすことなく、自社のファイアウォールの内側で、AI を自社データに直接適用して安全にイノベーションを進められるということです。

Cloudera Data Services 1.5.5 のご紹介

Cloudera Data Services は、データエンジニアリング、データウェアハウジング、AI のためのコンテナ化アプリケーション群であり、自社のデータセンター内で安全に運用できます。今回の最新リリースは大きな前進を示すものであり、その基盤をさらに拡張して、企業内でプライベート AI の可能性を最大限に引き出します。

このリリースにより、Cloudera Data Services には次の機能が含まれるようになりました。

• プライベートエンタープライズ AI：機密性の高い知的財産を公開することなく、AI をデータに直接取り込むことで、ファイアウォールの内側で安全なイノベーションを実現する能力。
• 真のクラウドネイティブ体験：クラウドの俊敏性、弾力性、自動スケーリングと、自社オンプレミスデータセンターのセキュリティと制御を融合。
• 効率の劇的な向上：コンピュートとストレージを個別にスケーリングすることで、インフラストラクチャコストを削減し、リソース利用を最適化する最新のアーキテクチャ。
• 実務者が主体的に活用できる体験：チームが価値創出までの時間を加速するために必要な次世代ツールとセルフサービス体験へのアクセス。
• オープンなデータレイクハウス基盤：Apache Iceberg や Trino といったオープンスタンダードに基づき、ベンダーロックインを排除する、分析と AI のための統合プラットフォーム。さらに、Apache Ozone を基盤としたペタバイト規模のオブジェクトストアを提供。

ファイアウォールの内側で活用する企業向けプライベート AI

これまでハイブリッド環境で企業向け AI を実行するには、複雑でサポートのない DIY ソリューションを構築する必要がありました。一貫性のある統合プラットフォームがなければ、AI ライフサイクル全体に不可欠な機能はさまざまな場所に分断され、チームはそのギャップを手作業で埋めざるを得ませんでした。Cloudera Data Services 1.5.5 は、どこにあるデータにもアクセスできるツールを提供することで、この状況を根本から変革し、単一のハイブリッドプラットフォーム上でシームレスな AI ライフサイクルを実現します。これにより、プロセスの分断やセキュリティと制御の妥協を招くことなく、より迅速にイノベーションを推進できます。

このリリースの大きな特長の一つは、NVIDIA によって加速されるCloudera AI Inference service と、Cloudera AI Studios のオンプレミス対応が導入されたことです。これらのサービスは従来、クラウドでのみ利用可能でした。

• Cloudera AI Inference service は、安全でスケーラブルなエンジンを提供し、データセンター内であらゆる AI モデルを本番環境にデプロイおよび管理できます。これにより、AI をデータに直接適用し、最も価値のある資産や機密性の高い知的財産を自社のファイアウォール内に安全に保持できます。
• 慢性的なスキルギャップへの対応として、Cloudera AI Studios はローコードのテンプレートを提供し、既存のチームが生成 AI アプリケーションやエージェントを迅速に構築・デプロイできるようにします。これにより、希少で専門的な AI 人材への依存を大幅に減らすことができます。この統合されたデフォルトセキュアなプラットフォームにより、これまで数か月を要したプロトタイプから本番環境までの移行を数日に短縮し、これまでにないスピードで具体的なビジネス価値を提供できるようになります。

これらの機能により、組織は自社データセンターのセキュリティを確保したまま生成 AI アプリケーションを構築・実行でき、機密性の高い知的財産をファイアウォールの内側に安全に保持しつつ、AI 導入を加速できます。モノリシックなクラスターから俊敏なコンテナ化アプリケーション群への移行により、オンプレミスで真のクラウドネイティブ体験を実現し、セキュリティや制御を犠牲にすることなく、俊敏性と効率性を提供します。

実務者を支援し、価値創出を加速

プラットフォームの良し悪しは、それを使う人にかかっています。そのため、この Data Services のリリースは実務者に焦点を当て、ボトルネックを解消し、価値創出までの時間を短縮するよう設計されています。Forrester の調査によれば、この最新アーキテクチャを採用した顧客は、ワークロードのデプロイが 80％ 高速化し、データチームの生産性が 20％ 向上しています。これは、管理者への依存を減らす効率的なセルフサービス体験を提供し、データサイエンティストやエンジニアが管理業務ではなく成果に集中できるようにすることで実現されています。

この強化された体験は、日常のワークフローを簡素化する新機能によって実現されます。実務者は、セルフサービス Kerberos により安全に自身をオンボーディングできるようになり、新しい Hive Query History を使って問題をより迅速にデバッグでき、きめ細かな Spark ジョブアクセス制御リストを通じてより高い自律性を得られます。オンボーディングやセットアップのプロセスを簡素化することで、技術チームは管理業務に費やす時間を減らし、企業を前進させるビジネス価値の提供により多くの時間を充てられるようになります。

企業規模に対応したプラットフォーム

これらの高度な AI 機能や実務者向け機能は、世界で最も要求の厳しい企業向けに設計された基盤の上に構築されています。Data Services の主要なアーキテクチャ上の利点は、その分離されたコンポーネント構造とコンテナ化にあり、これによりコンピュートリソースとストレージリソースを独立して拡張できます。

この効率性は、大幅なコスト削減につながります。社内報告によると、ある大手グローバル銀行は、Cloudera Data Services によるモダナイゼーションによって年間 2,800 万ドルのインフラコスト削減と、コンピュート効率の 30％ 向上を実現しています。これは、あらゆるデータとアプリケーションに対するエンドツーエンドのセキュリティ、ミッションクリティカルな事業継続を支える信頼性、そしてデータやワークロードの増大に応じて一貫したパフォーマンスを発揮できるスケーラビリティという、企業基盤に徹底して注力したプラットフォームによって可能になっています。

モダナイゼーションへの第一歩をここから

Cloudera Data Services 1.5.5 は、データアーキテクチャを変革し、エンタープライズ AI の可能性を最大限に引き出すための明確で実証済みの道筋を提供します。このリリースは、データモダナイゼーションの取り組みを加速するために設計された強力なクラウドネイティブプラットフォームを提供し、重要な進展を示しています。お客様の最新化の旅に次の一歩を踏み出されることをお勧めします。

Data Services 1.5.5 の新機能を体験するデモのスケジュール、技術専門家による詳細セッションの予約、アップグレードや概念実証の計画開始などは、こちらからご連絡ください。

この記事は、2025/8/8に公開された「Cloudera Named a Leader and Fast Mover in 2025 GigaOm Radar for Streaming Data Platforms」の翻訳です。

Cloudera は、GigaOm Radar for Streaming Data Platforms レポートにおいて、2年連続で「リーダー」に選出されました。2025年版レポートでは、上位17のストリーミング・データ・プラットフォームが機能面・非機能面の多様な基準で評価されました。Cloudera は、ストリーミング・データ管理の基本要素すべてにおいてバランスの取れたソリューションを提供している点が評価されました。

GigaOm Radar for Streaming Data Platforms レポートにおける Cloudera の主要な差別化要因

GigaOm は、ストリーミングデータ市場における Cloudera の強みとして、以下の点を挙げています。

幅広いリアルタイム・アプリケーションを実現

Cloudera は、Apache NiFi、Apache Kafka、Apache Flink というデータ・ストリーミング分野における事実上の標準を統合することで、データプロダクトの作成、マルチクラウドでのデータ移動、AI/ML パイプラインなど、幅広いリアルタイムアプリケーションをサポートしています。

高度な分析によってすぐに得られる洞察の提供

リアルタイムで大量のデータを処理する能力は、Cloudera の顧客にとって極めて重要です。Cloudera はそれを、スケーラブルかつ容易に実現します。Cloudera SQL Stream Builder を使えば、ユーザーは SQL を用いてリアルタイムパイプラインを構築し、ストリーミングデータに対する高度な分析を実行できます。

生成AI (GenAI) アプリケーションの加速

Cloudera AI は、AI ユースケースに対応したネイティブ統合機能を備えており、AI モデルへのデータの取り込みや出力を迅速かつ容易に行うことができます。たとえば、Pinecone、Milvus、Qdrant などのベクターデータベースと、専用の NiFi プロセッサ経由で統合することで、データの迅速な処理および埋め込みが可能になります。Cloudera は、データの取り込みから本番環境での AI 活用まで、シームレスなデータフローを提供し、データサイエンスや AI における高度なユースケースを支援します。

リアルタイム分析や AI 主導のアプリケーションは、今日のビジネスユースケースにおいて不可欠なものとなっています。Cloudera のストリーミング・データ・プラットフォームは、生成 AI パイプラインやワークロードの構築、モデルのリアルタイムでの作成・更新、さらに SQL Stream Builder、マルチクラウドパイプライン、ベクターデータベースとの接続といった機能を活用した、高速かつスケーラブルなストリーミングデータ分析を実現するために必要なストリーミング機能を顧客に提供する体制が整っています。

Apache Iceberg によるコスト効率に優れたスケーラブルなデータストレージの実現

ほとんどのストリーミングデータは最終的に保存されます。規制やビジネス上の要件により、こうしたデータを数年間保持しなければならず、その総量は数ペタバイトに及ぶこともあります。Apache Iceberg は、ストリーミングデータに適した、低コストでスケーラブルなストレージソリューションを提供します。これは、ストリーム強化処理や長期的なデータアクセスに最適です。

データレイクハウスは、企業の最新アーキテクチャの中核を成しています。Cloudera は Apache Iceberg の主要な貢献者の一社であり、同社のデータレイクハウスもこれによって支えられています。このようなアーキテクチャに存在するあらゆるストリーミングソリューションは、データレイクハウスと効果的に統合され、低コストかつ効率的なストリーミングデータの保存および強化ソリューションを提供する必要があります。Cloudera は、NiFi、Flink、Kafka を Apache Iceberg と統合することで、この統合をネイティブに提供しています。

リアルタイムデータをオンプレミスまたはあらゆるクラウドで実行することによって実現される、真の柔軟性

Cloudera は、完全に統合されたオープンソース準拠の流れているデータスタックに対して、比類ないサポートを提供しています。当社は、多様なデータの取り込みを可能にする Apache NiFi、スケーラブルなイベントストリーミングを実現する Apache Kafka、そして強力なリアルタイム処理を担う Apache Flink にわたって、シームレスな体験を提供する唯一のベンダーです。この独自の組み合わせにより、企業はオンプレミス、マルチクラウド、エッジ環境をまたぐ堅牢なリアルタイムデータパイプラインを構築できます。

Cloudera では、リアルタイムでのデータの移動と処理こそがデータ駆動型組織の成功の鍵であると考えているため、流れているデータをプラットフォームにおける最重要要素として扱っています。私たちは、オープンソースの革新性とエンタープライズ対応のツールを融合させ、オープンソースコミュニティによる継続的なイノベーションと、企業規模のサポートやカスタマーサービスという両方の利点をお客様に提供します。これにより Cloudera は、信頼できるリアルタイムデータの移動と処理を実現します。

ストリーミング機能は通常、より大きなビジネスユースケースの一部を成しており、他の種類のテクノロジー (例：データレイクハウス、AI 推論、データエンジニアリングツール) との統合が求められます。Cloudera は、ストリーミング技術をより大きなエコシステムの一部として活用することの重要性を理解しており、顧客がさまざまな種類のビジネスアプリケーションやユースケースを迅速かつ容易に実装できる統合された体験を提供しています。

レポートを読む

ストリーミングデータプラットフォーム分野で優れたベンダーと、それぞれの比較について、GigaOm の分析をご覧ください。Cloudera の包括的で企業対応のストリーミングソリューションが、リーダー的かつ急成長企業として位置付けられている理由を、ご自身でご確認ください。

このレポートでは次の内容についても詳しく解説しています。

• 多様なベンダー環境：ニッチな専門企業から Cloudera のようなフルスタックのクラウドプロバイダーまで、幅広いベンダーについて学べます。

• リアルタイム処理：リアルタイム処理、分析、機械学習の統合に優れたベンダーについて理解できます。

• 戦略的適合性と統合性：ソリューションを比較する際に、プラットフォームの機能とインフラストラクチャ、スケーラビリティ、企業向けツールチェーンとの整合性を考慮することが重要である理由を確認できます。

この記事は、2025/7/21に公開された「Ready to Scale: Tackling the Top Challenges of Agentic AI Adoption」の翻訳です。

エージェント型 AI の概要と普及しつつある理由

エージェント型 AI はエンタープライズでの業務の自動化を担う次の一手です。従来のアシスタントやチャットボットとは異なる自律的なシステムであり、人間の指示なしにリアルタイムで複雑な意思決定を行い、推論し、計画し、行動することができます。サプライチェーンのルート変更、診断支援のサポート、財務リスクの警告など、エージェントはすでにビジネスの運営方法を変えています。

この移行は仮説ではなく、今まさに起こっていることです。Cloudera が約1,500人の IT リーダーを対象に実施した2025年グローバル調査では、96％の組織が AI 型エージェントの利用を来年拡大する予定であると回答しており、84％が競争力を維持するためにエージェントが不可欠であると考えています。以前は新興技術であったものが、今や戦略において必要なものになっているのです。

しかし、関心が高い一方で、エージェント型AIの規模拡大は簡単ではありません。53％がデータのプライバシーとコンプライアンスを最大の懸念事項として挙げており、他にも統合 (40％)、実装の複雑さ (39％)、ガバナンスのギャップ (30％) などが規模拡大を妨げています。こういった懸念事項により導入が阻まれることはありませんが、リーダーはパイロットから本番環境に移行する方法を考え直す必要があります。

障害

エージェント型 AI の規模拡大は単なる技術的な強化ではなく、信頼性に関するテストでもあります。できることが限られたパイロット版から実際のワークフローでの利用に移行するにつれ、データのプライバシーやシステムとの統合、倫理感に関する懸念がより明確になるからです。

最も優先すべきはデータのプライバシーです。エージェントが財務記録や患者のデータ、独自のインサイトなど、機密性の高いシステムにアクセスする場合、組織はエージェントがアクセスし、推論に利用できる内容を制限する必要があります。これができなかった場合のリスクは重大です。IBM のレポートによると、データの漏洩による平均損害額は445万ドルであり、この数字は今後も増加し続けると予想されています。一度の失敗がコンプライアンス違反や国民の信頼の失墜につながる可能性があります。

その次に懸念されているのが技術的な複雑さです。とりわけインフラストラクチャが数十年にわたって利用されている通信や金融などの分野においては、リーダーの40%がレガシーシステムとの統合を大きな課題として挙げています。また、さらに差し迫った課題として、企業は人材不足に直面しています。大企業の76%が AI スキルを持つ人材不足を報告しており、44%がその事実に足を引っ張られていると答えています。エージェント型 AI を活用するには、テクノロジーとビジネスの両方を理解しているハイブリッドチームが必要です。両者をつなぐ橋がなければ、資金の充実したプロジェクトでも停滞してしまうことがあるでしょう。

倫理的な側面にも課題があり、リーダーの51％が AI システムにおける偏見について懸念しています。Cloudera のレポートで引用されたイェール大学の研究では、多様性のないデータセットでトレーニングを受けた診断エージェントでは、過小評価された患者に対するパフォーマンスが低下し、遅延や誤診につながることが示されました。偏見はデータ収集、モデル設計、展開など、どの段階でも発生する可能性があり、強力な監視体制がなければ急速に拡大する可能性があります。

しかし、組織も対応を進めています。38%の組織が偏見監査と人間によるレビュープロセスを導入しており、さらに36%が偏見検出ツールを使用しています。しかし、偏見トレーニングはチェックボックスにチェックを入れるだけでは終わりません。長く続く信頼を得るには、継続性や透明性を確保することに加え、説明責任を果たすことが不可欠です。

革新を起こすための青写真

エージェント型 AI の活用に成功している企業の第一手は大規模な展開ではありません。長期的な価値を証明するために設計された、今後に備えた、目的意識の高いパイロットからスタートします。影響の大きい社内プロジェクトは、チームがワークフローを組織全体に拡大する前にテストし、コントロールを確立して、結果を実証する上で役立ちます。

Cloudera の最新の調査では、明確なトレンドが明らかになりました。ほとんどの組織が、社内の IT サポートや DevOps の自動化のような、リスクの低いユースケースから始めているのです。パスワードのリセットやチケットのルーティングなどのタスクは自動化しやすく、日常業務への支障を最小限に抑えながら目に見える ROI を実現します。実際、組織の78%がカスタマーサポートにエージェントを活用しており、71%がプロセスの自動化にエージェントを活用しています。このように早い段階で成功を収めることは、勢いや信頼性、運用態勢を確立する上で役立ちます。

こういったパイロットは単なる技術的なテストではなく、それを支えるチームに対するテストなのです。ローカライズされたプロジェクトからエンタープライズ規模の展開に移行には、リスク管理やガバナンスの強化、システム統合の深化など、新たな課題が生じます。こうしたニーズに応えるには、堅牢なプラットフォームはもちろん、導入をリードするスキル、連携体制、監督力を備えた人材が必要です。

テクノロジーだけで規模を拡張することはできず、どうしても人の手が必要です。迅速に結果を出すことは重要ですが、最も有望なパイロットプロジェクトでも、それらを維持し、拡張する上で適切な人材がいなければ停滞します。生成 AI への投資がエージェント型AIの強固な基盤を築いたと述べている企業は85%にも上りますが、34%は依然として専門知識の欠如を成長の阻害要因として挙げています。

だからこそ、パイロットモードを超えるにはスキルアップが重要なのです。たとえば、医療分野では AI が生成した診断の検証方法を学んでいる放射線科医がいる一方で、管理チームはスケジュールや記録を管理するエージェントとの連携に適応し始めています。このような人間と AI のパートナーシップは、信頼とコンプライアンスを維持するためだけでなく、実際の効果をもたらし、長く持続させる上でも不可欠なのです。

規模を拡大するなら今

エージェント型 AI はもはや遠い未来の話ではなく、すでに現実にあります。業界全体にわたり、エージェントはパイロットから本番環境へと移行しています。医療分野では診断の合理化、通信分野では解約の予測、金融分野ではコンプライアンスの向上などがその例です。これらは実験的に使用されているのではなく、すでに目に見える効果をもたらす運用システムとなっているのです。

業界をリードする企業は、すでに基礎を構築しており、インフラストラクチャを最新化し、チームをトレーニングし、AI ライフサイクル全体にガバナンスを組み込んでいます。待つ者は取り残され、競合他社に遅れをとるだけでなく、顧客や規制当局の期待値を高めるリスクがあります。

信頼できるエージェント型 AI を共に構築しましょう。今すぐ Cloudera にお問い合わせいただき、確信を持って成長規模を拡大する方法をご相談いただくか、無料トライアルを開始してください。

この記事は、2025/7/30に公開された「Ensure Transparency and Build Trust with Data Lineage Automation—Here’s How」の翻訳です。

今日のデータ中心の世界では、データは組織にとって最も価値のある資産です。しかし、多くの人々は複雑で進化する環境の中で、信頼性があり信頼できるデータを維持するのに苦労しています。この課題は、データ戦略と運用を担当する経営幹部にとって特に重要です。

自動化されたデータリネージが、これらの課題をどのように機会へと変えられるのか。その一例として、ここでは「HealthCo」と呼ぶヘルスサービス企業の事例をご紹介します。

データ戦略

多くの先進的な組織と同様に、HealthCo の経営陣は早い段階で「データは単なる貴重な資産ではなく、戦略上不可欠なもの」であると認識しました。データを事業の最前線に据え、意思決定プロセス、製品、サービスに統合しました。そうすることで、イノベーションの推進、業務の最適化、そして患者ケアの向上を目指したのです。

彼らはデータインフラストラクチャに多額の投資を行い、有能なデータサイエンティストとアナリストのチームを雇用しました。目標は、患者のニーズを予測するための予測分析モデル、患者ケアを最適化するツール、運用効率を向上させるダッシュボードなどの高度なデータ製品を開発することでした。これらのデータ製品は、患者の治療成果を向上させ、病院の運営を効率化し、意思決定のための実用的な洞察を提供することを目的としていました。

この戦略的な選択により、同社はデータチーム、インフラ、マネジメント、データサイエンスへのさらなる投資を正当化しました。HealthCo のチームは、データプロダクトからより多くの価値を引き出すほど、データ能力への投資と強化が進むというフライホイール効果を描いていました。

課題：サイロ化と不整合なデータ

しかし、この戦略的ビジョンにもかかわらず、HealthCo は事業を拡大するにつれて重大な課題に直面しました。データエコシステムの複雑さが大きな障障壁となったのです。同社のデータチームは、SQL Server、Oracle データベース、Informatica を含む多様なソースを管理していました。さらに、Power BI、Tableau、MicroStrategy、Qlik といった複数の BI ツールも使用していました。こうした複雑なプラットフォームの網は、統合と管理における大きなハードルを生み出しました。

HealthCo のハイブリッド型データ環境は、柔軟性や先進的なツールへのアクセスを可能にする一方で、重大な統合上の課題ももたらしました。各システムが独自のプロトコルや処理方法を持っていたため、統一されたビューを作成することが難しかったのです。例えば、Oracle データベースの患者ケアデータを Power BI の業務指標と整合させることは、明確なデータリネージがなければ困難でした。各部門がそれぞれ独立してデータを管理していたため、サイロ化と不整合が発生しました。この断片化により、患者治療データと財務記録が一致せず、意思決定を損なう矛盾したインサイトを引き起こす可能性がありました。

データの不整合が増えるにつれて、その正確性に対する懐疑も強まりました。意思決定者たちは、誤りによる影響を恐れ、データドリブン型のインサイトに頼ることをためらいました。患者の再入院を予測する機械学習モデルといった新しいデータプロダクトの導入も、不正確さや患者ケアへの悪影響が懸念され、遅れが生じました。医療規制への準拠を確保することは困難を極めました。データリネージを正確に追跡できないため、監査時にコンプライアンスを証明することが難しかったのです。この状況は法的リスクをもたらし、組織の評判を脅かしました。

データへの信頼の欠如が惰性を生み出しました。影響力の大きいデータドリブン型の取り組みの可能性にもかかわらず、HealthCo はデータの不正確さのリスクが高いことを懸念し、データ製品を医療提供者や患者に直接導入することを躊躇していました。この躊躇は、データ投資を最大限に活用し、患者ケアを改善する能力を妨げました。

ソリューション：自動データリネージ

自動化されたデータリネージはこれらの課題を解決し、すべてのシステムにわたるデータフローの包括的なエンドツーエンドの可視性を提供しました。HealthCo にとって、これは、関係者がデータがソースからさまざまな変換を経て最終的な目的地までどのように移動するかを確認できることを意味しました。この可視性は、データ品質の問題を迅速に特定して修正し、一貫性と信頼性のある洞察を確保するために不可欠でした。HealthCo は、データリネージをマッピングすることでデータサイロを解体し、データ管理への統一されたアプローチを実現しました。これにより、組織全体の統合と一貫性が向上しました。たとえば、業務効率の指標を患者の転帰と直接関連付けることができるようになり、これまで達成できなかった包括的な視点を提供できるようになりました。

正確なデータリネージは、意思決定者の間で信頼を回復しました。HealthCo の経営陣は、データの流れが十分に記録され、信頼できることを確認できたため、自信を持ってデータドリブン型のインサイトを活用できるようになりました。これにより、不正確さを恐れることなく新しいデータプロダクトを導入でき、イノベーションと業務改善を推進することが可能になりました。

自動化されたデータリネージにより、データプロセスの追跡や医療規制への準拠を示すことも容易になりました。監査の際、HealthCo はデータがどのように取り扱われ、処理されたかを明確に示すことができ、コンプライアンス違反による罰則のリスクを低減しました。これにより、組織は法的に保護されると同時に、高水準のデータガバナンスへの取り組みを強化することができました。

自動化された多次元データリネージを採用することで、HealthCo はハイブリッドシステム全体で一貫性と信頼性のあるデータ環境を維持しました。データリネージの問題を解決することは、データの完全性と信頼性を確保することで、同社のデータプロダクトを直接的に支援しました。予測分析モデルは、信頼できるデータフローに基づくことでより正確になりました。患者ケアの最適化ツールは、複数のソースから一貫性のある統合データを取得できるようになり、より効果的な治療計画につながりました。業務効率ダッシュボードも、病院運営に関するリアルタイムで正確なインサイトを提供できるようになり、より良い意思決定を可能にしました。

Cloudera Octopai Data Lineage で、データを最も信頼できる資産に

ここで活躍するのが Cloudera Octopai Data Lineage です。Cloudera のメタデータ管理ソリューションは、自動化された多次元マッピングを提供し、複雑なハイブリッドデータ環境にシームレスに統合することで、データリネージ管理のプロセスを簡素化します。Cloudera Octopai Data Lineage は、dbt、Informatica、Talend、SSIS、あるいはカスタム SQL スクリプトといった専用ツールによって実行される変換プロセスを詳細に可視化し、これらの外部変換ワークフローを自動的にマッピング・分析して、理解可能で、追跡可能で、管理可能なものにします。

Cloudera Octopai Data Lineage ワークスペースは、オンプレミスからマルチクラウド環境まで、データ資産全体にわたってデータを発見し、理解し、管理し、信頼するための一元管理を可能にします。これは、データ実践者、ビジネスユーザー、データスチュワードが自信を持ってデータを分析やAIに活用できるように設計されており、組織がデータの正確性を維持し、信頼を再構築し、イノベーションを推進できるようにします。このソリューションは、企業がデータ戦略と運用の現実とのギャップを埋め、データを信頼性の高い戦略的資産に変えて成功を促進します。

データ戦略と運用を担う経営層にとって、複雑なデータエコシステムを扱いながらデータの信頼性とコンプライアンスを確保することは、極めて大きな課題です。自動化されたデータリネージは、これらの課題に対応するために不可欠であり、Cloudera のソリューションはそれを現実的かつ管理可能なものにします。自動化されたデータリネージを活用することで、組織はデータの可能性を最大限に引き出し、成功を推進する強力な資産へと変えることができます。

Cloudera Octopai Data Lineage がいかにして完全なデータトレーサビリティを実現し、企業データへの信頼を構築するかを直接ご確認いただくには、デモをご予約ください。

この記事は、2025/7/25に公開された「Self-Service vs. Centralized Data Management: How to Leverage Data Lineage to Empower and Control」の翻訳です。

ビッグデータ時代において、組織は膨大なデータを効果的に管理・活用するという課題に直面しています。そこで登場したのが、セルフサービス型データ管理と集中型データ管理という2つの代表的なアプローチです。それぞれのアプローチには独自の利点とトレードオフがあり、これらの枠組みの中でデータリネージをどのように活用するかを理解することによって、組織は自社のデータ資産に対して強力な権限を持ち、重要な制御を実現できます。

セルフサービスデータ管理とは？

セルフサービス型データ管理は、ビジネスユーザーが自らデータへ直接アクセスし、制御できるようにするものです。これにより、IT 部門やデータ専門家に過度に依存することなく、データの探索、操作、分析を行うことが可能になります。このアプローチは機敏性を高め、ビジネスユーザーがより迅速にデータドリブン型の意思決定を行えるよう支援します。一方で、データの不整合、ガバナンスの欠如、セキュリティ上の脆弱性といったリスクも伴います。

集中型データ管理とは？

集中型のデータ管理は、より体系的かつガバナンスの効いたアプローチを重視しています。データは専門のデータチームによって管理・制御されるため、データの品質、セキュリティ、コンプライアンスが確保されます。このアプローチにより、より高い管理性が得られ、データの不整合のリスクも軽減されます。ただし、ビジネスユーザーがデータへのアクセスや分析を中央チームに依存する必要があるため、ボトルネックが発生し、俊敏性が損なわれる可能性もあります。

データリネージが実現するセルフサービス型と集中型データ管理の最適な融合

組織はデータリネージを活用することで、セルフサービス型と集中型データ管理の利点を両立させることができます。データリネージとは、データのソース、変換、移動を自動的に追跡する仕組みであり、データが組織内を起点から利用に至るまでどのように流れているかを包括的に把握できます。これにより、データの経路や依存関係を追跡でき、利用者はデータの文脈、品質、信頼性を理解できるようになります。

Cloudera Octopai Data Lineage で俊敏性と制御のバランスを実現

Cloudera Octopai Data Lineage は、セルフサービスおよび集中型データ管理の両方のシナリオで組織を支援できます。これは、組織がデータ資産を可視化し、管理するのに役立つ、堅牢で自動化されたデータリネージソリューションです。

Cloudera Octopai Data Lineage を活用することで、組織はビジネスユーザーに権限を与えつつ、データ資産に対する制御とガバナンスを維持できます。Cloudera Octopai Data Lineage の直感的なインターフェースと自動化機能により、技術者・非技術者を問わず利用でき、組織全体でのコラボレーションを促進し、データドリブン型の意思決定を推進します。ビジネスユーザーは技術的な専門知識の有無にかかわらずデータリネージを探索・理解でき、正確で信頼できるデータを扱っていることを確認できます。

• セルフサービス型データ管理の文脈において、Cloudera Octopai Data Lineage の機能は、ビジネスユーザーが複雑なデータエコシステムを自在に扱えるよう支援します。ユーザーはデータソースを容易に特定し、データ変換を理解し、自らの変更が及ぼす影響を評価できます。この可視性により、不正確または古い情報に基づいた意思決定のリスクが低減され、ビジネスユーザーはより適切な判断を下し、より良い成果を導くことが可能になります。

• 集中型データ管理の枠組みにおいて、Cloudera Octopai Data Lineage はデータ担当者がデータガバナンスポリシーを効果的に策定・実施できるようにします。包括的なデータリネージのビューを提供することで、データチームはデータの利用状況、アクセス権限、規制要件への準拠状況を把握できます。このインサイトにより、データガバナンスの実践が強化され、データ品質が向上し、組織全体でのコンプライアンスが確保されます。

結論として、Cloudera Octopai Data Lineage は、セルフサービス型と集中型の両方のデータ管理シナリオに対応する強力なソリューションを提供します。ビジネスユーザーがデータを探索・分析できるようにする場合でも、データ担当者がガバナンスポリシーを実施できるようにする場合でも、Cloudera Octopai Data Lineage の機能は、組織がデータ資産の可能性を管理された形で最大限に引き出せるよう支援します。

Cloudera Octopai Data Lineage がどのように完全なデータトレーサビリティを実現し、企業データへの信頼を築くのかにご興味がある方は、デモを予約してください。データフローを変革し、効率性、コンプライアンス、制御を強化する方法をご覧いただけます。

この記事は、2025/6/13に公開された「Streamlining Critical Business Capabilities in Financial Services with Cloudera」の翻訳です。

私たちは金融サービスにおいて前例のない変革の時代に生きています。生成AI (GenAI)、クラウドコンピューティング、進化する規制環境、デジタル資産や決済モデルといった金融商品のイノベーションなど、強力なテクノロジーとビジネスの変化が市場に影響を与えています。これに対応して、金融サービス企業は業務のデジタル化を加速させ、あらゆるチャネルで一貫したデータドリブン型のデジタルファースト顧客体験を提供しようとしています。

しかし、企業が技術革新を活用し、これらの投資から最大の価値を引き出そうとする中で、次のような課題に直面しています。

• AI/ML トレーニングやデータエンジニアリングといった計算負荷の高いタスクに伴う高額なクラウドコスト

• データやテクノロジーのサイロ化による不完全なインサイトで、意思決定に悪影響を及ぼすこと

• システム間でのデータ重複に起因するリアルタイム応答の欠如と、それに伴うデータパイプラインのレイテンシ増大

• 既存のデータおよび分析ツールに包括的かつきめ細やかなセキュリティとガバナンスモデルが欠如していること

金融サービス企業が Cloudera と提携する理由

データ、分析、AI のための唯一の真のハイブリッドプラットフォームとして、Cloudera は金融サービス企業がこれらの課題を克服し、デジタル変換の取り組みを成功裏に進め、モダンデータアーキテクチャを採用できるよう独自の立場で支援します。

当社の主な強みには次のようなものが含まれます。

• データライフサイクル全体にわたるソリューション構築を可能にするマルチファンクション分析機能。リアルタイムおよびバッチデータの移動、AI/ML、生成AI モデルのコンテキスト化とデプロイ、データエンジニアリング、計算負荷の高いワークロード向けデータウェアハウジングを含む

• ベンダーに依存しないデプロイメントモデル。クラウドとオンプレミス環境を、ベンダーや地域を問わずサポート

• 統合されたセキュリティとガバナンス。最も厳格で複雑なセキュリティ要件に対応するため、データサービスおよびデプロイメントモデル全体にわたり一貫したきめ細やかなアクセスモデルを提供

• オープンテーブル形式 (Apache Iceberg) および Iceberg REST Catalog を通じた、企業全体の幅広いデータ・分析環境との統合機能

さらに、さまざまな地域で450を超える金融サービス機関との連携を通じて、Cloudera が卓越したビジネス価値を提供する重要なビジネス機能をいくつか特定しました。その中から例をご紹介いたします。

法規制の順守

より多くの金融データはリスクに関するよりきめ細かなインサイトをもたらす一方で、データ量の増加を管理することは規制遵守の維持を難しくする要因にもなります。これは特に、従来型アーキテクチャで頻繁に見られる複数のデータサイロに苦しむ銀行にとって顕著です。柔軟性に欠けるアーキテクチャは、金融機関の運用レジリエンスを強化し、この業界を狙ったサイバー攻撃に対抗するために設計された DORA など、新たなあるいは進化する規制要件に対応することを極めて困難にします。

Cloudera は、ハイブリッド型のモダンデータアーキテクチャの基盤として機能し、組織がオンプレミスの分析基盤をクラウドに拡張し、規制報告など月末・四半期末のタスクに一時的なコンピュートリソースを活用できるようにします。さらに、Apache Iceberg のタイムトラベル機能を通じて、履歴データの監査や市場シナリオのモデリングといった複雑なデータ管理タスクを効率化することも可能です。

金融リスク管理

金融リスク管理 (市場リスク、信用リスク、流動性リスクの評価を問わず) は、銀行業務の中心にあります。その結果、銀行は既存のリスク管理ストラテジーを継続的に進化させ、ストレステストのようなリスク関連の分析プロセスを完了するまでの時間を短縮する必要があります。

Cloudera AI は、データサイエンスモデルのトレーニングからデプロイメントまでのライフサイクルを効率化し、リスク管理のための革新的な AI/ML モデルを提供します。さらに、Apache Iceberg は、スキーマやパーティションの進化といった基盤的なデータ管理タスクを最適化することで、新しいリスク属性を既存モデルに統合するプロセスを簡素化します。

不正防止

サイバー犯罪者が特に AI をはじめとする新しいテクノロジーを悪用することで、サイバー攻撃や不正行為の手口はますます巧妙化しています。これらの脅威に対抗するため、銀行も新しいテクノロジーを活用する必要がありますが、従来の柔軟性に欠けるアーキテクチャでは、新しいソリューションを迅速かつシームレスに導入することが困難です。

Cloudera は、Cloudera Data Flow と Cloudera Streaming を活用したリアルタイムデータ処理機能を提供し、多面的なサイバー脅威に対応して迅速な検知と対応を可能にします。さらに、NIM マイクロサービスを通じて NVIDIA GPU を最適化することで、大量かつリアルタイムの不正行為を防止する包括的な AI デプロイメントサービスを提供します。Cloudera を活用して企業全体のデータでモデルをトレーニングすることで、金融サービス企業はより正確なモデルを構築でき、誤検知を減らすことで顧客への負担を軽減しつつ資産を安全に保護することが可能になります。

次のステップ：金融サービスにおけるイノベーション

Cloudera が金融サービスにおけるイノベーションをどのように加速しているかについて詳しく知りたい方は、ホワイトペーパーをご覧ください。さまざまな金融サービス分野や地域における顧客成功事例が紹介されています。または、5日間の無料トライアルを通じて、Cloudera が貴社にもたらすメリットをご自身で体験してください。

この記事は、2025/7/16に公開された「Cloudera Data Visualization Now Available On-Premises, Unifying Your Analytics Experience」の翻訳です。

データビジュアライゼーションは、現代のビジネスインテリジェンス (BI) における基盤となっています。しかし、ハイブリッド環境やマルチクラウド環境で運用する組織にとっては、分析基盤全体で一貫性、セキュリティ、コスト効率を維持することが大きな課題となってきました。このたび、Cloudera Data Visualization が Cloudera のオンプレミス環境でも利用可能になったことを発表します。これにより、データの配置場所を問わず、真に統一された分析体験を提供できるようになります。

オンプレミスとクラウドの分析ギャップを解消

厳格なデータガバナンス要件を持つ企業にとって、異なるデプロイメントモデル間で一貫した可視化機能を維持することは容易ではありませんでした。多くの組織が、オンプレミスとクラウドの間を行き来する中で、ダッシュボードの重複管理、レポートプロセスの不整合、セキュリティモデルの分断といった課題に直面しています。

Cloudera Data Visualization のオンプレミス対応により、これらの課題を解消できます。全体のデータ環境にまたがってシームレスに機能する、直感的で統一された操作体験を提供します。このデプロイメントオプションは、オンプレミスおよびクラウドにおける Cloudera Data Warehouse や Cloudera AI に既に備わっている可視化機能を補完するものであり、インフラの選択にツールを合わせるのではなく、ユーザーのインフラストラクチャに適応する真の統合プラットフォームを実現します。

ビジネス成果に直結するメリット

Cloudera Data Visualization のデプロイメントオプションが拡充されたことで、企業にとって非常に魅力的な利点がもたらされます。

直感的で統合された体験による迅速な価値提供

Cloudera Data Visualization がもたらす特に大きな利点の一つは、データから価値を引き出し始めるまでのスピードです。オンプレミスでもクラウドでも、すべてのユーザーが共通の統一インターフェースを使用できるため、導入はより迅速かつシンプルになります。ビジネスアナリストもデータサイエンティストも、直感的に使えるユーザー体験により学習コストを最小限に抑えられ、チームは短時間で効果的なダッシュボードやレポートを作成・共有できるようになります。

この統一された BI 体験は、インサイトを得るまでの時間を短縮するだけでなく、複数の BI ツールの管理や異なるプラットフォームごとのユーザー教育にかかる運用上の負荷も軽減します。ネイティブの AI ツールと自動化機能 によってさらにプロセスが効率化され、ユーザーは高度な技術的スキルがなくてもインサイトを引き出し、行動に移すことが可能になります。その結果、誰もがデータにアクセスできる、変化に柔軟に対応できるデータドリブンな組織が実現します。

コスト最適化と統合

多くの企業では、競合する BI ツールと比較して、ユーザー単位のライセンス料金を廃止することで 50％ 以上のコスト削減を実現しています。クラウドでは使用したコンピュート分のみを支払い、オンプレミスではプラットフォーム利用料のみで済むため、ベンダーの統合とあわせて分析関連コストを大幅に削減できます。

セキュリティとガバナンスの強化

「シングルセキュリティ」統合により、Cloudera Data Visualization はデータと分析基盤全体にわたって一貫したガバナンスとセキュリティを維持します。このアプローチは、厳格な規制要件を持つ組織にとって特に有用であり、ダッシュボード、レポート、分析に使用されるデータを完全に制御することが可能になります。

柔軟かつ可搬性に優れたアナリティクスで将来にも対応

「一度作成すればどこでも展開可能」というモデルにより、BI 分析ユーザーにこれまでにない柔軟性がもたらされます。チームは 1 つの環境でビジュアライゼーションやダッシュボード、レポートを作成し、それらをインフラストラクチャ全体にシームレスに展開できます。これにより、変化するビジネス要件や規制要件にも対応できる柔軟性が企業にもたらされます。組織ががコストやセキュリティの観点からデータ、分析、AI の導入モデルを進化させ続ける中でも、BI／分析ユーザーは、極めて安定した一貫性のあるビジュアライゼーション体験を享受できます。

実世界での成果：大手グローバル銀行の成功事例

ある大手グローバル銀行は、Cloudera Data Visualization をエンタープライズ向けセキュリティ分析プラットフォームとして導入し、システムログ、ネットワークトラフィック、エンドポイントデータ、脅威インテリジェンスをグローバル全体で統合しました。約 2,100 人の定期ユーザーが 4,500 以上のライブダッシュボードと 200 を超えるビジュアルを利用しており、従来のエンタープライズ BI ツールと比較して 55％の直接コスト削減を実現しました。さらに、500 万ドルの運用コスト削減を達成し、以前より厳格なセキュリティ管理も維持しています。

今すぐ分析体験を変革しましょう

クラウドの革新性とオンプレミス要件のバランスを取り続ける中で、Cloudera Data Visualization は、データ主導のイノベーションを加速させるために必要な、一貫性、安全性、優れた費用対効果を兼ね備えたソリューションを提供します。

ハイブリッドなデータ環境全体で、統一されたビジュアライゼーション体験を始めてみませんか？Cloudera Data Visualization のオンプレミス導入が、分析体験をどう変革できるのか、ぜひ Cloudera 担当者までお問い合わせください。

ClouderaNOW ウェビナーをご視聴いただくと、Cloudera Data Visualization を実際にご覧いただけます。

この記事は、2025/7/14に公開された「The Iceberg Wave: How an Open Format Became an Enterprise Standard」の翻訳です。

Cloudera のイノベーションが Iceberg の採用を加速

Apache Iceberg は現在、大規模な構造化データ、半構造化データ、進化するデータを管理するための事実上のオープンスタンダードです。これはもともと、2017年に Netflix で、Apache Hive と Spark 上で信頼性の高いペタバイト(PB) 規模の分析を提供するという課題に対処するために開発され、その後、複数のワークロードを同時に実行するのに適した堅牢なオープンテーブル形式に成長しました。

Iceberg はデータを統合し、SQL のような操作で簡単にアクセスできるようにします。SQL 機能の充実やデータ操作の簡素化により進化を続ける Iceberg は、データエンジニアだけでなく、迅速かつ信頼性の高いデータアクセスを求めるデータサイエンティスト、アナリスト、アプリケーション開発者といった幅広い技術層のユーザーに支持されています。

Iceberg を活用することで、組織はコンピュートとストレージを真に分離でき、比類のない柔軟性を実現できます。多機能なアナリティクス、AI 対応、ベンダーロックインの回避を求めているのであれば、他のテーブル形式では Iceberg に太刀打ちできません。

活気ある成長中のコミュニティ

10 年足らずのうちに、Iceberg は新興技術からエンタープライズ標準へと進化しました。Iceberg の勢いの背景には、そのアーキテクチャの強みと、活気に満ちたオープンなコミュニティの存在があります。

重要なのは、Iceberg のコミュニティは単一のベンダーではなく、ユーザー自身が主導しているという点です。このユーザー主導のガバナンスモデルにより、プロジェクトは現実世界の幅広いニーズに応じて進化しており、それが Iceberg が大きな支持を得ている主な理由の一つとなっています。

Iceberg Summit の注目ポイント

Iceberg が主流として採用されていることは、2025 年にサンフランシスコで開催された Iceberg Summit でも明らかでした。このイベントには、スタートアップ企業、Fortune 500 企業、主要なクラウドプロバイダー 3 社 (AWS、Microsoft、Google) が集結し、世界中から対面およびバーチャルで多くの参加者が集まりました。参加者は皆、学び、貢献し、このエコシステムを成長させようという熱意にあふれていました。

サミットで特に多く語られたテーマの一つが、相互運用性と Iceberg の存在感の高まり (自動化を含むエコシステムや機能の拡充) でした。

相互運用性

Netflix 社、Apple 社、Bloomberg 社をはじめとする多くの企業が、Iceberg を活用することで、あらゆるワークロードの基盤となる「唯一の信頼できるデータソース」を構築し、システム間の不要なデータコピーや移動を大幅に削減できていると語っています。これらの企業は、Iceberg の信頼性の高いデータレイヤーを活用して、セグメンテーション、パーソナライゼーション、離脱／再発予測、レコメンデーション、顧客体験の最適化など、さまざまなワークロードを実現していると語っています。

急成長するエコシステム

もう一つの注目点は、Iceberg エコシステムにおける Comet、Polaris、Lance などの新たなオープンソースツールの登場であり、これらはパフォーマンスの向上やマルチモーダル分析・AI のサポートを目的として設計されています。

Iceberg V3 と V4 における今後のアップデート

Iceberg V3 および V4 に搭載予定の新機能には大きな注目が集まりました。V3 では、データガバナンス、パフォーマンス最適化、Variant や Geospatial といったより複雑なデータ型のサポートが大幅に強化される予定です。Variant はカラムナー形式の原則を活用することで、半構造化データに対して、広範な変換を必要とせずにフィルタリングや集計といった高度なクエリ処理を可能にします。Geospatial のサポートにより、組織は位置情報に基づくデータを管理できるようになり、新たなユースケースの創出が期待されます。また、V4 で提案されている新しい適応型メタデータレイアウトは、小さなファイルにおけるパフォーマンスの向上を実現する見込みです。

自動データ管理

もう一つの注目トピックは、パーティショニング、ソート、圧縮といった定型的なメンテナンス作業を、自動化ポリシーに基づく DevOps スタイルのインターフェースで自動化し、手作業の負担を軽減することでした。組織が Iceberg テーブルにより多くのデータを取り込むにつれて、これらのメンテナンス作業のために専門家を雇う必要が生じ、大きなボトルネックとなっています。

ますます多くのエンジンが Iceberg テーブル内のデータにアクセスするようになる中で、ガバナンス、セキュリティ、リネージの重要性が高まっています。データの流れや変換プロセスを可視化することは、データを信頼するうえで不可欠です。これにより、Iceberg テーブル全体での可視性を高めるために、カタログのフェデレーションやガバナンスの必要性について議論が交わされました。

Cloudera における Iceberg の採用状況

Cloudera は、2021 年に Apache Iceberg をネイティブ統合した パブリッククラウドの Lakehouse プラットフォーム を発表し、続いて 2022 年には オンプレミス対応 を実現しました。現在では、Cloudera の顧客の大半が Iceberg 上で新しいワークロードを運用またはテストしており、全体として PB (ペタバイト) 規模のデータが Iceberg 上で管理されています。

Iceberg は Cloudera にとって成長の原動力です。データプラットフォームのモダナイゼーションと将来性確保のために、Hive のワークロードを Iceberg に移行する顧客が急増しています。- Cloudera プロダクトマネジメント担当 SVP、Venkat Rajaji

企業が Iceberg の導入を開始すると、その利点は次第に大きくなり、Iceberg テーブル上のデータ量の増加、ワークロードの拡大、新たなユースケースの創出へとつながっていきます。パフォーマンスの高速化が最初の動機となることが多く、その後に相互運用性やワークロードの柔軟性によるアジリティが評価されます。Iceberg への移行により、ストレージ、ETL、運用コストを最大 75％ 削減できます。タイムトラベル、スナップショット、Write-Audit-Publish、非表示パーティショニングといった機能も効率性をさらに高め、新しいユースケースの展開に最適な選択肢となります。

Cloudera における Iceberg の代表的なユースケースには、以下のようなものがあります。

• 信頼できる当事者間でのデータ共有：組織内の異なる事業部門間、または信頼できるパートナーやサプライヤーとの間で、異なるベンダーシステム間のデータを共有。
• データエンジニアリング：大規模なデータ準備作業において、最適なコストパフォーマンスを実現。
• ほぼリアルタイムでの分析と意思決定：ストリーミングデータを Lakehouse に取り込むことで実現。
• 規制対応レポートと継続的なリスク軽減：Iceberg のタイムトラベル機能と Cloudera のガバナンス、リネージ、監査機能を活用。
• 分析クラウドコストの最適化：Iceberg に格納されたデータを活用し、Cloudera の堅牢な取り込み・データ処理機能を活かして実現。
• AIのデータ準備を加速する：SparkとNiFiを活用してデータ処理を高速化。
• 効率的なモデル学習：複数バージョンのデータにまたがって、コンピュートおよびストレージの使用量を抑えつつ実行。
• 多層型のフィーチャーストア：Iceberg と HBase を組み合わせることで、低レイテンシな AI を実現。
• ハイブリッドワークロードの実行：オンプレミスに保存された機密データに対し、パブリッククラウドのコンピュートを活用して実行。

Illumina および LY Corporation による Apache Iceberg 導入の取り組みと、スケールする中でデータや分析の課題をどのように克服しているかをご覧ください。

一般的な課題に対応する Cloudera のイノベーション

Lakehouse や Iceberg は、すべてのデータの統合や分析の高速化といった大きな利点をもたらしますが、Iceberg の導入に関連して、Cloudera の顧客からいくつかの課題も共有されています。まず、データが複数のクラウド、オンプレミス、エッジシステムに分散しており、それらすべてを Iceberg 活用のためにクラウドへ移行するのはほぼ不可能です。そのため、オンプレミスとクラウドの両方で同じ Iceberg サポートが必要とされています。次に、複数ベンダーのエンジンとの統合が求められており、信頼性、リネージ、トレーサビリティを備えた形でシステム間のデータ共有を容易に行えるようにする必要があります。データが増加するにつれ、Iceberg テーブルのパフォーマンスを最適化する作業を手動かつ継続的に行うのは非常に高コストであり、専門知識とコンピュートリソース (CPU、メモリなどの計算資源) が求められます。最後に、Iceberg によってデータ活用が促進される一方で、あらゆるツールを取り込める自由度はリスクを伴うため、アクセス制御、監査性、リネージ、可視性のためのメタデータ管理を提供できる、効果的なガバナンスとセキュリティツールが必要です。

Cloudera は常にイノベーションを重ね、お客様の課題解決に取り組んでおり、以下のような一般的な課題に対応するために、プラットフォームのさまざまな強化を行ってきました。

• ハイブリッド Lakehouse による「Iceberg のあらゆる場所での活用」：オンプレミスおよび複数のパブリッククラウドにおける Iceberg のネイティブサポートを実現し、同じデータに対して Impala、Spark、NiFi、Flink、Hive を使って同一の操作体験でアプリケーションやコードを移植可能にします。これにより、クラウドネイティブ機能を活用して、お客様のデータセンターをモダナイズすることが可能になります。Ozone 上の Iceberg により、オンプレミスでも S3 互換のオブジェクトストアを提供します。Cloudera は、クラウドとオンプレミスのデータを単一のガバナンスおよびセキュリティモデルの下で統合し、きめ細かなアクセス制御、バージョン管理されたメタデータ、共有カタログを実現します。
• リアルタイムアプリケーションの構築：リアルタイム CDC パイプラインを構築し、Cloudera の Data in Motion (NiFi＋Kafka＋Flink-on-Iceberg) によって、バッチデータとストリーミングデータをシームレスに取り込み、統合します。
• RESTカタログ統合による完全な相互運用性：単一のセキュリティとガバナンスで、外部エンジンおよびオープンエコシステムとの相互運用性を推進します。
• Cloudera Lakehouse Optimizer による TCO の削減と高速パフォーマンス：AI を活用した自動チューニングにより、圧縮処理、スナップショットの期限管理、レイアウト最適化を実現し、手動での調整が不要です。
• すべてのデータソースとデスティネーションを完全に把握：Cloudera の Octopai により、Cloudera 外も含めたすべてのデータフローに対して、インテリジェントなメタデータ自動化とライフサイクル全体にわたるリネージを提供し、データの可視性を向上します。
• アプリケーション全体での高可用性 (HA) /災害復旧 (DR) と低レイテンシ：Iceberg テーブルのレプリケーションにより、高可用性なデータアーキテクチャにおける柔軟性と耐障害性を実現します。
• スマートな移行ツールによるリスクのない迅速な導入：「Hive テーブルから Apache Iceberg への移行」を支援するブループリントにより、導入プロセスを簡素化します。

Apache Iceberg がデータと AI を横断的に支える基盤および要となる未来を私たちは構想しており、あらゆる企業にこれまでにないアジリティとインテリジェンスをもたらすために、Iceberg の機能強化を絶えず続けています。Cloudera プロダクト戦略担当 VP、Bill Zhang

今後の展望

Iceberg は、オープンテーブル形式におけるエンタープライズ標準として、今後も主導的な地位を維持し続けると私たちは考えています。自動最適化、マルチモーダル対応、メタデータ管理、Python 連携といった新たなイノベーションが、さらなる採用拡大を後押しするでしょう。他のオープンテーブル形式は、特定のワークロードや環境に特化した形で Iceberg を補完する方向へ進んでいくと予想されます。

Cloudera の目標は、Iceberg を基盤とするオープンなデータレイクハウスを、より低い複雑性、より高い柔軟性、そしてより大きな効果とともにお客様が構築できるよう支援することです。私たちは現在、エンタープライズグレードのセキュリティとガバナンス、さらなる最適化、階層型ストレージ機構、そして相互運用性とコラボレーションを強化するための「カタログのカタログ」の提供に注力しています。今すぐCloudera Lakehouse の 5 日間トライアルを始めるか、ハウツーガイドをご覧ください。

この記事は、2025/7/1に公開された「Privacy-First Enterprise AI Innovation with Cloudera Synthetic Data Studio」の翻訳です。

AI 活用におけるデータのプライバシー、品質、アクセスに関する課題

企業は現在、ジレンマに直面しています。競争力を維持し、コストを削減するために AI による業務プロセスの自動化が求められる一方で、GDPR (一般データ保護規則) や CCPA (カリフォルニア州消費者プライバシー法) といった厳格なデータプライバシー規制にも対応しなければなりません。さらに、クラウドベースの大規模言語モデル (LLM) にかかるコストは高騰しており、高品質でオープンかつ即時に利用可能なデータは不足しています。その一方で、企業独自の機密情報や顧客とのやり取り (技術サポートのチケット、財務記録、医療データなど) へのアクセス管理も求められており、こうしたデータは共有や外部公開が許されません。

これにより、AI 開発者はさまざまな課題に直面します。まず、生データをそのままモデルの学習に使用すると、規制違反による法的リスクが生じます。次に、クラウドベースの大規模言語モデル (LLM) にデータを共有することで、プライバシー上の脆弱性が発生します。さらに、アクセス可能で高品質なデータが不足しているため、AI モデルの精度にギャップが生じます。その結果として、イノベーションの停滞、ビジネスチャンスの逸失、そして AI の潜在力と実際の企業導入との間に広がるギャップが生まれています。

Cloudera は、データのプライバシーや予算を損なうことなく、企業が AI の可能性を最大限に活用できるよう支援することに尽力しています。そのミッションの一環として、Cloudera AI Studios をリリースしました。モジュール式のノーコードツールと、高い拡張性を備えたコード対応機能を提供することで、技術者・非技術者を問わず誰もが先進的な AI を活用できる環境を実現し、生成 AI (Gen AI) のライフサイクル全体を開発者がスムーズに扱えるよう支援します。

Cloudera Synthetic Data Studio はこのツール群の一部であり、組織が強力な AI モデルを活用しながら、規制要件や業務効率に対応できるよう支援します。Synthetic Data Studio を使えば、特定のユースケースに応じたオープン言語モデルのファインチューニング用に高品質な合成データを生成したり、検索拡張生成 (RAG) やエージェント型システムの性能を評価したり、AI を活用したデータ拡張を行ったりすることができます。しかも、機密情報を開示することなく、これらすべてを実現できます。

Synthetic Data Studio 概要

Synthetic Data Studio は、現代の AI 活用における複雑な課題に取り組む企業にとって、戦略的な推進力となるツールです。プライバシーを最優先に設計された構成と高度な AI ワークフローを組み合わせることで、実データに基づいた合成データを使って精度の高いモデルを安全に学習させることができます。このアプローチにより、データ漏えいのリスクを排除し、規制要件にも確実に対応できます。

Synthetic Data Studio は、顧客サポートから詐欺検知まで、さまざまなユースケースで AI アプリケーションを拡張することを可能にし、チームが独自のドキュメントに基づいたデータを使用して RAG、エージェント型、その他のシステムをテストできるようにします。品質を保証するために、合成データセットは LLM-as-a-judge を用いて評価され、下流のワークフローにおいて最高品質の出力のみが保持されます。

モデルの正確性と信頼性を確実にする直感的なワークフロー

スタジオのワークフローは、直感的でありながら強力です。ノーコード／ローコードのインターフェースから始めて、チームは LLM に指示を出し、現実のパターンを反映した合成データを生成することができます。たとえば、カスタマーサポートチームは、実際の技術的な問い合わせやサービス依頼に近い内容の合成サポートチケットを作成できます。このシステムは、自由形式の生成、正解付きデータを用いたモデル調整、モデルのアライメントなど複数の生成手法に対応しており、プライベートなドキュメントを用いて文脈に即した生成を行うことも可能です。

一度生成された合成データセットは、厳格な評価を受けます。選定された LLM が審査役として、カスタム基準に基づいてデータを評価し、最高品質の出力のみが保持されます。この品質管理の工程は、モデルの精度と信頼性を維持するうえで非常に重要です。さらに、人間の評価者が介入して、生成されたデータをさらに精査し、より高品質な出力を実現することも可能です。

最終的に、データセットは Cloudera AI Workbench のプロジェクトに自動で統合され、その後のワークフローで活用されます。外部システムとの連携が必要な場合には、JSON や CSV などの形式でエクスポートし、Hugging Face などのプラットフォームで使用することも可能です。

サードパーティツールとの連携を可能にし、高い信頼性を実現するオープンかつスケーラブルなアーキテクチャ

Synthetic Data Studio は、LLM 非依存のアーキテクチャを採用しており、高い柔軟性を確保しています。AWS Bedrock および Cloudera AI Inference を活用することで、ナレッジ・ディスティレーション、自由形式でのデータ生成、正解付きデータによるモデル調整、強化学習、好みの最適化 (KTO、DPO、PPO、ORPO) といった高度な手法を用いて、エージェント型システム向けの推論モデルを構築できます。この適応性は、並列処理とフォールバックメカニズムによるスケーラブルなパフォーマンスと組み合わさることで、大規模データセットに対しても高い信頼性を確保します。

Cloudera AI Workbench の Jobs API を介した CI/CD パイプラインとのシームレスな統合により、合成データの生成や拡張のワークフローを企業の DevOps プラクティスと整合させることができます。この統合により、ワークフローの摩擦が軽減され、AI プロジェクトの価値実現までの時間が短縮されます。

また、Fine-Tuning Studio などの他の Cloudera AI Studios との統合により、ワークフローがさらに効率化されます。モデルの改良、エージェントシステムのテスト、特定のユースケースの最適化など、Synthetic Data Studioは、セキュリティを損なうことなく開発を加速するためのツールを提供します。

ユースケースとインパクト：処理時間を95％短縮

Synthetic Data Studio の真価は、実際のシナリオに適用されたときに明らかになります。たとえば、Cloudera のカスタマーサポートチームは、高品質なデータセットを生成して小型の LLM にナレッジディスティレーションを行うためにこのスタジオを活用し、画期的な成果を上げました。社内テストによると、サポートチケットの分析にかかる処理時間は、大型 LLM と比較して 95% も短縮され、ディスティレーションされたモデルは Goliath-120B などの大型 LLM に対して 70% の勝率を記録。さらに、必要なコンピュートリソースが大幅に削減され、リアルタイム分析におけるスループットは 11 倍に向上しました。

このスタジオの汎用性は、カスタマーサポートにとどまりません。金融分野では、合成トランザクションデータを使用して顧客情報を開示することなく融資判断モデルのトレーニングが可能です。ソフトウェア開発の分野では、合成のコーディング課題とその解答によって、コード生成における LLM の性能を向上させることができます。また、規制遵守の観点では、カスタム基準に基づいてモデルをテストし、各種標準への準拠を確認することも可能です。

Cloudera の Synthetic Data Studio が実現するプライベート AI の未来

Synthetic Data Studio は、AI を活用しながらもデータを保護するという、企業の新たなイノベーションの在り方を示す設計図です。ナレッジディスティレーションなどの合成データ生成手法へのアクセスを広く利用可能にすることで、Cloudera は組織に以下を可能にしています。

• コスト削減：特定のユースケースに特化した小型のディスティルモデルを活用

• 自信に裏打ちされた競争力：規制に準拠しながら最先端の AI を活用

• 倫理的に構築：データプライバシーを競争優位性として確立し、信頼を構築

ビジネスにおいて信頼とコンプライアンスが最優先される中、Synthetic Data Studio はその先を見据えた道を示します。それは単に現在の課題を解決するためのものではなく、企業が将来の AI 革命を責任あるかたちで主導するための基盤となるのです。

次のステップとして、Synthetic Data Studio の詳細はこちらをご覧いただくか、5日間の無料トライアルを通じて、Cloudera AI によって実現される生成 AI 機能をご体験ください。

図 1： AI のコンテキスト提供のために AI エージェントがデータへアクセスする2つのシナリオ

• 左： 共通プロトコルがない場合、AI エージェントは各ソースからコンテキストを取得するために、複数の固有 API を扱う必要があります。
• 右： MCP はアクセスを統一し、エージェントが単一のインターフェースを通じてコンテキストを取得できるようにすることで、統合を簡素化し、スケーラビリティを向上させます。

エージェントアーキテクチャには標準的な統合レイヤーが必要です

企業がエージェント型アーキテクチャを採用しようと急ぐ中、一貫した統合レイヤーの重要性はかつてないほど高まっています。

「エージェント型アーキテクチャ導入ブームの影響で、企業は数多くのプロジェクトを並行して立ち上げています。この勢いは好ましいものの、ソフトウェア工学の黎明期に見られた『スパゲッティコード』の現代版を生み出しかねないというリスクもあります。企業が本当に必要としているのは、エージェント型エコシステムに参加する多様なシステム間での相互運用性を確保できる、シンプルで標準に基づいたアーキテクチャです。Anthropic の MCP は、この分野で有望な標準として台頭しており、すでに AI ベンダーによって広く採用されています。」
— Sanjeev Mohan（SanjMo 代表、元 Gartner アナリスト）

MCP は Cloudera 独自のツールではなく、ベンダーロックインを回避しつつ、拡大を続けるツールのエコシステムを活用できる、広く採用されている標準規格です。Cloudera の MCP サーバーに対する取り組みは、オープン性、シンプルさ、コントロールを重視する MCP の理念と一致しています。Cloudera MCP サーバーは、Cloudera の統合プラットフォーム上でネイティブに稼働し、リスクのあるデータ移動を排除するとともに、マルチクラウドおよびオンプレミス環境の両方でシームレスな展開を可能にします。

プライベート AI の基本原則：データを生かす AI コンピューティングの活用

AI の変革力は、それを支えるデータの質にかかっています。AI が真価を発揮するには、それを支えるデータの質が欠かせません。しかし、データと AI システムが切り離されていると、情報が分断されてインサイトが遅れ、パイプラインは脆弱になり、モデルは正確な判断に必要なコンテキストを得られなくなります。

Cloudera はデータと AI を統合し、一貫したライフサイクルを実現します。データは、共有メタデータ、セキュリティポリシー、最適化されたコンピューティングリソースによる管理のもと、AI ワークフローへスムーズに取り込まれます。このアプローチにより、コストのかかるデータの重複や移動を排除し、すべての予測結果をその起点まで追跡可能にすることで、透明性、信頼性、コンプライアンスを確保します。

次のステップへ

統合を進める上での障壁を回避する準備はできてますか？現在プレビューを提供している Apache Iceberg 向け Cloudera MCP サーバーを詳しく確認し、データが保存されている場所で必要なコンテキストを提供し、AI アプリケーションを強化する方法をこちらからご覧ください。これを今すぐ始めるには、5日間の無料トライアルをお試しください。

この記事は、2025/6/5に公開された「Bringing Context to GenAI with Cloudera MCP Servers」の翻訳です。

3年前、Cloudera の顧客は、データとのやり取りを変革するために生成 AI の活用を開始しました。インテリジェントアシスタントの構築、複雑なドキュメントの要約、オンデマンドでのインサイト生成などがその例です。そして現在、当社の顧客は、オンプレミスおよびクラウド環境を合わせて25エクサバイト（250億ギガバイト）を超える企業データを管理しています。

エンタープライズ AI におけるコンテキストギャップ

企業がデータをどのように管理するかは重要です。AI 時代において、コンテキストは単なる補助ではなく、正確な意思決定と誤った出力（ハルシネーション）を分ける決定的な要素です。AI モデルがインサイトを生み出したり、質問に答えたり、ワークフローを自動化したりするには、独自データへのシームレスなアクセスが不可欠です。しかし、ほとんどの企業では、このデータは分断されたオブジェクトストレージ、Iceberg テーブル、Kafka ストリーム、運用データベースにサイロ化されたままになっています。開発者は、カスタムコネクタの作成や壊れやすいパイプラインの維持に貴重な時間を費やしており、それがイノベーションへの重荷となり、価値実現までの時間を遅らせています。

Cloudera MCP サーバーのご紹介：データへのユニバーサルゲートウェイ

そこで登場するのが、ClouderaのModel Context Protocol（MCP）サーバーです。当社のサーバーは MCP 上に構築されており、企業データを管理するためのユニバーサルゲートウェイを提供します。MCP はオープンスタンダードであり、MicrosoftのOpen Database Connectivity（ODBC）がリレーショナルデータベースを標準化したのと同様の方法で、AI 統合の標準化を目指しています（MCPの詳細は次のセクションで説明します）。

この目的を実現するために、まず、Impala 経由のApache Iceberg 向け Cloudera MCP サーバーの提供を開始します。Apache Iceberg は、ペタバイト規模のデータ管理、ACID 準拠、タイムトラベル、きめ細かなガバナンスを実現する、最新のレイクハウスの中核を担う技術です。データと AI のギャップを埋めるための最適な出発点といえるでしょう。

Apache Iceberg を起点とすることで、AI 活用における大きな課題を解決します。AI アプリケーションは、複雑なカスタムコードを追加せずとも、リアルタイムで管理された分析データにアクセスできることが不可欠だからです。当社の MCP サーバーは、開発者が自然言語で Iceberg テーブルにクエリを実行できるようにし、CrewAI、Microsoft AutoGen、LangChainやLangGraph、LlamaIndex といったフレームワーク、さらにこれらのフレームワークと連携する NVIDIA Agent Intelligence（AIQ）ツールキットなどのエージェント型 AI ツールキットともシームレスに統合できます。さらに、Cloudera SDX ポリシーによる堅牢なセキュリティも維持します。そして、これはまだ始まりに過ぎません。今後の Cloudera MCP サーバーは、ストリーミングデータ、運用データベース、ファイル／オブジェクトストレージへの対応へと拡張される予定です。

AI の未来は、高度なアルゴリズムだけではありません。企業全体で AI をより身近で、相互運用可能で、影響力のあるものにしていくことが重要なのです。Cloudera の5日間無料トライアルから始めて、エンタープライズグレードの AI アプリケーション開発に向けて従業員の力を引き出しましょう。

RAG Studio

RAG Studioは、ノーコードインターフェースを通じて、RAGアプリケーションの迅速な開発と展開を可能にします。外部の知識ソースを大規模言語モデル（LLM）と統合することで、ユーザーは、リアルタイムで動的なデータを扱うドキュメント検索や質疑応答タスクに優れた、より情報豊富でコンテキストを踏まえたAIアプリケーションを作成できます。

Synthetic Data Generation Studio

Synthetic Data Generation Studio は、微調整、モデルのトレーニングやアライメント、評価のための合成データセットを作成するための強力なツールをユーザーに提供します。このスタジオは、現実世界のデータが不足している場合や機密性が高い場合に、スケーラブルでコンプライアンスに準拠した代替手段を提供します。現実世界のパターンを反映したデータを生成することにより、スタジオは組織が AI モデルおよびアプリケーションの堅牢性を向上させると同時に、米国の CCPA や EU の GDPR などの規制に準拠することを可能にします。

この記事は、2025/5/30に公開された「Cloudera's AI Studios: Making Advanced AI Accessible to All」の翻訳です。

AI ドリブン型アプリケーションの需要は急増しており、企業はもはや分断されサイロ化した開発を続ける余裕のない転換点に達しています。

従来、AI 開発は、複数のツールやフレームワークに精通したデータサイエンティストや機械学習の専門家によって行われてきました。しかし現在では、新たなタイプのビルダーが登場しています。彼らは専門家ではなく開発者であり、生成AI（GenAI）の力を活用して現実のユースケースを解決することに意欲的である一方、AI に関する専門的なスキルを持たないことが多いのです。企業は、こうした生成 AI ビルダーのために開発の複雑さを簡素化し、エンタープライズレベルのセキュリティ、ガバナンス、スケーラビリティを維持しながら、より容易かつ迅速に本番環境へ移行できるソリューションを必要としています。

さらに、従来のエンタープライズソフトウェアのアップグレードサイクルは、AI の革新のスピードに追いつくには遅すぎます。この遅れにより、組織は、導入前からすでに時代遅れとなるソリューションを構築してしまうリスクにさらされます。企業は、AI の進化に歩調を合わせて変化できる、適応性とモジュール性を備えたソリューションを必要としており、それによって自社のソリューションを常に最先端に保つことができます。

Cloudera AI Studios は、これらの課題解決を支援します。モジュール式のノーコードツールと高い拡張性を持つハイコード機能を提供することで、開発者が AI アプリケーションのライフサイクルの各段階をスムーズに進められるよう導き、AI 導入を加速させます。AI Studiosは、開発を効率化するだけでなく、より幅広いユーザーに基盤技術に関する知識を提供し、生成AIを活用して重要なビジネス課題を解決できるよう組織を支援するよう設計されています。

AIイノベーションの民主化：Cloudera AI Studiosに込められた戦略的ビジョンと設計

生成 AI で真の企業価値を生み出すには、AI アプリケーションのライフサイクル全体にわたる各段階を確実に習得することが求められます。AI Studios は、これらの重要な段階に直接対応するように意図的に設計されており、技術的な専門知識の有無に関わらず、すべてのユーザーが直感的に操作できるローコードツールによって、プロセス全体を民主化しています。

当社のアプローチは、各開発段階でユーザーをシームレスに案内し、従来の障壁を取り除き、価値実現までの時間を劇的に短縮します。当社の包括的なエコシステムは、生成AI ライフサイクル全体にわたる重要な課題に対応しています。

• Synthetic Data Studio は、コンプライアンスやデータ不足の課題を解決するエンタープライズグレードの合成データセットを生成し、データの可用性を刷新します。

• Retrieval-Augmented Generation (RAG) Studio は、基盤モデルと組織の知識をシームレスに接続することで、モデルのインテリジェンスを変革し、コンテキストを認識する AI を提供します。

• Fine Tuning Studio は、汎用モデルを特定の分野の専門知識に適合させるスムーズな調整プロセスを通じて、モデルの分野特化を再定義します。

• Agent Studio は、企業全体で実証可能な価値を提供する高度なエージェント型アプリケーションを通じて、ビジネストランスフォーメーションの新たなフロンティアを切り開きます。

Fine Tuning Studio

Fine Tuning Studio は、モデルの精度とドメインの関連性を高めることで、特定のビジネスニーズを満たすために基盤モデルをカスタマイズするワンストップショップとして機能します。それがなければ、ファインチューニングには膨大なコードを記述し、複雑なワークフローを管理する必要があります。代わりに、ユーザーは単一のインターフェースを通じて、ベースモデルに対してアダプターをトレーニングし、比較し、評価できます。Fine Tuning Studio は、教師ありファインチューニング（SFT）、MLflow ベースの評価、Cloudera AI Workbench および Inference とのネイティブ統合の組み込みサポートを備えており、モデル適応プロセス全体を簡素化および加速します。

図3：Cloudera AI Workbench プロジェクト内の Synthetic Data Studio

専門知識レベルに応じてカスタマイズ可能

技術系ユーザーと非技術系ユーザーの間の人工的な境界は、歴史的にイノベーションを制限してきました。当社のアーキテクチャアプローチは、この境界を打破し、AI Studios を他のローコードソリューションと差別化しています。ユーザーそれぞれの専門知識やニーズに合わせてカスタマイズ可能な、ビジュアルインターフェースとフルコード環境間のシームレスな切り替えを提供しています。これらの意図的な「エスケープハッチ」は、機能が制限された独自のブラックボックスソリューションへのロックインを防ぎ、経営幹部の意思決定者に本格的な AI 開発のためのローコードソリューションへの投資に自信を与えます。

当社のアーキテクチャは、確立されたエンタープライズグレードのセルフサービス型データサイエンス製品である Cloudera AI Workbench を基盤として構築されています。Cloudera AI Workbench は、インタラクティブノートブック、モデル、ジョブ、アプリケーションといった開発者が使いやすい機能を備えています。AI Workbench 内で AI Studios にアクセスすることで、開発者は直感的なビジュアルインターフェースから作業を開始し、より高度な制御や専門知識が必要になった際には、カスタムコード環境へ移行できます。

AI Studios をこのように設計したのは、技術的な成長は制限されるのではなく、むしろ奨励されるべきだ、という強い信念に基づくものです。分野の専門知識を持つビジネス開発者は、ビジュアルインターフェースを使用し、コーディングインターフェースを使うデータ専門家と同じ環境で効果的にコラボレーションできます。これにより、企業全体での AI の導入が加速します。

AI 開発の各段階における相互運用可能な機能

各 AI Studios は、それぞれ単独で完全な機能を備えるよう設計されていますが、同じプロジェクト環境内で生成された成果物を共有することで、他のスタジオともシームレスに連携できます。これは単なるスタジオ間の統合にとどまらず、Cloudera AI プラットフォーム全体を網羅しています。各スタジオは、基盤となる AI Workbench および AI Inference サービスと直接統合されており、データとモデルのガバナンスを一貫して維持しながら、エンドツーエンドのシステムを構築します。

たとえば、Synthetic Data Studio は、Fine Tuning Studio が基盤モデルをエージェント型タスク向けに適合させる際に利用できる、分野特化型のトレーニングデータセットを生成できます。この特化モデルは、その後 Cloudera AI プラットフォームによって提供され、Agent Studio でオーケストレーションされるエージェント型アプリケーションを支えます。また、RAG Studio によるコンテキスト知識の強化も行われます。この意図的な多層的相互運用性により、企業は包括的な AI ソリューションを構築できる一方で、生成 AI のライフサイクルのどの段階で支援を受け、どの段階を自分たちで処理するかを柔軟に選択することが可能になります。

オープンソースイノベーションの迅速な統合

私たちは、AI コミュニティのイノベーションのスピードに合わせた迅速なリリースサイクルを可能にする独立したコンポーネントとして、各 AI Studios を構築しました。このモジュール型アーキテクチャにより、AI Studios は最先端のオープンソースフレームワークを活用し、コア機能を損なうことなく基盤ライブラリを入れ替えることが可能になります。

これは、「AI のイノベーションは単独の組織だけで推進されるものではない」という私たちの信念を反映しており、オープンソースイノベーションを、進歩を共有する広範なエコシステムへの貢献の手段として取り入れています。

Cloudera AI Studios のご紹介

AI Studios は、生成 AI ライフサイクルの各重要な段階に特化した、目的別の体験を提供します。AI Studios には、Synthetic Data Studio、Fine Tuning Studio、RAG Studio、Agent Studio の4つがあります。

エンタープライズ AI の新たな章

生成 AI が企業のイノベーションの礎となるにつれて、AI Studios はパラダイムシフトを体現しています。つまり、企業が求める堅牢性とセキュリティを維持しつつ、より幅広いユーザーにAIの力を提供しています。AI Studios は現在 Cloudera AI Workbench で利用可能であり、Cloudera AI Inference サービスとともに、エンタープライズ向け Cloudera AI プラットフォームを支えています。

Agent Studio

Agent Studioは、大規模言語モデル（LLM）の推論能力と従来型ソフトウェアの運用力を組み合わせた AI エージェントを、企業が構築、テスト、展開できるよう支援します。Cloudera プラットフォームとのネイティブ統合により、Agent Studio は、Cloudera Data Flow、Cloudera Data Warehouse、Cloudera Data Visualization などの Cloudera のエンタープライズグレードのサービス群を、自由に組み合わせて呼び出せるエージェントとして利用可能にします。この基盤にオープンソースのエージェントやフレームワークを組み合わせることで、構造化データや非構造化データからリアルタイムストリームに至るまで、多様なデータ環境にわたる処理をシームレスに連携させる、高度なマルチエージェントのオーケストレーションが可能になります。

AI Studios の基本的な設計理念は以下のとおりです。

• 専門知識レベルに応じたカスタマイズ性

• AI 開発の各段階における相互運用可能な機能

• オープンソースイノベーションの迅速な統合

この記事は、2025/6/23に公開された「The Future Is Already Here—And It's Agentic」の翻訳です。

このブログでは、皆様を遠いSFの未来ではなく、すぐそこにある明日への旅にお連れしたいと思います。

想像してみてください。職場に入ると、そこにはもはや人間ではない「同僚たち」がいます。それは従来の意味でのロボットではなく、大規模なデータセットで訓練され、意思決定能力を備えた自律型のソフトウェアエージェントです。経済、行政、業務の各分野でタスクを遂行することができます。これらのエージェントは、ポリシーを作成し、サプライチェーンを監視し、医療記録を処理し、ニュースを生成し、さらには私たちのデジタル上のやり取りを統治することさえあります。

これは映画のワンシーンではありません。私たちに迫りつつある地殻変動のような変化であり、働き方、政府の機能、そして地域社会のあり方までもが変わるのです。この世界において、デジタル公共インフラストラクチャ　(DPI) はもはや便利なものではなく、生命線となるのです。

エージェント時代の主権

私たちはよく「誰もがデータを持っている」と言います。しかし本当に問うべきなのは、「そのデータはどこにあるのか」「誰がそれを管理しているのか」「誰がアクセスを制御しているのか」ということです。エージェントが支配する世界では、これらの問いは単なる技術的な問題ではなく、権力と独立性に関わる問題なのです。

主権国家が自国のデータの所在を把握できず、信頼も管理もできないのであれば、それはもはや主権国家とは言えません。自国のエージェントが何を学んだのか、誰と通信しているのかを検証できない政府は、もはや統治しているとは言えません。

この新たなエコシステムの中で生き残り、発展していくためには、DPI は進化し、「デジタル・ショアリング」へと移行する必要があります。それは、主権性・信頼性・開放性を備えた環境を支える基盤であり、4 本の柱の上に成り立ちます。

1. オープンデータ：単なるアクセスではなく、「信頼」が重要です。データのリネージ (来歴)、起源、そして検証可能なガバナンス。自分のデータがどこから来て、どこへ向かうのかを把握することは、もはや「選択肢」ではありません。
   
   

2. オープンソースソフトウェア：ブラックボックスに依存した重要インフラストラクチャのままでは、安全性も主権性も確保できません。
   
   

3. オープンスタンダード：共通プロトコルが存在しない状況では、エージェントは連携できず、組織は相互運用できず、政府は統治機能を果たせません。
   
   

4. オープンスキル：財務諸表を読む力やニューラルネットを監査する力が限られた人にしかない状況では、健全な社会は成り立ちません。
   
   

これは、公平で、主権を持ち、レジリエンスのあるエージェント型社会を支える基盤です。

エージェンティック・インテリジェンス：単なる派手なツール以上の存在

ここで、エージェントとは実際に何なのか、そして何ではないのかを考えてみましょう。

ある企業の財務諸表を、若手アナリストとベテランの経済学者という 2 人に渡す場面を想像してみてください両者とも数値は理解できるかもしれませんが、戦略的な洞察を導き出せるのは一方だけです。同様に、エージェントも読むこと、分析すること、推論することができますが、その行動の質は、どのようなスキルを備えているかに完全に依存しています。こうしたスキルは、訓練によって身につけることも、取得することも、そして最も重要なのは、共有することも可能です。

公共部門において、これは非常に大きなチャンスとなります。なぜ、あらゆる機関が同じエージェントを一から作り直さなければならないのでしょうか。ある部門で使われている不正検出エージェントのスキルを、安全かつ倫理的に、別の部門へ転用できない理由はあるでしょうか。

人が専門知識を共有するのと同じように、デジタル機関同士でエージェントの能力を共有するためのインフラストラクチャが必要です。ここで国連のような組織が役割を果たします。Global Digital Compact (グローバル・デジタル・コンパクト) 構想の視点から、標準の策定や国際的な支援を行うことができるのです。

「ソブリンクラウド」から「ソブリン AI プラットフォーム」へ

現在、多くの議論は「データを国境内にとどめること」に集中しています。しかし、エージェントが活躍する世界において、それだけでは不十分です。本当に重要なのは、モデルがどこで、どのように学習され、どのように管理され、そしてどのように制御されているかです。

今、求められているのは「ソブリン AI プラットフォーム」です。これは、人事部門が従業員を管理するのと同じように、資格を確認し、方針との整合性を保ち、パフォーマンスを監視し、協働を可能にする仕組みとして AI を扱うという考え方です。

Cloudera では、こうしたプラットフォームの基盤を構築しています。具体的には、セキュアなハイブリッド AI 環境、オープンソースのデータパイプライン、ガバナンスを重視したオーケストレーションレイヤー、各国のコンプライアンス基準に対応したモジュール型の LLM 提供インフラストラクチャなどです。ただし、これを一社だけで実現することはできません。これは、世界全体で取り組むべき課題なのです。

設計段階からオープンに、デフォルトで統治可能に

パブリッククラウドの独占環境の上に、公共性を持った AI を構築することはできないという現実に、世界各国の政府はすでに気づき始めています。デジタル ID やエージェントの監視は、非公開・場当たり的・不透明であってはならず、オープンかつ透明であるべきです。

だからこそ、未来はコードも、データも、プロトコルも「設計段階からオープン」でなければなりません。そして同時に、「デフォルトで統治可能」でなければなりません。人間だけでなく、エージェントとその行動までも認証するデジタル ID、複数のシステムにまたがって共有される知識を保持するナレッジグラフ、あらゆる決定・推論・プロンプトを記録する監査証跡など、これらすべてが求められます。

これは単に技術の問題ではありません。それは、国家に権限を与え、市民を保護し、インテリジェンスを民主的な価値観に合わせるために設計された、新しい種類のデジタル社会を構築することです。

前進への道筋

この変革は容易ではありません。それには、大胆な政策、持続的な投資、国境を越えた協力、そして何よりも価値観に根ざした技術的リーダーシップが必要です。

誤解してはならないのは、デジタル上の協調は選択肢ではないということです。それは、エージェント型の世界における主権を確保するための前提条件です。それがなければ、私たちはサイロ化、ベンダーロックイン、そしてアルゴリズムの迷走に直面することになります。一方、それがあれば、人間の知性も機械の知性も公共の利益に貢献する未来を築くことができるのです。

表面的な言葉にとどまらず、実践へと踏み出しましょう。オープンでモジュール型、そして主権性を備えたプラットフォーム、プロトコル、公共財を構築していきましょう。エージェントを単なるツールとしてではなく、統治・信頼・協調を必要とするデジタル社会の一員として扱っていくべきです。

そしておそらく、明日の視点から今日を振り返ったとき、私たちはこの瞬間を危機ではなく、共に未来を築くことを選んだ瞬間として思い出すでしょう。

企業がエージェント型 AI をどのように活用しようとしているのか、完全版レポートで詳しくご覧ください。

この記事は、2025/5/12に公開された「Agentic AI Deep Dive: How AI is Changing the Modern Enterprise」の翻訳です。

エージェント型 AI は、意思決定の精度向上、ワークフローの効率化、顧客とのやり取りや体験の改善を通じて、ほぼすべての業界における業務プロセスを変革する可能性を秘めています。

エージェント型 AI への関心は広まっていますが、それを使用する動機は業界によって異なります。Cloudera は調査を実施し、14か国における1,484人の企業の IT 部門責任者を対象に、各業界がこの技術をどのように導入しようとしているのかを含め、2025年に向けたエージェント型 AI への取り組みを詳しく把握しました。調査の結果、金融や医療といった高い規制を受ける分野では、トランザクション情報や患者記録などの機密データを保護し、サイバーセキュリティ体制を強化する手段として、エージェント型 AI の活用が期待されていることがわかりました。

回答者のほぼ3分の2（63％）が、セキュリティ監視のためにエージェント型 AI を活用する意向を示しています。小売業や通信業といった他の業界では、顧客体験の向上を目的に AI エージェントの活用を検討しており、組織の半数がカスタマーサポート向けにエージェントを導入しています。

エージェント型 AI に対する現状の認識や、業界別の導入計画を詳しく見ていきましょう。

金融・保険業界におけるセキュリティと顧客関係の強化

金融・保険会社は、セキュリティ監視や顧客体験の向上を支援する能力を持つ点で、エージェント型AI 技術を特に重視しています。回答者によると、エージェント型 AI の主な利用目的は、不正検知（56％）、リスク評価（44％）、投資アドバイザリー（38％）です。

AI エージェントは、データセット内のパターンと異常を識別し、セキュリティ監視を通じてデータ侵害を回避し、脆弱性を特定することができます。これは、規制された業界で機密データを保護するために非常に有益です。

AI エージェントは、アドバイザリーサービスやその他の顧客対応業務の改善にも役立ちます。業界の意思決定者の78％が、カスタマーサポートに AI エージェントを活用する意向を示しています。エージェントは複数のソースからデータをすばやく引き出し、クライアントのリクエストに応じて高度な回答を生成します。つまり、顧客が「低リスクかつ高リターンの投資機会」を求めた場合、AI エージェントは大量のデータを分析し、それに基づいた回答を生成することができます。

エージェント型 AI システムが機密データを扱いながら自律的に動作することには、当然ながら懸念が伴いますが、セキュリティガードレールによってこれらのシステムは適切に制御されています。AI システムは許可されたデータにしかアクセスできないため、認可と権限設定はAI導入における重要な要素です。

エージェント型 AI は、顧客体験の一貫性という課題ももたらします。この技術は複数のデータセットを効率的に処理し、顧客情報を迅速に扱える一方で、対面スタッフが提供するような人間的な対応には欠けます。

医療ワークフローの効率化

医療従事者は、事務作業の効率化や、より良い患者ケアの成果をもたらす意思決定支援など、エージェント型 AI のさまざまな活用法を見出しています。調査によると、医療従事者は、この技術の主な活用事例として、予約のスケジュール管理（51%）、診断支援（50%）、医療記録の処理（47%）を挙げています。

AI エージェントは、保険情報の処理や予約のスケジュール調整を通じて、医療従事者の反復的な業務負担を軽減することができます。また、患者の病歴を迅速に処理し、その概要を医療専門家に提供することで、日々のワークフローを合理化し、患者の診察をより効率的にすることも可能です。さらに、診断やエビデンスに基づく治療法の提案を行うことで、これらのシステムは一歩進んだ支援を提供できます。

1つのシナリオとして、数千枚の肺炎や肺がんのX線画像で訓練された AI 診断支援エージェントが想定されます。パターン認識を活用することで、人間の目にはすぐに見えない初期の兆候を発見し、放射線科医がより詳しく調査すべき箇所を明らかにします。これにより、医師はより正確な診断を行うことができます。

製造効率と安全性を向上させる

製造業組織のほぼ半数が、プロセスの自動化（49%）、サプライチェーンの最適化（48%）、品質管理（47%）のために AI エージェントを検討しています。具体的には、生産ラインでの欠陥を高度な方法で検知したり、障害発生時にはサプライチェーンの物流を柔軟に迂回させたりすることで、効率を大幅に向上させることを期待しています。

AI エージェントは、安全性の観点からも業務を効率的に監視できます。通常、安全衛生チームは請負業者を現場に派遣してリスクを評価し、製造工場を検査します。しかし、こうしたプロセスは時間がかかり、マニュアルに従っていても事故が発生することがあるため、ミスも起こりやすいのが現状です。

エージェント型 AI は、この分野に変革をもたらす原動力となります。こ組織は過去のデータを分析し、パターンを検出し、危険が現実化する前に潜在的なリスクを特定できます。その結果、従業員はより正確な自動リスク評価レポートを作成でき、安全な環境の実現につながります。

小売業、Eコマース、通信業界の顧客対応を支援

小売業、Eコマース、通信業界は、主に顧客対応の取り組みに AI エージェントを活用する計画を立てています。これらの業界の組織の半数は、顧客サポート（50%）、価格最適化（49%）、需要予測（48%）の目的で AI エージェントを検討しています。

エージェント型 AI システムは、顧客の閲覧履歴や嗜好、購入履歴を分析し、パーソナライズされた製品提案を行うことで、再購入の可能性を高めることができます。また、個々の顧客データに基づいて、特別オファーやメール、広告をキュレーションし、セールスファネル上で顧客との関係を育成しながら、人間の従業員がより戦略的な業務に集中できるよう支援します。

通信業界の企業は、利用パターンや請求履歴、カスタマーサポートでのやり取りといった過去のデータを精査し、解約リスクのある顧客とその理由を予測するためにエージェントを活用することに価値を見出しています。通信事業者の場合、エージェントは、月間利用量が減少した顧客や、カスタマーサポートとのやり取りが複数回あった顧客を特定して把握することができます。

エージェント型 AI の未来

エージェント型 AI は、業界を問わず、業務の進め方を大きく変革する可能性を秘めています。規制産業では、侵害を防ぐためのセキュリティ監視によって大きな利益を得られる一方、顧客対応を行う企業では、顧客体験の向上が可能になります。

金融企業がセキュリティ強化を目指す場合でも、医療機関が効率化を望む場合でも、小売業者が顧客体験の向上を狙う場合でも、業界特有の目的でこれらのシステムを導入することで、企業は新たな高みへと成長できます。競争優位性を確保するため、企業は今年中にもこの技術の活用を開始し、その後拡張やスケールアップを図ろうとしています。

この記事は、2025/4/10に公開された「Octopai Acquisition Amplifies Metadata Across the Data Estate」の翻訳です。

金融サービス企業であれ、大規模な医療機関であれ、人工知能 (AI) ほどビジネスに変革をもたらすテクノロジーは他にありません。AI は、あらゆる組織におけるデータ活用やビジネスアプリケーションへの取り組み方を根本から変えつつあります。Cloudera はこのような現状を踏まえ、AI と生成 AI の可能性を引き出すには、明確で実用的なロードマップの策定が重要であることを常に認識してきました。

組織の重要なビジネスアプリケーションへのアプローチを変革し続ける当社にとって、Octopai 社の買収はその次なる一歩と言えます。

絶好のタイミングで実現した Octopai 社との連携

AI、機械学習、予測分析の取り組みのためにデータを最大限に活用することは、多くの組織にとって最優先事項であり、業務を改善するための鍵となります。企業が成果につながる効果的かつデータドリブンな意思決定を実現できるかどうかは、自社のデータを活用する能力にかかっています。とりわけ、活用するデータが信頼性の高いものであることが重要です。

つまり、このプロセスの成否は、ユーザーが必要な情報をすばやく見つけられるよう支援するデータリネージシステムに左右されます。適切なツールがなければ、データを探し出す作業は、まるで海を眺めていても海岸線しか見えず、その先に広がる果てしない海が見えていないようなものだからです。

Octopai 社の買収は、2024年に買収した AI スタートアップ企業の Verta 社に続き、Cloudera のポートフォリオをさらに拡大するものとなります。Verta 社の買収は、AI の導入支援に対する Cloudera の強いコミットメントを示すとともに、この分野における業界リーダーとしての地位をより一層揺るぎないものにしました。モデルのカタログ化、モデルの開発、モデルの監視、AI ガバナンス用のツールなど、Verta 社の AI ソリューションを導入し、Cloudera のプラットフォームと組み合わせることでポートフォリオを拡大し、AI の強固な基盤を確立しました。

AI が市場を席巻する中で着実に成長を遂げてきたことで、Cloudera は、データリネージやデータ検出、マッピング、影響分析といった幅広い機能を顧客に提供するのに絶好のタイミングを迎えています。こうして AI ポートフォリオをさらに拡大するための準備が整ったことで、今回の Octopai 社の買収が実現しました。

買収が Cloudera にもたらす意義

今回の買収を通じて、Octopai 社のデータリネージプラットフォームが Cloudera のデータリネージ機能やメタデータ管理機能に統合されるため、組織は自社のデータや AI への取り組みを把握し、管理できるようになります。さらに、Cloudera のプラットフォームに搭載された機能を利用することで、組織はデータの価値を高め、膨大なデータ資産を活用して、「製品としてのデータ」を実現できるようになります。これは、AI 志向の先進的な企業が強く求めているものです。

今、Cloudera のプラットフォームでは、データをこれまで以上に詳しく把握することが可能になりました。これにより、企業は複数のクラウド環境にまたがる複雑なデータセットから関連データをすばやく見つけ出し、ソースからの流れを追跡してデータの品質を確保し、GDPR や HIPAA などの重要な規制要件に準拠することができます。これらを支えているのが、システム間でデータを自動的にマッピングし、詳細な洞察を提供するツールです。

Octopai 社が加わったことは、データ資産内に存在する構造化データと非構造化データの両方を活用したいと考えている組織にとって、大きな転機となります。データ資産を保有することも重要ですが、実際にデータの信頼性を確保し、内容を理解し、それを基に AI を実装してデータドリブンな意思決定を行うには、まったく別の取り組みが求められます。

Cloudera の目標は、データ資産全体にわたって信頼できるデータを提供し、お客様が最も堅牢なデータ活用、分析、AI アプリケーションを推進できるよう支援することです。Octopai 社の統合は、その実現に向けた大きな一歩となります。

Octopai 社の買収と Cloudera のお客様にもたらされるメリットに関する詳細は、こちらをご覧ください。

ダッシュボードを公開する前に、そのダッシュボードに表示されるウェルカムメッセージ、AI モデルに送信されるプロンプト、および応答ごとのトークン制限をカスタマイズできます。これらの設定により、応答の長さを管理したり、パフォーマンスを最適化したり、コストを統制したりできるだけでなく、この強力な AI 分析ソリューションの活用方法をビジネスユーザーにわかりやすく示すことができます。

公開後は、音声またはテキストを使ってデータについて質問することで、AI Visual と対話できます。特定の商品カテゴリーで、ロイヤルティプログラムの新規会員の購入パターンを知りたい場合は、このセグメントのトレンドについて AI Visual に尋ねるだけで、顧客が好む配送方法、購入頻度、割引やプロモーションコードの利用状況に関連する主要なデータポイントが、応答とともに返されます。このようなデータから得られた洞察は、小売戦略をすばやく簡単に最適化するのに役立ちます。

この記事は、2025/4/7に公開された「Use AI to Unearth Trends in Customer Loyalty Program Data」の翻訳です。

Cloudera Data Visualization と Cloudera AI で、BI ワークフローに AI を導入

小売業界や消費財業界の方であれば、顧客データが宝の山であることはご存じでしょう。組織にとっては、顧客データを活用して顧客の行動に関する洞察を引き出せるかどうかが、販売やマーケティング活動を迅速化し、強化するための鍵となります。

例えば、美容ブランドであれば、ロイヤルティプログラムのデータを分析することで、上位の顧客が探し求めているスキンケア製品、リップグロスの色、フレグランスなどを把握できます。また、食品小売業者であれば、食物アレルギーや食事制限があると思われる顧客を特定できます。どちらの小売業者も、こうしたデータを活用することで、より関連性が高く、的を絞ったデジタルクーポンを配信できるようになります。

もちろん、どれほどデータが豊富にあっても、組織がそのデータを実用的な洞察に変えられなければ意味がありません。また当然ながら、顧客データの活用にあたっては、絶えず進化するデータプライバシー規制に対処しながら、セキュリティを確保する必要があります。

Cloudera の人工知能 (AI) とビジネスインテリジェンス (BI) のソリューションは、こうしたデータ活用の取り組みに変革をもたらし、小売業界のあらゆる組織が自社のデータセットを迅速かつ安全に分析し、最終的に ROI を大幅に向上させて、すべての顧客の生涯価値を高められるよう支援しています。

この記事では、Cloudera AI と Cloudera Data Visualization という2つのソリューションを詳しく見ていきます。これらは、小売業者が大量のロイヤルティプログラムデータを細かく分析し、顧客の購買嗜好や取引履歴のパターンや傾向を特定できるよう支援するもので、いずれも堅牢なセキュリティ機能とガバナンス機能に支えられています。

また、Cloudera Data Visualization は、ユーザーからの質問を利用してダッシュボード上にスマートフィルターを自動作成します。例えば、ユーザーがバックパックについて質問すると、関連する製品を含むレコードが表示されるように他のビジュアルもフィルタリングされます。これにより、モデルの回答の精度を視覚的に検証できるだけでなく、関連するデータポイントを探すために何度もメニューを操作することなく、データからさらに深い洞察を得ることができます。

小売業者が AI Visual を活用する方法

Cloudera Data Visualization の AI Visual は、コーディングのスキルがなくても非常に簡単に構築できます。Cloudera Data Visualization のドラッグアンドドロップ式のダッシュボードビルダーを使って、購入商品や使用されたプロモーションコードなどのフィールドを表示するように AI Visual を設定できます。

Cloudera AI を活用してプライベート AI を導入

Cloudera AI は、組織がデータを統制しながら、AI のイノベーションを活用できるように設計されています。

Cloudera AI Inference サービスを利用すれば、AI モデルを本番レベルの環境で大規模にデプロイし、セキュリティを損なうことなく優れたパフォーマンスを実現できます。すべてのモデルのエンドポイントが組織のセキュリティ境界内にあるため、組織独自の顧客ロイヤルティデータなど、自社のデータが外部に漏れることは決してありません。Cloudera を使えば、プライベート AI を企業全体に導入し、BI やデータ分析のワークフローなどで活用できます。

Cloudera Data Visualization の AI Visual のご紹介

Cloudera Data Visualization は、インタラクティブなダッシュボードやカスタムアプリケーションを作成できる強力な BI ツールです。ビジネスアナリストやデータサイエンティスト、業務担当者がデータから洞察を引き出す際の最初のツールとして活用できるよう工夫されています。

Cloudera Data Visualization の AI Visual は、BI ワークフローに AI を組み込みます。ダッシュボード内の検索拡張生成 (RAG) 機能を活用することで、ユーザーは従来の分析作業と並行して AI ドリブンな洞察を引き出したり、大規模なデータセットに対して自然言語でクエリを実行したり、会話の文脈を定型レポートに反映させて動的な意思決定を支援したりできます。

図1: Cloudera Data Visualization のドラッグアンドドロップ式のビジュアルビルダーで、[Embedding Context] シェルフに列を追加している様子。

図2: 公開された Cloudera Data Visualization ダッシュボードの AI Visual に、「バックパックを最近購入した新規会員にはどのような傾向が見られますか」と尋ねている様子。

Cloudera Data Visualization でのモデルプロファイルの構成

Cloudera Data Visualization 8.0.0リリースでは、認証方法を選択して、さまざまなサービスプロバイダーのモデルに接続できます。具体的には、Amazon Bedrock、OpenAI、および Microsoft Azure OpenAI のモデルを標準でサポートしているほか、Cloudera プラットフォーム上で Cloudera AI Workbench と Cloudera AI Inference サービスを通じてホストされているモデルに対して、JWT 認証をシームレスに利用できます。

また、Data Visualization の単一のインスタンス内で、複数のモデルプロファイルを簡単に構成して保存し、選択したモデルに合わせて AI アプリケーションをスムーズに調整できます。そのため、ほとんどのアプリケーションに対しては信頼できる既製のモデルを使用し、特定のダッシュボードに対しては実験的に調整したモデルを使用するといったことも可能です。

Cloudera でデータから深い洞察を獲得

Cloudera を利用すれば、小売業者は顧客データを細かく統制して、洞察を獲得できるようになるため、ロイヤルティプログラムデータ、購入嗜好、取引履歴などのデータセットの解析に必要な時間が短縮されます。

これまでは、ソーシャルメディアやインフルエンサーマーケティングキャンペーン、E コマースや実店舗での販売、サプライチェーンの運用といったさまざまなソースからのデータを、アナリストが何日もかけて分析する必要がありましたが、今では Cloudera のデータと AI ソリューションを活用することで、効率的かつスマートに業務を進めることができます。

小売業界と消費財業界のデータアナリストに、新たなレベルの生産性をもたらしましょう。Cloudera AI と Cloudera Data Visualization を利用すれば、かつてないスピードでデータを分析し、洞察を獲得できます。

ご利用にあたっては、まず以下の方法をご検討ください。

• Cloudera AI Inference サービスの製品ツアーを開始する

• Cloudera Data Visualization で AI Visual を活用するデモ動画を見る

• Cloudera Data Visualization のセルフサービス機能を紹介するウェビナーを見る

• Cloudera の営業チームに直接問い合わせる

• Cloudera ソリューションの5日間無償トライアルを試す

NVIDIA のブログで GTC Paris の発表内容をご確認ください。また、Cloudera の AI に関するブログ、特に Dell、NVIDIA、Cloudera によって実現された最新の「AI in a Box」についての記事もぜひご覧ください。これは、顧客がプライベートAIを迅速かつ容易に、そして最小限のリスクで導入できる新しい方法を提供します。

この記事は、2025/06/11に公開された「Cloudera Supercharges Your Private AI with Cloudera AI Inference, AI-Q NVIDIA Blueprint, and NVIDIA NIM」の翻訳です。

Cloudera が顧客と AI の目標について話す中で、よく耳にする課題の一つは、プライバシーへの懸念が原因で計画や実装が停滞してしまうことです。従業員や顧客が最も正確な結果や回答を得るためには、企業のすべてのデータに AI を活用したいと考えています。しかし同時に、クローズドソースの大規模言語モデル (LLM) のパブリックエンドポイントにデータを送信することはできないと理解しています。その理由は、1. データ量が膨大であること、2. データのプライバシーが保持されなくなること、この 2 点です。

これらの懸念に対応するため、Cloudera はプライベート AI というコンセプトを提唱し始めています。これにより、顧客は AI がもたらすあらゆる利点を享受しつつ、自社の機密データを安全に保護できます。

NVIDIA も同じ課題を、より高次かつ広範なレベルで目の当たりにしています。それは国家レベルです。各国政府は、自国以外で AI を運用することは自国の最善の利益にならないと認識し、自国のデータと AI を国境内にとどめるために必要なインフラ整備を進めています。そして、自国のデータや AI の成果をどの国や組織と共有するかを、自ら管理できるようになります。

本日開催された GTC Paris カンファレンスにおいて、NVIDIA は各国政府の取り組みを支援するためのソブリンAI の基盤を提供しました。この取り組みは、お客様が自社専用のプライベート AI プラットフォームを実装できるよう支援するという Cloudera の重点分野とも高い親和性を持っています。

NVIDIA は Cloudera にとって特に注目すべき 2 つの発表を行いました。本ブログでは、AI-Q NVIDIA Blueprint for Enterprise Research と NVIDIA NIM に焦点を当て、これが当社のお客様にとってどのような意味を持つのかを掘り下げていきます。

AI-Q NVIDIA ブループリントと Cloudera AI

NVIDIA が発表したエンタープライズリサーチ向け AI-Q ブループリントにより、Cloudera AI はお客様の複雑なエージェント型AIニーズを支援するための機能を強化しました。

Cloudera AI Inference は、NVIDIA NeMo Retriever および LLM 推論マイクロサービスをすべてホスティングでき、これらは AI-Q NVIDIA Blueprint を構成しており、NVIDIA Llama Nemotron 推論モデルも含まれます。モデルエンドポイントに対して Cloudera AI プラットフォームが提供する強力なプライバシーとセキュリティに、NVIDIA Agent Intelligence ツールキットの高い性能を組み合わせることで、企業のエージェント型アプリケーションを次のレベルへと引き上げることができます。

Cloudera AI における AI-Q NVIDIA Blueprint 活用の利点

Cloudera AI Inference サービスで AI-Q NVIDIA Blueprint を活用することで、AI の大きな可能性が開かれます。この強力な組み合わせにより、NVIDIA NIM や NeMo Retriever マイクロサービスとして提供される先進的な推論モデルが Cloudera AI に統合され、さらに NVIDIA Agent Intelligence ツールキットとの完全な互換性によって、エージェント、ツール、データ間のシームレスな接続が実現されます。

このマルチフレームワーク対応により、組織は堅牢なプライバシーとセキュリティを備えた高度な企業向け検索拡張生成 (RAG：Retrieval-Augmented Generation) アプリケーションを構築し、最先端の AI 技術を最大限に活用することができます。

Cloudera AI Inference における NVIDIA NIM マイクロサービス

NVIDIA の NIM コンテナは、LLM から最高のパフォーマンスを迅速かつ簡単に引き出す画期的なソリューションです。モデルと GPU ハードウェアに基づいて最適な推論バックエンドを自動的に選択することで、LLM のデプロイメントと推論を大幅に高速化し、多数の最先端 LLM の運用サービスを効率化する、モデルに依存しない推論ソリューションを提供します。

さらに掘り下げると、NVIDIA NIM マイクロサービスは、NVIDIA TensorRT-LLM、vLLM、または SGLang によって高速化された LLM を迅速にデプロイし、あらゆる NVIDIA アクセラレーテッドプラットフォーム上で最高水準の推論を可能にします。Hugging Face や TensorRT-LLM 形式で保存されたモデルをサポートし、幅広い LLM に対して企業向けの推論を提供します。ユーザーは、レイテンシとスループットを最適化するためのスマートデフォルトを利用することも、シンプルな設定オプションでパフォーマンスを微調整することも可能です。NVIDIA AI Enterprise の一部として、NVIDIA NIM マイクロサービスは NVIDIA から継続的にアップデートが提供され、幅広い人気の LLM との互換性が確保されます。

Cloudera AI Inference 内で NVIDIA NIM を使用する利点

NVIDIA の NIM は、顧客が AI アプリケーションで LLM を活用する方法において、より高い柔軟性を提供します。Cloudera AI Inference サービスにはすでに NVIDIA NIM が組み込まれているため、顧客は NVIDIA NIM マイクロサービスを迅速かつ容易に実装できます。顧客は、使いやすさ、安全性、そして単一の統合プラットフォーム Cloudera による効率的なサポートとともに、NVIDIA NIM の利点を享受できます。

NVIDIA NIM マイクロサービスは、Cloudera の AI Inference サービスにシームレスに統合されており、Cloudera AI のお客様に次のような大きな利点をもたらします。

• デプロイの高速化：あらかじめ構築された最適化済みコンテナを利用し、LLM アプリケーションをより迅速に稼働可能。

• パフォーマンス向上：NVIDIA アクセラレーテッドコンピューティングの性能を最大限に活用し、高速推論とレイテンシ削減を実現。

• スケーラビリティ：ビジネスの成長に合わせて LLM デプロイを容易に拡張可能。

• 管理の簡素化：Cloudera の直感的なインターフェースで LLM デプロイを管理・監視可能。

まとめ

Cloudera と NVIDIA は協力し、企業がパブリックデータであれプライベートデータであれ、あらゆるデータに対して最新の AI 技術を容易かつ効率的、そしてコスト効果高く活用できるようにしています。開発からデプロイメントまでの AI アプリケーションライフサイクルを簡素化し、パフォーマンスを最適化することで、私たちはユーザーが AI の可能性を最大限に引き出せるよう支援しています。

この記事は、2025/3/27に公開された「Cloudera Enables Telecommunications Service Providers to Modernize their Data Architecture」の翻訳です。

通信業界のデジタルトランスフォーメーションに取り組んでいる業界団体の TM Forum は2025年2月、ポルトガルのリスボンで Accelerate イベントを開催しました。このイベントでは、同団体の3つの柱である「自律型ネットワーク運用」、「柔軟な IT 環境とエコシステム」、「AI とデータによるイノベーション」にまつわる課題解決に向けて、通信サービスプロバイダーとテクノロジーパートナーが一堂に会します。

なかでも注目されたのが、通信事業者にとって最適なモダンデータアーキテクチャに関する議論でした。データアーキテクチャは、ネットワーク運用への AI の組み込み、サービス提供の最適化とコストの削減、革新的で他社と一線を画す顧客体験の提供など、デジタルトランスフォーメーションのほぼすべての側面に影響します。そのため、通信事業者がデジタルトランスフォーメーションの取り組みを成功させるのに役立つデータアーキテクチャを構築するには、目的を持って戦略的に行動することが重要です。

モダンデータアーキテクチャの主なコンポーネント

モダンデータアーキテクチャは、通信事業者が分散環境全体で大量のデータを管理し、これまで以上にすばやく意思決定を下せるものでなければなりません。しかも、その決定の多くが、人間の介入なしに行われるようにする必要があります。これを実現するには、データアーキテクチャにおける以下の機能のサポートが欠かせません。

• ストリーミングデータの処理: バッチプロセスによるデータの取り込み、処理、分析では、もはや不十分であり、ネットワークテレメトリー分析などのユースケースではなおさらです。通信事業者には、可能な限りソースに近い場所でリアルタイムにデータを収集、処理、分析できる能力が求められます。

• ハイブリッドクラウドの導入: モダンデータアーキテクチャでは、オンプレミス環境とクラウド環境の両方でデータを管理および分析して AI を実行できる、一貫性のあるプラットフォームを提供する必要があります。

• 分散型データ・ファブリック: 通信事業者には、さまざまな理由から分散型データストアが必要です。データの分散化は避けられませんが、モダンデータアーキテクチャにより、サイロ化を解消し、組織のすべてのデータに安全かつリアルタイムでアクセスできなければなりません。

• データガバナンスの統合: ハイブリッドデータアーキテクチャ全体でセキュリティとガバナンスを統合することで、コンプライアンスを維持し、データへの信頼性を確保しながら、セルフサービスアクセスによる AI の利用や分析を可能にします。

• オープンソースとオープン API: 独自のクローズドシステムは、最終的にコストの増加やイノベーションの制約につながります。これに対し、オープンな標準、プロセス、テクノロジーに基づいて構築されたデータアーキテクチャなら、柔軟性や俊敏性をもたらし、あらゆるデータワークロードに最適なツールや実行エンジンを自由に選択できます。

モダンデータアーキテクチャを導入するメリット

データプラットフォームは近年大きく進化しています。かつては、主にレポートを作成したりダッシュボードを利用したりするためのストレージソリューションでしたが、今では事業戦略や事業運営の基盤となっています。具体的には、データプラットフォームの分析機能と AI 機能から得られるデータと洞察が、事業計画の立案や、効率的かつ効果的な運用サポートシステム (OSS) とビジネスサポートシステム (BSS) の運用において中心的な役割を担っています。

モダンデータアーキテクチャを導入することで、通信事業者は組織戦略を推進し、以下のような大きなメリットを実現できます。

1. 運用効率の向上とコストの削減: データを活用したネットワークパフォーマンスの最適化、ダウンタイムの削減、キャパシティプランニングの強化により、サービス提供を最適化し、顧客満足度を向上させ、最終的にコストを削減できます。

2. AI ドリブンな自動化: AI を活用したサービスとアプリケーションによって、ネットワーク運用を自動化し、(予知保全を通じて) 想定外の機能停止の影響を軽減し、顧客とのやり取りをパーソナライズできるため、ゆくゆくは手作業を減らしながら、サービス品質を高められるようになります。

3. データドリブンなイノベーションと成長: 成長の機会を模索している通信事業者は、豊富な顧客データを活用することで、ネットワークやインフラストラクチャーの提供にとどまらず、B2C および B2B 向けのサービスやアプリケーションを提供できます。革新的でスケーラブルな成長の鍵は、データを活用することです。

Cloudera が通信事業者に適したモダンデータアーキテクチャを実現

Cloudera は、オープンなデータ標準、プロセス、テクノロジーに関して、業界有数のソートリーダーの1社として認識されています。また、TM Forum におけるデータと AI 分野の主要メンバーとして、オープンデータアーキテクチャ (ODA) マニフェストに署名し、Modern Data Architecture Collaboration Group の議長を務めているほか、Catalyst プロジェクトのリーダーや貢献者として、他の多くのプロジェクト (データガバナンスや AI ガバナンス関連のプロジェクト) に関わっています。さらに Cloudera は、Amdocs 社、Nokia 社、Mobileum 社、Subex 社などのパートナーとともに、認証取得済みのアプリケーションを通じて ODA Component Directory をサポートし、これまで ODA に明確に含まれていなかった新しいデータプラットフォームコンポーネントの開発や追加を進めています。

以下のように、Cloudera はモダンデータアーキテクチャに欠かせないすべてのコンポーネントを提供しています。

• オープンで拡張性の高い単一のプラットフォームを提供し、通信事業者がオンプレミス、複数のクラウド、ハイブリッドなどあらゆる環境に導入できるようにしています。

• 当社のプラットフォームは、通信事業者がデータをリアルタイムで収集、処理、分析し、移動中のデータと保存されたデータを保護および管理し、そのデータを分析や AI アプリケーションで活用できるようにしています。これらの機能を通じて、当社は通信事業者の業務の効率化、顧客体験の向上、コストの削減を支援します。

• Cloudera のプラットフォームは、オープンな標準とテクノロジーに基づいて構築されているため、通信事業者はあらゆる業務に最適なツールを利用するだけではなく、新しいイノベーションも活用できます。分析や AI に必要なデータを容易に特定して利用しながら、セキュリティ、ガバナンス、信頼性を維持することが可能です。

自社のデータアーキテクチャ向けにエッジから AI までをカバーするキャリアグレードのソリューションを求めている通信事業者は、Cloudera の導入によって、運用を効率化し、成長を追求し、コストを削減することができます。

AI in a Box で広がる無限の可能性

• コンサルティングのご予約：DTW 後にに AI ストラテジーを変革しませんか？こちらからご連絡ください。今後についてのお打ち合わせ、カスタムワークショップの調整、またはビジネスに実質的な成果をもたらすパイロット施策の開始をご検討いただけます。

この記事は、2025/5/20に公開された「AI in a Box: Experience the Future of Private AI at Dell Technologies World with Cloudera, Dell Technologies and NVIDIA」の翻訳です。

企業規模でプライベート AI を運用化する競争は、単にモデルやアルゴリズムの話ではありません。それは、妥協を許さないインフラのことなのです。AI in a Box ブログシリーズの初回記事にようこそ。これは、Cloudera、Dell Technologies、NVIDIA が、最先端のAI最適化ハードウェア、インテリジェントなデータオーケストレーションとAIOps ツール、そしてゼロトラストガバナンスを統合したターンキーソリューションによって、エンタープライズ AI をどのように再定義しているかを解き明かす、3部構成のブログシリーズの初回記事です。もはや、レガシーシステムを場当たり的につなぎ合わせたり、クラウド専用の「ブラックボックス」にすべてを委ねたりする必要はありません。

AI の開発から導入までをシームレスにし、市場投入をスピードアップ

価値実現の加速は、シリコンレイヤーから始まります。Dell PowerEdge サーバーは、NVIDIA のアクセラレーテッド・コンピューティング、NVIDIA RAPIDS、NVIDIA NIM を搭載し、今日の最も要求の厳しい AI ワークロードに対応するための高性能な基盤を提供します。これにより、数十億パラメータ規模のモデルを独自データでコンテキスト化する場合でも、大規模環境で低レイテンシの推論を実現する場合でも、その性能を発揮します。

Cloudera AI は、この基盤の上に構築され、フルマネージドサービスとして提供されることで、運用の複雑さを解消します。ドメイン固有の LLM のファインチューニングやリアルタイム RAG パイプラインの実行といったタスク向けに GPU クラスターを自動でプロビジョニングし、その後は効率を最大化するためにリソースを動的に再割り当てします。

その結果はどうなるでしょうか。インフラストラクチャのサイジングの推測や互換性の問題はもうありません。開発から展開までシームレスなプライベート AI のジャーニーだけです。

スピード面での優位性は、事前に統合された AI のブループリントにも及びます。ある金融機関は、既存のトランザクションシステムに直接接続できる最適化済みのワークフローを活用し、数か月ではなく数日で不正検知モデルを導入しています。ある製造業者は、Dell の高性能ストレージに保存されたセンサーデータで学習を行い、需要の急増時には Cloudera が GPU リソースを自動的にスケーリングすることで、予知保全を実現しています。これらは汎用的なテンプレートではなく、さまざまな業種で磨き上げられた実戦投入済みのパイプラインであり、ゼロトラストセキュリティときめ細かなガバナンスを徹底しています。

プライベート AI ライフサイクル全体で機密データを保護し、新たな規制に準拠する

AI in a Box には、セキュリティとコンプライアンスが組み込まれており、俊敏性を損なうことなくデータ保護と規制遵守を実現します。このソリューションは、NVIDIA MIG テクノロジーによるハードウェアレベルでの分離と、Cloudera の統合ガバナンスを活用し、AI ライフサイクル全体で機密データを保護します。医療、金融、政府といった分野では、HIPAA 準拠の診断機能、エアギャップ構成の引受モデル、改ざん不可能な監査証跡により、国内外のコンプライアンス要件を満たすことができます。

金融サービス分野では、このスタックにより、AI ドリブン型のトランザクション監視、異常検知、リアルタイムレポートを活用して、AML／BSA（マネーロンダリング防止／銀行秘密法）コンプライアンスを迅速化できます。継続的なモニタリング、バイアス軽減ツール、説明可能な AI ワークフローを通じて、EU AI 法、米国証券取引委員会（SEC）、英国金融行動監視機構（FCA）の規制に対応します。データの保存場所の制御とゼロトラストアーキテクチャにより、GDPR や CCPA の要件に対応し、エンドツーエンドの監査証跡によって、信用リスクや不正検知モデルにおける透明性を確保します。

積極的な脅威検出、自動化されたインシデント対応、バーゼル委員会に準拠したフレームワークの順守は、違反や規制リスクを最小限に抑えるのに役立ちます。AI in a Box により、機関は AI を自信を持って拡張でき、企業は規制の複雑さを競争優位の源に変えることができます。管理された更新とパッチ適用により、チームはイノベーションと生産規模の運用の間で適切なバランスを取ることができます。

スケーラブルで拡張可能な AI を用いてコスト効率を最大化

AI コンピューティングをオンプレミスのデータレイクと同一の場所に配置することで、Dell のスケーラブルなストレージはペタバイト規模のデータをローカルに保持します。これにより、このソリューションはクラウド中心の AI で発生する遅延によるパフォーマンス低下やエグレス料金を回避します。NVIDIA の最新 GPU は、従来世代と比べて学習時間を最大で半分に短縮します。一方、Cloudera のポリシードリブン型オートスケーリングにより、リソースがワークロードの需要に的確に適合するよう調整されます。

その結果はどうなるでしょうか。予測可能なコストベースで最適化されたプライベート AI のワークロード経済性を実現し、AI を実験的なサンドボックス環境から、企業の成果を牽引する中核的な価値創出エンジンへと移行させます。

しかし、真に画期的なのは俊敏性です。企業は即座に方向転換できます。今日の顧客離れモデルが、同じインフラ上で明日にはサプライチェーン最適化のツールへと姿を変えるのです。フフルスタックで統合された AI ソフトウェアは、ハイブリッドデータパイプラインの管理からモデルエンドポイントの提供まで、あらゆるプロセスを加速します。さらに、Shared Data Experience（SDX）スタックに組み込まれた Cloudera のデータリネージ機能が、各エンドポイントをそのソースまで追跡し、規制の厳しい業界における監査で不可欠な可視性を提供します。常に将来の互換性を備えた Dell のインフラは、高額な再設計を必要とせずに次世代のチップセットをシームレスに導入できるようにし、データセンター内での持続可能性を効果的に維持します。

プライベート AI の未来の体験

AI in a Box の本質は、シリコンと推論の相乗効果です。NVIDIA H100 GPU と NVLink スイッチトポロジを搭載した Dell PowerEdge サーバーは、兆パラメータのトレーニングとリアルタイム RAG パイプラインにおいて FP8 精度のパフォーマンスを提供します。Kubernetes ドリブン型オーケストレーションは GPU クラスターを自動プロビジョニングし、Mistral-7B モデルの微調整や MONAI 医療画像ワークフローの並列化などのタスクにリソースを動的に割り当てます。Cloudera のデータファブリックは、ストリーミングとバッチの取り込みを最適化された Parquet シンクに統合し、SDX は強力なデータアクセス制御ときめ細かいガバナンスを適用し、生データからモデル予測までのデータリネージを追跡します。

妥協のない、真のエンタープライズ AI です。クラウド移行を待つ必要もなく、断片化されたツールに悩まされることもなく、革新のためにコンプライアンスを犠牲にすることもありません。Cloudera AI、マネージドサービスとして提供される Dell インフラストラクチャ、NVIDIA のアクセラレーテッド・コンピューティング、および NVIDIA NIM を活用すれば、AI を導入するだけでなく、運用化も実現できます。高速。安全。将来を見据えた設計です。

Cloudera、Dell、NVIDIA は、最先端のハードウェア技術とシンプルな運用性を融合させたフルマネージドサービスにより、企業を AI 活用の最前線（高速レーン）へと導いています。これは、既存のインフラに無理やり AI を載せる話ではありません。最新の高性能な Dell PowerEdge サーバー、NVIDIA のアクセラレーテッド・コンピューティング、NVIDIA RAPIDS、NVIDIA NIM、Cloudera AI を活用し、データの持つ力を最大限に引き出すことを目的としています。これらの要素が連携することで、効果的かつ効率的なデータパイプラインを構築し、すぐに使えるエンタープライズ向け AI ソリューションとして提供されます。

当社は、オープンソースの俊敏性、エンタープライズグレードのセキュリティ、プライベート AI への絶え間ない取り組みを戦略の中心に据えることで、組織をこれまでのように妥協を強いられる状況から解放します。AI 革命はこれから起こるものではなく、すでに始まっているのです。そして、Cloudera を利用することで、お客様は自社の思い通りに AI を構築できます。

次のステップへ

自社の条件に合わせて AI を構築する準備はできているでしょうか。Cloudera のプライベート AI 機能の詳細や、プライベート AI の実際の活用方法について知りたい方は、ぜひ5日間の無償トライアルをご利用ください。

この記事は、2025/3/18に公開された「Generative AI needs to become private to thrive - introducing Private AI」の翻訳です。

3年間で25エクサバイトのデータを管理

ヘルスケア、ライフサイエンス、金融サービス、製造、ハイテクなど、さまざまな業界の大手グローバル企業で使用されている Cloudera は、25エクサバイトを超えるデータを一括管理し、AI と分析を通じてリアルタイムの洞察を提供しています。当社はこれまで、生産性の向上とプロセスの変革を実現するアプリケーション、アシスタント、エージェントを構築するために、大規模言語モデル (LLM) を使用している何百もの企業を支援して、ノウハウを確立してきました。そのような中、この3年間でオープンモデルとクローズドモデルが発展し、アプリケーションアーキテクチャが RAG からエージェント型へと進化しています。しかし、一貫して変わらないテーマもあります。それは、企業独自のデータと文脈を生成 AI モデルと組み合わせることです。

プライベート AI とは？

プライベート AI とは、組織独自のあらゆるデータを使用して、AI モデル、アプリケーション、エージェントを構築および実行できる AI 環境を指します。パブリッククラウドでもオンプレミスインフラストラクチャーでも使用でき、データや洞察が組織外に共有されることは一切ありません。

• AI をプライベートで構築すると、トレーニングデータ、構成、およびその結果として調整されたモデルがすべて自社のセキュリティ境界内で保持されるため、モデル作成のあらゆるステップを完全に統制できます。

• AI をプライベートで実行した場合、あらゆるモデルのエンドポイントが自社のセキュリティ境界内に存在することから、モデルに送信されたプロンプトと文脈も受信した応答も、すべてが自社の環境内に留まります。

簡単に言えば、プライベート AI を使うことで、AI の驚異的なイノベーションを取り入れながら、機密データの外部への流出を確実に阻止できるのです。

プライベート AI の主な原則は？

プライベート AI プラットフォームでは、オープンな基盤上に構築すること、パブリックインフラストラクチャーとオンプレミスインフラストラクチャーの両方を活用できること、データと AI のライフサイクル全体でシームレスに統合できることが必須です。では、これらについて具体的に見ていきましょう。

1. オープンソースは単なる理念ではなく、プライベート AI の基盤

オープンソース AI の勢いはとどまることを知りません。BLOOM や Falcon といった初期のモデルは、オープンソース AI が規模と機能の両面でプロプライエタリ AI に匹敵する可能性を秘めていることを証明しました。これが突破口となって、Llama のようなモデルが登場し、自社独自のニーズに合わせてソリューションを調整したいと考える企業に最先端の言語 AI がもたらされました。今では、DeepSeek のような先端技術が、コード生成、推論、運用効率の分野で限界を押し広げています。しかし、これはまだ始まりに過ぎません。オープンソースコミュニティは何度も改善を重ねながら成長しており、将来のモデルはさらに水準が上がり、軽量化、迅速化、専門化が進むことになるでしょう。

オープンソースは Cloudera の基盤であり、Cloudera AI はこの絶え間ないイノベーションの流れを利用できるように設計されています。実際、BLOOM や Falcon のような初期のモデルから、Llama のような汎用性と処理能力の高いモデル、あるいは DeepSeek のような最先端の推論モデルまで、あらゆるオープンソースモデルをお客様が導入できるよう支援しています。当社のプラットフォームでは、AI モデルの世代間でシームレスに移行できるため、コストのかかるインフラストラクチャーの刷新が不要です。現在、当社のお客様は、テキスト生成モデルを活用した要約から、高度な推論機能を活用したミッションクリティカルな課題 (コードの最適化や意思決定の自動化など) への対応まで、Cloudera 上でワークフローを進化させています。また、同じプラットフォームを利用して、将来のマルチモーダル AI のための基盤を築いています。この AI モデルは、テキスト、データ、画像の入力を統合し、従来なら個別のツールやチームで対応する必要があった複雑な問題を解決します。

このような俊敏性は、偶然の産物ではなく、目的をもって実現しています。オープンソースの取り組みのあらゆる段階をサポートすることで、当社はユーザーが混乱をチャンスに変え、お客様が実験、拡張、将来を見据えた AI 投資を、妥協することなく自由に行えるようにしています。

2. データがある場所で AI を実行

AI がもたらす変革の可能性にはごくシンプルな原則があります。それは、モデルの性能が、そのモデルを支えるデータの質や量に左右されるということです。したがって、データと AI システムが個別に運用されていれば、課題が生じます。連携していない複数のシステムにデータを保存していると、データへのアクセスが困難になるため、洞察の獲得が遅れ、パイプラインが脆弱になり、正確な意思決定に必要なリアルタイムの文脈を活用できないモデルが生成されます。また、断片化されたツール間でデータを移動していると、リスクが高まり、セキュリティとコンプライアンスが損なわれることにもなります。

そこで Cloudera は、データと AI を1つのまとまりあるライフサイクルに統合しています。Cloudera プラットフォームと Cloudera AI サービスは、単一の統合システムとして機能するように構築されており、パフォーマンスを最適化しながら、安全に管理されたデータを AI ワークフローにシームレスに取り込めます。また、メタデータ、セキュリティポリシー、コンピュートリソースの共有により、コストのかかるデータの重複や移動を排除できます。さらに、すべての予測の経緯をさかのぼって確認できるため、透明性と信頼性が確保されます。

この統合は、Cloudera の設計の中核を成すものです。データと AI のライフサイクルの統合により、常にモデルを最新の情報で更新しながら、厳格なアクセス統制と監査要件を遵守することが可能になります。組織は AI を実験の段階から大規模なデプロイの段階に移行することで、生データから実用的な成果を得られます。その結果、実際にインパクトを与える AI が実現し、セキュリティ、スピード、ガバナンスを犠牲にすることなく、イノベーションを加速できます。

3. パブリッククラウドでも利用できるプライベート AI

初期の AI の導入には、多くの制約がありました。組織は AI の利用を、一般的なコンテンツの作成、世間の動向の分析、定型業務の自動化など、機密性の低いデータセットに制限していました。組織の独自データを組織外に移動するリスクを許容できなかったためです。この状況は今もあまり変わっていません。そのため、ミッションクリティカルなワークフローへの AI の適用は見送られてきました。例えば、金融機関は取引ログを安全に分析できず、医療機関は患者記録から洞察を得ようとせず、メーカーは独自のセンサーデータを使ったオペレーションの最適化をためらう状況が続いています。

しかし、Cloudera はデータと AI に対応する唯一の真のハイブリッドプラットフォームとして限界の枠を押し広げ、お客様が自社の仮想ファイアウォール内において、同じ AI ワークロードをあらゆるクラウドとデータセンターで実行できるようにします。プライベート AI を利用することで、企業は Llama3 や DeepSeek などのモデルを、データセンター、AWS や Microsoft Azure などの安全なクラウド、ハイブリッドアーキテクチャなど、既存のあらゆるデータ環境に直接デプロイできます。あらゆる企業データを AI で活用することで進化を遂げ、レポート作成などの基本的なタスクから、独自のセンサーデータの分析によるオペレーションの最適化、リアルタイムの取引ログに存在する異常の検出、顧客とのやり取りのパーソナライズなど、ミッションクリティカルな課題を解決できるようになります。しかもそのすべてを、暗号化、アクセスポリシー、コンプライアンスガードレールによって管理できるのです。

これが制約のない AI です。つまり、データを自社で所有し、モデルを自社のインフラストラクチャーに適応させ、自社のリスク許容度に合わせてイノベーションを推進できます。Cloudera なら、プライバシーを制約とみなさずに AI の基盤とし、安全かつシームレスに自社の条件に従ってビジネスのあらゆる領域を変革できます。

Cloudera AI: プライベート AI の構築と実行

Cloudera AI は、イノベーションと統制の二者択一を迫るのではなく、両方を活用できるように構築されています。当社の以下のサービスを利用すれば、AI をプライベートに構築して実行できます。

• Cloudera AI Workbench: ローコードから複雑なコーディングにまで対応する柔軟なプラットフォームで AI 開発を加速します。このプラットフォームは、プライベートデータを活用して、アイデアを本番環境向けのソリューションにすばやく変換することで、モデルの構築と調整やアプリケーションとエージェントの開発を可能にします。
• Cloudera AI Inference: 本番環境に対応したサービスであり、AI モデル、アプリケーション、エージェントをエンタープライズ規模でデプロイできます。ネイティブに統合され、モデル向けに最適化されたマイクロサービスにより、Cloudera プラットフォーム上での推論を36倍速く処理できるため、応答性に優れた高性能 AI の実現を可能にします。また、総所有コスト (TCO) を見積もることができ、ユーザーは速度、規模、コストのいずれも妥協する必要がありません。
• Cloudera AI Registry: AI ライフサイクル全体の中心的なハブとして、モデルの開発と運用を橋渡しします。オープンソースコミュニティや当社の AI パートナーが構築し、最適化された数百のモデルを利用できるため、最先端の技術進歩をいつでもすぐに活用し、簡単に統合して、AI への継続的な取り組みに適用できます。

この記事は、2025/2/24に公開された「The Strategic Importance of a Unified Data Platform」の翻訳です。

今日、組織はデジタル製品の市場投入までの時間を短縮し、運用モデルのあらゆるレイヤでオペレーショナルエクセレンスを促進し、競争力を維持するなど、主要な分野を強化するための変革に継続的に取り組んでいます。ただし、機密性の高い組織データを扱う場合は特に、このような取り組みの進展がコスト効率やサイバーセキュリティを犠牲にしないようにする必要があります。

パブリッククラウドやプライベートクラウドに移行して、運用上の多くのメリットを活用しようとしている組織は、単一プロバイダーのソリューションから脱却しつつあります。Flexera 社の最新の『State of the Cloud Report』によると、現時点で89% の組織がマルチクラウド戦略を採用しています。また、多くの組織がクラウドとオンプレミスのデータセンターを組み合わせたハイブリッド環境を管理しています。ハイブリッドクラウドでは、クラウドがもたらすイノベーションを可能な限り活用しながら、機密データなどのビジネスクリティカルな領域で完全な統制を維持したり、総所有コスト (TCO) の効率が高いインフラストラクチャーと運用方法を選択したりできるため、最大限の柔軟性を得ることができます。

一方、データの成熟度という点では、組織は多くの課題に直面しています。例えば、業界固有の規制要件、洞察の提供に関するさまざまなサービスレベル契約 (SLA)、技術スキルや能力のレベルの違いといった問題です。このようにさまざまな課題があるにもかかわらず、ほとんどの企業は、データ・インジェスチョン (データ採取)、データエンジニアリング、分析、可視化、機械学習 (ML)、人工知能 (AI) のプロセスにおいて、単一の確立された分析ライフサイクルに従っています。しかし、データの急激な増加と、その価値を引き出すためのツールの急増が、大きな障害をもたらしています。具体的には、人材の不足に加え、さまざまなツールが混在した複雑なエコシステムの管理に伴うメンテナンスの負担が、生産性と収益性の低下を引き起こしています。

生産性と収益性を組織全体で向上させるには、クラウド運用、分析、データサイエンスの機能を連携させたシームレスなフレームワークを利用して、相互運用性、自動化、セキュリティ、ガバナンスを促進する必要があります。

クラウドセンターオブエクセレンスの戦略的重要性

Flexera 社のレポートによると、多くの組織 (63%) がクラウドセンターオブエクセレンス (CCoE) をすでに設置しているか、来年中に設置する予定 (14%) です。ただし、大企業ではすでに CCoE を設置している割合が70% だったのに対し、中小企業 (SMB) では29% に過ぎません。さらに大企業では、約15% が今後1年以内に CCoE をさらに新設し、6% がそれ以降に CCoE の新設に乗り出す見込みです。一方で SMB では、将来的に CCoE の設置を計画している割合は4分の1強 (26%) に留まりました。

組織横断型の CCoE は、組織のチームやリーダーシップに指針を示す役割を担うとともに、他のチームでも有効活用できるツールやドキュメントを提供することで、認知負荷を軽減しながら、クラウドネイティブの成熟度を加速させます。こうすることで、クラウドコンピューティングの多くの課題を克服し、各チームがビジネス価値の創出により多くの時間を費やせるようサポートします。CCoE の具体的な役割は以下のとおりです。

1. 専門知識の統合: CCoE は、テクノロジーに限らず、重要な分野に精通したさまざまなチームや事業部門の優秀な専門家で構成された中心的な組織です。CCoE のメンバーは各チームや専門分野のリーダー的存在であり、コミュニケーション能力が高く、リーダーシップがあり、ビジネス感覚や高い共感能力を備えています。

CCoE は優れた意思決定と戦略策定を促進し、チームを問わず利用できる資産を構築して組織のあらゆるチームを強化します。

2. ガバナンスとコンプライアンス: ガバナンスポリシーを策定し、規制基準、優れた設計のフレームワーク、セキュリティフレームワーク、ビジネスに不可欠な設計方針への遵守を徹底します。これらのポリシーにより、クラウドとデータ運用全体で、セキュリティやリスク管理を効率的に強化できます。
こうした重要な点に加え、Cloudera が提供している製品は、さまざまな業界で運用に必要とされるセキュリティ認証のほとんどをすでに取得しているため、すぐに利用することが可能です。

3. コストの最適化: クラウドリソースの使用を最適化し、コスト管理戦略を導入することで、全体的なクラウドコストの削減を支援し、すべてのチームが従うべき FinOps 戦略を策定します。

4. ポートフォリオの階層化: CCoE の主な目標の1つは、再利用可能な成果物、すなわち組織がセルフサービスで利用できる製品設計図を作成することです。これにより、クラウドのアーキテクチャ、開発、運用に関するベストプラクティスを踏襲し、クラウドベースサービスの効率と信頼性が向上します。この手法を実現する最も効果的なアプローチの1つとして挙げられるのが、リファレンスアーキテクチャの構築です。

5. スキル開発: トレーニングとリソースを提供して従業員のスキルアップをサポートし、継続的な学習とイノベーションの文化を育みます。

6. クラウド導入の加速: 指導とサポートを通じて組織におけるクラウドテクノロジーの採用を加速することで、市場投入までの時間を短縮して、イノベーションを実現します。

7. リスクの軽減: 徹底的な評価を実施し、リスク軽減戦略を導入することで、クラウドの移行と運用に関連するリスクを最小限に抑えます。

8. 標準化: クラウドのデプロイと管理に関する基準とフレームワークを確立し、さまざまなクラウド環境間で一貫性と相互運用性を促進します。

9. ベンダーの管理: クラウドサービスプロバイダーとの関係を管理することで、組織の目標との整合性を確保したり交渉を有利な条件で進めたりできるようにします。

10. ビジネスの俊敏性: 俊敏なアプローチと継続的な改善の取り組みを通じて、変化する市場のニーズやチャンスに組織がすばやく対応できるようにします。

Cloudera は、最新のデータ課題に取り組む大企業が真っ先に候補として挙げるソリューションです。さまざまな事業部門間で製品ポートフォリオを標準化しながら、データの成熟度とクラウドネイティブなプロセス (世界トップレベルのセキュリティ、監査、データリネージなど) を維持する取り組みで、世界中の CCoE を支援しています。当社の統合プラットフォームは、クラウドの導入や本番環境に対応した AI のデプロイなど、組織が重要な課題に対処し、その課題を克服するための独自の機能を提供します。

Cloudera は、データライフサイクル全体を管理するエンタープライズグレードのプラットフォームです。業界標準に準拠しながら迅速かつ安全に導入できるように設計されているため、エンドユーザーは、企業のポリシーに沿ってデータから価値を引き出すことに集中できます。また、価値実現までの時間を短縮できるため、IT チームや研究開発チームは、開発や統合の課題への対処ではなく、ビジネス目標の達成に注力できるようになります。Cloudera のハイブリッドプラットフォームが、データ、分析、AI に関してもたらす主なメリットは以下のとおりです。

• 「エッジから AI まで」をカバーし、運用業務を減少またはゼロにするセルフサービス型のプラットフォーム: IoT の現場管理やデータの取り込みからセルフサービスモデルによる AI の活用まで、データライフサイクル全体への対応を、場所にかかわらず大規模に実現します。
• エンタープライズ向けサポート、移行の促進プログラムや支援、プロフェッショナルサービス: Cloudera は、お客様のクラウド移行を促進し、プロジェクトの成熟度を向上させる革新的なツールとプロフェッショナルサービスをまとめて提供することで、コスト効率を高めます。
• 最もオープンで包括的なデータプラットフォーム: ベンダーロックインを回避するために、オープンソースプロジェクトを統合してモダンデータアーキテクチャに対応できるように設計されています。当社は、オープンソース、オープンな基準、オープンな市場がイノベーションの次の波を引き起こすと確信しています。オープンソースはもちろん、コミュニティでの共同開発や知識の共有が、あらゆる組織に力をもたらすはずです。
• セキュリティ: Cloudera は最近、FedRAMP の「In Process」の段階に到達し、AI を安全かつ迅速に導入できる真のハイブリッドデータプラットフォームを、米国政府のあらゆる機関に提供できるようになりました (SOC2 と ISO27001 の認定は取得済み)。また、社内のセキュリティ承認、情報セキュリティ、法的業務においてプロジェクトリーダーを支援しているほか、明確な責任共有モデルを通じて、プラットフォームソフトウェアへのパッチの適用、共通脆弱性識別子 (CVE) への対応、インフラストラクチャーのライフサイクル管理を担っています。お客様やパートナーに必要な作業は、メンテナンス期間に合わせて、必要な更新作業を計画することだけです。
• あらゆるコンピュートフォームファクタに対応した統合的なガバナンスと監査: これほど広い範囲をカバーしたガバナンス機能や、ハイブリッドとマルチクラウドの統合機能を備えた包括的なデータライフサイクル管理プラットフォームは、他にありません。

クラウド運用とデータ分析を組み合わせた最新の統合データプラットフォームを活用することで、重要なタスクをシームレスに自動化し、最も厳しいセキュリティ要件とガバナンス要件を遵守しながらデータを活用できるようになります。

Cloudera のデータプラットフォームの詳細については、こちらをご覧ください。

Cloudera のもたらすメリット

画像: AI エージェントは、Cloudera AI Inference サービスのプライベートな環境でホストされた LLM を活用します

画像: Cloudera AI Inference と統合された AI エージェントのアーキテクチャにより、SOC の業務で使用するプライベート環境の LLM や企業データとの連携を可能にします

画像: AI エージェントは、Cloudera AI Inference サービスのプライベートな環境でホストされた LLM を活用します

この記事は、2025/1/23に公開された「AI-Driven SOC Transformation with Cloudera: Enhancing Security Operations with Agentic AI」の翻訳です。

セキュリティオペレーションセンター (SOC) は、組織のサイバーセキュリティの基盤であり、脅威の検出、調査、対応をリアルタイムで実行する責任を担っています。しかし、サイバー脅威の複雑さと数が増えるにつれて、大きな課題が生じています。SOC チームは多くの場合、アラート疲れやスキル不足、そして時間のかかるプロセスに悩まされています。

生成 AI とエージェント型 AI を組み合わせて使うことで、革新的なアプローチでこうした問題に対処できます。定型作業を自動化し、脅威を事前に軽減し、実用的な洞察を提供する人工知能 (AI) が、SOC の新たな未来像を築こうとしているのです。このブログでは、Cloudera のエージェント型 AI を使って、SOC の対応能力を高め、安全で効率的な運用を実現する方法について説明します。

セキュリティオペレーションセンター (SOC) の課題

Trend Micro 社の調査によると、SOC アナリストの70% がアラートの多さに圧倒されていると答えています。また、Tines 社の別のレポートでは、64% がストレスや燃え尽き症候群を理由に退職を検討していることが分かりました。さらに、72% の組織が機密データの保護について懸念しており、プライベートな環境でホストされた AI ドリブンなソリューションが、こうした課題への対処に不可欠であることが浮き彫りになっています。

疲弊するアナリスト: SOC アナリストは、さまざまなソースから発せられる何千件ものアラートに日々対処しています。この数の多さがアラート疲れを招き、実際の脅威に対する迅速な優先順位付けや効果的な対応を妨げています

熟練アナリストの不足: サイバーセキュリティの人材不足は、今に始まった問題ではありません。SOC 経験豊富な人材に対する需要が供給をはるかに上回っていることか、組織はチームの規模を拡大して強力な防御態勢を維持することが困難になっています。

時間のかかる文書化: インシデント対応では、レポート、監査報告書、関係者向けの概要レポートなど、詳細な文書を作成する作業が必要です。こうした人手による作業が原因で、アナリストは本来の調査業務に専念することができません。

ネットワーク上の機密データ: ネットワーク上の機密性の高いデータを処理しながら高度な AI テクノロジーを統合するには、万全のセキュリティ対策を通じて、データ侵害を確実に防止し、コンプライアンスを確保することが不可欠です。

AI エージェントとは？

AI エージェントは自律的なソフトウェアシステムで、環境に応じて動作しながら、データを収集し、その情報を活用することで、事前に定義された目標を達成するためのタスクを自律的に行います。AI エージェントは AI 分野の中心的な概念であり、意思決定、問題解決、学習といった人間の知的な活動を模倣しながら、ある程度自律的に動作するように設計されています。目標は人間が設定しますが、その目標の達成に最も効果的なアクションは AI エージェントが自ら判断します。

エンタープライズ環境の統合による包括的な文脈の理解

過去のインシデント、ネットワークトポロジー、対応手順など、企業固有のデータを統合することで、AI モデルは非常に関連性の高い洞察を生成できるようになります。こうした文脈を AI モデルが理解することで、その精度と SOC 固有の要件への適用性が向上します。

例えば SOC のユースケースでは、脅威の検出と対応を担う AI エージェントが、ネットワークトラフィックの継続的なモニター、セキュリティログの分析、複数のソースデータの相関付けを通じて、潜在的な脅威を特定することが想定されます。AI エージェントは異常を検出すると、深刻度を評価したり、修復作業を提案したりできるほか、影響を受けたシステムの隔離といった対応を自動で行うこともできます。また、微妙な意思決定を必要とする場合や、AI エージェントの対応範囲を超えるような状況では、AI エージェントはそのインシデントを文脈に即した詳細な洞察とともに人間のアナリストにエスカレーションし、より迅速で情報に基づいた対応を可能にします。

エージェント型 AI ソリューションの主な特長とメリット

エージェント型 AI ソリューションを採用している組織は、よくある脅威シナリオの最大40% に自動対応できるため、ひと月あたり数百時間ものアナリストの業務時間を節約できます。その結果、節約した時間をインパクトの大きい業務に充てることができ、組織全体のセキュリティ態勢が強化されます。

インシデントイベントを要約: 生成 AI は大量のイベントデータを処理してまとめ、インシデントの簡潔な要約をアナリストに提供できます。アナリストは、ログやアラートをひとつ1つ精査することなく、イベントの範囲や性質をすばやく把握できるため、迅速な意思決定が可能になります。

脅威を事前に軽減: エージェント型 AI は、予測分析を活用して潜在的な攻撃経路を予測し、脅威が完全に顕在化する前に緩和戦略を提案します。この機能により、組織は攻撃者に先手を打つことができます。

修復作業を提案: AI を活用したアシスタントは、過去のインシデントとベストプラクティスの分析に基づいて、修復手順を提案できます。影響を受けたシステムの隔離や脆弱性へのパッチの適用、セキュリティ設定の更新といった実用的な洞察を提供してアナリストをサポートします。

アナリストのコーディングを支援: 生成 AI はコーディングアシスタントとしても活用でき、アナリストが新しい調査用ノートブックや検出アルゴリズムを開発する際に役立ちます。このように利用すると、カスタムスクリプトやツールの作成が効率化され、SOC チームが独自の脅威により効果的に対処できるようになります。

SOC チームが直面する課題には、革新的でスケーラブルな解決策が必要です。Cloudera プラットフォームを活用した生成 AI とエージェント型 AI は、業務の効率化、ワークロードの削減、脅威対応の改善を通じて、SOC の運用を変革します。

Cloudera なら、自社向けにカスタマイズされた AI ソリューションを導入して、データのセキュリティとコンプライアンスを確保できます。データ管理、高度な分析、機械学習、AI に対する Cloudera の統合的なアプローチを活用することで、SOC を将来に備えて強化し、サイバーセキュリティの課題に先手を打つことが可能になります。

エージェント型 AI によるセキュリティ運用の強化

生成 AI は、こうした課題に対する有望な解決策を提供します。プライベートな環境でホストし、企業のニーズに合わせて調整した生成 AI の基盤モデルを導入し、さらにエージェント型 AI の機能も取り入れることで、データのセキュリティとコンプライアンスを維持しながら、SOC の対応能力を高めることができます。

SOC の分野において、AI エージェントは自律的で適応性の高いシステムとして、サイバーセキュリティの状況を認識し、脅威の文脈を理解し、リアルタイムでインテリジェントに対応します。

AI エージェントによるプロアクティブで自律的なセキュリティ対策

エージェント型 AI は、生成 AI の機能を土台に、自律性や能動性を積み重ねることで実現します。SOC システムでエージェント型 AI を利用すると、以下が可能になります。

• 脅威を積極的にモニターしてリアルタイムで対応する。
• SOC の日常的なタスクを自動化し、人間の介入を最小限にする。
• 状況に即した意思決定をサポートし、アナリストの認知的負荷を軽減する。

AI エージェントとプライベートな環境でホストされた AI モデル (LLM) の統合

データの機密性を確保するには、生成 AI モデルを安全な環境にデプロイする必要があります。Cloudera AI Inference サービスを利用すれば、オンプレミスまたはクラウドで AI モデルをホストし、AI の力を活用しながらコンプライアンスを維持できます。

これにより、自社独自のデータすべてを組織の VPC 内に残したまま、自社の AI エージェントと Cloudera でホストされている AI モデルがやり取りできるようになります。さらに、企業内のツールや環境と連携して、追加のアクションを実行したりフィードバックを送信したりすることも可能です。

この記事は、2025/4/30に公開された「How Customized Professional Services Elevate Customer Experience in Product Companies: A Technical Perspective Using Apache Trino Integration」の翻訳です。

今日のデジタル経済において、製品を提供する企業は、高品質な製品だけに頼ることはできません。競争の激しい市場で差別化を図るには、シームレスでパーソナライズされた顧客体験を提供することが今や不可欠です。そこで役立つのが、カスタマイズされたプロフェッショナルサービス（CPS）です。

CPS は、各クライアントのニーズに合わせたオーダーメイドのソリューション、専門的な知見、継続的なサポートを提供することで、標準的な製品提供を超えた価値を実現します。本ブログでは、Apache Trino との統合を具体例として挙げながら、CPS がどのように顧客体験を向上させるのかを解説します。

カスタマイズされたプロフェッショナルサービスとは何ですか？

CPS は、顧客の個別の要件に対応するように設計されたカスタマイズサービスです。標準のソリューションとは異なり、CPS ではクライアントの目標、課題、環境を深く理解するための密接な協働を行い、非常に具体的な成果を提供します。

• コンサルティングと戦略開発：顧客がビジネス目標を達成するために、製品を最適に活用する方法を支援します。

• 製品のカスタマイズと構成： 顧客固有のニーズに合わせて製品を調整します。

• 導入と統合：製品を顧客の既存インフラにシームレスに統合できるよう対応します。

• 継続的なサポートと最適化：継続的なサポートを提供し、時間の経過とともに改善のための提案を行います。
  

CPS は複雑なエンタープライズ向けソリューションと関連付けられることが多いですが、既製品だけでは満たせない顧客ニーズがある業界であれば、どの分野でも価値を発揮します。

顧客体験向上における CPS の重要性

顧客体験とは、顧客が企業と行うあらゆるやり取りを指します。これは、顧客満足度やロイヤルティを左右する重要な要素です。顧客が、個別の課題を理解し、カスタマイズされたソリューションを提供してくれていると感じられると、より深く価値のある関係が築かれます。CPS は、以下の提供を通じてこれを実現します。

1. 独自のニーズに応えるためのカスタマイズされたソリューション

すべてのビジネスは異なり、既製品では特定の顧客要件に対応するための柔軟性が不足していることがよくあります。CPS を活用することで、企業はソリューションをカスタマイズし、既存システムと統合し、汎用的な製品では実現できない形で価値を創出できます。

例えば、複数のソースに分散した大規模データセットをクエリするためのデータ分析ソリューションを顧客が必要としている場合、カスタマイズされたサービスによって、その製品が顧客のデータアーキテクチャ、ワークフロー、ビジネス目標にシームレスに適合するようにできます。

2. 価値実現までの時間短縮

CPS は、迅速なオンボーディング、スムーズな導入、阻害要因の除去を通じて、顧客が製品のメリットをより早く享受できるよう支援します。その結果、ROI（投資利益率）の向上と顧客満足度の向上につながります。

3. 専門家の指導とサポート

CPSを利用することで、顧客は専門的な知見、トラブルシューティング、そして戦略的なアドバイスを得ることができます。これは、環境が複雑な場合や社内の専門知識が限られている場合に特に有用です。

4. 長期的なパートナーシップと関係構築

カスタマイズされたサービスを提供することで、企業はより強固な関係を築くことができます。自分のニーズが理解され、支援されていると感じる顧客は、企業へのロイヤルティを維持しやすく、追加のサービスや製品も利用しやすくなります。

5. 拡張性と柔軟性

CPS は、ソリューションが顧客のビジネスの進化に合わせて成長・変化することを可能にします。成長を支えるためのスケーリングや、新たな市場ニーズへの対応など、CPS は顧客が必要とする機動力を提供します。

Apache Trino 統合：カスタマイズされたプロフェッショナルサービスのケーススタディ

Apache Trino（旧称はPrestoSQL）は、高速で分散型の SQL クエリエンジンであり、複数のデータソースにまたがる大規模データセットをクエリするために設計されています。リレーショナルデータベース、NoSQL システム、クラウドストレージプラットフォームなど、さまざまなストレージシステム上のデータをリアルタイムでクエリすることが可能です。その汎用性により、複雑なデータアーキテクチャへの統合に最適であり、CPS は顧客体験の向上において重要な役割を果たします。

Apache Trino を顧客のデータエコシステムに統合する際に、CPS がどのように顧客体験を向上させるかを詳しく見ていきましょう。

1. カスタマイズされた Trino の導入と構成

Apache Trino は強力なツールですが、各組織の特定のデータインフラストラクチャに適合させるための設定は複雑になる場合があります。Cloudera が提供する CPS を利用することで、顧客はカスタマイズされた Trino の導入を実現でき、自社の独自環境で最適に機能させることができます。以下がその例です。

• Cloudera Manager との統合：CM Parcel および CSD ファイルを開発し、Apache Trino をCloudera Manager と統合してアドオンサービスとして提供します。
  

• クラスタサイズの決定：顧客のデータ量、クエリの複雑さ、パフォーマンス要件に基づき、適切なクラスターサイズを決定します。
  

• セキュリティとコンプライアンス：顧客のセキュリティ要件を満たすために、アクセス制御、暗号化、およびコンプライアンス機能を設定します。
  

CPS は、Trino を単に導入するだけでなく、最適化し、安定させ、セキュリティも強化します。

2. 多様なデータソースとの統合

Trino はデータレイク、データウェアハウス、クラウドプラットフォームといった複数の環境にまたがってクエリを実行できる強力な機能を備えていますが、その統合は複雑になる場合があります。CPS は、以下のような形でこれを支援します。

• データコネクタの設定：Hadoop、S3、Teradata など、さまざまなデータソース向けのコネクターを設定します。
  

• データマッピング：スキーマのマッピング、競合の解決、データ形式の標準化を行い、さまざまなソースのデータをシームレスにクエリできるようにします。
  

• ETL の最適化：Trino がデータを効率的にクエリできるよう、抽出・変換・ロード（ETL）プロセスの最適化を支援します。
  

CPS により、Trino は統合されたクエリレイヤーとして機能し、顧客がデータを包括的に把握できるよう支援します。

3. 高度なクエリ最適化とパフォーマンスチューニング

Apache Trino は高性能なクエリ実行のために設計されていますが、速度と効率を最大化するためには、クエリの最適化で支援が必要になる場合があります。CPS を活用することで、製品を提供する企業は以下のような形でパフォーマンスチューニングを行うことができます。

• クエリの最適化：効率的な SQL クエリの作成を支援し、関連するカラムへのインデックス付けや、複雑な結合や集計をより適切に実行する方法を提案します。
  

• クエリプラン分析：クエリ実行プランを分析し、ボトルネックを特定するとともに、パーティション分割、インデックス作成、キャッシュなどの最適化を行います。
  

• リソース割り当て：さまざまなワークロード下で最適なパフォーマンスを発揮できるよう、Trino クラスターのリソース（メモリ、CPU など）の割り当てを調整します。
  

このようなきめ細かなサポートにより、顧客は複雑な分析ワークロードを迅速かつコスト効率よく実行できるようになります。

4. 継続的な監視と支援

導入後も、CPS は以下のような重要なサービスを提供します。

• プロアクティブな監視：Trino クラスターの稼働状況を監視するツールやダッシュボードを設定し、問題を早期に検知して顧客への影響が出る前に対処します。
  

• トラブルシューティングとサポート：Trino システムで発生する問題（クエリの失敗、パフォーマンスの問題、統合の問題など）に対して、実践的なトラブルシューティングとサポートを提供します。
  

• トレーニングと技術的知見の共有：顧客チームが将来的に自律的に Trino を運用・最適化できるように、トレーニングセッションを提供します。
  

このような包括的なサポートにより、初期導入後も、顧客は Trino 統合を継続的に活用し、価値を享受できます。

カスタマイズされたプロフェッショナルサービスで先を行く

カスタマイズされたプロフェッショナルサービスは、顧客体験を飛躍的に高める鍵となります。カスタマイズされたソリューション、専門的なガイダンス、長期的なサポートを提供することで、企業は顧客が Apache Trino のような強力なツールを最大限に活用できるよう支援し、より強固でロイヤルティの高い関係を築けます。

ビジネスニーズがますます複雑化するなかで、CPS の導入は賢明な選択であるだけでなく、競争力を維持するために不可欠です。

RAG ワークフローの重要な段階（ パーティション分割、チャンク化、埋め込み、挿入）を順に見ていき、Cloudera のテクノロジーがそれぞれの工程をどのように簡素化するかをご紹介します。

データパーティション分割：RAG の基盤

RAG ワークフローの最初の重要なステップは、パーティション分割です。このプロセスでは、大規模で時には非構造化データソースを意味のあるセグメントに分割し、非構造化データをプログラム的に反復処理できるようにします。もちろん、パーティション分割を行わなくても検索プロセス自体は可能ですが、処理をより細かく制御できるほど、さまざまなデータソースに対応したフローを柔軟に構築できます。パーティション分割によって、データはユーザーのクエリ方法に沿った、扱いやすい単位に構造化されます。

パーティション分割の戦略は、データの性質によって異なります。たとえば、セクションの見出しごとにパーティション分割することで、ユーザーマニュアルのような長文ドキュメントを処理する際に、より整理された検索が可能になります。対照的に、チャットログのような会話データの場合は、会話の流れを保つためにタイムスタンプごとに内容を分割することがあります。もう1つの重要な考慮点はトークン制限です。ほとんどの埋め込みモデルには、一度に処理できるトークンサイズがあらかじめ定められているため、最適なパフォーマンスを確保するには、パーティション分割をこれらの制約に合わせる必要があります。

明確に定義されたパーティション分割のアプローチは、RAG アプリケーションの精度、効率性、使いやすさを維持するのに役立ちます。開発者は、最も関連性の高いデータのみを取得して LLM に渡し、不要な計算負荷を最小限に抑えることで、応答品質を最適化できます。

チャンク化：コンテキストの保持を確保

パーティション分割が完了したら、次のステップはチャンク化です。チャンク化とは、関連するパーティションをまとめて、意味のあるコンテキストを維持することです。パーティション分割がコンテンツを基本的な要素に分割するのに対し、チャンク化はそれらの要素間の関係性を保ち、コンテキストの欠落を防ぎます。

たとえば、法的文書では、条項や規定が複数の段落にわたることがあります。これらを細かく分割しすぎると、ユーザーのクエリに基づいてコンテンツを検索する際に、意味が失われる可能性があります。チャンク化は、関連するテキストセグメントを、まとめて論理的に完結した単位にすることで機能します。これにより、ユーザーがクエリを実行した際、モデルは十分なコンテキスト情報を受け取り、正確で適切な応答を生成できるようになります。

チャンク化の戦略は、データセットの性質によって異なります。中には、あらかじめ定められたトークン数に基づいてセグメントをまとめる、シンプルな固定長のチャンク化を用いる方法もあります。さらに高度な戦略としては、ドキュメントのタイトルを関連するテキストと一緒にチャンク化する方法があります。

効果的なチャンク化は、検索精度を高め、検索の遅延を最適化し、LLM が生成する応答がコンテキストを踏まえた正確な応答が得られるようにします。さらに、コンテキスト保持を最大化するチャンク化戦略を決定することで、あらかじめ定めたチャンクサイズの情報を基に、埋め込みモデルの判断を支援できます。

埋め込み：テキストを検索可能なベクトルに変換

適切に構造化されたチャンクが配置されたら、RAG ワークフローの次のステップは埋め込みです。埋め込みはテキストを数値で表現したもので、機械がさまざまなテキストセグメントの意味を理解し、比較できるようにします。埋め込みを行わない場合、RAG アプリケーションは単純なキーワード検索に限定され、真の意味でのセマンティック検索に必要なコンテキストの理解が欠如します。

埋め込みは、トークン化、ベクトル変換、保存を含む多段階のプロセスです。テキストチャンクが埋め込みモデルを通過する際、まずトークンに分割されます。これらのトークンは、テキストの本質を捉えた高次元ベクトルに変換され、ユークリッド距離（L2）やコサイン類似度といった数学的な類似度検索に適した形式になります。

適切な埋め込みモデルを選択することは極めて重要です。一部のモデルは汎用的な検索向けに最適化されていますが、他のモデルは法務、医療、技術文書といったドメイン特化型アプリケーション向けに微調整されています。もう1つの重要な考慮事項はベクトルの次元数であり、ベクトルデータベースのスキーマと一致している必要があります。ベクトルサイズが一致していないと、検索の非効率や互換性の問題を引き起こす可能性があります。

テキストチャンクがベクトル表現に埋め込まれると、類似度指標を用いて検索可能になります。これにより、ユーザーのクエリに基づいて最も関連性の高いコンテンツを非常に効率的に検索でき、RAG 搭載アプリケーションの精度と応答性が大幅に向上します。

Cloudera Data Flow は、非常に強力でありながら使いやすい埋め込みプロセッサを提供し、データフローの機能を進化させるとともに、プロセッサのコンテキスト内でモデルを活用できるようにします。API を呼び出す必要はありません（GPUも不要です）。このプロセッサには、次の3つのシンプルなプロパティがあります。

この記事は、2025/4/22に公開された「What no one tells you about RAG」の翻訳です。

RAG アプリケーションの構築 - 細部に宿る課題

検索拡張生成（RAG）アプリケーションの構築は、データ・インジェスチョン (データ採取)、処理、検索を慎重に扱う必要があり、すぐに複雑化する可能性があります。従来、開発者はデータのチャンク化、埋め込みの挿入、ベクターデータベースの統合といった工程を順に進めてきました。

しかし、RAG ソリューションを実装する際によくある落とし穴の1つは、これらのコンポーネントが相互に依存していることを理解していない点です。開発者は、「このデータはそのままチャンク化できるのか、それともチャンク化する前に精査すべきか？」という問いを投げかける必要があります。

Cloudera Data Flow と Cloudera 独自の RAG パイプラインプロセッサは、非構造化データをパーティション分割によって精製し、より効果的なチャンク化と高品質なベクター埋め込みを実現することで、複雑な処理を簡素化します。不適切に設計されたパーティション分割やチャンク化は、パフォーマンスや埋め込みの品質を損なう可能性がありますが、Clouderaのツールはこれらの複雑さの多くを抽象化し、効率的で信頼性の高い RAG ソリューションの開発を容易にします。

これにより、各データフローに最適な埋め込みモデルを選択できるよう、きめ細かな制御が可能になります。

埋め込みチャンクをベクトルデータベースに挿入することで、効率的な検索を実現

RAG ワークフローの最終ステップは、埋め込み済みチャンクをベクトルデータベースに挿入することです。ベクトルデータベースは、高速な類似度検索を実行できるよう設計されており、ユーザーがクエリを実行した際に、関連性の高いコンテンツを効率的に検索できます。

正確な一致のために構造化インデックスに依存する従来型データベースとは異なり、ベクトルデータベースは、ANN や KNN といったアルゴリズムを用いた類似度検索によって、ユーザーのクエリに近い埋め込みを見つけ出します。これにより、RAG アプリケーションは、クエリの表現が保存されているテキストと異なっていても、意味的に関連性の高いコンテンツを検索できるようになります。

埋め込みデータがベクトルデータベースに挿入されると、システムはリアルタイムでのクエリの実行が可能な状態になります。ユーザーがリクエストを送信すると、クエリは埋め込みに変換され、保存されたベクトルと比較され、最も関連性の高い結果が取得されます。これが LLM の応答の基盤となります。

Cloudera Data Flow は、Milvus、Pinecone、Chroma などの多くの VectorDB 接続プロセッサを提供しており、今後さらに追加される予定です。

今すぐ RAG アプリケーション開発を効率化

Cloudera Data Flow とその専用 RAG パイプラインプロセッサを活用することで、企業はこれまでにないほど容易に RAG アプリケーションを構築、展開、最適化できるようになりました。技術的な複雑さの多くを抽象化し、開発者が扱いやすい形にすることで、Cloudera のソリューションは、検索精度の向上、応答生成の最適化、そして全体的なユーザー体験の改善に集中できる環境を提供します。

企業は、Cloudera の独自のパーティショニング、チャンク化、埋め込み、VectorDB 統合プロセッサを活用することで、効率的にスケールし、正確でコンテキストに応じた応答を提供する RAG ソリューションを迅速に実装できます。

Cloudera が RAG アプリケーション開発の効率化をどのように支援できるか詳しく知りたい方は、当社チームまでデモのご依頼や詳細情報の確認のお問い合わせをお願いします。もしくは、技術ドキュメントをご覧ください。

近日公開予定の高度な RAG 最適化アプローチの詳細解説をお見逃しなく！

さらに詳しく

Cloudera Data Flow 2.9 の新機能の詳細とデータパイプラインの変革に役立つ仕組みについては、こちらのビデオをご覧ください。

https://community.cloudera.com/t5/What-s-New-Cloudera/Cloudera-DataFlow-now-powers-GenAI-pipelines-and-supports/ba-p/388173

https://community.cloudera.com/t5/What-s-New-Cloudera/Cloudera-DataFlow-2-9-now-supports-building-GenAI-pipelines/ba-p/395546

この記事は、2025/4/21に公開された「The Breakout Year for Enterprise AI Agents」の翻訳です。

2025年はエンタープライズ AI にとって画期的な年になりそうです。生成 AI（GenAI）と大規模言語モデル（LLM）の進歩により、エージェント AI の変革力がすべてのIT リーダーの意識の最前線に浮上しました。単純なチャットボットと間違われがちですが、AI エージェントははるかに高度で、複雑で目標指向のタスクを実行できる自律的なツールです。その影響は、金融におけるリアルタイムの不正検知から、製造業におけるワークフローの最適化、医療分野における精密診断まで、すでにあらゆる分野に及んでいます。

AI エージェントへの投資と導入が急増する中、企業のリーダーは自社でこのテクノロジーをどのように優先的に位置付けているのでしょうか。この新たな AI の波を企業がどのように受け入れているのかを探るため、Cloudera は14か国のエンタープライズ IT リーダー1,484名を対象に調査を実施しました。調査結果は、AI エージェントへの強い取り組み姿勢だけでなく、企業がそれらを計画、導入、評価する方法における劇的な変化も明らかにしています。

企業はエージェント型 AI への投資を倍増

AI エージェントの導入はもはや実験的な取り組みではなく、戦略上の必須事項となっています。回答者の実に87％が、競争力を維持するためには AI エージェントへの投資が不可欠だと答えました。さらに注目すべきは、96％が今後12か月でエージェントの活用を拡大する予定であり、そのうち半数は企業全体での本格的な導入を目指しているという点です。​

投資の増加を考えると、エージェント型 AI の導入は、多くの企業にとって実際には比較的新しい動きです。実際、回答者の過半数（57％）が、自社での導入は過去2年間に始まったばかりであり、そのうち21％は直近1年以内に開始したと答えています。​エージェント型 AI の急速な受け入れは、企業が投資の優先順位をどのように付けているかにも表れています。

主要な投資分野には、その考え方が反映されています。企業は、生産性と回復力の双方を高めることが期待されるツールとして、パフォーマンス最適化ボット（66％）、セキュリティ監視エージェント（63％）、開発支援アシスタント（62％）を優先的に導入しています​。では、企業はどのようにしてこれらの AI エージェントを定着させているのでしょうか。調査回答者によると、66％が AI エージェントの開発と展開にエンタープライズ向け AI インフラプラットフォームを利用していると答えています。また、60％が既存の基幹アプリケーションに組み込まれたエージェント機能を活用しています。

導入が加速する中、これらの傾向は、企業にとって信頼性が高くスケーラブルなデータインフラストラクチャを整備することが急務であることを示しています。その導入への幅広い投資姿勢を踏まえると、企業は速やかにインフラを整備しなければならず、そうしなければエージェント型 AI への道のりで取り残されるリスクがあります。

AI エージェントが価値を生み出す領域と、その導入を阻む要因

AI エージェントが正常に実装されると、組織に多大な価値をもたらすことができます。企業が実感している具体的なメリットとしては、既存の生成 AI モデルの改善（81%）、顧客サポート（78%）、プロセス自動化（71%）、予測分析（57%）などのアプリケーションが挙げられます。

多くの企業において、これらの AI エージェントは IT 運用に最も深く組み込まれています（61%）。これに次いで、導入分野としてはカスタマーサポート（18％）とマーケティング（6％）が挙げられます。エージェントを IT 機能に導入している企業は、カスタマーサポートやマーケティングのユースケースにも展開する傾向が強く、IT がエージェント型AIのより広範な統合に向けた自然な出発点となっていることを示しています。​

そのメリットは明らかであり、AI エージェントに関連するユースケースは、企業の業務のあり方を大きく変革する可能性を秘めています。しかし、その先に進む道には依然として不安が伴います。具体的には、IT リーダーの半数以上が、エージェント型 AI の導入に際してデータプライバシー（53％）を懸念点として挙げており、次いでレガシーシステムとの統合（40％）や導入コスト（39％）が続いています​。

企業は、機密データを保護しつつ、それを AI ライフサイクル全体で活用できるようにするという、微妙なバランスを管理しなければなりません。その機密データが意図せず漏えいすれば、AI の出力品質を損なうだけでなく、DORA のような主要な規制への準拠を欠くというリスクも企業に生じます。

責任を持って構築された AI

多くの組織が抱える懸念は、結局のところ「信頼性」と「バイアス」という主要な課題に集約されます。AI エージェントがより多くの責任を担い、ミッションクリティカルな業務を管理するようになるにつれ、説明責任、公平性、透明性といった問題が最重要課題として浮上しています。企業の意思決定者の半数超（51％）が、AI システムにおけるバイアスに対して重大な懸念を抱いていると報告しています​。

偏見に対する理解が深まり、企業は説明責任を組み込み、AI を適切に管理するための追加の措置を講じています。回答者のかなりの数（38%）が、人間によるレビュー、多様化されたトレーニングデータ、正式な公平性監査を含むさまざまなプロセスを実施しています。これらのステップに加えて、さらに36%が、定期的な人間によるレビューや偏見検出ツールなど、偏見チェックのための対策を導入したと述べています。

しかし、すべての緩和策が進行中であるにもかかわらず、一部の企業には依然としてギャップが存在します。Cloudera の調査によると、回答者の14%が、これまで偏見に対抗するために最小限またはアドホックな対策しか講じていないと述べています。AI エージェントは説明責任と公平性がなければ機能できません。この技術を採用する企業は、バイアスが現実世界の成果に与える影響を軽減するために必要な措置を講じていることを確認する必要があります。

AI エージェントの採用を加速

2025年は、AI エージェントの採用が加速し、あらゆる企業に新たなユースケースを開拓する大きな年となるでしょう。そして、テクノロジーへの投資が加速するにつれて、長期的な成功のためには、AI エージェントの採用を優先することが急速に不可欠になっています。

Cloudera の調査（英語）で明らかになったその他の内容をぜひご確認ください。2025年における AI エージェントの現状をさらに詳しく掘り下げています。

この記事は、2025/5/8に公開された「Leading in the Age of AI」の翻訳です。

AI が役員たちの間で定期的に話題になるにつれ、多くの経営幹部が戦略、ガバナンス、実装に関して重大な盲点に直面しています。AI をネイティブに使いこなせるユーザーはほとんど存在せず、多くが高いレベルの目標を実用的で説明責任のあるシステムに結びつけるのに苦労しています。

その未来を探るために、天体物理学者から AI のソートリーダーに転向し、コンサルタント会社 XSAIA の CEO である Maya Dillon 博士を、ポットキャストThe AI Forecastにお招きしました。ホストを務める Paul Muller との対談の中で、Dillon 博士は AI における人間中心のリーダーシップの必要性と、AI がビジネスに与える全体的な影響を理解することの重要性を強調しています。

両者の対談で挙がった重要なポイントをいくつかご紹介します。

AIとは？共創の一形態

Paul：あなたにとってAIとは何ですか？

Maya：私にとって AI とは、共創を意味します。私個人についてもう少しお話しすると、履歴書には書かないような、クリエイティブな趣味があります。絵を描いたり、文章を書いたり、音楽を演奏したり。私にとって AI は、自分の声を強化してくれるものであってほしいと思って使っています。これは私が作り出す他のものでも同じことです。AI を取り入れて、アイデアを探したり、すでにあるものをレベルアップしたりするために活用しています。そのプロセスで、これは共創です。 

これが AI が意味することだと考えます。AI はすでにそこにあるものを強化してくれます。「AI は人間の知性を増強するものだ」という格言をお聞きになったことがあると思います。これこそが、AI の存在意義です。AI とは、私たちの最高の側面を引き出して、成長させてくれるものです。 

真のリーダーは「ただ導入する」というプレッシャーを捨て、AI に慎重にアプローチする

Paul：AI の分野で勝者となるのは、最高の技術を持つ者ではなく、優れたリーダーシップを持つ者だという考えについてお話しされていますね。これについて詳しくお聞かせください。

Maya：基本的に、AI ファーストのリーダーシップは、AI を単なる技術スタックとして捉えません。むしろ、戦略の観点から考えます。AI を採用する際、これを上手く活用する企業は、AI の全体的な影響を考慮します。 

それで、通常何がよく起こるかというと、人々は AI を IT や研究開発の枠に入れ、なぜ導入したのに変革が起こらないのか、なぜ創造的破壊者とはならないのか、と首をかしげます。こうしたことは、AI プロジェクトの開発と実装を開始する時点で、すでに現状を変え、現状に挑戦しているために起こる現象です。AI の開発と構築には、特定の質問をする必要があります。「解決しようとしている問題は何か？」「どのようにそれを解決しようとしているのか？」「誰のためか？」「どのように展開され、実際にどのような影響があるか？」などです。 

AI のリーダーは、ビジネスのあらゆる側面に関与します。このため、全体像を描いてリードしないと、常に連絡窓口から連絡窓口へ、場当たり的な対応に追われる羽目になります。そして、あったらいいと思う次の「最新テクノロジー」に翻弄され、周りが先を行く中、自分だけ遅れをとっているように感じられます。これは、他者が最も高速な、または最も洗練されたアルゴリズムを持っているからではありません。むしろ、今説明したように、AI を展開する人が誰であっても、X、Y、Z を達成するという見方を念頭に置いてソリューションを作成しているからです。 

Paul：大きなプレッシャーの問題もあります。「何かを始めなければ、競合他社が始めてしまう。とにかく始めて、後で散らかったものを片付けよう」というような。なぜそうなるのか教えてください。直感的に、それは悪い考えではないように思えるのですが。

Maya：その考え方が良くない理由は、AI は今や普及し広く浸透していて、あらゆる場面で使われており、ソリューションが企業だけでなく、人々の実際の生活にも影響を与えるからです。上手くいかなかった例、人命が影響を受けた例、評判が損なわれた例など、さまざまな事例を挙げるときりがありません。

もうひとつの大きな理由は、このアプローチが評判に悪影響を与えるからです。あるビジネスリーダーは、評判を築くには20年かかった一方、失うのには2分しかかからなかったと言っています。そして、評判が損なわれると、その価値と無形資産への損失は計り知れません。

メンターシップの力：上げ潮はすべての船を浮かび上がらせる

Paul:メンタリングの重要性を常に発信されていますね。これからメンターになろうとする人や、メンターからの学びを希望する人 (メンティー) へのアドバイスはありますか？

Maya：私はメンターとメンティーの両方を経験しました。誰かがメンタリングを求めてあなたのもとに来たときに、一つだけ忘れてはいけないことがあります。それは、「相手の成功はあなたの脅威ではない」ということです。成功とは限られたリソースを奪い合う「ゼロサムゲーム」だと今まで言われてきました。しかし、昔からある言葉に「他のキャンドルに火を灯しても、キャンドルの火は消えない」というものがありますが、まさにそのとおりです。

本当のところ、自分が誰かの成功を後押しすることで、自分自身の成功にもつながります。もしも、「だめだ。もし他の人を助けると、私の仕事や機会が奪われてしまう」という「欠乏マインド」にとらわれてしまったら、その「欠乏マインド」に迎合してしまいます。そして私たちは、その思い込みのなかに自分自身を閉じ込めてしまうことになります。

Maya Dillion 博士との対談の全編は、ポットキャスト番組「AI Forecast」をご確認ください。Apple Podcasts、Spotify、YouTubeでお聴きいただけます。

この記事は、2025/3/31に公開された「Announcing Cloudera’s Unified Runtime」の翻訳です。

Cloudera は、エンタープライズ企業がハイブリッドデータ管理の複雑さを克服し、運用をよりシンプルにできるよう支援しています。この取り組みの一環として、このたび Cloudera 7.3.1 リリースにおいて、Unified Runtime を発表しました。今回のアップデートにより、すべての環境間でワークロードのシームレスな移行、一貫した機能アクセス、同期されたアップデートが可能となり、お客様に真のハイブリッド体験を提供いたします。

「真のハイブリッド」とは

「真のハイブリッド」とは、単なるハイブリッドクラウドインフラを指すものではありません。真のハイブリッド体験を実現するということは、クラウド環境とオンプレミス環境の両方にわたって、データの管理、分析、ガバナンスをシームレスに行える柔軟性を組織にもたらすことを意味します。これにより、データの所在にかかわらず、一貫した運用、ポータビリティ、ガバナンスが可能になります。

真のハイブリッドにおける重要な要素のひとつは、データを中央処理拠点に移動させるのではなく、データが存在する場所でデータ処理を実行できることにあります。これにより、データ移動の必要性を減らし、より高速かつ効率的な分析を可能にします。Cloudera の Unified Runtime を活用することで、組織はサイロを解消し、機能性やユーザーエクスペリエンスを損なうことなく、コスト、パフォーマンス、コンプライアンスの最適化を実現できます。

Unified Runtime がもたらす大きな変化

Unified Runtime により、組織はクラウドとオンプレミスのデプロイメントを統合的に管理し、データと分析基盤を一体化して運用できるようになります。これにより、分析アプリケーションの開発を標準化でき、IT 管理が大幅に簡素化され、運用負荷の軽減にもつながります。

また、機能、更新、ワークフローがインフラストラクチャ間で一貫していることを保証し、すべての環境で同じように機能し、同じように感じられるようにします。これにより、ユーザーエクスペリエンスが劇的に向上します。

さらに、そしておそらく最も重要な点として、Unified Runtime はお客様に真のハイブリッド体験を提供する上で、極めて重要な役割を果たしています。Cloudera は、動的なワークロードポータビリティ、集中管理型のセキュリティ、そしてモダンデータアーキテクチャ向けにスケーラブルなソリューションを提供できる、唯一の真のハイブリッドプラットフォームです。AI イニシアチブの拡張に取り組む場合でも、分析基盤の最適化を進める場合でも、Cloudera のロードマップは、真のハイブリッドの未来を築くという私たちのコミットメントを反映しています。

アップグレード方法

現在のデプロイメント環境に応じて、Cloudera Runtime 7.3.1へのアップグレードを希望されるお客様には、いくつかのパスが用意されています。

• オンプレミス環境で Cloudera Base をご利用の場合は、バージョン7.1.9 SP1、7.1.8、および 7.1.7 SP3 から直接アップグレード（ダウングレードおよびロールバックも含む）が可能です。

• クラウド環境で Cloudera をご利用の場合は、バージョン 7.2.18.0、7.2.18.100、7.2.18.300、7.2.17.200 から 7.2.17.500 までのバージョンから、直接アップグレードが可能です。

• 上記に記載されていない他のバージョンからのアップグレードには、2段階のアップグレードが必要になる場合があります。

詳細な手順については、アップグレードに関するドキュメントをご確認いただくか、Cloudera のアカウント担当者までお問い合わせください。

主な機能

Cloudera Runtime 7.3.1 リリースには、以下の主要な機能と技術革新が含まれています。

• 一度開発すればあらゆる環境へ展開可能：一度開発したワークフローを、リファクタリングなしでハイブリッド環境全体に展開・実行できます。

• AWS Graviton（ARM CPU）対応：Spark ジョブの性能向上により、データ処理ワークロードにおいてパフォーマンス、エネルギー効率、コスト削減を実現します。

• Apache Iceberg と Hive の統合：タイムトラベル、スキーマの進化、効率的なメタデータクエリなどの機能を備えた高度な分析を、ハイブリッドデータワークフローで実現します。

• セキュリティの強化：ハイブリッド展開全体でデータの整合性を維持し、コンプライアンスを確保するために保護手段を強化しました。

詳細はこちらから

Unified Runtime の可能性をさらに知りたい方は、真のハイブリッドチェックリストをご覧いただくか、5日間の無料トライアルで最新機能をぜひ体験してください。今回のリリースがハイブリッドデータ戦略にどのような変革をもたらすか、詳しくご覧になりたい方は、Cloudera の担当者にお問い合わせいただくか、技術リソースをご参照ください。

前提条件

以下のコンポーネントがCloudera Open Data Lakehouse（プライベートクラウド）にインストール・設定済みであること：

• Cloudera Data Platform Private Cloud Base 7.1.9
• Cloudera Flow Management 2.1.6
• 航空会社データセット（GitHubリポジトリからflights.csv.gzipを解凍）

Flink と SSB（CSA 1.11）を利用したストリーミング取り込みも可能ですが、本記事では NiFi を使用します。

NiFi で Iceberg テーブルへストリーミング取り込みの手順

1. Hue／Impala でルート（routes）Iceberg テーブルを作成

-- NiFi用のルートテーブル作成  
CREATE TABLE airlines.routes_nifi_iceberg (
  airline_code STRING,
  airline_name STRING,
  src_airport_code STRING,
  src_airport_name STRING,
  dst_airport_code STRING,
  dst_airport_name STRING,
  equipment STRING
) STORED AS ICEBERG;

まとめ

本記事では Cloudera Flow Management（NiFi） を利用し、コードレスで Kafka 経由に Iceberg テーブルへストリーミングデータを取り込む方法を紹介しました。

次回は Apache Spark によるデータ処理 を取り上げます。

プライベートクラウドで Open Data Lakehouse を構築するには、CDP Private Cloud Base 7.1.9 をダウンロードし、本シリーズの他の記事もぜひご覧ください。

概要：

• プロセスグループを作成。
• 右パネルの Browse で NiFiDemo.json を選択し Addボタンを押す。

4. パラメータコンテキストを更新

事前に用意した Kafka ブローカーや Iceberg カタログの接続情報を入力。

7. Routes Kafka → Iceberg フローを開始し、キューを監視

この記事は、2023/10/17に公開された「Getting Started With Cloudera Open Data Lakehouse on Private Cloud」の翻訳です。

原文：
Getting Started With Cloudera Open Data Lakehouse on Private Cloud
https://www.cloudera.com/blog/technical/getting-started-with-cloudera-open-data-lakehouse-on-private-cloud.html

Part 1：ストリーミング・データ取り込み

はじめに

Cloudera は昨年からパブリッククラウド向けに提供してきた Open Data Lakehouse に加え、プライベートクラウド向けにも Apache Iceberg ベースのフル機能版をリリースしました。これにより 「Iceberg をあらゆる場所へ」 という Cloudera のビジョンが実現し、Public / Private / Hybridを問わず、データの存在する環境に合わせて Open Data Lakehouse を展開し、ワークロードをシームレスに移行できます。

プライベートクラウド版 Cloudera Open Data Lakehouse では、次の主要機能を利用できます。

• マルチエンジン互換性
  NiFi、Flink／SQL Stream Builder（SSB）、Spark、Impala などが Iceberg と連携。
• タイムトラベル
  指定時点やスナップショット ID でクエリを再現可能。監査・ML モデル検証・誤操作のロールバックに有用。
• テーブルロールバック
  問題発生時にテーブルを即座に正常状態へ復元。
• 豊富な SQL（DDL／DML）
  データベースオブジェクトの操作、データのロード／更新、タイムトラベル、Hive 外部テーブルからの Iceberg 変換を SQL で実行。
• インプレースのテーブル進化
  スキーマやパーティションをデータを書き換えずに変更可能。
• SDX 連携
  共通のセキュリティ／ガバナンス、データリネージ、監査を提供。
• Iceberg レプリケーション
  DRとテーブルバックアップに対応。
• ワークロードの移動
  コード改修なしでパブリッククラウドへ移行・戻しが容易。

本ブログでは、最新の Cloudera Iceberg 機能を用いてプライベートクラウドに Open Data Lakehouse を構築する方法を解説します。
第 1 回は ストリーミングデータの取り込み に焦点を当て、Iceberg テーブルへデータをロードし、後続ブログで処理を行える状態にします。

ソリューション概要

アーキテクチャ図：

6. Routes → Kafka フローを開始し、キューを監視

成功／失敗キューでメッセージを確認。

8. Hue／Impala でテーブルを確認

SELECT * FROM airlines.routes_nifi_iceberg;

5. NiFiDemo プロセスグループを開き、Controller Service を有効化

• Canvas 右クリック → Configuration → すべての Controller Service を Enable。
• 各プロセスグループも同様に有効化。

※実際の DDL は環境に合わせて調整してください。

2. NiFi データフローを取得

https://github.com/jingalls1217/airlines/blob/main/Data%20Flow/NiFiDemo.json をダウンロード。

3. NiFi で新規プロセスグループを作成し、フローをインポート

以下のグラフは、単一の Freon インスタンスでスレッド数を増やして負荷を生成したときの読み取り速度を示しています。

Ozone は Ranger と統合され、Kerberos で保護されるように構成されていました。

まとめ:

顧客が増え、Ozone を拡張する必要性が高まる中で、当社は優れたパフォーマンス、拡張性、そしてオペレーショナルエクセレンスを達成するために、革新的な取り組みを継続して可能性を広げています。このような改善は、わずか数ノードの環境から数千ノードの環境まで、あらゆる規模のお客様にとって有益なものとなるでしょう。Apache Ozone は、その優れたパフォーマンス特性と継続的な改善により、最新のデータアーキテクチャの基盤となっています。お客様はこれを活用することで、ハイブリッドクラウドネイティブアーキテクチャをシームレスに構築し、データアプリケーションを効率的に展開できます。Apache Ozone の利用を開始するには、Apache のダウンロードサイトか Cloudera Data Platform のトライアル版のサイトからダウンロードを行ってください。

Ozone によって追跡される多くのメトリクスの1つに、Ozone Manager がリクエストを内部で処理するのにかかる時間があります。セキュアな読み取りを実現するためにブロックトークンの生成を改善したことで、レイテンシがミリ秒未満にまで短縮されました。ブロックトークンの生成を再設計した結果、1回の読み取り操作にかかる時間が約6ミリ秒短縮されたのです。

この記事は、2023/7/19に公開された「Boosting Object Storage Performance with Ozone Manager」の翻訳です。

はじめに

Ozone は Apache Software Foundation のプロジェクトで、分析ワークロード、コンテンツ配信、およびオブジェクトストレージのユースケースで求められる厳しいパフォーマンス要件に応える分散ストレージプラットフォームを構築するためのものです。

この Ozone の重要なコンポーネントとなっているのが、Ozone Manager です。このサービスはレプリケーションによって高可用性を実現しており、Ozone に保存されているすべてのオブジェクトのメタデータを管理する役割を担っています。Ozone はエクサバイト規模のデータまで扱えるため、Ozone Manager が大規模なデータに対応できるようにすることが重要です。このブログ記事では、Ozone Manager のパフォーマンスを改善してエクサバイト規模のデータに対応できるようにするために実施した最近の取り組みをご紹介します。

使用したハードウェアの仕様は、このブログ記事の最後に掲載しています。このハードウェアは、Cloudera とのオープンソースパートナーシップの一環として Cisco 社から提供されました。Cisco 社は Ozone を実行するための複数のリファレンスアーキテクチャを提供しています。今回利用したハードウェアは、パフォーマンスと TCO が最適化された、1ノードあたり500 TB 程度の高密度ノードで構成されています。

1秒あたりの処理数と拡張性の関連

Ozone Manager は、Ozone 内に保存されたオブジェクトのメタデータを管理し、Ratis (Raft 実装) を介してレプリケートされた Ozone Manager インスタンスのクラスタで構成されています。データ処理ワークロードは、データノードとそれを処理するさまざまなアプリケーション間のデータ転送のパフォーマンスによって影響を受けやすい傾向があります。しかし、オブジェクトのメタデータが妥当な低レイテンシで提供されていれば、Ozone Manager への最適化の影響が、一般的なスタンドアローンの分析ベンチマークに現れることはありません。

Ozone は、数百億のオブジェクトとエクサバイト規模の容量に対応できるように設計されています。保存されているデータセット全体のワークロードに対応する必要があるため、Ozone Manager の処理速度は全体の規模が大きくなるほど重要になります。管理対象のデータの規模を拡大しながら、高性能が求められる複数のワークロードに対応するには、このブログで紹介する取り組みが不可欠です。

Cloudera はこの1年間、パフォーマンスを念頭に置き、Ozone Manager に焦点を絞ってパフォーマンスと拡張性を大幅に高めるさまざまな改良を実施してきました。これらの改良は、Cloudera Data Platform リリース7.1.9と Apache Ozone リリース1.4.0に組み込まれる予定です。

当社は、いくつかの主要な分野で改良を実施しました。

1. S3ゲートウェイと Ozone Manager 間の接続の持続性を改善して、S3ゲートウェイがサポートできる1秒あたりの処理数を向上 (HDDS-5881)
2. Ozone Client と Ozone Manager 間のプロトコルを最適化して、ネットワークのラウンドトリップ回数を削減 (HDDS-6996と HDDS-7059)
3. フォアグラウンドとバックグラウンドの間で負荷を分割して、フォアグラウンドとバックグラウンドのトラフィックを個別に拡張 (HDDS-7223)
4. エクサバイト規模の容量をシミュレーション (HDDS-7489)
5. メトリクスの収集を改善して、レイテンシの詳細な内訳を取得 (HDDS-7203)
6. トークンの署名に対称アルゴリズムを使用して、安全なブロックアクセスのパフォーマンスを改善 (HDDS-7733)

パフォーマンスの更新

上記の改善により、Ozone は毎秒約10万5,000回の読み取り操作をサポートできるようになりました。つまり、Ozone Manager の IOPS (1秒あたりの入出力操作数) が Cloudera Data Platform 7.1.8の約7倍に増えたことになります。S3 Gateway については、さまざまなパフォーマンス関連の取り組みを開始してから、1ゲートウェイあたりのパフォーマンスが30倍以上も向上しています。

以下の負荷パターンは、Ozone に組み込まれた CLI 負荷生成ツールを使用して生成されたものです。このツールは、約1億個のキーを持つクラスタ内のオブジェクトのメタデータのみを読み取ります。計測された1秒あたり処理数は、ピーク時で約10万回でした。

以下のグラフは、Ozone Manager によって処理されたキーの読み取り速度を示しています。

Freon は Ozone CLI の拡張機能で、負荷を生成してさまざまな Ozone API のベンチマークテストを実行できます。当社は Freon を使用して、4億個を超えるキーの大規模なデータセットを生成し、それらのキーを読み戻して Ozone Manager に負荷を発生させました。Ozone Freon は16台の物理クライアントノードから負荷を生成し、各インスタンスで最大90スレッドを立ち上げました。

全体として、上記のさまざまな取り組みを通じて、Ozone のキーの読み取り回数は、1秒あたり約1万5000回以下から10万回以上にまで向上しました。

データノード:

今後も、計画中の取り組みによってさらなるパフォーマンスの改善が期待されています。

ハードウェアの詳細

Cisco 社から提供されたハードウェアのセットは、3台のマスターノードと16台のデータノードで構成されていました。

マスターノード:

Ozone の構成

Ozone Manager の1秒あたりの読み取り操作数の測定にあたって、更新した関連設定は以下のとおりです。

この記事は、2024/12/17に公開された「Telco Enterprise Data Platforms: Key Success Factors in Building for an AI Future」の翻訳です。

通信事業者は、2019年に5G ネットワークの商用展開を開始して以来、高速な処理が必要なワークロードの管理、インフラストラクチャーコストの削減、AI や自動化の導入など、さまざまな新しい課題に直面しています。こうした課題を克服するにはデータ管理が重要な要素となるため、通信事業者はハイブリッドクラウドソリューションの導入を進めています。ハイブリッドクラウドソリューションは、5G がもたらす環境の進化に適応するために必要な柔軟性と拡張性を提供します。

高速で強力なネットワークの登場によってデータが爆発的に増えている今、顧客の要求を満たすにはリアルタイムでデータを処理することが欠かせません。しかし、従来のデータアーキテクチャではこのようなワークロードの処理が難しく、堅牢でスケーラブルなハイブリッドデータプラットフォームがなければ、進化に取り残される可能性が高まります。増え続けるデータを管理しながらパフォーマンスと信頼性を維持する必要性が増しており、モダナイゼーションは喫緊の課題となっています。5G アプリケーションが進化を続ける中、通信事業者はパフォーマンスのニーズと複雑化するデータ環境のバランスを保ちながら状況に対応する必要があります。

また、通信事業者は、5G ネットワークに対応できるようにインフラストラクチャーを拡張しており、それに伴うコストも常に懸念すべき問題となっています。インフラストラクチャーと運用のコストを抑えながら成長を可能にするソリューションを見つけることが、今まさに求められています。5G ネットワークによって生成される膨大な量のデータを処理するには、堅牢で拡張性の高いデータプラットフォームが必要であり、アプローチを間違えればコストの急増を招く可能性があります。

データの処理量が増える中で、さまざまなワークロード要件にバランスよく対応するために、通信事業者がハイブリッドクラウドアーキテクチャを採用する必要性はますます高まっています。ネットワークデータなど、高い処理スピードが求められるワークロードを管理するには、事業者が統制できる範囲が広く、コストを最適化できるオンプレミス環境が最適です。一方、顧客アプリケーションや AI ドリブンなサービスといった動的なワークロードへの対応に必要な柔軟性と拡張性を確保するには、パブリッククラウド環境が適しています。

しかし、さまざまな環境でのワークロードの管理は、信じられないほど複雑になる可能性があります。そのため、通信事業者はオンプレミス環境とクラウド環境の両方でパフォーマンスを監視し、ワークロードの分散を最適化し、データガバナンスを確保できるツールを求めています。そこで登場するのが、Cloudera のようなハイブリッドデータプラットフォームです。これにより、通信事業者は複数の環境間でワークロードを柔軟かつシームレスに移行し、高いパフォーマンスを維持しながらコストを最適化できるようになります。

多くの業界と同じく、通信業界の未来も AI と自動化にかかっています。AI ドリブンな自動化が進むことで、カスタマーサービスからネットワーク管理まで、通信事業者の業務の在り方も大きく変わっていくでしょう。ただし、AI モデルの実装に必要な高い処理能力とリアルタイムのデータ処理を実現するには、最新のスケーラブルなデータプラットフォームが不可欠です。

Cloudera の導入で成功を収めた通信事業者の Vi 社

ちょうど6年前に Vodafone India 社と Idea Cellular 社が合併して設立された Vi 社は、現時点で2億人以上の加入者を抱える世界最大の通信事業者の1つです。インドがイノベーションの中心として発展を続ける中、Vi 社はデータの爆発的な増加と自動化へのニーズの高まりという、5G がもたらす課題と機会に意欲的に取り組んでいます。

Vi 社は、パブリッククラウド、プライベートクラウド、オープンソース、プロプライエタリソリューションなど、さまざまなデータプラットフォームの選択肢を検討しましたが、最終的に Cloudera との関係をさらに拡大する道を選びました。その大きな理由は、コストと拡張性の2つです。高速な処理を必要とするデータが大量にある場合、そのデータを適切に振り分けて処理し、配信するには、信頼性と堅牢性を兼ね備えた環境が必要です。ネットワークデータの処理など、スピードが求められる大量の予測可能なワークロードは、Vi 社を含む多くの通信事業者にとって、オンプレミスで処理してから、オンプレミス環境またはパブリッククラウド環境で下流のアプリケーションにデータを渡すのが合理的です。

Vi 社のモダナイゼーションの取り組みは実を結びました。同社はインフラストラクチャーコストを2,000万～3,000万ドル節約し、サポートチケットを80% 削減することに成功したのです。また、このハイブリッドクラウドアーキテクチャは、Vi 社が将来の導入や AI/ML ワークロードにスムーズに対応するために重要な役割を果たします。Vi 社は、ハイブリッドクラウド、ストリーミング分析、およびデータファブリックを採用することで、将来の変革に向けた強固な基盤を築き、AI への取り組みを拡大しています。その成長の可能性は計り知れません。

5G 時代の到来は、通信事業者に大きな課題と機会の両方をもたらしますが、確固としたデータ基盤があれば、課題にも機会にも効果的に対処できます。柔軟性、拡張性、費用対効果に優れた最新のデータアーキテクチャを採用している通信事業者は、機会をいち早く特定し、サービスの低下を未然に防ぎ、プロセスを自動化して効率を最大化する体制が整っています。

通信事業者は、Cloudera などのハイブリッドデータクラウドプラットフォームを導入することで、オンプレミスでワークロードを高速に処理しながら、パブリッククラウドの拡張性を活用できるようになります。これにより、データを効率的に管理するだけでなく、将来のイノベーションの基盤を築くことができます。

この記事は、2024/12/9に公開された「Introducing Accelerator for Machine Learning (ML) Projects: Summarization with Gemini from Vertex AI」の翻訳です。

Cloudera は、新たな Accelerator for Machine Learning Projects (AMP) として、「Vertex AI での Gemini による要約」を発表しました。AMP とは、人工知能 (AI) のユースケース向けに事前構築された高品質で実用最小限の製品 (MVP：Minimal Viable Product) のことで、Cloudera AI (CAI) からワンクリックで展開できます。AMP の目的は、パフォーマンスの高い AI アプリケーションの迅速な構築を支援することです。AMP の詳細については、こちらをご覧ください。

当社がこの AMP を作成した理由は、次の2つです。

1. ドキュメントの全体的な要約と生のテキストの部分的な要約の両方に対応できる AI アプリケーションのプロトタイプを AMP カタログに追加するため。
2. Cloudera AI と Google の Vertex AI Model Garden を使用して、AI アプリケーションを簡単に構築できることを示すため。

要約は、以前から生成 AI のユースケースの効果を最も簡単に実感できる用途とされています。例えば、ある Cloudera のお客様は、契約書の審査プロセスにおいて、契約書の重要条項を抽出して短い要約を表示できるアプリケーションを審査担当者向けに導入し、生産性を大幅に高めました。また、ある銀行のお客様は、数十から数百の財務文書の重要な内容を要約するカスタム生成 AI アプリケーションを使用して、見込み客の資産の出所に関する審査メモの作成にかかる時間を、1日からわずか15分に短縮しました。

この AMP は、当社が初めて Vertex AI の Model Garden を使用して作成したものです。Model Garden は、1つのアカウントで100を超える主要なクローズドソースモデルとオープンソースモデルに API 経由で簡単にアクセスできるという、極めて大きなメリットをもたらします。また、特定のタスクに特化した高性能なモデル群へのアクセスも可能です。Model Garden 内のモデルは、Google のクラウドインフラストラクチャーで効率的に動作するように最適化されており、高スループットのアプリにも対応し、費用対効果の高い推論機能とエンタープライズグレードの拡張性を提供します。

さらに当社は、この AMP で Gemini Pro モデルを初めて使用しています。このモデルは、マルチモーダルアプリケーションやテキスト要約アプリケーションとスムーズに連携し、最大100万トークンという大きなコンテキストウィンドウを提供します。ベンチマークテストによれば、Gemini Pro は GPT-4などの競合モデルよりトークン処理の速度が優れています。また、他の高性能モデルと比較して、無料モデルと有料モデルの両方で手頃な価格体系が用意されているため、品質を維持しながら費用対効果の高い AI ソリューションを求める企業にとって魅力的なオプションとなっています。

この AMP の展開方法

1. Gemini Pro にアクセス: Vertex AI Marketplace で Vertex AI API を見つけて有効にしてから、API キーを作成します。次に、その API キーを生成した同じプロジェクトスペース内で Gemini を有効にします。
2. AMP を起動: Cloudera AI Learning で「Document Summarization with Gemini from Vertex AI」という名前の AMP タイルをクリックし、設定情報 (Vertex AI の API キーと ML ランタイム情報) を入力して、[Launch] をクリックします。

これにより、AMP スクリプトが以下の動作を実行します。

1. すべての依存関係と要件をインストールする (all-MiniLM-L6-v2組み込みモデル、Hugging Face の Transformers ライブラリ、LlamaIndex ベクトルストアなど)
2. サンプルドキュメントを LlamaIndex ベクトルストアにロードする
3. Streamlit UI を起動する

このように、わずか数分で要約アプリケーションを展開できます。今後も Cloudera AI と Vertex AI を使用して新たな AMP を開発する予定です。ぜひご期待ください。

Streamlit UI を使用すると、以下の操作を実行できます。

• 要約に使用する Gemini Pro モデルを選択する
• テキストを貼り付けて要約する
• ドキュメントをベクトルストアにロードする (埋め込みが生成されます)
• ロードされたドキュメントを選択して要約する
• 応答の長さ (最大出力トークン) やランダム性 (temperature 値) を調整する

go01-datamart-master20.go01-dem.ylcu-atmi.cloudera.site 
go01-datamart-master30.go01-dem.ylcu-atmi.cloudera.site 
go01-datamart-master10.go01-dem.ylcu-atmi.cloudera.site

• 3: kudu_master_hosts を検索し、以下のように 3 台のマスターをカンマ区切りで指定（ポート 7051 を付与）

Go01-datamart-master20.go01-dem.ylcu-atmi.cloudera.site:7051

,go01-datamart-master30.go01-dem.ylcu-atmi.cloudera.site:7051,

go01-datamart-master10.go01-dem.ylcu-atmi.cloudera.site

Step 2: CDW Impala仮想ウェアハウスの設定

• 1: CDW で対象の Impala VW を開き Edit → 設定画面へ。Impala VW バージョンが 2023.0.13-20 以上であることを確認
• 2: Impala coordinator のフラグファイル設定を編集

この記事は、2023/7/12に公開された「Integrating Cloudera Data Warehouse with Kudu Clusters」の翻訳です。

Apache ImpalaとApache Kuduは、ストリーミングデータに対するリアルタイム分析や時系列データ、リアルタイム・データウェアハウスのユースケースに最適な組み合わせです。

過去10年間で200社以上のCloudera顧客が、取り込みにApache Spark、リアルタイムBIにApache Impalaを組み合わせてApache Kuduを導入し、数千ノード規模で稼働させています。
ユースケースは、通信(4G/5G)分析、石油・ガス業界のリアルタイムレポートとアラート、製薬企業のサプライチェーン、銀行の基幹システムや株式取引分析など多岐にわたります。

Kuduの強みは、高速性を支えるC++製カラムナー・ストレージエンジンにあります。データは取り込み後わずか数秒でクエリ可能になり、一貫性とアトミック性を確保しつつ更新・削除のトランザクションもサポートします。Impala は分散型C++製SQLエンジンで、Kuduと連携して数百万行規模のクエリに対しサブ秒レベルのSLAを実現します。

Cloudera は、Real Time DataMart クラスター上でApache Kuduを、Kubernetes 上の Cloudera Data Warehouse（CDW）で Apache Impala を提供しています。スケーラブルなImpala（CDW）とKudu（DataHub クラスター）を組み合わせることで、計算（Impala）とストレージ（Kudu）を分離し、それぞれを独立してスケールさせることが可能になります。複数の CDW 仮想クラスターを、用途ごとに異なるリアルタイムDataMartクラスター／Kuduクラスターへ接続する高度なシナリオも実現できます。

構成手順

前提条件

• バージョン7.2.15以降のKudu DataHub クラスターを作成
• CDW 環境を 1.6.1-b258以降（ランタイム 2023.0.13.20）へアップグレード
• CDWでImpala仮想ウェアハウス（VW）を作成

Step 1: Kuduマスターノードの情報を取得

• 1: CDP にログインし Data Hub Clusters へ移動。CDW からクエリしたい Kudu Real Time Data Mart クラスターを選択

まとめ

CDW と Kudu DataHub を統合することで、オンデマンドに計算リソースをスケールアップし、DataHub 側は Kudu のみを実行する構成が可能になります。Impala VW から Kudu をクエリする利点は、ノイジーネイバーからの分離、オートスケーリング、自動停止などです。

さらに Cloudera Data Engineering を使って Kudu へデータを取り込むことで、DataHub クラスターをストレージ専用にすることも可能です。高度なユーザーは、TBLPROPERTIES で Kudu クラスタ情報を指定し、任意の Kudu DataHub クラスタを対象にクエリできます。

この統合により、以下の最新 CDW 機能も利用可能です。

• CDW Impala の JWT 認証
• オブジェクトストアと Kudu テーブルを単一の Impala サービスで利用（BI ツール側の設定が簡素化）
• Kudu（DataHub）の容量不足時のみスケールアップ／アウト可能。将来的にはリアルタイム DM テンプレートでの Impala を停止し、CDW Impala で Kudu をクエリする構成も選択できます

• 2: クラスター詳細の Nodes タブを開き、3 台の Kudu マスターノード名を控える

例：

• 5: Apply changes をクリックして変更内容を適用し、VW の再起動を待つ

Step 3: Kudu テーブルのクエリ実行

VW の更新が完了したら、Hue、Impala Shell、ODBC/JDBC クライアントから Kudu テーブルをクエリできるようになります。

• 4: kudu_master_hosts が存在しない場合は ＋ アイコンで追加。

この記事は、2025/2/26に公開された「Cloudera and NiFi: Driving Data Ingestion and Processing Excellence」の翻訳です。

Apache NiFiは長年にわたり、データエンジニアリングの基盤として、データの収集、変換、配布のための強力で柔軟なフレームワークを提供してきました。NiFiの主要な貢献者であるClouderaは、その進化と普及を牽引してきた存在です。

今回、NiFi 2.0をベースとする初のリリースとしてCloudera Flow Management 4.0(CFM 4.0)がテクニカルプレビュー(Technical Preview)で公開されました。この新バージョンの強化された機能をご紹介します。

NiFi 2.0 と Cloudera Flow Management 4.0 の価値

Cloudera Flow Management 4.0（Apache NiFi 2.0 搭載） では、主に以下の機能強化が行われています。

• パフォーマンス向上
  NiFi 2.0 では処理性能が大幅に向上し、より効率的なデータフローと大規模ワークロードへのスケーリングが可能になりました。これにより、複雑で大容量のデータセットも安心して取り込み・処理・配布できます。
• 開発の効率化
  新しいフローキャンバス UI とドラッグ＆ドロップ操作の改善により、フロー開発が直感的かつ高速化。開発時間を大幅に短縮し、コスト削減に貢献します。
• セキュリティの強化
  改良された暗号化・認証機構により、機密データを扱う際の安全性と信頼性が向上しました。
• 統合範囲の拡大
  NiFi 2.0 は多様なデータソースやシステムとの連携をさらに拡充。Cloudera Flow Management 4.0 では、Apache NiFi 2.0 で削除された Hive や Accumulo などのコンポーネントを引き続き提供するほか、RDB や Iceberg 向けの CDC（Change Data Capture）機能も追加し、Cloudera 製品群および外部システムを組み合わせたエンドツーエンドのシステム設計を支援します。
• Python ネイティブのプロセッサ開発
  NiFi 2.0 には Python SDK が提供され、Python でプロセッサを迅速に開発ができるようになりました。
  Cloudera Flow Management 4.0 では更に、データの埋め込み生成、ベクターデータベースへの取り込み、各種 GenAI システムとの連携、Amazon Bedrock 経由の大規模言語モデル（LLM）操作のためのコンポーネントが追加され、GenAI をビジネスに生かすコンポーネントも追加されています。
• フロー設計のベストプラクティス支援
  NiFi 2.0では、フロー設計のベストプラクティスを推奨・適用するためのルールエンジンが搭載されています。Cloudera Flow Management 4.0では、スレッド管理や推奨コンポーネントなどの側面に対応したフロー分析ルールを提供し、管理者が安定なフローを設計できるよう支援します。

Cloudera と NiFi － 継続的なサポート、イノベーション、そしてアップグレードの簡素化

ClouderaはNiFiの開発を牽引し、オープンソースコミュニティへの貢献や専門的サポートを通じてユーザーを支援してきました。NiFiへの投資を通じて、変化の激しいデータ環境においてその進化と重要性を維持しています。

ClouderaのNiFiへの取り組みは、Apache NiFiコミュニティへの参加、メーリングリストやフォーラム、イベントを通じた知識やベストプラクティスの共有に表れています。
さらに、Cloudera Flow Management Operatorを提供し、Kubernetes上でNiFiクラスターやNiFi Registryインスタンスをデプロイ・管理できるようにしています。コンテナ化されたインフラを活用し、複雑なデータフローのオーケストレーションを効率化します。

Clouderaは、NiFi 1のコンポーネントからNiFi 2のコンポーネントへのアップグレードを簡素化する移行ツールを提供しています。加えて、NiFiの可能性を最大限に活用するための包括的なトレーニングやコンサルティングサービスも提供しています。

データフロー管理の未来を切り拓く

Cloudera Flow Management 4.0（Apache NiFi 2.0 搭載）により、Cloudera はデータフローマ管理におけるリーダーシップを強化します。
今後もNiFiへの継続的な開発・改良に投資し、データエンジニアやデータサイエンティストにとって信頼性の高いツールであり続けることを約束します。
また、クラウドベースのCloudera Flow Managementデプロイを提供し、運用効率を最適化しながらエンタープライズ規模へのスケーリングを可能にしています。
AI ソリューションを強化・統合する機能は、Cloudera Flow Managementの焦点です。

Clouderaは引き続き、顧客がビジネスクリティカルなデータイニシアチブを推進するためにNiFiの力を最大限活用できるよう、サポートとガイダンスを提供します。

さらに詳しく知りたい方へ

Cloudera Flow Management の新機能がどのようにデータパイプラインを変革するかについては、以下をご覧ください。

• Data Distribution Architecture to Drive Innovation

• Scaling NiFi for the Enterprise with Cloudera

この記事は、2024/12/12に公開された「Cloudera Commits to CISA’s “Secure by Design” Pledge, Strengthening Security for Our Customers」の翻訳です。

Cloudera は、米サイバーセキュリティ・インフラセキュリティ庁 (CISA) の「セキュア・バイ・デザイン (Secure by Design)」誓約に署名し、製品ライフサイクルのあらゆる段階でセキュリティを組み込むことを目指す業界トップ企業の仲間入りを果たしました。お客様のデータを責任を持って取り扱うには、セキュリティ機能を後から付け加えるのではなく、提供するすべての製品とサービスの基本要素として最初から組み込むことが重要です。今回の署名は、組織が可能な限り安全かつコンプライアンスに準拠した形でデータを価値ある洞察に変換できるように支援するという、当社が以前から掲げている使命に沿ったものです。

「セキュア・バイ・デザイン」誓約とは？

CISA の「セキュア・バイ・デザイン」誓約は、テクノロジープロバイダーに対し、本番運用後の修正のみに注力するのではなく、開発プロセス全体を通してセキュリティを優先するよう促すものです。このプロアクティブなアプローチでは、製品の初期コンセプトから、設計、テスト、展開、運用のすべてのフェーズにおいてセキュリティを組み込むことが求められます。この誓約に署名することで、Cloudera はサイバーセキュリティ分野のリーダーとしての立場を強化し、すべての製品とサービスの機能が、サイバー脅威に対する回復力を高めるための CISA のベストプラクティスに準拠した厳格なセキュリティ基準を満たしていることを保証します。Cloudera はセキュリティプロトコルを開発パイプラインに直接組み込み、既知の脅威と未知の脅威の両方に備えた堅牢なセキュリティ体制を確立することを公約しています。

「セキュア・バイ・デザイン」が重要な理由

機密データを保護するには、警戒を怠ることなく、セキュリティに対するアプローチを進化させる必要があります。しかし、従来のセキュリティアプローチでは、すでに本番環境に展開された製品の脆弱性を修正することに重点が置かれています。

このような対応も依然として必要ですが、「セキュア・バイ・デザイン」フレームワークでは予防を重視して、開発の初期段階からセキュリティを製品の中核に組み込むアプローチを取っています。その狙いは、セキュリティ脅威に先手で対応し、脆弱性を未然に防ぐことにあります。そのため、Cloudera のテクノロジーは攻撃への対処と機密データの保護を念頭に設計されており、お客様にとってより安全かつ強靭なものになっています。

Cloudera のお客様が当社の「セキュア・バイ・デザイン」の取り組みから得られるメリット

25エクサバイトを超えるデータを管理している Cloudera は、最新のセキュリティ基準を満たすだけでなく、それを上回るソリューションを提供することで、お客様のデータを責任を持って守ることに尽力しています。今回の署名は、そうした姿勢を反映したものです。これにより、お客様には次のようなメリットがもたらされます。

1. プロアクティブなセキュリティ対策の強化
   Cloudera の製品、機能、アップデートは、すべてセキュリティを最優先に考えて設計されています。当社は、開発の初期段階から製品の展開に至るすべてのフェーズでセキュリティ統制を組み込み、データを保護することで、脆弱性を最小限に抑え、コア機能の一環として管理しています。すべての製品にセキュリティ機能を組み込み、潜在的な脆弱性に早いうちから徹底的に対処するという Cloudera のコミットメントは、お客様に安心感をもたらします。
2. セキュリティとコンプライアンスの継続的な監視
   Cloudera は、継続的なセキュリティ管理戦略の一環として、内部監査と外部監査、リスク評価、および継続的なセキュリティ監視を定期的に実施しています。これにより、GDPR、PCI DSS、ISO27001などの業界標準や規制に確実に準拠して、コンプライアンスに関連するお客様の負担を軽減し、リスクの低減をサポートします。当社はこのような厳格なプロセスを通じて、新たなセキュリティ脅威に迅速に対処し、お客様の環境の安全性を維持しています。
3. 誓約に署名している企業との連携
   Cloudera は今後、「セキュア・バイ・デザイン」誓約に署名した他の企業との定期的な技術交流会に参加します。このような会合では、製品やサービスのセキュリティに取り組むテクノロジー企業のコミュニティと連携し、ベストプラクティスを共有できます。こうして得られた専門知識を活用することで、誓約の実現により近づくことができます。
4. 責任共有モデルのサポート
   特にハイブリッド環境とマルチクラウド環境においては、セキュリティに対する責任が Cloudera とお客様の間で共有されることになります。Cloudera は、「セキュア・バイ・デザイン」のアプローチで強固なセキュリティ基盤を構築することにより、お客様があらゆるインフラストラクチャーやデータストアで安全な運用を確保できるよう支援します。お客様は、当社が提供するツール、洞察、リソースを利用することで、情報に基づいてセキュリティ上の意思決定を行い、お客様独自の環境に適した構成を実現できます。
5. 業界をリードするセキュリティの専門知識の活用
   当社のチームは、個々のニーズに合わせた業界最高クラスのセキュリティアーキテクチャと機能を提供して、お客様を継続的にサポートします。お客様は、当社独自のトラストセンターに収録されているリソースを活用して、当社の責任共有モデル、リスク評価、脆弱性管理について調べたり、セキュリティプラクティスに関する包括的なドキュメントを参照したりできます。さらに、Cloudera はお客様と継続的に連携することで、セキュリティライフサイクルのすべての段階で信頼できるパートナーとしてサポートを提供します。
6. 変化する世界に対応する強靭なデータソリューションの構築
   「セキュア・バイ・デザイン」誓約への署名は、お客様を潜在的な混乱から保護するための取り組みを強化するものです。Cloudera は、データソリューションや分析ソリューションのあらゆる層にセキュリティ機能を組み込むことで、データドリブンな世界のニーズに対応できる柔軟性と回復力を提供します。当社はあらかじめ脆弱性を減らすことで、お客様がセキュリティやコンプライアンスに関して妥協することなく、データを実用的な洞察に変えるという最も重要な業務に集中できるよう支援しています。

Cloudera とお客様の未来にもたらすもの

「セキュア・バイ・デザイン」誓約への署名は、単に形式的な義務を果たすためのものではありません。Cloudera が何よりもセキュリティ、信頼、お客様の成功を大切にしていることの証しです。サイバー脅威が進化し続ける中、Cloudera は今後もセキュリティプラクティスを進化させ、セキュアなテクノロジーの最前線に立ち、業界の新しい基準を打ち立てていきます。当社のお客様は、データプラットフォームを使って最も重要な資産であるデータを保護しながら、イノベーションを実現して洞察を引き出し、ビジネス成果の向上につなげることができます。

さらに詳しく

Cloudera のセキュリティへの取り組みがお客様の組織にどのように役立つかについては、トラストセンターでご確認ください。Cloudera の安全なアーキテクチャ、コンプライアンスの基準、リスク管理の実践に関する貴重なリソースをご覧いただけます。また、Cloudera を実際にお試しになりたい場合は、AWS での5日間トライアルをご利用ください。

この記事は、2024/12/4に公開された「Fueling the Future of GenAI with NiFi: Cloudera DataFlow 2.9 Delivers Enhanced Efficiency and Adaptability」の翻訳です。

10年以上にわたり Apache NiFi を熱心に支援し、委員会メンバーも務めてきた Cloudera は、データの採取、変換、配信における Apache NiFi の性能と汎用性を長年高く評価してきました。当社のお客様は、NiFi に加えて関連するサブプロジェクト (Apache MiNiFi および Registry) も利用して、多種多様なデータソースの構造化データ、非構造化データ、マルチモーダルデータに接続しています。データソースには、エッジデバイス、SaaS ツール、サーバーログ、さらには Change Data Capture ストリームなどが含まれます。

生成 AI の時代となった今、データパイプラインには処理能力だけでなく、俊敏性と適応性が求められています。Cloudera DataFlow 2.9はこのニーズに応えて機能強化されており、開発を合理化し、効率性を高め、最先端の生成 AI ソリューションの構築を支援します。

このリリースは、Apache NiFi およびその活発なオープンソースコミュニティに対する Cloudera の確固たるコミットメントを裏付けるものです。当社は、Apache NiFi 2.0の今後の進化とデータフロー管理に変革をもたらす可能性に大きな期待を寄せています。Apache NiFi 2.0を今すぐご利用になりたい方は、5日間の無償トライアルをお試しください。Cloudera DataFlow 2.9の新機能の概要について、以下でご紹介します。

強力な新機能により生成 AI を加速

Cloudera DataFlow 2.9には、生成 AI の取り組みを推進するための特別な新機能が導入されています。

• 新しい AI プロセッサ: 生成 AI アプリケーションのためのシンプルなデータ統合と合理的なデータ準備を実現する新しいプロセッサによって、最先端の AI モデルの力を引き出すことができます。
• RAG アーキテクチャ向け ReadyFlow: 構築済みのデータフローを活用することで、検索拡張生成 (RAG) プロジェクトをすぐに開始できるため、外部のナレッジソースを参照する生成 AI アプリケーションの開発が迅速化されます。

こうした機能強化によって、高度な生成 AI ソリューションを容易かつ効率的に構築し、AI の革新的な力を引き出すことができます。

開発者の生産性が向上

DataFlow 2.9には、開発者の生産性を高め、データパイプラインの開発を合理化する機能が導入されています。

• パラメータグループ: パラメータをグループ化して複数のフローに適用できるため、シンプルなフロー管理が実現し、再利用が容易になります。これにより、開発時間が短縮され一貫性が向上します。
• ReadyFlow: 一般的なデータ統合や処理のタスク向けの構築済みテンプレートを活用することで開発効率が向上し、開発者はより価値の高い業務に専念できるようになります。

DataFlow 2.9によって開発がシンプルになり、再利用性が高まるため、データエンジニアはデータパイプラインを迅速に構築して配備でき、企業の価値実現までの時間が短縮されます。

運用を簡素化してオブザーバビリティを強化

DataFlow 2.9では、データパイプラインの運用と監視をかつてなく容易にする機能強化も行われています。

• 通知: カスタマイズ可能な通知機能を使用して重要なイベントのアラートを受け取ることで、データフローの健全性とパフォーマンスについて常に把握できます。
• 高度な NiFi メトリクス: 監視機能が強化され、データパイプラインの状況を詳しく理解できます。監視機能では、フローパフォーマンスに関する詳細なメトリクスが提供されます。また、任意のオブザーバビリティツールに監視機能を統合することができます。

こうした運用上の機能強化により、データパイプラインの管理がスムーズになるため、トラブルシューティングにかかる時間が短縮され、効率を最大限に高めることができます。

Cloudera のビジョン: ユニバーサルデータ配信

DataFlow 2.9においても、Cloudera はエッジから AI まであらゆる環境に広がるデータのシームレスな移動と処理を可能にするユニバーサルデータ配信のビジョンを形にしています。今回のリリースは、生成 AI 時代においてイノベーションの加速とビジネス価値の促進をもたらす効率的で適応性の高い未来志向のデータパイプラインを構築するうえで欠かせないビルディングブロックとなるものです。

さらに詳しく

Cloudera DataFlow 2.9の新機能の詳細とデータパイプラインの変革に役立つ仕組みについては、こちらのビデオをご覧ください。

Cloudera DataFlow now powers GenAI pipelines and supports changing flow versions of existing deployments in latest 2.8 release (Cloudera DataFlow は最新の 2.8リリースで生成 AI パイプラインに対応し、既存デプロイメントのフローバージョンの変更をサポート)

Cloudera DataFlow 2.9 now supports building GenAI pipelines with NiFi 2, simplifies parameter sharing and improves monitoring capabilities (Cloudera DataFlow 2.9では NiFi 2を用いた生成 AI パイプラインの構築が可能になり、パラメータ共有が簡素化されて監視機能が向上)

この記事は、2024/11/15に公開された「Empower Your Cyber Defenders with Real-Time Analytics」の翻訳です。

今日、組織のセキュリティと保護に取り組むセキュリティ担当者は、これまでにないさまざまな課題に直面しています。実際、Identity Theft Resource Center (ITRC) の『Annual Data Breach Report』によると、2023年には2,365件のサイバー攻撃が発生して3億人以上が被害を受け、データ侵害は2021年から72% 増加しました。

多くの担当者が、ますます巧妙化し、次々と発生するサイバー攻撃への対応に追われ、疲弊しています。攻撃の件数と巧妙さが日々増す中で、セキュリティ侵害に対してプロアクティブかつ効果的に対抗するには、AI と自動化の実装が欠かせません。

しかし、成果を上げるうえで障害となる根本的な課題があります。それはデータです。この記事では、セキュリティ担当者が、データ、分析、AI を活用して仕事に取り組む際に直面する問題、そうした問題を Cloudera のオープンデータレイクハウスで軽減する方法、そして現代のサイバーセキュリティ環境の複雑な状況に対応するうえでの Cloudera アーキテクチャの重要性について取り上げます。

サイバーデータにまつわる問題

データは、セキュリティ担当者にとって最大の資産であると同時に、最大の課題です。問題はデータの多さだけではなく、そのデータを管理し、内容を把握することの難しさにあります。セキュリティ担当者が直面している課題は、次のとおりです。

• 大量のデータ: サイバーセキュリティツールは、ドメインネームサービス (DNS) のレコードやファイアウォールのログなど、膨大な量のログデータを生成します。これらのデータはどれも調査や脅威ハンティングに不可欠ですが、既存のシステムでは効率的な管理が難しいことが少なくありません。たいていの場合、データの取り込みに時間やコストがかかりすぎ、対応が遅れたり対策の機会を逃したりする結果となります。
• 大量のツール: 企業では、サイバー防衛のために平均して40種類以上のツールを展開しています。各ツールには独自の目的がありますが、アナリストは複数のインターフェースを行き来せざるを得ず、総合的な調査が困難になりがちです。また、手動でのツールの切り替えが調査の遅れを招き、原始的な手段に頼らなければ調査結果を追跡できないことが少なくありません。
• 分析に不向きな非構造化データ: ログデータをようやく収集できても、そのデータが分析に適した形式であることはめったにありません。サイバーログは非構造化データや半構造化データであることが多く、そのままでは洞察を引き出すことが困難です。そのため、アナリストは調査用のデータの正規化、解析、準備に貴重な時間とリソースを費やさざるを得ません。

打開策: Cloudera のオープンデータレイクハウス

このような課題を解決するために Cloudera が提供しているのが、オープンデータレイクハウスです。このソリューションは、データレイクストレージの柔軟性と拡張性をデータウェアハウス機能と組み合わせることで、サイバーログデータの管理を統合し、効率化します。データサイロを解消し、複数のソースから得たログデータを統合できるため、セキュリティ担当者はリアルタイムで分析して脅威に迅速に対応できるようになります。

Cloudera は以下のことを可能にします。

• 単一システムへの統合: Cloudera のオープンデータレイクハウスは、すべての重要なログデータを1つのシステムに統合します。大量のデータの高性能分析を行うために設計されたオープンテーブル形式の Apache Iceberg を活用することで、セキュリティ担当者はすべてのデータにアクセスし、調査のスピードと効率を高めることができます。クエリを実行する対象が現在のデータでも過去のデータでも、システムがニーズに合わせてスケールアップまたはスケールダウンを実行します。
• 分析への最適化: Iceberg テーブルは、分析を迅速かつ効果的に実行できるように設計されています。柔軟なスキーマ機能やパーティショニング機能を備えた Iceberg テーブルは、スケールアップによってペタバイト規模のデータを処理しながら、ログを圧縮してストレージコストを節約できます。このメタデータベースのアプローチによってクエリ実行計画を迅速に作成できるため、セキュリティ担当者はすぐに回答を求められた場合でも、処理の遅さに悩まされることがありません。
• データのセキュリティとガバナンスの確保: Cloudera Shared Data Experience (SDX) では、セキュリティとガバナンスがすべてのステップに組み込まれています。サイバーログにはユーザー、ネットワーク、調査に関する機密データが含まれていることが多いため、これらの情報を保護しながら、許可されたチームのみがデータアクセスやデータ共有を安全に実行できるようにすることが重要です。
• リアルタイムで洞察を引き出せるストリーミングパイプライン: オープンデータレイクハウスが分析の基盤を提供する一方で、Cloudera のデータパイプライン機能は、非構造化サイバーログの生データを最適化された Iceberg テーブルに変換します。Cloudera Data Flow と Cloudera Stream Processing を使用すれば、ログデータをリアルタイムでフィルタリング、解析、正規化、強化できるため、高度な分析に適したクリーンな構造化データを常に活用できるようになります。
• シームレスな統合: Cloudera のオープンデータレイクハウスは、さまざまなツールと統合されているため、調査担当者、脅威ハンター、データサイエンティストは好みのツールで作業できます。Cloudera Data Visualization のドラッグアンドドロップ式のインターフェースから、異常検知用の高度な機械学習モデルまで、さまざまなツールを制限なく活用できます。さらに、Iceberg の相互運用性とオープンスタンダードの組み合わせにより、各作業に最適なツールを選択できます。

Iceberg によるリアルタイムの脅威検知

サイバーログデータは膨大な量があり、しかも増え続けています。そのため、従来の多くのシステムでは、クエリ実行計画を作成するのに、クエリ自体を実行するのと同じくらい時間がかかることがあります。Iceberg は、パーティションやファイルの場所に関する情報など、すべてのテーブルメタデータをクエリエンジンが扱いやすい形式で格納することで、クエリ実行計画の作成を効率化します。これにより、拡大し続ける大規模なテーブルでも常に管理できるようになるため、セキュリティ担当者は、クエリ実行計画の非効率的なプロセスに煩わされることなくリアルタイムで脅威を検知し、脅威検知と調査のワークフローを迅速化および効率化できます。

また、脅威の進化に合わせて、脅威の検知と対応に使用するシステムとプロセスも進化させる必要があります。Iceberg を使用すれば、テーブルを書き換えることなく、スキーマ、パーティショニング、データ強化のプロセスをその場で変更できます。さらに、Iceberg スナップショットによるヴァージョニングによって、テーブルの以前の状態を簡単に再現できるため、複数のデータコピーを管理したり維持したりすることなく、いつでも過去の文脈情報にアクセスできます。

未来: AI を活用したサイバー防衛

Cloudera は、AI を活用したサイバーセキュリティの未来に向けてセキュリティ担当者を支援する準備も進めています。SQL AI Assistant のような組み込みの生成 AI ツールを使用することで、アナリストは必要な回答を抽出するための SQL クエリをすばやく記述できます。日常的なタスクの自動化からインシデントを要約するチャットボットの構築まで、Cloudera の AI 機能は、データを常に安全に管理しながらサイバー防衛を効率化します。

結論: セキュリティ担当者を支援してビジネスを保護

Cloudera のオープンデータレイクハウスは、サイバーデータを安全かつ拡張可能で、分析に適した環境に統合することで、サイバー脅威に先手を打てるようにします。Cloudera は、さまざまなツールや実行エンジンとのシームレスな統合、柔軟で費用対効果の高いストレージ、組み込みの AI 機能により、サイバー脅威への対応に役立つ予測的洞察をリアルタイムで提供して、組織を保護するセキュリティ担当者を支援します。

このブログで紹介したソリューションや Cloudera の他のすべてのイノベーションの詳細については、「Cloudera NOW」の録画をオンデマンドでご覧ください。

この記事は、2024/12/4に公開された「Cloudera announces ‘Interoperability Ecosystem’ with founding members AWS and Snowflake」の翻訳です。

今日の企業は、データの取り込み、処理、利用に最適なツールである Cloudera と Snowflake を組み合わせて活用することで、あらゆるデータ、分析、AI のワークロードのための信頼できる唯一の情報源を手に入れることができます。

さらに AWS のお客様は、柔軟性、データの有用性、複雑さを向上させ、最新のデータアーキテクチャを利用できるようになります。これらはすべて、Snowflake、Cloudera、および AWS 独自のサービスにワークロードを簡単に接続できるようにしたことで実現しています。その AWS のサービスには、Simple Storage Service (Amazon S3)、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Relational Database Service (Amazon RDS)、Amazon Elastic Compute Cloud (Amazon EC2)、Amazon EMR、Amazon Athena などが含まれます。

当社のお客様からは、以下を望む声が寄せられています。
 

• 拡張性が高くコスト効率に優れたパフォーマンス: Snowflake のコンピューティングエンジンと Iceberg を導入した Cloudera のレイクハウスによって、コストを最適化しながら、分析と AI ワークロードの規模を動的に拡張
• エコシステムのシームレスな統合: AWS サービス全体のワークフローを統合し、データサイロのないハイブリッド/マルチクラウド環境を実現
• 安全かつリアルタイムの洞察: 強固なガバナンス機能とリアルタイムの分析機能を組み合わせることで、効率的で安全なデータ管理と AI を活用した洞察の取得を実現

各社のコラボレーションにより、以下が可能になります。
 

• シームレスなデータ共有と相互運用性: この統合により、AWS のお客様は、Cloudera のデータレイクハウス機能と Snowflake の AI データクラウドを活用できるようになり、複数プラットフォーム間で一元的なデータアクセスとデータ共有が実現します
• AI/ML のパフォーマンス強化: このパートナーシップにより、AWS で運用している Cloudera のオンプレミスまたはハイブリッド環境のデータセットを Snowflake の分析機能と統合することで、AI/ML アプリケーションのデータワークフローを最適化し、レイテンシを短縮し、洞察を向上させます
• クラウドへの投資を最大限に活用: お客様は、広範なデータ運用を Cloudera で管理しながら、特定の分析ユースケースに Snowflake を活用できます。この2つのプラットフォームの長所を組み合わせることで、AWS インフラストラクチャーへの投資を最大限に活用できます
• マルチクラウド戦略のサポート: このコラボレーションにより、AWS に保存されたデータと Snowflake を簡単に接続することができるため、マルチクラウド戦略をサポートし、特定のベンダーに縛られずに環境間でのデータモビリティを強化することができます
• 拡張性が高く安全なデータ管理: Cloudera のエンタープライズグレードのセキュリティおよびガバナンス機能が Snowflake と共有するデータにまで適用され、機密データを取り扱うお客様のコンプライアンスと拡張性が確保されます

新たに公開されるユースケースがいくつかあります。例えば、ハイブリッドワークロードに Cloudera を使用している AWS のお客様は、分析ワークフローを Snowflake に拡張し、インフラストラクチャー間でデータを移動することなく、より詳細な洞察を取得できるようになりました。また、Cloudera の生データの処理機能と Snowflake の分析機能を組み合わせることで、効率的な AI/ML パイプラインを構築することもできます。ユースケースは無限であり、私たちには想像もできなかったようなユースケースも登場するかもしれません。 

「これにより、どのデプロイメントゾーン、どのフォームファクタ、どのコンピューティングエンジンにも企業のレイクハウスと分析機能を迅速に展開することができるため、TCO を最小限に抑えることができます。AWS 社および Snowflake 社とのパートナーシップにより、お客様はミッションクリティカルなエンタープライズアプリケーションを一度構築すれば、パブリッククラウド、プライベートクラウド、VPC など、どこにでも展開できるようになり、実務担当者とデータチーム間でデータアセットを共有できるようになります」と、Cloudera の最高戦略責任者である Abhas Ricky は説明します。 

「AWS 社、Snowflake 社と手を取り合うことで、強力な3社が独自の協力体制を提供できるようになります。お客様からの肯定的なフィードバックは、お客様にとって有意義な効果が生み出されていることを裏付けています」と、Cloudera のグローバルアライアンス & チャネル担当シニアバイスプレジデントである Michelle Hoover は語ります。

Cloudera は今年初め、Pinecone、Anthropic、Google、Amazon、Snowflake といった各パートナーとともに、エンタープライズ AI エコシステムを拡大することを発表しました。このイニシアチブにより、業界をリードする AI プロバイダーの多様なグループが団結し、AI の価値を最大限に引き出すことができる包括的なエンドツーエンドの AI ソリューションが提供されます。

さらには、REST Catalog エコシステムによって、複数ベンダーにまたがるデータへのアクセスがさらに容易になるため、お客様がベンダーを選別する必要がなくなり、それぞれのベンダーの優れた機能を単一のアクセスポイントから利用できるようになります。 

こちらのブログでは、Amazon EMR を Cloudera のレイクハウスとシームレスに統合し、Iceberg REST Catalog による安全なデータ共有と相互運用性をどのように実現するかについて詳しく説明しています。ぜひご覧ください。  

この記事は、2024/11/4に公開された「Unlocking Faster Insights: How Cloudera and Cohere can deliver Smarter Document Analysis」の翻訳です。

Cloudera は本日、PDF ドキュメントを分析するための新しい Cloudera Accelerator for Machine Learning (ML) Projects (AMP) として、Document Analysis with Command R and FAISS をリリースいたしました。この製品は、Cohere 社の大規模言語モデル (LLM) である Command R 、検索拡張生成 (RAG) アプリケーション用の Cohere Toolkit、および Facebook AI Similarity Search (FAISS) を活用したものです。

ドキュメント分析は、大量のテキストから効率的に洞察を抽出するために欠かせない作業で、法務調査、市場分析、科学研究などさまざまな分野で活用されています。例えば、がん研究者はドキュメント分析を活用することで、特定の種類のがんに関する何千本もの研究論文から主要な調査結果を迅速に把握し、新しい研究の優先順位を決めるのに必要な傾向や知識のギャップを特定できます。

LLM が広く普及するまで、ドキュメント分析は主に手作業やルールベースのシステムで行われていました。しかし、このような手段では時間と労力がかかる上に、複雑な言葉のニュアンスや非構造化データに対応しきれないことが少なくありませんでした。

Cohere 社の Command R のような高度な LLM や、Cloudera Artificial Intelligence (CAI) のような AI プラットフォームが開発されたことで、企業は効果の高いドキュメント分析アプリケーションをかつてないほど簡単に導入できるようになりました。このプロセスをさらに簡単にするために Cloudera が開発したのが、「Document Analysis with Command R and FAISS」と呼ばれる AMP です。

Cohere 社の Command R ファミリーのモデルは、最先端のトランスフォーマーアーキテクチャを活用した高度な LLM で、複雑なテキストを生成したり理解したりするタスクを高い精度と速度で実行できるため、エンタープライズレベルのアプリケーションやリアルタイム処理のニーズに適しています。また、さまざまなアプリケーションに簡単に統合できるように設計されているため、規模の大小を問わずあらゆるサイズの実装に柔軟かつスケーラブルに対応できます。Cohere Toolkit は事前構築済みのコンポーネントのセットで、開発者が検索拡張生成 (RAG) アプリケーションを迅速に構築して展開するのに役立ちます。

CAI は、データサイエンティストや人工知能 (AI) の専門家が、モデルやアプリケーションを大規模に構築、トレーニング、デプロイ、管理するための強力なプラットフォームです。AMP は一般的に使用される AI/ML ベースのプロトタイプをワンクリックで展開できるプロジェクトです。Cloudera の研究と専門知識を活用して、最先端の AI アプリケーションを体験できる高品質のサンプルを提供することで、価値実現までの時間を短縮します。

CAI から単一のプロジェクトとして起動されるこの AMP は、アプリケーションを自動的に展開してベクトルを FAISS ベクトルストアにロードし、Cohere 社の Command R LLM と連携してドキュメント分析を実行できるようにします。下の画像は、AMP で使用される検索拡張生成 (RAG) アーキテクチャと Cohere 社のモデル、FAISS、ユーザーのナレッジベース、Streamlit などの各コンポーネントが連携して、すぐに使える生成 AI のユースケースを構築する仕組みを示しています。

このプロジェクトでは、特に RAG の観点から、いくつかの重要な新しいテーマを Cloudera の AMP ライブラリに加えています。Meta 社のオープンソースである FAISS は、密なベクトルの類似性検索やクラスタリングを効率的に行うためのライブラリです。このライブラリには、RAM に収まらない可能性のあるベクトルを含め、あらゆるサイズのベクトルのセットを検索できるアルゴリズムが含まれています。この AMP で FAISS を活用することで、Cloudera はベクトル検索アプリケーションの柔軟性を実証し、既存の AMP カタログで採用されている Milvus、Chroma、Pinecone などに加えて、この機能を採用しています。

さらにこの AMP は、Cohere 社のモデルおよび FAISS へのカスタムコネクターを利用した LangChain 社の AI ツールキットを活用することで、高度なセマンティック検索と要約機能を簡潔でわかりやすいコードベースで実現しています。また、英語の入力から高品質のテキスト埋め込みを生成するようにカスタマイズされた Cohere 社の embed-english-v3.0 モデルを利用しており、微妙な意味の違いを捉えるのに優れています。UI には Streamlit が使われているため、ユーザーはシンプルなテンプレートで作業を開始し、それをベースに本番環境への本格的な展開を進めることができます。

「Document Analysis with Command R and FAISS」AMP の仕組みや展開方法の詳細については、この Github リポジトリをご覧ください。 

Cohere 社と Cloudera は、高性能な AI アプリケーションをさらに簡単に展開できるようにするために協力して取り組んでいます。今後のニュースにぜひご期待ください。

この記事は、2024/10/22に公開された「The Evolution of LLMOps: Adapting MLOps for GenAI」の翻訳です。

近年、機械学習モデルの開発、展開、管理のための標準的な手法となっているのが機械学習運用 (MLOps) です。MLOps は、プロセスとワークフローを標準化し、モデルをより迅速かつ安全に、そしてスケーラブルに展開できるようにします。また、モデル管理を一元化し、展開のための CI/CD を自動化すると同時に、継続的な監視機能を提供し、ガバナンスとリリースのベストプラクティスを確保します。

その一方で、大規模言語モデル (LLM) の急速な台頭により、コンピューティングコスト、インフラストラクチャーのニーズ、プロンプトエンジニアリング、その他の最適化手法、ガバナンスなどに関する新たな課題が生じています。これに対応するために、MLOps を「大規模言語モデル運用」(LLMOps) と呼ばれるものへと進化させることが求められています。

このブログでは、LLMOps がもたらす新たなプロセスとワークフローによってどのような領域に違いが生じるのか、従来の MLOps と比較しながら説明します。

• 開発に関わる人材の広がり: 従来の ML アプリケーションでは、主にモデルの構築をデータサイエンティストが担う一方で、ML エンジニアが中心となってパイプラインの構築と運用を行っていました。しかし LLM の登場により、このパラダイムに変化が生じています。開発に携わるのは、もはやデータサイエンティストだけではありません。ビジネスチーム、プロダクトマネージャー、エンジニアもより積極的にその役割を担うようになってきています。その主な理由として、LLM によって AI ドリブンアプリケーションの開発への障壁が下がったことが挙げられます。 オープンソースモデル (Llama や Mistral など) と独自のサービス (OpenAI など) の両方の技術進歩によって、モデルの構築とトレーニングに関する複雑な作業の多くが取り除かれました。しかし、このような民主化は諸刃の剣でもあります。LLM は製品への統合が容易である一方で、コンピューティングコスト、インフラストラクチャーのニーズ、ガバナンス、品質など、対処すべき新たな課題を生み出しています。
• 中核機能としてのローコード/ノーコード: MLOps のツールは、主にデータサイエンティスト向けに設計されたものであり、API 中心のアプローチで、Python や R との統合に重点が置かれていました。LLMOps では、広範なユーザーの要求に応え、さまざまなチームが LLM にアクセスできるようにするために、ローコード/ノーコードのツールが不可欠になっています。技術者以外の関係者が最小限のコーディング知識で LLM を構築、実験、展開できるように、プラットフォームがいかに使いやすいインターフェースを備えているかを前面に押し出すことが、現在の LLMOps のトレンドです。
• モデルの最適化を重視: LLM を使用する場合、汎用モデルを対象に、独自のデータを使用して特定のビジネスニーズに合わせてモデルを微調整するのが一般的です。そのため、モデルの最適化のための手法が LLMOps の中心的な課題となりつつあります。対象となるユースケースに合わせて LLM を改良するためには、量子化、プルーニング、プロンプトエンジニアリングといった手法がきわめて重要です。最適化はパフォーマンスを向上させるだけでなく、LLM アプリケーションのコストと拡張性を管理するためにも不可欠です。
• プロンプトエンジニアリング: LLMOps の登場によってもたらされたまったく新しい概念の1つに、プロンプトエンジニアリングがあります。これは、モデルの動作をガイドするための詳細な指示を作成する手法です。プロンプトエンジニアリングは技術であると同時に科学でもあり、LLM レスポンスの品質、関連性、効率を向上させるための重要な手法として機能します。プロンプト管理のためのツールには、プロンプトチェイニング、テストプレイグラウンドのほか、高度な概念であるメタプロンプティングなどがあります。メタプロンプティングとは、ユーザーがプロンプトを活用して別のプロンプトを改善する手法であり、LLMOps を構成する重要な技術の1つです。また、Chain of Thoughts (CoT) や Assumed Expertise などの手法も、この新しい領域における標準的な戦略になりつつあります。
• 検索拡張生成 (RAG) の出現: 従来の ML モデルとは異なり、LLM を含む多くのエンタープライズレベルの生成 AI のユースケースでは、事前にトレーニングされた知識だけでなく、外部ソースから取得した関連データも利用しながら回答を生成しています。これが、検索拡張生成 (RAG) アーキテクチャの発展へと繋がりました。このアーキテクチャは、検索モデルを統合して企業のナレッジベースから情報を取得し、LLM がその情報をランク付けして要約します。 RAG は、ハルシネーション (幻覚) を大幅に減らすと同時に、エンタープライズデータを活用するための費用対効果の高い方法を提供する、LLMOps の新たな基盤となっています。RAG パイプラインの構築と管理は、MLOps 環境では存在しなかったまったく新しい課題です。LLMOps のライフサイクルでは、RAG パイプラインの構築と管理が、従来のモデルトレーニングに取って代わる重要な焦点となっています。ML モデルのトレーニングと同様に、LLM の微調整は依然として重要ですが、これにはインフラストラクチャーとコストに関する新たな課題が生じています。また、RAG パイプラインでエンタープライズデータを使用する際には、データ管理に関する新たな課題も生まれます。ベクトルストレージ、セマンティック検索、埋め込みなどの機能は、LLMOps ワークフローにとって不可欠な構成要素となっています。これらは、MLOps ではあまり一般的ではなかった領域です。
• 評価と監視の予測が困難: LLM の評価と監視は、従来の ML モデルの場合よりも複雑です。LLM アプリケーションはコンテキストへの依存度が高く、評価にあたっては特定分野の専門家 (SME) からの大量のインプットが必要になります。そこで、自動評価フレームワークという技術も登場し始めています。これは、LLM が別の LLM を評価する技術です。一方、生成モデルの予測不可能性の課題やハルシネーション (幻覚) などの問題は、依然として対処が困難です。これらの課題を克服するために、多くの企業はまず、エージェントアシスタントなどの LLM ユースケースを社内に展開し、その信頼性を確認した後、顧客向けアプリケーションをリリースするという戦略を取っています。
• リスク管理とガバナンス: モデルのリスク管理は、MLOps においても常に重要な焦点でしたが、LLMOps では新たな懸念をもたらしています。LLM がどのようなデータを使ってトレーニングされたかについては不透明な部分が多いため、プライバシーや著作権、偏見に関する懸念を引き起こしています。さらに、LLM の監査可能性と説明可能性についての問題は未解決のままです。企業では AI リスクフレームワークの導入が進められていますが、ベストプラクティスはまだ確立してはいません。当面のところ、徹底した評価、継続的な監視、承認済みモデルのカタログ作成、ガバナンスポリシーの確立に注力することが、初期の重要なステップとなるでしょう。今後は、AI ガバナンスが LLMOps ツールの重要な柱となるはずです。

企業での LLM の導入が進むにつれて、直面する独自の課題に対処するためには、MLOps から LLMOps への移行が不可欠です。そして LLMOps においては、プロンプトエンジニアリング、モデルの最適化、RAG が重要です。さらに、ガバナンス、リスク管理、評価の分野に新たな複雑さが加わったことにより、これらの高度なモデルを本番環境で適切に拡張および管理していくためにも、LLMOps の重要性が高まっています。

LLM の活用方法についてさらに詳しく知りたい方は、こちらをご覧ください。

この記事は、2024/10/10に公開された「Cloudera Lakehouse Optimizer Makes it Easier Than Ever to Deliver High-Performance Iceberg Tables」の翻訳です。

オープンデータレイクハウスは、大量のデータに対して統合的な多機能分析を実行するための標準アーキテクチャとなりつつあります。このアーキテクチャは、データレイクストレージの柔軟性と拡張性に、データウェアハウスのデータ分析、データガバナンス、データ管理機能を組み合わせたものです。オープンテーブル形式は、従来のデータウェアハウスが持つ機能の多くをデータレイクストレージで直接提供できることから、このアーキテクチャの重要なコンポーネントとなっています。中でも Apache Iceberg は、ベンダーと顧客の双方で、急速に標準形式として採用されつつあります。

Iceberg はデータを高性能で可視化するために必要な作業を大幅に削減する機能を数多く備えています。しかし、その機能の多くはオーバーヘッドを発生させるため、パフォーマンスとコストを最適化するために手動によるジョブの実行が必要になります。そこで Cloudera は、データレイクハウスの管理をさらに容易にするために、Cloudera Lakehouse Optimizer を導入しました。このソリューションは、Iceberg テーブルのメンテナンスをインテリジェントに自動化するため、こうしたジョブの多くがバックグラウンドで自動的に実行されます。この記事では、Cloudera Lakehouse Optimizer の一部の機能、それらの機能がもたらすメリット、そしてこのサービスの今後の展望についてご説明します。

Cloudera Lakehouse Optimizer の機能

Cloudera Lakehouse Optimizer は、ユーザー設定と Iceberg テーブルの統計情報に基づいて、ポリシーベースの Iceberg テーブル最適化タスクを自動で実行します。この自動の最適化ジョブでは、以下の処理が実行されます。

コンパクト化: 企業では、マイクロバッチ処理やストリーミングデータなど、多くの小さなファイルを取り込むことが多いですが、複数の小さなファイルの読み取りは、クエリのパフォーマンスに悪影響を及ぼす可能性があります。コンパクト化とは、パフォーマンスを高めるために、多数の小さなファイルをまとめて大きなファイルに作り変えるプロセスのことです。Cloudera Lakehouse Optimizer は、データファイルを自動でコンパクト化するのに最適なタイミングを自律的に判断し、ユーザーが常にテーブルから最高のパフォーマンスを得られるようにします。また、最適化すべきテーブルの優先順位を使用パターンに基づいて決定するため、手動による最適化は、実際に ROI が見込める場合に行うだけです。

テーブルのクリーンアップ: テーブルが拡大するにつれて、未使用のデータファイル、マニフェストファイル、スナップショットなど、不要なデータが蓄積されていくことがよくあります。そのため、ストレージ使用率を最適化してパフォーマンスを向上させるために、スナップショットの失効処理、古いメタデータファイルの削除、孤立ファイルの削除といったテーブルメンテナンスの実行が必要になることがあります。Cloudera Lakehouse Optimizer は、こうしたメンテナンスタスクを実行するのに最適なタイミングを自律的に判断し、テーブルのストレージ使用状況を常に最適な状態に保てるようにします。

さらに、Cloudera Lakehouse Optimizer は最適化とポリシーベースの統制だけでなく、最適化ジョブのオブザーバビリティを提供するため、データチームはポリシーがテーブルとストレージの健全性とパフォーマンスに与えている影響を視覚的に把握できます。

メリット

Cloudera Lakehouse Optimizer は、Iceberg テーブルを管理している企業に以下のようなメリットをもたらします。

• ストレージの設置面積を最適化し、クエリの実行時間を短縮することで、総所有コスト (TCO) を削減する。
• クエリで読み取る必要のあるファイルの数を削減することで、データ処理を効率化する。
• レイクハウスで最も面倒なメンテナンスタスクの一部を自動化することで、データ管理の労力とオーバーヘッドを削減する。

今後の展望

当社が Cloudera Lakehouse Optimizer でリリースする機能は、オープンデータレイクハウスアーキテクチャへの移行を検討している企業にとって極めて重要な2つの課題を解決します。Cloudera は、データの高性能な可視化をかつてないほど簡単に実現するというビジョンを掲げていますが、今回のリリースはこのビジョンを推進するための第一歩にすぎません。将来的には、クエリのパフォーマンスに影響を与えかねないデータ分散の問題を解決するためのパーティションの再編成や、クエリの最適化など、さらに多くの最適化機能を追加する予定です。

こうした機能はすべて、Cloudera が Iceberg テーブルの管理とアクセスのための最適なプラットフォームとなること、そしてオープンデータレイクハウスの導入をこれまで以上に簡単にすることを目標としています。

オープンデータレイクハウスの無償トライアル

Cloudera のオープンデータレイクハウスは、AWS 上で今すぐ無料でお試しいただけます。ぜひ5日間無償トライアルに登録して、ご自身の目でお確かめください。

この記事は、2025/1/10に公開された「From Machine Learning to AI: Simplifying the Path to Enterprise Intelligence」の翻訳です。

現代を反映した最新の名称

長年にわたり、Cloudera のプラットフォームは、世界で最も革新的な組織がデータを行動へとつなげる支援をしてきました。AI が試験的な運用から戦略的かつ全社的な取り組みへと進化する中、名称にもその変化を反映させるべきであることは明らかです。これが、Cloudera Machine Learning から Cloudera AI へと名称を変更する理由です。

この名称変更は単なる看板の掛け替えではなく、ましてや「AI ウォッシング」でもありません。これは、エンタープライズインテリジェンスの未来に包括的に取り組む決意を示すメッセージです。その未来とは、AI が「あればよい」というものではなく、意思決定、製品開発、カスタマーエクスペリエンスのバックボーンとなるような未来です。

SF 的な夢想から役員室の現実へ

「人工知能」という言葉は、かつては SF や学術研究の領域に属していました。数十年前、それはムーンショット的な壮大なアイデアであり、進歩が停滞することも少なくありませんでした。しかし、何年もかけてデータチームやデータサイエンティストが数々のハードルを乗り越え、AI は現実世界のイノベーションの原動力となりました。今日では、質問を予測して反応する会話型チャットボットから、開発を加速させるアシスタント、戦略的な意思決定を推進する高度な分析機能まで、AI は至る所で活躍しています。

この進化によって期待に変化が起こりました。企業の関心はもはや、AI が業務の助けになりうるかどうかではなく、どれくらい迅速かつシームレスに AI を業務に取り入れられるか、という点に移っています。私たちは「AI」という言葉を名称に取り入れることで、企業が他社と競い合うだけでなく、差別化を図るために今すぐ必要としている包括的なソリューションを提供することで、その期待に真正面から応えられることを表明しているのです。

「ML」よりも「AI」が重要である理由

機械学習 (ML) はパズルの重要なピースですが、それはピースの1つに過ぎません。今日の AI には、ML、高度な分析、コンピュータービジョン、自然言語処理、自律エージェントなどが含まれます。つまり、データエンジニアリング、モデル運用、ガバナンス、コラボレーションを、合理化された単一の環境に統合する必要があるのです。

プラットフォームの名称を「Cloudera AI」に変更したのは、お客様が行っているのが単なるモデルのトレーニングではなく、ビジネス全体にインテリジェンスを組み込む作業であるという当社の認識を表明するためです。これは包括的なソリューションであり、孤立したアルゴリズムの寄せ集めではありません。

「AI」という言葉の意味

業界では、スマートで自動化された意思決定の機能を表し、誰にでも通じる略称として、「AI」という言葉が使用されてきました。経営幹部、データチーム、さらにはエンドユーザーであっても、「AI」が単なるモデルの構築にとどまるものではなく、戦略的価値を生み出すものであることを理解しています。プラットフォームの名称をこの用語に合わせたことで、「Cloudera AI」という名前を耳にしたときに、当社が提供する製品が、エンタープライズ AI のイノベーションを加速する、未来にフォーカスした統合プラットフォームであるということを、誰もが正しく理解できるようになるでしょう。

簡素化による価値の向上

この名称変更は、当社が提供する製品をよりシンプルに提案するための幅広い取り組みの一環として行われました。かつて Cloudera Data Platform (CDP) という名前で知られていた当社のプラットフォームは、現在では単に「Cloudera」と呼ばれています。このプラットフォーム内では、各機能がもたらす具体的な成果と機能名が明確にマッピングされています。頭字語や複雑な名称を減らして整理することで障壁を取り除き、必要なものを素早く見つけ、あらゆる意思決定にインテリジェンスを組み込めるようにしています。Cloudera はまた、Verta 社の買収や NVIDIA 社などとの戦略的パートナーシップなど、当社のビジョンを推進するための大規模な投資を行っています。

単なるツールを超えた包括的な AI スイート

Cloudera AI には、大規模な AI 運用を実現するために必要なすべての機能が揃っています。

• Cloudera AI Workbench: データサイエンティスト、アナリスト、エンジニアが、迅速かつスマートに、エンタープライズ規模でソリューションを共同開発するためのコラボレーション環境です。
• Cloudera AI Registry: モデルやアプリケーションなどのあらゆる AI アセットを管理および追跡するための場所であり、オンプレミスや複数のクラウド環境でこれらのデプロイや更新を安心して行えます。
• Cloudera AI Inference: NVIDIA の技術を活用してインテリジェンスを本番環境へと導入できる信頼性の高いエンジンであり、最も必要とされる場所とタイミングで洞察を提供できます。

そして何よりも素晴らしいのは、これらすべてがシームレスに連携し、生データから AI ドリブンな出力結果までスムーズに移行するための機能が提供されていることです。

単なる流行ではない: 真の成果

「AI」という言葉は誇大宣伝のような印象を与えるかもしれません。しかし Cloudera は、目に見える具体的な成果を提供することを重視しています。当社は、実績のあるデータと分析の専門知識を基盤として、AI に関する取り組みから真のビジネス価値を獲得できるプラットフォームを提供します。 

顧客満足度の向上、コスト削減、新たな収益源の開拓など、どのような目的であっても、Cloudera の AI は、お客様が自信をもって迅速に行動できるよう支援します。Cloudera は、データを活用してコンテキスト情報を取得し、拡張や展開を容易に行えるソリューションを提供することで、「AI」に「インテリジェンス」を組み込みます。

今後の展望

Cloudera AI の現状のみではなく、将来の計画についても目を向けてみたいと思います。Cloudera では現在、最新のローコード製品である RAG Studio などの AI Studios や、プロアクティブな意思決定が可能な AI エージェントの開発を進めています。生成 AI モデルの成熟が進む中、お客様がデータのエンリッチメントを行い、ユーザーエクスペリエンスを向上させ、斬新なイノベーションを生み出せるよう、当社は AI モデルを活用しながらお客様を支援します。

私たちが目指すのは、急速に進化するエンタープライズ AI の状況の中でお客様が取り残されることがないようにし、お客様が常に可能性の最前線に立ち続けられるようにすることです。

次のアクション

Cloudera AI を活用すれば、シンプルで明確かつ強力な方法で、あらゆる業務にインテリジェンスをもたらすことができます。さらに詳しい内容を知りたい方は、Cloudera AI のページをご覧いただき、アイデアの段階から効果を実感するまでの AI への取り組みのあらゆるステップを加速させるために、Cloudera がどのように支援できるかをご確認ください。

エンタープライズインテリジェンスの未来を共に築きましょう。

ぜひ、Cloudera AI を実際にお試しください。5日間の無料トライアルを開始して、エンタープライズ規模の AI 機能をご自身で体験してください。

前提条件

クラウドの Cloudera で次のコンポーネントをインストールし、設定しておく必要があります。

• Cloudera Data Platform Public Cloud バージョン 7.2.18.300 以降
• 以下のどちらかのコンポーネント (必要な Iceberg テーブルを作成するため)
  • Hive を実行する Data Warehouse 仮想ウェアハウス (Hue を介してアクセス)
  • Hive と Hue を実行するデータハブ

また、AWS に関する以下の前提条件を満たしておく必要があります。

• AWS アカウントと IAM ロール (Athena ノートブックを作成するためのアクセス権)

この例では、Cloudera を使用して Iceberg テーブル上で作成および更新されているデータに Amazon Athena からアクセスする方法を説明します。

Cloudera Public Cloud のインストールと設定については、ユーザードキュメントを参照してください。

以下の手順に従って Cloudera を設定します。

1. データベースとテーブルを作成する

Hue を起動して以下のクエリを実行し、1つのデータベースと複数のテーブルを作成します。

CREATE DATABASE IF NOT EXISTS airlines_data;

DROP TABLE IF EXISTS airlines_data.carriers;

CREATE TABLE airlines_data.carriers (

   carrier_code STRING,

   carrier_description STRING)

STORED BY ICEBERG 

TBLPROPERTIES ('format-version'='2');

DROP TABLE IF EXISTS airlines_data.airports;

CREATE TABLE airlines_data.airports (

   airport_id INT,

   airport_name STRING,

   city STRING,

   country STRING,

   iata STRING)

STORED BY ICEBERG

TBLPROPERTIES ('format-version'='2');

2. データをテーブルにロードする

Hue で以下のクエリを実行し、データを各 Iceberg テーブルにロードします。

INSERT INTO airlines_data.carriers (carrier_code, carrier_description)

VALUES 

    ("UA", "United Air Lines Inc."),

    ("AA", "American Airlines Inc.")

;

INSERT INTO airlines_data.airports (airport_id, airport_name, city, country, iata)

VALUES

    (1, 'Hartsfield-Jackson Atlanta International Airport', 'Atlanta', 'USA', 'ATL'),

    (2, 'Los Angeles International Airport', 'Los Angeles', 'USA', 'LAX'),

    (3, 'Heathrow Airport', 'London', 'UK', 'LHR'),

    (4, 'Tokyo Haneda Airport', 'Tokyo', 'Japan', 'HND'),

    (5, 'Shanghai Pudong International Airport', 'Shanghai', 'China', 'PVG')

;

3. Carriers Iceberg テーブルに対してクエリを実行する

Hue で以下のクエリを実行します。このテーブルには2つの carrier レコードが表示されます。

SELECT * FROM airlines_data.carriers;

4. REST カタログを設定する

5. Ranger ポリシーを設定して、共有する「rest-demo」へのアクセスを許可する

「rest-demo」ロールに対して、Carriers テーブルへの読み取りアクセスを許可し、かつ Airports テーブルへの読み取りアクセスを許可しないポリシーを作成します。

Ranger で [Settings] > [Roles] に移動し、対象のロールが利用可能でグループに割り当て済みであることを確認します。

以下の手順に従って、Cloudera Iceberg REST カタログを使用するように設定された Amazon Athena ノートブックを作成します。

6. 「Spark_primary」ワークグループで Amazon Athena ノートブックを作成する

この記事は、2024/12/3に公開された「Secure Data Sharing and Interoperability Powered by Iceberg REST Catalog」の翻訳です。

多くの企業では、各種の部門やデータドメインで、多種多様なデータプラットフォームやテクノロジースタックが導入されています。何十年もの間、企業は大規模で多様なビッグデータ環境からタイムリーに有意義かつ実用的な洞察を引き出そうとして、その規模や処理速度、正確性の課題と格闘してきました。さまざまなアーキテクチャパターンやパラダイムを導入したにもかかわらず、「データの水たまり (局地的に点在するデータ)」やサイロができて、相互運用不可能なデータ形式が存在しています。絶えず発生するデータの重複、抽出・変換・ロード (ETL) の複雑なパイプライン、無秩序に拡大するインフラストラクチャーによって、ソリューションにかかる費用が法外に上昇した結果、価値実現までの時間、市場投入までの時間、全体的な総所有コスト (TCO)、投資利益率 (ROI) に悪影響が及んでいます。

Apache Iceberg を搭載した Cloudera のオープンデータレイクハウスは、こうしたビッグデータにまつわる課題を解決するために、統合およびキュレーションされ、共有と相互運用が可能なデータレイクを提供します。このデータレイクには Iceberg と互換性のあるさまざまなコンピューティングエンジンやツールからアクセスできます。

さらに、Apache Iceberg REST カタログによってアクセシビリティが一層向上し、多種多様なデータ作成者とデータ利用者が、オープンスタンダードの RESTful API 仕様を介して Iceberg テーブルデータの共有と利用を簡単に行うことができます。

REST カタログの価値提案

• REST カタログは、Iceberg メタデータの操作のために、オープンでメタストアに依存しない API を提供し、Iceberg クライアントとメタストア/エンジンの統合を大幅に簡素化します。
• バックエンドのメタストア実装の詳細を Iceberg クライアントから隠します。
• Iceberg 互換のメタストアとの直接統合により、メタデータへのリアルタイムアクセスが実現します。
• Apache Iceberg と REST カタログの組み合わせによって、エンタープライズデータアーキテクチャが大幅に簡素化され、価値実現までの時間、市場投入までの時間、全体的な TCO が削減され、ROI が向上します。

Cloudera のオープンデータレイクハウスに Apache Iceberg と REST カタログが搭載されたことで、Cloudera 以外のエンジンとのデータ共有を安全に実行できるようになりました。

Cloudera のオープンデータレイクハウスを利用すれば、データプラクティショナーの生産性が向上し、新しい AI アプリケーションやデータアプリケーションのリリースを早めることができます。主な特徴は以下のとおりです。

• マルチエンジン対応: Apache Iceberg により、Cloudera DataFlow (NiFi)、Cloudera Stream Analytics (Flink、SQL Stream Builder)、Cloudera Data Engineering (Spark)、Cloudera Data Warehouse (Impala、Hive)、Cloudera AI (旧 Cloudera Machine Learning) などとの相互運用性と互換性が確保されます。
• タイムトラベル: 特定の時点またはスナップショット ID のクエリを再現して、過去データの監査、ML モデルの検証、誤操作のロールバックなどに使用できます。
• テーブルのロールバック: テーブルを正常な状態にロールバックして、問題をすばやく修正できます。
• 充実した SQL (クエリ、DDL、DML) コマンド: SQL コマンドを使って、データベースオブジェクトの作成や操作、クエリの実行、データのロードや変更、タイムトラベル操作の実行、Hive 外部テーブルから Iceberg テーブルへの変換などを実行できます。
• インプレースでのテーブル (スキーマ、パーティション) の進化: データの書き換え、移行、アプリケーションの変更を行うことなく、Iceberg テーブルのスキーマとパーティションレイアウトをその場で進化させることができます。
• Cloudera Shared Data Experience (SDX) の統合: セキュリティ、ガバナンス、メタデータの管理を一元化し、すべてのデータに対してデータリネージと監査を実行できます。
• Iceberg のレプリケーション: ディザスタリカバリとテーブルバックアップの機能をすぐに使用できます。
• ワークロードの移植が容易: コードのリファクタリングを行うことなく、パブリッククラウドとプライベートクラウドの間でワークロードを移すことができます。

ソリューションの概要

データ共有とは、Iceberg テーブルなど Cloudera で管理されているデータを、Cloudera 環境外の外部ユーザー (クライアント) と共有する機能です。Iceberg テーブルのデータをクライアントと共有すれば、クライアントは Iceberg REST カタログをサポートする Amazon Athena、Trino、Databricks、Snowflake などのサードパーティーエンジンを使用してデータにアクセスできるようになります。

このブログでは、Cloudera と Amazon Athena ノートブックのデータ共有方法に関するソリューションについて説明します。Cloudera は、Iceberg REST カタログ API 仕様に基づいて実装された Hive Metastore (HMS) REST カタログサービスを使用します。このサービスをクライアントが利用できるようにするには、KNOX トークン管理システムで定義された OAuth 認証メカニズムを使用し、Apache Ranger ポリシーでクライアントのデータ共有を定義します。

これにより、Amazon Athena が Iceberg REST カタログ OpenAPI を使用して、Cloudera の Iceberg テーブルに保存されているデータに対してクエリを実行できるようになります。

この例では、「UnitedAirlinesRole」という名前のロールを使用して、データを共有できるようにします。

以下のような設定で新しいポリシーを作成し、保存します。

• [Policy Name]: rest-demo-access-policy
• [Hive Database]: airlines_data
• [Hive Table]: carriers
• [Hive Column]: *
• [In Allow Conditions]
  • [Select Roles] でロールを選択
  • [Permissions]: select

a. ノートブックに名前を付けます。

b. 他の Apache Spark プロパティを設定し、Cloudera Iceberg REST カタログを使用できるようにします。[Edit in JSON] ボタンを選択します。以下のコマンドをコピーし、<cloudera-knox-gateway-node>、<cloudera-env-name>、<client-id>、および <client-secret> を適切な値に置き換えます。置き換える値を決めるにあたっては、REST カタログの設定に関するブログを参照してください。

{

      "spark.sql.catalog.demo": "org.apache.iceberg.spark.SparkCatalog",

      "spark.sql.catalog.demo.default-namespace": "airlines",

      "spark.sql.catalog.demo.type": "rest",

      "spark.sql.catalog.demo.uri": "https://<cloudera-knox-gateway-node>/<cloudera-env-name>/cdp-share-access/hms-api/icecli",

      "spark.sql.catalog.demo.credential": "<client-id>:<client-secret>",

      "spark.sql.defaultCatalog": "demo",

      "spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"

    }

c. [Create] ボタンをクリックすると、新しいノートブックが作成されます。

7. Spark SQL ノートブック - REST カタログ経由でコマンドを実行する

以下のコマンドを 1 つずつ実行して、Cloudera REST カタログで何を利用できるのかを確認します。以下のことが可能です。

• 利用可能なデータベースの一覧を表示する

spark.sql(show databases).show();

• airlines_data データベースに切り替える

spark.sql(use airlines_data);

• 利用可能なテーブルを表示する (ただし、返されたリストに Airports テーブルが表示されないようにする)

spark.sql(show tables).show();

• Carriers テーブルに対してクエリを実行し、現時点でこのテーブルにある2つの Carriers を確認する

spark.sql(SELECT * FROM airlines_data.carriers).show()

以下の手順に従って、Cloudera Iceberg テーブルに変更を加え、Amazon Athena でそのテーブルに対してクエリを実行します。

8. Cloudera - 新しいレコードを Carriers テーブルに挿入する

Hue で以下のクエリを実行し、Carriers テーブルに行を1つ追加します。

INSERT INTO airlines_data.carriers
    VALUES("DL", "Delta Air Lines Inc.");

9. Cloudera - Carriers Iceberg テーブルに対してクエリを実行する

Hue で以下のクエリを実行し、Carriers テーブルに行を1つ追加します。

SELECT * FROM airlines_data.carriers;

10. Amazon Athena ノートブック - Airlines (Carriers) テーブルのサブセットに対してクエリを実行して、変更箇所を確認する

以下のクエリを実行すると、3つの行が返されるはずです。これは、REST カタログでメタデータポインターの変更が自動的に処理され、最新のデータを確実に取得できるようになることを示します。

spark.sql(SELECT * FROM airlines_data.carriers).show()

11. Amazon Athena ノートブック - Airports テーブルに対してクエリを実行し、セキュリティポリシーの設定をテストする

以下のクエリを実行します。このクエリは想定どおり失敗し、Airports テーブルからデータが返されることはありません。これは、Ranger ポリシーが適用され、このテーブルへのアクセスが拒否されているためです。

spark.sql(SELECT * FROM airlines_data.airports).show()

まとめ

この記事では、Cloudera と Amazon Athena の間でのデータ共有を設定する方法について説明しました。具体的には、Amazon Athena を使用して Iceberg REST カタログ経由で接続し、Cloudera で作成および管理されているデータに対してクエリを実行しました。

Cloudera のオープンデータレイクハウスの主な特徴は以下のとおりです。

• さまざまな Cloudera 製品やその他の Iceberg REST 互換ツールとのマルチエンジン互換性。
• データの復旧と過去データの分析のためのタイムトラベルとテーブルロールバック。
• 包括的な SQL サポートとインプレースでのスキーマの進化。
• Cloudera SDX との統合によるセキュリティとガバナンスの一元化。
• Iceberg のレプリケーションによるディザスタリカバリ。

Amazon Athena はサーバーレスのインタラクティブな分析サービスであり、ペタバイト規模のデータをその場で簡単かつ柔軟に分析できます。また、Apache Spark を使用してインタラクティブなデータ分析を簡単に実行できます。リソースを計画、設定、管理する必要はありません。Athena で Apache Spark アプリケーションを実行すると、Spark コードを送信して、処理された結果を直接受け取ることができます。また、Amazon Athena コンソールのシンプルなノートブックエクスペリエンスで、Python または Athena ノートブック API を使用して Apache Spark アプリケーションを開発できます。Iceberg REST カタログと Amazon Athena の統合により、EMR Spark の拡張性と処理能力を活用して、Cloudera Iceberg テーブルに保存された大量のデータセットに対し、データ処理、分析、機械学習のワークロードを大規模に実行できます。

データプラットフォームの多様化にまつわる課題に直面し、規模、スピード、データの正確性に関連する問題に悩まされている企業にとって、このソリューションは大きな価値をもたらします。具体的には、データ重複の問題を減らし、複雑な ETL パイプラインを簡素化し、コストを削減しながら、ビジネスの成果を向上させることができます。

Cloudera の詳細や使い方については、「Getting Started」を参照してください。Cloudera のオープンデータレイクハウスで利用できる機能の詳細についてはオープンデータレイクハウスのページを、Cloudera が提供している製品の詳細については Cloudera.com をご覧ください。Amazon Athena の使い方については、「Amazon Athena の開始方法」を参照してください

[Ranger] > [Hadoop SQL] に移動して、ポリシーを追加します。

この記事は、2024/12/16に公開された「Cloudera’s Take: What’s in Store for Data and AI in 2025」の翻訳です。

昨年は、企業での AI の導入が爆発的に増加しました。これに伴い、企業は今、AI を適切かつ安全に組織全体に展開するためのインフラストラクチャーとプロセスについて検討するようになりました。まもなく2025年を迎えますが、来年もこれまでと同様にエキサイティングな年になることは間違いありません。  

このブログでは、2025年に企業にとってのデータと AI がどのように変化するのか、Cloudera のエキスパートの洞察をご紹介します。   

ビジネスと IT のギャップの解消 

ビジネスチームと IT チームのギャップを埋めることは、企業にとって長年の課題でした。しかしこれまでは、技術的なスキルを身に着け、その習熟度を高めることはビジネスリーダー側の責任でした。Cloudera の CEO である Charles Sansbury は、2025年にはこの傾向が逆転すると予想しています。つまり、このギャップを埋めるために、データサイエンティストと IT チームがよりビジネスを意識した役割を担うようになると予測しています。 

「Assistants や Copilot のようなユーザーフレンドリーな AI ツールの普及によって、ビジネスリーダーがテクノロジーをこれまで以上に使いこなせるようになりました。これにより、ビジネスプロフェッショナルが分析を活用して優れた意思決定を行うことが可能になりました。この傾向は今も続いており、2025年になっても変わらないでしょう。しかし、私はこれとは逆の新たなトレンドも生まれると考えています。つまり、企業の幅広いニーズに対応するために、IT チームとデータサイエンティストがより高度なビジネス感覚を身につけるようになると予想しています。 

あまりにも長い間、IT チームとビジネスチームはサイロ化した状態にありました。ビジネスユーザーは必要とされるテクノロジーの範囲を理解せずに IT チームに要望を出し、IT チームは、洞察を生成するものの、その洞察がどのようなビジネス課題を解決するのかを理解していないという状態でした。2025年になると、最先端の企業は、マーケティング部門や財務部門から IT 部門やデータサイエンティスト、さらには経営幹部に至るまで、全スタッフの総力を結集し、データ、分析、AI を活用して成長を加速させて、そのギャップを縮めていくことでしょう」 

プライベート LLM への移行とその波及効果 

AI が真価を発揮できるかどうかは、その基盤となるデータにかかっています。そのため、Cloudera の APAC および日本担当シニアバイスプレジデントである Remus Lim は、企業が自社の AI イノベーションを促進するためにプライベート LLM を選ぶようになると考えています。  

「今後、エンタープライズ AI のイノベーションが中心となり、企業はパブリック LLM (大規模言語モデル) を敬遠し、組織のコンテキストに基づいた正確な洞察を提供できるエンタープライズグレードの LLM またはプライベート LLM を選択するようになるでしょう。 

エンタープライズグレードの LLM を導入する企業が増えるにつれ、従来の CPU よりも高速なパフォーマンスを発揮する GPU のサポートや、セキュリティとプライバシーを強化した堅牢なデータガバナンスシステムが必要とされるでしょう。同様に、企業は検索拡張生成 (RAG) の利用を拡大することによって、汎用 LLM を業界や組織に特化したデータリポジトリへと変換し、フィールドサポート、人事、サプライチェーンに携わるエンドユーザーにとってより正確で信頼性の高い情報を提供できるようになるでしょう」 

生成 AI にはハイブリッドクラウドだけでは不十分

2024年は生成 AI が試験的に運用された年でしたが、2025年には生成 AI を本格的に展開して運用し、さらなる規模拡大を目指す企業が現れるでしょう。そのため、Lim はハイブリッドクラウドだけでは不十分であると考えています。 

「ハイブリッド環境の拡大に伴い、企業のデータフットプリントは、オンプレミス、メインフレーム、パブリッククラウド、エッジにまで広がっています。組織が必要としているのは、データが存在している場所に生成 AI モデルを導入し、ビジネス全体でデータとワークロードをシームレスに移動しながら、価値ある洞察を導き出し、組織のニーズに対応する機能です。また、AI モデルサービスに多くのデータが供給されるようになると、セキュリティとガバナンスの問題も浮上します。 

オンプレミスであれパブリッククラウドであれ、企業が AI モデルやアプリケーションをプライベートで実行するようになるにつれて、オンプレミスとクラウドの両方のデータソースを統合するハイブリッドデータ管理プラットフォームの重要性がますます高まるでしょう。これによって、モデルのエンドポイントや運用に対するコントロール、セキュリティ、ガバナンスを維持しながら、優れた柔軟性と多様なデータセットへの幅広いアクセスを実現できます」 

エージェント型 AI の大きな進歩

AI が独り立ちできる時が徐々に近づいています。企業は、AI ベースのソリューションによって生産性と効率が向上するのを目の当たりにしてきました。しかし、IT の専門家は、このテクノロジーがこれだけにとどまらないと考えています。Cloudera の EMEA 担当フィールド CTO である Chris Royles は、2025年にはこれがエージェント型 AI の形で実現するであろうと予測しています。 

「現在、AI はまだ人間に匹敵するほどの意思決定を再現できていませんが、来年にはエージェント型 AI によって転機を迎えることになるでしょう。

エージェント型 AI がイノベーションの波を推進し、リアルタイムでの問題解決や意思決定に変革をもたらす日はすぐそこまで来ています。こうした AI エージェントが、アリのような無駄のない効率性を発揮してタスクを最適化し、課題を迅速に克服し、リアルタイムで状況に適応できるようになるだろうと予想しています。これにより、企業は AI が現実の出来事に即座に反応できるイベントドリブンのアーキテクチャを構築し、通信や物流などの業界に革命をもたらすでしょう」 

学術研究によって AI ガードレールの法整備が促進される 

責任ある倫理的な AI 利用のためのセーフガードは、テクノロジーが急速なペースで進歩する中で2024年に浮き彫りになった問題でした。これは引き続き優先される項目です。Cloudera のチーフ AI アーキテクトである Manasi Vartak は、今後はより多くの情報に基づいた生成 AI ポリシーのための学術研究に大きな注目が集まるだろうと予想しています。 

「AI の規制は確かに必要ですが、それは生成 AI のモデルとアプリケーションがどのように機能するかについての深い理解に基づいていなければなりません。また、AI の安全性が何を意味し、どのように実装できるかを研究するシンクタンクや研究所など、生成 AI に関する学術研究への資金提供が増加することになると思いますが、これは政府と学術機関との連携を強化することによって実現されるでしょう。 

AI と必要なプロトコルを理解する上では、学術研究が重要な役割を果たします。効果的なセーフガードを確立し、責任ある規制を導入するために必要な知識と影響力を生み出すためには、学術機関と政府との連携が不可欠です」 

AI 以外の話題：量子コンピューティングによる革命の到来

ここ最近の企業の関心は AI 一辺倒ですが、Royles は、2025年には量子コンピューティングが次なる「技術競争」の舞台になると考えています。

「まもなく量子コンピューティングが、AI に代わる次の大きな技術革命の主役として登場することになるでしょう。開発は急速に進んでおり、量子システムをサポートするために必要な超低温技術、特殊なインフラストラクチャー、電力を大規模に提供できる次世代のデータセンターへの積極的な投資も行われています。 

ヘルスケア分野における創薬や遺伝子の再プログラミングに関する研究の加速や、従来の発電技術を過去のものにする核融合エネルギーの実現など、量子技術のブレークスルーがもたらす潜在的価値は計り知れません。今後、量子技術がゲームチェンジャーとして出現する中、この変化が競争の引き金となり、企業は AI の性能を強化し、競争力を得るためにも、我先に量子技術を利用しようとこれに殺到することになるでしょう」 

2025年には、数多くのエキサイティングな変化や進歩を目の当たりにすることになるでしょう。その変化や進歩などの予測について、さらに詳しく知りたい方は、1月21日に実施されたウェビナー (英語) のオンデマンド版でもご紹介しています。

画像: ハイブリッドおよびマルチクラウド戦略の重要性

ハイブリッド環境における AI および機械学習の利用

ハイブリッドアプローチは、AI や ML の導入にあたって理想的です。例えば、クラウドでスケーラブルなリソースを用いてモデルをトレーニングした後に、洞察を迅速に獲得するためそのモデルをオンプレミスやエッジに展開することができます。このアプローチではリアルタイム分析とエンドツーエンドのガバナンスが実現し、環境間で AI モデルの一貫性を確保できます。先進的な企業はこの戦略を適切に実践して、データのアクセス、セキュリティ、拡張性を強化しています。

企業の成功を見据えたハイブリッド戦略の構築

ハイブリッド戦略を成功させるために、企業は以下を実施する必要があります。

• 現在のインフラストラクチャーの評価: 最初のステップは、現在のインフラストラクチャーの評価です。現在の環境と実行しているワークロードを把握して、全体的なビジネス目標にどれほど適しているかを確認します。課題や改善の機会が見えてくるため、パフォーマンス、コスト、拡張性の最適化が可能になります。
• ワークロードの配置のマッピング: ワークロードの配置を「最適」な方法でマッピングすることが重要です。ある1つの環境ですべてのワークロードが適切に動作するわけではありません。例えば、レイテンシの影響度が大きいアプリケーションにはオンプレミス環境やエッジ環境が適している可能性がある一方で、拡張性が求められるアプリケーションにはクラウド環境のほうがメリットがある場合があります。最高のパフォーマンスを引き出せるようにワークロードを戦略的に配置することで、効率性を高めてコストを低減できます。
• ポータビリティの確保: ハイブリッドクラウド戦略において特に重要な要素の1つに、データとアプリケーションの両方に対するポータビリティの確保があります。マルチクラウド環境では、ベンダーロックインに陥ることなく、クラウド間でワークロードをシームレスに移動できなくてはなりません。コンテナ化、Kubernetes をはじめ、クラウドに依存しないソフトウェアを利用することで、ビジネスニーズが変化する中でも柔軟性と俊敏性を確保しやすくなります。
• ガバナンスの確立: 最後に、ガバナンス、コンプライアンス、セキュリティについて忘れてはなりません。複数のクラウド環境をまたいで展開する場合、GDPR や HIPAA といった業界規制に確実に準拠する明確なガバナンスポリシーを策定することが不可欠です。

ハイブリッドおよびマルチクラウドアプローチの主なメリットには、次のようなものがあります。

• ワークロードの柔軟な展開: パフォーマンス要件や規制要件への対応に最も適した環境にワークロードを配置できるため、コンプライアンスを維持しながら運用を最適化できます。
  • 知名度の高いある公衆衛生機関は、各地域に広がる複数の保健団体からのデータをハイブリッドマルチクラウド環境 (AWS、Azure、オンプレミス) に統合しました。このアプローチにより、HIPAA をはじめとする厳格なプライバシー規制に対するコンプライアンスを確保しながら、リアルタイムの疾病追跡と高度なゲノム研究を実施できるようになりました。Cloudera のハイブリッドアーキテクチャを活用することで、多種多様なワークロードの運用効率を最適化し、公衆衛生の取り組みの中で応答時間を短縮しながら、異なる司法管轄区域間であっても安全で規制に準拠したオペレーションを実現しています。
• コスト削減: ハイブリッドクラウドおよびマルチクラウド環境では、費用対効果の高いプラットフォームを選択することでワークロードを最適化し、パフォーマンス要件を満たしながら全体的なインフラストラクチャーのコストを削減できます。
  • ある食材宅配サービスの大手企業は、データアーキテクチャを AWS ベースの Cloudera に移行し、Cloudera のオープンデータレイクハウス機能を活用しています。この移行によってデータ分析ワークフローが合理化され、データ量の大幅な増加にも対応できるようになりました。オープンデータレイクハウスでは、構造化データも非構造化データも統合してビルトインのガバナンスおよびセキュリティを適用できるため、この企業では運用効率が向上し、1年のうちに3倍のデータ量を分析するまでになりました。スケーラブルなクラウドインフラストラクチャーでは、顧客セグメンテーションおよび顧客維持モデルの改良によってコストの最適化、顧客離れの削減、マーケティング業務の効率化が実現しています。また、この最新化を通じて高度な分析や AI ドリブンな洞察に対応する未来志向のプラットフォームが利用可能になり、継続的なイノベーションを後押ししています。
• リスク軽減: 複数のベンダーを利用することで、ベンダーロックイン、サービス停止、予期せぬ価格変動などのリスクを軽減し、運用上の回復力を確保できます。
  • 一部の組織は、AWS、Azure、Google Cloud のように複数のクラウドプロバイダーの製品を利用してリスク対策を強化しています。こうしたマルチクラウド戦略は、ベンダーロックインを回避し、さまざまな規制に対するコンプライアンスを確保して、サービス停止に備えて回復力を強化するうえで効果的です。

真のハイブリッドプラットフォームの役割

適切に統合されたハイブリッドプラットフォームは、環境をまたぐシームレスなデータ移動、ガバナンス、ワークロード管理を実施するうえで不可欠です。ただし、その実現には次の基本要素が必要になります。

• ランタイムの統合: 広範な書き換えを行わなくても、アプリケーションの実行とデータ管理を環境間でシームレスに実施できます。
• ハイブリッドなコントロールプレーン: クラウドおよびオンプレミスの両方の環境を把握するための、単一の管理インターフェースです。
• ハイブリッドなエクスペリエンス: ビジネスニーズの変化に応じて、クラウド間でワークロードやデータを容易に移動できます。

この記事は、2025/1/8に公開された「Mastering Multi-Cloud with Cloudera: Strategic Data & AI Deployments Across Clouds」の翻訳です。

変化の激しい今日のデジタル環境において、マルチクラウド戦略は、クラウドおよびオンプレミス環境のメリットをどちらも享受したいと考える組織にとって欠かせないものとなっています。組織はデータドリブン型のトランスフォーメーションを展開していく中で、ハイブリッドモデルやマルチクラウドモデルによって卓越した柔軟性と回復力を獲得できます。ここでは、企業がデータおよび AI イニシアティブを推進するうえでマルチクラウド環境に対応すべき理由とその方法を詳しくご紹介します。

ハイブリッドおよびマルチクラウドという用語は、同義で使われることがよくあります。しかし、明確で一貫性のある表現になるよう、この記事では全体を通して「ハイブリッド」を使用します。マルチクラウドは複数のクラウドプロバイダーの使用を指すのが一般的ですが、ハイブリッドの場合はマルチクラウド環境に加え、クラウドとオンプレミスの両方の統合までが含まれます。この包括的なアプローチのほうが、ここで説明する柔軟性や戦略上のメリットをより忠実に備えています。

ハイブリッドとマルチクラウドのメリット

ハイブリッドおよびマルチクラウドモデルの導入は、企業にとって柔軟性、コストの最適化、ベンダーロックインの回避につながります。現に最近の調査では、近い将来に93% の企業がハイブリッドまたはマルチクラウドモデルを採用する意向であることが示されています。企業は最適な環境にワークロードを展開できるようになるため、オンプレミスとクラウドの両方のメリットを享受して俊敏性を確保し、進化するビジネスニーズに対応可能になります。

オブザーバビリティを通じたハイブリッドクラウド環境の強化

ハイブリッドおよびマルチクラウド環境に移行すると、多様なインフラストラクチャーにわたって展開されることもある、コンテナ、サービス、スケジューラといった多数のコンポーネントを扱うことになります。こうした複雑なプラットフォームを継続的に管理して動作を安定させるためには、かなりの労力が必要です。サポートデスクにトラブルシューティングを依頼する必要がある場合、ほとんどのサポートチケットでは、文脈や情報が十分にそろうまでにやり取りが繰り返し必要になり、顧客側の不満を引き起こします。

ハイブリッドまたはマルチクラウド環境において、オブザーバビリティは、複数の環境に広がるデータと AI アプリケーションの運用を最適に保つ役割を果たします。パフォーマンスとボトルネックを統合的な視点で把握できるため、サイロの回避につながります。これにより、チームはプロアクティブにワークロードを管理し、財務ガバナンスを実現して、リソースを最適化できるようになります。Cloudera では、これらすべての機能を備えた包括的なソリューションを提供しています。

Cloudera Observability は、分析、管理、デプロイメントの改善を自動で実施することで、効率性とパフォーマンスの向上を支援します。単一の画面でハイブリッドおよびマルチクラウド環境全体の可視性を提供する Cloudera Observability によって、コスト効率の最大化、パフォーマンスの向上、インテリジェントな洞察の獲得が可能になります。

画像: Cloudera Observability の機能

画像: 真のハイブリッドおよびマルチクラウドプラットフォームの要素

ハイブリッドアプローチの成功をお手伝い

ハイブリッド戦略の成功を目指すにあたり、専門家との提携によりメリットが得られることが珍しくありません。Cloudera なら、ハイブリッドおよびマルチクラウド環境、データ、分析、そして AI の分野で培ってきた豊富な経験を基に、組織の価値実現までの時間を短縮し、拡張性、セキュリティ、プラットフォーム間のシームレスな統合を実現可能です。組織は Cloudera Observability を通じたガバナンスとワークロードの最適化により、マルチクラウドの取り組みを成長とイノベーションへの大きな強みに変えることができます。

データおよび AI の戦略的な取り組みに向けてマルチクラウドを採用し、常に進化するデジタル環境において組織の回復力、革新力、競争力を高めましょう。

画像: ハイブリッドおよびマルチクラウド戦略の成功に向けたステップ

画像: ワークロードの配置について考慮すべき主なポイント

強力なプラットフォームの導入により、企業はデータのセキュリティ、アクセス、規制遵守を維持しながら、マルチクラウド環境を効果的かつ確実に管理できるようになります。Cloudera はハイブリッドおよびマルチクラウドデータプラットフォームの優れた標準であり、多様な環境にわたってデータとワークロードを管理するためのシームレスかつ安全でスケーラブルな基盤を提供します。

データおよび AI ワークロードの配置について考慮すべき主なポイント

データや AI ワークロードを複数の環境に展開する際、次のような特定の要因によってデータの保管場所が変わってくる可能性があります。
1. データセキュリティ: 複数の環境に広がる機密情報は、安全性の高いプロトコルの使用とコンプライアンスの確保を通じて保護することが不可欠です。マルチクラウド環境では、セキュリティとパフォーマンスの両立が最優先で求められます。ベストプラクティスの一部をご紹介します。

• ゼロトラストアーキテクチャ: ゼロトラストアーキテクチャは、多要素認証を用いた明確なユーザー検証と、きめ細かい RBAC/ABAC ポリシーを通じた最小特権アクセスを組み合わせたものです。
• データの暗号化: 移動中のデータも保存済みのデータも暗号化することで、不正アクセスを防止します。
• ロギングと監視: 強力な監視により、クラウドをまたいで潜在的な脅威を特定したり、パフォーマンスのボトルネックを見つけたりしやすくなります。

2. コストの最適化: 費用対効果の高いプラットフォームを選択してリソースを効率的に管理することで、インフラストラクチャーのコストを最小限に抑えます。

3. 拡張性: 動的に拡張できるプラットフォームを選択することで、変動するワークロード要件に対応できます。

この記事は、2024/11/15に公開された「Enable Image Analysis with Cloudera’s New Accelerator for Machine Learning Projects Based on Anthropic Claude」の翻訳です。

企業は、画像、手書きの文字、ドキュメントなど、大量の非構造化データを収集しています。しかも、これらのデータの大半は、まだ手動で収集されています。このようなデータからビジネス上の洞察を引き出すには、データをデジタル化することが重要です。手動のプロセスで出力したデータをデジタル化する上で最も困難なのが、非構造化データを変換して実用的な洞察を得られる形式にすることです。

人工知能は、複雑で抽象的な非構造化データ資産からビジネス上の貴重な洞察を抽出するための新しいツールです。こうした AI アプリケーションをすばやく効率的に作成して非構造化データを発掘できるようにするため、Cloudera は、Accelerator for Machine Learning Projects (AMP) に新たな機能を導入しました。この新機能は使いやすい AI クイックスターターで、画像に含まれる情報の抽出や操作をサポートする大規模言語モデル (LLM) である Anthropic 社の Claude をベースとしています。Claude 3は従来の光学文字認識 (OCR) を超える高度な推論機能を備えているため、手書きのメモをテキストに変換する場合でも、情報量の多い複雑なフォームからデータを抽出する場合でも、ユーザーは必要な情報だけを画像から正確に指定して取り出すことができます。

他の OCR システムと異なり、Claude 3は文脈を見落としたりデータのクリーニングに複数の手順を要したりしないため、文書を理解する複雑な作業をすぐに実行できます。そのため、構造化されていない画像入力データをすばやくデジタル化して分析し、機械で読み取り可能な形式で抽出する必要がある企業に非常に有効なツールとなっています。

非構造化データから情報を検索して取得できる機能は、時間のかかる手動の管理業務を迅速かつ正確にデジタル化したい企業にとって極めて重要です。この AMP により、組織のデータや個々のユースケース固有の文脈に応じて調整された、本番運用可能なモデルをすばやく展開できます。

この AMP のユースケースとしては、以下のようなものが想定されます。

印字されたテキストの変換: スキャンされた文書、PDF、印刷物からデジタルテキストをすばやく抽出して、ドキュメントの効率的なデジタル化をサポートします。

手書きのテキストの変換: 手書きのメモを機械で読み取り可能なテキストに変換します。個人のメモや歴史的資料、さらには法的文書をデジタル化するのに最適です。

フォームの転記: 構造化されたフォームからデータを抽出しながら、構成やレイアウトを維持することで、データ入力プロセスを自動化します。

複雑なドキュメントに対応した質問応答: ドキュメントに関して文脈に沿った質問が行われると、複雑なフォームや形式のドキュメントからでも適切な回答を引き出します。

データの変換: 構造化されていない画像コンテンツを JSON 形式に変換し、画像ベースのデータを構造化データベースやワークフローに簡単に統合できるようにします。

ユーザー定義のプロンプト: 上級ユーザー向けに、カスタムプロンプトを柔軟に作成できる機能を提供し、画像データを含む特定分野のユースケースや高度に専門化されたユースケースに対応します。

今すぐ始めましょう！

この AMP は、ボタンをクリックするくらいの手間で簡単に利用を開始できます。ユーザーは、Cloudera AI (旧 Cloudera Machine Learning) ワークスペース内の AMP カタログから起動することも、リポジトリ URL を使用して新しいプロジェクトを開始することもできます。要件や開始手順の詳細については、GitHub のガイドをご覧ください。

この記事は、2024/11/14に公開された「Octopai Acquisition Enhances Metadata Management to Trust Data Across Entire Data Estate」の翻訳です。

Cloudera は、業界をリードするデータリネージとデータカタログのプラットフォームを手がける Octopai 社の買収を発表しました。同社は、データに基づく意思決定の強化を目指す企業に、データ検出とデータガバナンスの機能を提供しています。Cloudera は創業以来、組織があらゆるデータを変革し、信頼性の高い価値ある予測的洞察を得られるよう支援することを使命としてきました。AI と生成 AI がビジネスアプリケーションの次の波を引き起こす中、真の競争力を確保するには、膨大な量のデータを収集し、その内容を十分に理解して活用することで、ビジネス価値を引き出すことが重要です。Octopai 社との連携を通じて、Cloudera 以外のデータを含むデータ資産全体のあらゆるデータを組織がより深く理解できるようサポートしながら、データへのアクセス性を高めて活用しやすくすることで、データ、分析、AI アプリケーションを強化します。今回の買収によって、信頼できるデータへのアクセスが可能になるため、組織は環境内のあらゆる場所にあるデータを組み合わせて、信頼性の高い AI モデルや AI アプリケーションを構築できるようになります。

AI と分析の取り組みを成功に導く、優れたデータ検出機能とデータカタログ機能

組織が膨大かつ多様なデータソースを収集する中で、そのデータを包括的に把握することが大きな課題となっています。例えば、データの出所、変換履歴、関係性、およびデータが社内でやり取りされる過程で追加または削除された文脈など、データ全体を完全に可視化することは困難です。なぜなら、今日の多種多様なデータエコシステムでは、複数のソースから得たデータを統合して分析する際にいくつかの障害があるからです。具体的には、さまざまな形式のデータが混在し、定義、構造、品質基準が統一されていません。さらに、同じデータのコピーが複数のプロプライエタリなシステムに保管されていることで、バージョン管理の問題、冗長性、陳腐化、運用の負担が生じています。こうした状況は、データの信頼性とアクセス性が低下し、新たな AI プロジェクトや分析プロジェクトの開始が遅れる原因となります。

2016年に設立された Octopai 社は、複雑なデータ環境におけるデータリネージ、データ検出、データカタログ、マッピング、および影響分析を自動化するソリューションを提供しています。Octopai 社の製品を Cloudera の AI ベースのハイブリッドデータプラットフォームと組み合わせることで、データの詳細な理解、高度なセキュリティ、強力なデータガバナンスが実現し、AI と分析の取り組みを成功させる上で不可欠な基盤を構築できます。この統合プラットフォームは、データを発生場所や保存場所 (クラウドまたはオンプレミス) にかかわらず統合し、迅速な意思決定に必要なリアルタイムの洞察や、顧客体験のパーソナライズに欠かせない予測型生成 AI アプリケーションを提供します。Octopai 社のプラットフォームの統合により、Cloudera のお客様には以下のメリットがもたらされます。

データ検出の強化: Octopai 社の自動データ検出機能により、複数のシステムにわたって目的のデータを瞬時に検索し、場所を特定できます。また、ナレッジグラフを活用してすべてのデータソースとデータフローを追跡し、AI を使用してギャップを埋めることで、最も包括的なメタデータ管理ソリューションを実現できます。

データの信頼性と品質の確保: Octopai 社の多層的なデータリネージソリューションにより、高い網羅性と信頼性を備えた完全な自動リネージが実現するため、ユーザーはデータとそこから得られる洞察を常に信頼できるようになります。また、エンドツーエンドのリネージが提供されるため、プロセス変更の影響予測、障害が発生したプロセスの影響分析、同じタスクを実行している並列プロセスの特定、根本原因分析によるレポートエラーの原因究明などのタスクを自動化できます。これにより、データの品質が保証され、データの信頼性を維持するのに必要な手間のかかる手動プロセスが自動化されます。

堅牢なデータカタログ: 組織は、自動的に作成および更新されるデータカタログを使用して、会社全体で一貫性を確保できます。この自動化されたデータカタログでは、常に最新の資産インベントリが維持され、情報が古くなることがありません。Octopai 社の50以上のコネクターを使用すれば、さまざまなデータソースからメタデータを簡単に取得してカタログを自動で維持できるため、ユーザーは利用可能なデータや、そのデータの場所、内容、責任者を常に把握できます。

AI コパイロット: リアルタイムの統合ワークスペースを通じて、スクリプトの自動化、最適化、解釈を行いながら、データリネージに関する洞察をすばやく提供することで、データチームを支援します。これにより、ユーザーはリスクを軽減し、効率を高め、これまで以上に実用的なデータ戦略を策定できるようになります。

データガバナンスとメタデータ管理の今後の展望

今回の買収を通じて、Cloudera は、自社の充実したメタデータの管理機能を、市場をリードする Octopai 社のデータ検出機能とデータリネージ機能によって強化します。これによりお客様は、Cloudera プラットフォームだけでなく、企業のエコシステム全体でデータを理解し、信頼できるようになります。Cloudera と Octopai 社は協力して、お客様がメタデータを管理し、すべてのデータソースのリネージを追跡する方法を変革できるよう支援します。これにより、AI、生成 AI、および分析アプリケーション向けの新しいデータプロダクトの展開も迅速化されます。また、データプロダクトを発見しやすくなり、それを安定して簡単に利用できるようになるため、データメッシュアーキテクチャでセルフサービス型の分散データアクセスを実現するために不可欠な要素が提供されます。

この記事は、2025/1/8に公開された「Predictive Models Are Nothing Without Trust」の翻訳です。

空港は相互に関連するシステムであるため、予期せぬ出来事が1つ起きただけで混乱状態に陥る可能性があります。しかし、カナダのある小さな空港では、データが業界に大きな驚きをもたらす道標に変わりました。データが業務に真の価値をもたらし、最終的に顧客体験の向上を実現するには、信頼に裏打ちされたデータの洞察が不可欠です。ハリファックス国際空港局でビジネスソリューション担当シニアマネージャーを務める Ryan Garnett 氏は、同空港がどのようにデータへのアプローチを刷新し、運用効率と顧客体験を向上させる予測エンジンを開発したのかを、ポッドキャスト「The AI Forecast」で語ってくれました。

Paul 氏と Ryan 氏の対談から得られた重要なポイントをいくつかご紹介します。

データ文化の構築

Paul 氏: Ryanさんが、ハリファックス国際空港局で働き始めたのは1年以上前ですが、あなたが構築し、刷新し、達成しようとしていたのはどのようなものかをお聞かせいただけますか。

Ryan 氏: 私が最初に目指したのは、文化を築くことでした。データは消耗品ではなく、資産であるべきです。つまり、データに対する考え方を変え、データを活用すべきもの、価値あるものとみなす必要があります。しかし現実には、データに価値を見出している人はほとんどいません。私は、ある金融機関で CFO の部下として働いていたときのことを今でも覚えています。その金融機関に入社してまもなく、CFO と話をするようになったのですが、その CFO が私にこう言ったのです。「Ryan、私はデータに価値を感じていないんだ」と。それには、唖然としました。データを活用するために入社したばかりなのに、CFO がデータの価値を認めていなかったのですから。さらに CFO は、その理由を詳しく説明してくれました。彼はその理由を、5人の異なる人に同じ質問をしても、5つの異なる答えが返ってくることがあるからだというのです。この言葉は、私の心にずっと引っかかっていました。

データの文化を築くには、信頼が必要です。自分がデータに価値を置く理由や、チームがデータを重視する理由や、データを活用すべき理由を尋ねられれば、誰もが「情報に基づいて意思決定を下すため」とか「利益を生み出すため」とか「顧客との関係を向上させるため」などと答えるでしょう。しかし、そうではありません。真の理由は、信頼を構築するためなのです。それこそが達成すべき目的です。信頼を築けば、あらゆることが可能になります。

Paul 氏: データの活用はどのような方向に向かっていると思いますか。また、上層部はデータの再構築についてどのような反応を示していますか。

Ryan 氏: 上層部には感謝しています。なぜなら、データの価値を最初から理解してくれたからです。データが欠かせない理由を説明して、納得してもらう必要はありませんでした。彼らはデータを構築する機会を与えてくれたのです。多くの組織と同じく、戦略的な計画はありますが、私自身は文化を変えることを重視しています。職員たちに望んでいるのは、何が起きたかではなく、何が起きる可能性があるかを考えることです。そして、何かが起きたら、その重要性について検討してほしいと思っています。なぜなら、誰かにとって重要な数字が、実際に重要であるとは限らないからです。直感を無視する必要はありませんが、少し立ち止まって考えてもらいたいのです。

例えば、上層部に定期的にレポートを送っています。あるレポートを送った後、CEO からある数字が減少した理由について尋ねられました。その答えは「あの日を覚えていらっしゃいますか。ハリケーンが来た日です」でした。つまり、データの関係性を確認できたのです。このようにして、外的要因が数字に影響を与えていることへの理解が広がり始めました。その数字の落ち込みは重要なことなのでしょうか。必ずしもそうとは限りません。だからこそ、私たちはデータを使って幅広い視点で考えられるようサポートし、誰もがミスに備えたり変化を十分に理解したりできるようにしているのです。

業務と顧客体験の変革

Paul 氏: 将来の出来事に備えるために、乗客の移動に関するデータをどのように活用しているのか教えていただけませんか。

Ryan 氏: 私たちは過去に目を向ける代わりに、予測モデルを構築しました。そのきっかけは、職員が私たちを信頼し、さまざまなシナリオについて尋ねてくるようになったことにあります。例えば、空港の計画を担当している Victor は、乗客がいつ空港に到着するのかをチームスタッフが把握できるようにしてほしいと依頼してきました。抱えている問題を深く理解するため、私たちは彼にとって何が重要なのかを知る必要がありました。彼が具体的に知りたがっていたのは、空港が最も混雑する日や時間帯でした。そこで、手元にあるデータを確認するだけでなく、フライトスケジュールも確認することにしました。フライトの到着日時、予想される乗客数、機体のサイズ、座席数などです。しかも、このタイプの機体は座席数がこれくらいだと断定することはできません。航空会社によって仕様が異なるからです。また、快適な座席スペースを確保するために、一部の座席が取り外されていることもあります。

私たちは、リアルタイムの天気予報を取り込み、Halifax Discovery とも提携しました。Halifax Discovery は、ハリファックスでイベントを開催する団体の一部門です。この提携を通じて、今後10年間にハリファックスを訪れる人々に関するデータを入手できます。これにより、過去のデータを分析して、「毎週水曜日には、これくらいのサイズで、これくらいの数の飛行機が到着する可能性が高い」といった判断を下せるモデルを構築できるようになります。

しかし、吹雪が来たらどうなるでしょうか。過去の吹雪の日はどうだったでしょうか。週末と連休が重なった場合の影響はどうでしょうか。そこで私たちは、Meta 社が公開しているモデルを活用して予測を行ってみたところ、かなり正確に予測できました。このモデルを活用できる分野はほかにもたくさんあります。このモデルを使えば、空港が混雑する時間帯をかなり正確に予測できるため、警備員をどう配置すべきか決めることもできるのです。

Paul 氏: ハリファックス空港にとって、次のイノベーションはどのようなものでしょうか。

Ryan 氏: 私たちにとって、そして私自身にとって大きなテーマは、乗客体験の向上だと考えています。飛行機での移動に対する不安は、実際に多くの人が経験する問題です。人々は飛行機で移動することにとても不安を感じています。私が実現したいと願っている夢は、データドリブンなアプローチを通じて、人々が旅行に出発するとき、つまり玄関の扉を開ける瞬間から、不安をできるだけ軽減できるような方法を見つけることです。

今後も Spotify や Apple Podcasts で、「The AI Forecast: Data and AI in the Cloud Era」(AI に関する予測: クラウド時代のデータと AI) のエピソードを配信しますので、どうぞお楽しみください。

この記事は、2024/12/18に公開された「Women Leaders in Technology: A Conversation with Cloudera CMO, Mary Wells」の翻訳です。

テクノロジー業界で女性がずっと過小評価されてきたことは、言うまでもありません。

私たちは、この問題にしっかりと向き合う必要があります。女性の労働、成長、成功の機会を制限するだけでなく、企業にとっても優秀な人材の獲得を妨げるものだからです。近年、世界ではこの問題に対処する組織、ポリシー、プログラムを整備する動きが活発になっていますが、それで十分とは言えません。最近の調査では、2022年のテクノロジー職に占める女性の割合はわずか27.6% にとどまり、別の調査では、その IT 人材のうち、アジア・太平洋諸島系の女性が占める割合はわずか7%、黒人女性とヒスパニック系の女性が占める割合はそれぞれ3% と2% にすぎないことがわかりました。また同調査によると、上級役員職の場合その割合はさらに低く、テクノロジー業界の新入社員の中で女性が占める割合は33.8%、上級役員職では23% にとどまることも明らかになっています。

単刀直入に言って、この状況に甘んじてはなりません。

女性の声に耳を傾け、その声を尊重するため、Cloudera は Women Leaders in Technology (テクノロジー業界の女性リーダー) イニシアティブを創設しました。先日、Cloudera の最高マーケティング責任者であり WLIT のエグゼクティブスポンサーである Mary Wells との対談の場を設け、Cloudera がこのフォーラムを立ち上げたいきさつを語り合うとともに、男性優位の業界で働いてきた彼女の経験、次の世代へのアドバイスを聞くことができました。

Mary さんは、25年にわたりテクノロジー業界の数々の大手企業で働いてこられました。これまでの経歴を詳しく教えてもらえますか？

私は、幸運にも、これまでテクノロジー業界の中でも非常に革新的な数々の企業で働いてきました。2023年に Cloudera に入社する前は、エンタープライズ管理ソフトウェアプロバイダーの ASG Technologies 社で CMO を務めていました。そこでは、同社の成長を後押しし、2021年の Rocket Software 社による最終的な買収に貢献しました。それ以前は、HPE 社、Axeda 社、Kalido 社、BEA Systems 社、BroadVision 社、Sybase 社をはじめとする先駆的な企業でシニアマーケティングリーダーの職に就いていました。テクノロジー業界を形作るうえで重要な役割を果たしてきた企業ばかりです。

これらの企業に関して顕著なのは、業界への革新的な貢献にとどまらず、機会均等・多様性・包摂性に対して未来志向のアプローチを採用している点です。このような環境に身を置くことで、私は成長できたばかりか、すべての声に耳を傾ける文化を醸成することの重要性を改めて確信しました。

私はボストンカレッジでマーケティングと組織行動学の理学士号を取得しており、これが自分のキャリアの礎となっています。仕事以外では、社会貢献に情熱を注いでおり、アニマルウェルフェア (動物福祉) や高齢者擁護の分野で理事会のメンバーを務めています。こうした経験からいつも気づかされるのは、真のリーダーシップは奉仕の気持ちがあってこそ成り立つということです。私があらゆる意思決定で大切にしている理念です。

Women Leaders in Technology (WLIT) について詳しく教えてください。創設に至ったいきさつはどのようなものでしたか？また、Cloudera の文化、さらにはテクノロジー業界全体に対してどのような効果が生まれることを期待していますか？

WLIT の目的は、テクノロジー業界でリーダーシップの役割を担う女性と支援者に向けて、人脈作りとコラボレーションを通じて有意義なつながりと機会を生み出すことにあります。その中で、若者を含め、次世代を担う女性たちが業界内で自分の活躍の場を見いだせるようインスピレーションを与えることを重視しています。さらに、真の変化を促すポリシーやプログラムを推進するための基盤となり、強力で多様性に富んだ労働力の構築を後押しする役目もあります。こうした議論を進展させ、促進することを通じて、WLIT ではこれらの重要な問題に対処するための模範的な取り組みを示し、他の組織にとってのロールモデルとなることを目指しています。WLIT が他と一線を画すのは、社内向け社員リソースグループである Women+ の重要な働きを助ける役目を担っている点です。また、WLIT は Cloudera や社員のみを対象とするものではなく、テクノロジーセクター全体から人々を結集し、包摂性と進歩に対する共同のコミットメントの促進を目的とした業界全体のイニシアティブです。

HPE 社と ASG Technologies 社で同様のイニシアティブの立ち上げを担う中で、こうした取り組みで生み出すことができる革新的な力を直に見てきました。女性たちが経営会議や役員会議、日々のミーティングでお互いを高め合う姿を見てきたのです。過小評価されてきた人々の声を拾い上げることが社会全体として緊急で求められている今、励みになる言葉や有意義なアドバイスには、女性のキャリアを大きく後押しし、さらなる高みを目指す自信を生む力があります。

以前働いていたある会社で、上級役員たちとの会議で起こった出来事が印象に残っています。こうした取り組みの価値を問う質問が挙がった際、ある同僚の男性が、「この部屋を見渡せば、その重要性は一目瞭然です」と言ったのです。彼の発言はリーダー職の多様性があまりにも欠如していることを浮き彫りにし、こうした運動を前へ進めるうえでアライシップ (支援・擁護する行動) が重要であることを明示するものでした。こうした瞬間を振り返ると、変化は過小評価されているグループだけの努力で生まれるものではなく、進歩の必要性を認識し、積極的に支持する支援者の働きがあってこそ生まれるのだと改めて感じます。

Cloudera には多様性・機会均等・包摂性に対するしっかりとした基盤があることを誇りに思います。すべての上級リーダーが、社員の声を確実に拾い上げて代弁するためのイニシアティブに賛同しています。WLIT はこの取り組みをさらに発展させたものであり、誰もが活躍できる環境の実現に向けた当社のコミットメントを推進しています。

テクノロジー業界全体に対しては、業界に参入するだけでなく、リーダー職へとキャリアアップする女性が増えることを願っています。加えて、これまでに WLIT のようなイニシアティブが真のビジネス機会を開拓するきっかけとなる事例を見てきました。WLIT がもたらす目に見えた成果を受けて、経営陣から私に直接話があったほどです。女性の声に耳を傾けて包摂性を推進することは、意見の代弁を目的とした取り組みであるばかりか、企業にとってイノベーション、パートナーシップ、そして成長への扉を開く必須条件です。

Cloudera が開催した初の WLIT のイベントを振り返って、印象的だったことを教えてください。また、イニシアティブの使命についてどのような方向性が示されましたか？

Cloudera WLIT は、ニューヨークで開催された当社の EVOLVE24 カンファレンスにおいて、初のイベントを実施しました。そこでは、業界の女性リーダーが集結し、パネルディスカッションを行いました。登壇したのは、Cloudera の Manasi Vartak、ドイツ銀行の Nichola Hammerton 氏、AWS 社の Melissa Dougherty 氏らです。ディスカッションの進行役を務めたのは、Zoya Hasan 氏でした。彼女は Forbes 社で若手リーダーを取材し、Forbes 社が選ぶ「世界を変える 30 歳未満」30 人の米国版、ヨーロッパ版、ローカル版などを手掛けています。また、週刊ニュースレターの共同執筆や若手創業者に関する特集記事の執筆も担当しています。パネルディスカッションでは、女性がテクノロジー業界に参入するにあたり実際に直面する課題やその克服方法、そしてこの分野への参入を目指す仲間や女性に向けたアドバイスについて、深く有意義な議論が展開されました。

もう1つの重要なテーマとしてメンターシップが取り上げられ、各パネリストが自分のキャリアパスの形成を助けてくれたメンターを紹介しました。こうしたメンターはパネリストのキャリアのさまざまなステージで登場しており、経歴もタイミングも大きく異なりました。一方で、ある共通点が判明しました。それは、どのメンターも、可能性を引き出す確かな環境で学ぶチャンスを与えてくれたという点です。また、メンティーを他者とつなぎ、競争の激しい労働環境でもキャリアパスを築いていけるように人脈を広げる手助けもしてくれました。私にとって、指導者や仲間、同僚とのこうしたつながりによって、キャリアパスがとても充実したものになりました。これは、WLIT のようなプログラムが人々にもたらす重要な価値の1つであると考えています。

このイベントはインスピレーションにあふれ、有意義な情報を提供するとともに、テクノロジー業界における女性の活躍を称えるものでした。2025 年に開催される多くのイベント、フォーラム、ディスカッションに期待を寄せています。

ご自身のキャリアを通じて、メンターシップが明らかに重要な役割を果たしてきたようですね。ご自身に影響を与えたメンターについてお話を伺えますか？

私は、ある会社のローカルオフィスの人事関連の仕事からキャリアをスタートさせました。HR とマーケティングをダブルメジャーで専攻していましたが、まだ駆け出しの状態で、どのような道に進むかを模索していました。その地域の営業担当バイスプレジデントがすぐそばの部署で働いており、私たちはよくキッチンで雑談をしました。当初、仕事には特に関連性がありませんでしたが、私がボストンカレッジ出身であること、そして当時としては珍しく、女性の経営学部生だったことをその VP が知りました。それを機に私に対する見方が変わったようで、まだ若手社員であるにもかかわらず一人前の人間として見てくれるようになったのです。

それからまもなくして、人事とは関係のない小さなプロジェクトのサポートを依頼してくるようになりました。「このデータベースのことで手伝ってほしい」と頼まれれば、私が「わからないけど、やってみます」と答えるのがお決まりのパターンでした。新しい仕事を渡されて、私が解決策を見つけるのです。ある日、 Form 10-K とは何かを尋ねられました。私は真面目な顔で「ロードレースのことでしょう」と答えました。彼は説明を始めましたが、私はそれを遮って「Form 10-K なら知っています」と言いました。こうしたちょっとしたユーモアや自信につながる出来事を通じて私たちは信頼関係を育み、この VP は私にとって最初で最高のメンターになりました。

私が自信を持って挑戦できるようなやり方で、頼りにしてくれました。マーケティングに携わってまだ日が浅かった頃、営業チームのメンバー全員に保険営業の戦略について説明するように頼まれたときには、本当に大きなプレッシャーを感じました。ですがその VP のサポートのおかげで、自分のコンフォートゾーンからかけ離れた仕事にも自信を持って臨むことができました。

そのメンターは私の可能性と能力を引き出そうとしてくれました。これが、大きな変化をもたらしました。キャリアの非常に早い段階でこうしたメンターシップを受けられたことは、非常に幸運だったと感じています。将来自分がどのように他者を率いて指導していきたいか、イメージをつかむことができました。

テクノロジー業界でキャリアを築くことを志望する女性と支援者に向けて、この業界で壁を乗り越え、チャンスをつかむためのアドバイスを1つ教えてください。

「恐れながらも行動すること」です。その「行動」が何であってもです。会議での発言であれ、適性があるかわからない職種への応募であれ、新しいことへの挑戦であれ、不安な気持ちを理由に立ち止まってはいけません。自信が持てない瞬間は誰にでもあります。インポスター症候群と呼ばれる自己不信感は、ほとんどの人がキャリアを築いていく中で経験するものです。こうした感情は、皆さん自身や皆さんの能力の限界を決めるものではないということを覚えておいてください。

Cloudera の WLIT イニシアティブの詳細については、LinkedIn グループに参加してご確認ください。また、こちらの当社 Web サイトもご覧ください。

この記事は、2024/12/06に公開された「The Struggle Between Data Dark Ages and LLM Accuracy」の翻訳です。

ご存知のように、人工知能は私たちの生活とビジネスを一変させる可能性を秘めています。しかし、その未来は実際どのようなものになるのでしょうか。Cloudera が提供するポッドキャスト「The AI Forecast: Data and AI in the Cloud Era」(AI に関する予測: クラウド時代のデータと AI) は、AI がビジネス、産業、そして世界全体に与える影響を客観的に評価するのに役立ちます。

毎週配信される「The AI Forecast」では、ホストを務める Paul Muller 氏が AI 分野のエキスパートと対談し、企業における AI の現状、AI を支えるデータアーキテクチャやインフラストラクチャーの種類、導入すべきガードレール、模範的な成功事例、そして注意が必要な参考事例などを紹介しています。

AI の導入が成功するかどうかは、その基盤となるデータにかかっています。そこで、今日の AI ブームの中で次世代のデータがどのようなものになるのかを探るため、この新しいポッドキャストの第1回では、Constellation Research 社の創設者兼会長で主席アナリストを務める R "Ray" Wang 氏をお招きしてお話を伺いました。

Ray 氏との対談から得られた重要なポイントをいくつかご紹介します。

LLM の精度は今のところ悪くないが、完璧ではない

Paul 氏: 精度の高いデータについてお伺いしたいと思います。実は最近、データの暗黒時代について書かれたあなたのブログ記事を拝見しました。今日の精度の高いデータとはどういうものであり、データの暗黒時代とどのように関係しているのでしょうか。

Ray 氏: 今の私たちは、LLM の精度が85% で満足している状態です。顧客体験に関していえば、85% という精度は悪くはありません。例えば、かかってきた営業電話が間違った担当者に転送されたり、店のレジでフライドポテトの金額が間違っていたりするかもしれませんが、これらはいずれも些細なことです。

しかし、サプライチェーンの分野で精度が85% の場合、製造業務は成り立ちません。金融の分野で精度が85% だと、担当者が刑務所行きになってしまう可能性があります。したがって、精度をさらに10% 高める必要があり、そのために重要な役割を果たすのが小規模言語モデルです。この10% は最初の85% と同じくらいの価値があり、さらに95% に引き上げるための次の5% とも同じくらいの価値があります。100% に到達するための最後の5% は、さらに価値が高まるでしょう。そのために必要なのは、文脈や位置情報など、これまで取得していなかったメタデータかもしれません。発汗量から心拍数まで、あらゆる情報を取得することが必要になるわけです。

LLM の精度にとって最後の障害は、入手可能なデータ

Ray 氏: しかし、関係者が信頼できるレベルまで精度を高めるためには、データが不足しています。インターネット上で公開されている情報は、そのほとんどがすでにスクレイピングされており、新しい情報がないのです。人々はリスクを恐れて、情報を公開しなくなっています。私たちは、データが不足していた時代からあらゆるデータが手に入る時代へと移行しましたが、2022年以降は人々がデータの囲い込みを始めたため、最新の情報が得られなくなっています。

今後、価値のある情報が公開されなくなることで、私たちはデータとインターネットの暗黒時代に突入することになるでしょう。

暗黒時代に生まれるバリューチェーン

Ray 氏: データとインターネットの暗黒時代には、あらゆる新しい情報や洞察が価値を持つようになるでしょう。企業の価値は、収益だけでなく、ビジネスのグラフやその背後にあるデータによっても評価されるようになります。

また、企業同士が提携する場合でも、その相手は競合他社ではなくなるはずです。例えば、大手小売業者が製造業者や流通業者と提携して、需要や価格弾力性、あるいは供給可能な在庫に関する情報を共有するといったことが考えられます。こうした情報は非常に価値が高く、人々はそれに基づいて入札を行い、市場を形成するようになるでしょう。

つまり、データの集合体が徐々に集約され、業界のバリューチェーンで情報の統合と共有が進むようになります。このバリューチェーンには、直接的な競合相手は含まれません。製造、流通、小売という流れにより、自然な形でバリューチェーンが形成されます。こうした自然なバリューチェーンの中で、データを共有する方法が徐々に浸透し、そのためのさまざまなメカニズムが活用されるようになるでしょう。

+++

今後も Spotify や Apple Podcasts で、「The AI Forecast: Data and AI in the Cloud Era」(AI に関する予測: クラウド時代のデータと AI) のエピソードを配信しますので、どうぞお楽しみください。

この記事は、2024/12/02に公開された「Cloudera and AWS Partner to Deliver Cost-Efficient and Sustainable Infrastructure for AI and Analytics」の翻訳です。

組織がクラウドファーストのインフラストラクチャー戦略を採用するにあたっては、いくつかの要素を比較検討して、ワークロードがクラウドに適しているかを判断する必要があります。パブリッククラウドの導入においては、当初からコストが主要な考慮事項となっていました。しかし今は、持続可能なビジネス慣行の実現に欠かせないステップとして、コスト削減だけでなく、エネルギー効率もますます重視されています。エネルギー消費を最適化することで、企業はインフラストラクチャーのコストを大幅に削減できます。つまり、FinOps と GreenOps は密接に関連しているのです。

Cloudera は、データ処理、高度な分析、および AI に最適なアーキテクチャを提供して、お客様のクラウド移行を支援しています。その一環として、Amazon Web Services (AWS) と提携し、AWS Graviton 上で多くのデータサービスをサポートすることで、高性能でエネルギー効率と費用対効果に優れたソリューションを提供します。Cloudera と AWS はこの提携を通じて、企業がデータ処理、分析、AI のパフォーマンスを最適化しながら、リソース消費と二酸化炭素排出量を最小化できるようサポートします。

AI 時代のクラウドコンピューティングに欠かせない FinOps と GreenOps

クラウドコンピューティングにおいて、FinOps は、企業がクラウドの費用を把握、管理、最適化するために不可欠な慣行です。AI ワークロードが増加し、データとコンピューティングの規模が拡大する中で、FinOps はクラウドの費用を予測可能にし、ビジネス目標に一致させるための戦略的なアプローチを提供します。

一方、GreenOps は、クラウドの運用が環境にもたらす影響の削減に重点を置いた活動です。カーボンニュートラルに取り組み、気候変動対策における自社の役割を認識する企業が増える中で、GreenOps の取り組みは広がりを見せており、エネルギーの節約と炭素排出量の削減を可能にする効率的なインフラストラクチャー管理が促進されています。FinOps と GreenOps の組み合わせは、持続可能で費用対効果の高い運用をサポートするクラウド戦略を実現する上で、強力な手段となります。

持続可能な分析と AI に対する Cloudera のコミットメント

世界中で25エクサバイトのデータを管理している Cloudera は、持続可能な分析と AI の分野で先頭に立っています。お客様のコスト削減とエネルギー効率の向上を支援するため、当社は次のようなさまざまな製品や企業イニシアティブを展開しています。

• Apache Iceberg のネイティブサポート: Apache Iceberg の採用により、データレプリケーション、データ移動、データコピーを削減できるデータレイクハウスを構築できるようになりました。そのため、ストレージにかかるコストやデータの移動と複製に必要なコンピューティングリソースを削減できます。
• Lakehouse Optimizer: Iceberg テーブルを自動的に最適化するサービスの導入により、クエリの性能を高めてストレージの使用量を減らせるようになりました。これにより、クエリを効率化して実行時間を短縮しながら、ストレージコストとエネルギー消費を削減できます。
• コードベースの統合: 複数のプラットフォームやインフラストラクチャー間でコードベースを統合することで、分析ワークフローを簡素化し、リソースを消費する冗長なプロセスを排除し、分析ワークロードを効率よく実行できるようになりました。
• 排出量実質ゼロへの取り組み: Cloudera は、二酸化炭素排出量を削減し、2050年までに排出量を実質ゼロにすることを約束しています。テクノロジーの進化に伴い、Cloudera は持続可能な分析エコシステムの実現に向けて着実に前進しています。

このような製品やイニシアティブは FinOps と GreenOps の原則に沿ったものであり、Cloudera が業界をリードする分析機能を提供しながら、コストの削減と環境への配慮に取り組む姿勢を示しています。

持続可能な分析と AI をサポートする Cloudera と AWS Graviton

AI ワークロードを展開する企業が増えるにつれて、より多くのコンピューティング能力が必要になり、それに伴ってエネルギー消費量と排出量が増加します。そのため、AI を採用している企業は、イノベーションを進める中で新たな障害に直面しています。それは、AI 開発を進める一方で、持続可能性に関する企業目標を達成しなければならないということです。

持続可能なインフラストラクチャーは、もはやオプションではなく、必要不可欠な存在です。そのため、企業が責任を持って AI の運用を拡大できるよう支援する上で、AWS は Cloudera にとって欠かせないパートナーとなっています。

AWS Graviton プロセッサは、重要なワークロードの実行において、最低限のコストとエネルギー消費で最高のパフォーマンスを発揮できるように設計されています。そして今回、データパイプライン開発を効率化および拡張できるデータサービスの Cloudera Data Engineering が、AWS Graviton プロセッサをサポートするようになりました。AWS Graviton プロセッサ上で Spark ジョブを実行すれば、ほかのプロセッサと比べてパフォーマンスが大幅に向上することがベンチマークで証明されています。

AWS Graviton 上の Cloudera Data Engineering のパフォーマンスのベンチマーク

今回の提携によって実現した Cloudera Data Engineering と AWS Graviton の組み合わせは、Spark on Iceberg テーブルを利用したデータ処理ワークロードにおいて、パフォーマンス、価格、およびエネルギー効率の面で、業界をリードするソリューションとなっています。

Cloudera Data Engineering はほんの始まりに過ぎません。ほかにも、AWS Graviton に対応した複数のデータサービスの一般提供やテクニカルプレビューが、今後数ヶ月以内に開始される予定です。

お客様のご紹介: 持続可能なデータ最適化に取り組む多国籍ユーティリティ企業

最近開催されたイベントで、ある多国籍ユーティリティ企業が Cloudera の導入経験を共有し、持続可能なビジネス慣行とデータ機能の進化について紹介しました。同社は、データレイクの構築をはじめ、列指向ストレージの採用、パブリッククラウドへの移行、自動拡張機能の利用など、さまざまな最適化を進めることで、データ管理の効率を高めてきました。また、データ処理に Spark を導入し、オープンテーブル形式の Iceberg を採用することで、データのコピーを減らし、単一で一貫性のあるデータバージョンを管理できるようにしました。同社はこうした段階的な進化を経て、効率の向上と必要なリソースの削減を実現しました。

Cloudera の継続的なイノベーションにより、この企業は時代のニーズに対応できるようになっただけでなく、コストと環境への影響を最小限に抑える最適化された持続可能なインフラストラクチャーを構築し、AI の未来に備えることができました。

このユーティリティ企業の事例は、最新化と持続可能性に対する Cloudera のコミットメントを反映しています。また、さまざまな業界のお客様が、責任ある AI の実現に向けた取り組みを検討する上で参考にできる実用的な事例となっています。

今すぐ AWS で Cloudera をお試しください

Cloudera と AWS の提携は、高度な分析と AI でイノベーションを実現する必要性に対応しながら、コストを最適化して環境への影響を大幅に削減することを目指している企業にとって、大きな前進を意味します。今後は、データを活用してビジネスの成果を上げながら、持続可能な運用に向けた財務目標と環境目標を達成することが、ほぼすべての企業にとって重要な課題となるでしょう。そして、Cloudera と AWS は、お客様と協力してこのような課題に対処する体制をすでに整えています。

Cloudera と AWS を試したいとお考えの方は、まず5日間無償トライアルをご利用ください。Cloudera Data Engineering、生成 AI、オープンデータレイクハウス、ストリーミングデータ配信など、分析のユースケースの一般的なパターンをご体験いただけます。今すぐお試しください。

この記事は、2024/10/08に公開された「Deploy and Scale AI Applications With Cloudera AI Inference Service」の翻訳です。

Cloudera は、NVIDIA AI Enterpriseプラットフォームの一部であるNVIDIA NIMマイクロサービスを利用したCloudera AI Inferenceサービスの一般提供を発表いたしました。これによって、企業の AI 導入の加速が可能になります。このサービスは、最適化されたさまざまなAIモデルをサポートし、シームレスでスケーラブルなAI推論を可能にします。

背景

生成 AI の状況は、爆発的な成長と業界全体への広範な採用を背景に、急速なペースで進化しています。2022年にリリースされた ChatGPT は、わずか2ヶ月で1億人以上のユーザーが参加しました。そして、技術へのアクセシビリティとさまざまなスキルレベルのユーザーに影響を与えることを実証しました。

2023年までに AI 活用のフォーカスは「実験」に移りました。開発者は、API サービスやLlama 2 や Mistral などのオープンモデルを活用して、生成AIアプリケーションの概念実証 (PoC) を模索し始めました。そしてこれらのイノベーションは、生成 AI が実現できることの限界を押し広げていきました。

2024年、生成AIは多くの企業にとって、本番環境への導入段階に移行しつつあります。企業は現在、本番環境でのAIアプリケーションをサポートするための専用予算を割り当て、インフラを構築しています。しかし、この移行には大きな課題があります。企業は、知的財産 (IP) の保護、ブランドの完全性の維持、規制要件を遵守しながら顧客の機密性を保護することにさらなる関心を寄せています。

主なリスクはデータの漏洩です。AIシステムは、機能を損なうことなく、企業倫理に沿い、厳格な規制基準を満たすように設計されなければなりません。これらのリスクを軽減するためには、AIシステムが顧客の機密性、個人を特定できる情報 (PII)、データセキュリティへの侵害を確実に防止することが重要です。

企業はまた、AI の開発と配備を異種環境間で制御し続けるという課題にも直面しています。PoC から本番稼動まで、AI のライフサイクル全体を通じて強固なセキュリティ、オーナーシップ、ガバナンスを提供するソリューションが求められています。さらに、厳しいセキュリティ要件を満たしながら、この移行を合理化するエンタープライズグレードのソフトウェアに対するニーズもあります。

生成 AI の可能性を安全に最大限に活用するためには、これらの課題に正面から取り組む必要があります。一般的に、企業が生成 AI の PoC に取り組むには、サードパーティのサービスを利用する方法 (プライベートデータを外部と共有することになる) と、オープンソースと商用ツールを組み合わせて、自社でホストするソリューションを開発する方法の2つがあります。

Cloudera では、本番環境アプリケーション向けの生成 AI モデルの開発とデプロイの簡素化に重点を置いています。当社のアプローチは、エンタープライズグレードのセキュリティとガバナンスとともに、高速でスケーラブルかつ効率的なインフラストラクチャを提供します。この組み合わせにより、企業は知的財産、ブランドの評判、および規制基準へのコンプライアンスを保護しながら、自信を持って生成 AI を導入することができます。

Cloudera AI Inference サービス

新しい Cloudera AI Inference サービスは、高速化されたモデルサービングを提供し、企業が AI アプリケーションを、強化された速度と効率で展開および拡張できるようにします。NVIDIA NeMo プラットフォームと、Llama 3 や Mistral などのオープンソースモデルの最適化バージョンを活用することで、自然言語処理、コンピュータビジョン、その他の AI 領域における最新の進歩を活用することができます。

Cloudera AI Inference：スケーラブルで安全なモデルサービング 

Cloudera AI Inference サービスは、最新の AI アプリケーション向けに設計されたパフォーマンス、セキュリティ、スケーラビリティの強力な組み合わせを提供します。NVIDIA NIM を搭載した Cloudera AI Inferenceサービスならば、大幅な時間とコストの削減とともに、市場をリードするパフォーマンスを提供できます。ハードウェアとソフトウェアの最適化により、NVIDIA アクセラレーテッドコンピューティングでは最大36倍の推論速度、CPUスループットは約4倍となり、意思決定を加速します。

そして、NVIDIA Triton Inference Server との統合により、サービスはさらに強化されます。オープンプロトコルをサポートすることで、標準化された効率的なデプロイメントを実現し、時間祝と複雑さの軽減ができます。

セキュリティの面では、Cloudera AI Inferenceサービスは、堅牢な保護と制御を提供します。お客様は、クラウド内の機密データに対する厳格なプライバシーと制御を維持しながら、仮想プライベートクラウド (VPC) 内に AI モデルを展開することができます。アプリケーションとモデルのエンドポイント間のすべての通信は、お客様の安全な環境内に残ります。

また、認証と認可を含む包括的なセーフガードにより、設定されたアクセス権を持つユーザーのみがモデルエンドポイントとやり取りできます。このサービスはまた、エンタープライズグレードのセキュリティとコンプライアンス基準を満たし、ガバナンスと監査のためにモデルとのやり取りをすべて記録します。

Cloudera AI Inference サービスは、卓越したスケーラビリティと柔軟性も提供します。ハイブリッド環境をサポートし、オンプレミスとクラウド間のシームレスな移行を可能にし、運用の柔軟性を高めます。

CI/CD パイプラインとのシームレスな統合は、MLOps ワークフローを強化し、動的スケーリングと分散サービングはリソースの使用を最適化します。これらの機能により、パフォーマンスを損なうことなくコストを削減できます。高可用性とディザスタリカバリ機能で、継続的な運用と最小限のダウンタイムを実現します。

まとめ

• ハイブリッドとマルチクラウドのサポート：オンプレミス*、パブリッククラウド、ハイブリッド環境での展開が可能で、企業の多様なインフラニーズに柔軟に対応します。

• モデルレジストリの統合：モデルを保存、バージョン管理、管理するための一元化されたリポジトリである Cloudera AI Registry とシームレスに統合することで、一貫性を保ち、異なるバージョンのモデルに簡単にアクセスすることができます。

• 詳細なデータとモデルの系譜の追跡*：データ変換とモデル・ライフサイクル・イベントの包括的な追跡と文書化を保証し、再現性と監査可能性を強化します。

• エンタープライズグレードのセキュリティ：認証、承認*、データ暗号化など、堅牢なセキュリティ対策を導入し、データおよびモデルの移動時および保存時の保護を保証します。

• リアルタイム推論機能：低レイテンシーでのリアルタイム予測と大規模データセットのバッチ処理を提供し、さまざまなニーズに応じて AI モデルを柔軟に提供します。

• 高可用性と動的スケーリング：高可用性構成と動的スケーリング機能を備え、継続的なサービスを提供しながら、さまざまな負荷に効率的に対応します。

• 高度な言語モデル：さまざまな最先端の LLM アーキテクチャに最適化されたエンジンを事前に生成してサポートします。

• 柔軟な統合：既存のワークフローやアプリケーションと簡単に統合できます。開発者には、従来の ML モデル用のオープンな推論プロトコル API と、LLM 用のOpenAI 互換APIが提供されます。

• 複数のAIフレームワークのサポート：TensorFlow、PyTorch、Scikit-learn、Hugging Face Transformers などの人気のある機械学習フレームワークとシームレスに統合されているため、さまざまな種類のモデルを簡単に導入できます。

• 高度なデプロイメントパターン：カナリアデプロイメントやブルーグリーンデプロイメント*、A/B テスト*などの高度なデプロイメント戦略をサポートし、新バージョンの安全かつ段階的な展開を可能にします。

• オープンAPI：CI/CD パイプラインや、他の MLOps ツールとの統合を促進するだけでなく、オンラインモデルやアプリケーション*のデプロイ、管理、モニタリングのための標準準拠のオープン API を提供します。

• パフォーマンスの監視とロギング：包括的なモニタリングとロギング機能を提供し、レイテンシー、スループット、リソース利用率、モデルの健全性などのパフォーマンスメトリクスを追跡し、トラブルシューティングと最適化をサポートします。

• ビジネスの監視*：モデルの品質とパフォーマンスを維持するために重要な、センチメント、ユーザーフィードバック、ドリフトなどの主要な生成 AI モデルメトリクスの継続的な監視をサポートします。

NVIDIA NIM マイクロサービスを採用した Cloudera AI Inference サービスは、オンプレミス環境とクラウド環境にまたがるシームレスで高性能な AI モデル推論を実現します。オープンソース・コミュニティ・モデル、NVIDIA AI Foundation モデル、カスタム AI モデルをサポートし、多様なビジネスニーズに対応する柔軟性を提供します。このサービスは、プライバシーとセキュリティに重点を置きながら、大規模な生成 AI アプリケーションの迅速な展開を可能にし、本番環境で AI モデルを使用してデータの可能性を最大限に引き出したいと考えている企業をご支援いたします。

*2024年10月段階では、搭載が予定の機能です。ご不明な点がございましたら、お気軽にお問い合わせください。

この記事は、2024/9/27に公開された「The Global Impact of Cloudera in Our Daily Lives」の翻訳です。

Cloudera のお客様は、コスト削減、リスク管理、顧客満足度の向上、市場シェア拡大につながる新たなビジネス機会の創出など、データ、分析、AIがそれぞれのビジネスに与える潜在的な影響を理解しています。

今回は、このようなビジネス努力と投資が私たち一人ひとりの日常生活に与える、影響を見ていきたいと思います。シンガポールで開催された EVOLVE で Cloudera は、マニラ電力 Meralcoの顧客中心かつデータドリブン型の変革を評価し、リーダーシップと変革部門で Cloudera 2024 Data Impact Awardを同社に贈呈しました。アワードの最終選考に残った企業や受賞者の中には、国を動かすレベルのインパクトを与えるものの他にも、「人」に注目した印象的なストーリーがありました。当社でも、People and Society (人と社会) 部門を設け、データが世界全体に与えるポジティブな影響に焦点を当てました。 

そこで、私たちは考えました。Cloudera が日常生活に与える影響を明確に表現する方法で、お客様のストーリーを共有するにはどうすればいいか。そこで、典型的な１日を通してその影響を紹介するインタラクティブツアーを作成しました。このツアーでは、データ、分析、AI が、人々の日常で思い出に残る体験を提供する具体的な例を紹介しています。

例えば、SAIC-Volkswagen は Cloudera を利用したアプリケーションを通じてドライバーにインサイトとサービスを提供しています。実際、世界の自動車メーカー上位10社のうち8社が Cloudera を使用してコネクテッドカー体験を提供しています。

世界の通信会社のトップ10社のうち、７社が Cloudera を使用しカスタマーエクスペリエンスと業務効率を改善していますが、そのうちの１社が BT グループです。同社は3分の1の時間で5倍のデータを処理し、顧客により良いネットワークパフォーマンスを提供できるようになりました。

また、製薬会社の IQVIA は、Cloudera を使用して研究開発パイプライン全体の可視性を提供し、命を救う医薬品の開発を加速しています。

これらは、インタラクティブツアーで取り上げたストーリーのほんの一部です。続きはこちらでご覧ください。

そして、ビジネスクリティカルなデータ、分析、AI の取り組みにおいて、世界を牽引する大手企業が Cloudera を信頼する理由についてはこちらをご覧ください。 

この記事は、2024/9/18に公開された「Cloudera Evaluates Integrated Data and AI Exchange Business Line to Optimize Data-Driven Generative AI Use Cases」の翻訳です。

Cloudera の最近の調査データによると、88%の企業が IT プロセスの効率化、チャットボットによるカスタマーサポートの改善、より良い意思決定のための分析の活用などのタスクに AI を活用しています。自然言語処理からコンピュータビジョンに至るまで、さまざまな用途で事前にトレーニングされたモデルを活用する企業が増えています。そのため、Cloudera は新しいビジネスラインであるCloudera Integrated Data and AI Exchange (InDaiX) の評価を行なっています。

InDaiX は、今までにない柔軟性と拡張性を提供し、企業、研究者、開発者が多様なデータソースと AI 基盤モデルにアクセスして、統合する方法を合理化でき、生成 AI の導入プロセスを促進します。

この InDaiX の評価プロセスの一環として、Cloudera はエンドユーザーとのワークショップを実施し、企業が AI の活用を望んでいる実用的なユースケースについて理解を深めています。InDaiX は、Cloudera の拡張機能として評価されており、以下の機能を含みます。

• データセットエクスチェンジ

  • 業界データセット：ヘルスケア、金融、小売など、さまざまな分野にわたる包括的なデータセット

  • 代替データセット：位置情報やソーシャルメディアデータなど、さまざまなアプリケーションに新しい洞察を提供するユニークなデータセット

  • 合成データセット：プライバシーとコンプライアンスを確保しながら、最先端の技術を用いて生成された高品質の合成データ

• AI 基礎モデルの交換：自然言語処理モデル、コンピュータビジョンモデル、強化学習モデルなど、さまざまな業界のニーズに対応した事前学習済み AI モデルにアクセスできます。

• 独自のデータ統合と実験機能：複数のデータソースの選択と実験、複数の AI 基盤モデルのテストのギャップを埋め、より迅速な反復とより効果的なテストを可能にします。

• スケーラビリティと柔軟性：Cloudera の拡張可能なアーキテクチャは、増大する InDaiX のデータ量、多様なデータをサポートしており、パフォーマンスを損なうことなくプラットフォームを拡張し、変化するデータニーズに適応することを可能にします。

多様なデータ選択肢と AI 基盤モデルを提供する InDaiX は、企業が新たなデータアセットを大規模に作成することを可能にし、プライベートクラウドまたはパブリッククラウドでワークロードを実行し、ニーズに最適な環境を選択できるようにします。データプロバイダにとって、InDaiX は Cloudera の確立された顧客ベースにリーチすることで流通を強化し、データの利用や AI モデルとの統合に関する貴重なフィードバックを提供してくれます。この2つの価値提案により、InDaiX はデータおよび AI 市場におけるイノベーションと業務効率の推進に不可欠なプラットフォームとなります。

Cloudera は、高品質かつプライバシーに準拠し、スケーラブルなデータソリューションと AI モデルを提供しています。それによって、オーダーメイドの革新的なデータドリブン型の洞察とアプリケーションを構築しようとする企業、研究者、開発者にとって最適なプラットフォームと言えます。

評価プロセスにご興味をお持ちの企業は、こちらをご覧ください。

Cloudera、安全かつインターネット不要のクラウド接続を実現するPrivate Link Networkを発表

この記事は、2024/9/12に公開された「Cloudera Launches Private Link Network for Secure, Internet-Free Cloud Connectivity」の翻訳です。

機密データがクラウド間を簡単に移動できる世界を想像してみてください。安全かつプライベートな空間で、パブリックインターネットの詮索から遠く離れた世界です。昨年9月に発表された Cloudera Private Link Networkで、そんな世界を実現することができます。

組織はデータセキュリティを強化する方法を常に模索しています。課題の1つは、データがさまざまなクラウド環境を横断する際に、確実に保護し続けることです。AWS PrivateLink や Azure Private Link のようなクラウドプロバイダーのソリューションを活用することは正しい方向性ですが、複数のクラウドにまたがる包括的なソリューションを提供するには至らないことがよくあります。

Cloudera Private Link Network は、クラウドワークロードと Cloudera Control Plane間のシームレスなプライベート接続を提供するように設計されています。Cloudera Private Link Network は、複数のクラウド環境にまたがっても、データがセキュアなプライベートネットワークから離れることがないようにします。それによって、プライバシーを重視する環境において安心を提供します。

なぜ Cloudera Private Link Network なのか？

金融サービス、ヘルスケア、製薬などの業界が厳しいデータプライバシーポリシーに対応しなくてはいけない中、安全でプライベートな接続の必要性はかつてないほど高まっています。Cloudera Private Link Networkは、統合されたクロスクラウドのプライベート接続サービスを提供することで、以下のような懸念に正面から取り組みます。

1. 統合ソリューション：AWS または Azure のワークロードを接続する場合でも、複数のベンダー固有のソリューションを必要としない、シームレスな統合ソリューションを提供します。

2. より良いセキュリティ体制：データが安全なプライベートネットワーク内に留まることを保証し、攻撃対象領域を大幅に削減します。これは、わずかなデータ漏洩でも重大な結果をもたらす可能性がある、高度に規制された業界にとって特に重要です。

3. ネットワーク/CloudOps の負荷軽減：ネットワークチームと CloudOps チームは、マルチクラウド接続の設計、テスト、デプロイ、管理、および監視を行う必要がなくなります。これらのチームは、より戦略的な作業に時間を費やすことができます。

4. TCO の削減：リンクごとに、個々の料金を支払う必要があるポイントソリューションとは異なり、Cloudera Private Link Networkでは、VPC またはアカウントごとにネットワークへのアクセス料金を支払います。価格設定は消費量に基づいているため、使用した分だけ料金を支払うことができます。管理が容易なため、運用コストも削減できます。

5. ネットワークパフォーマンス：Cloudera Private Link Network では、セキュリティがネットワークパフォーマンスを犠牲にすることはありません。データは完全に保護されたまま、オペレーションはスムーズで効率的です。

Cloudera Private Link Network は、データプライバシーが最重要視される業界にとって画期的です。どのように変化をもたらしているのか、その一例をご紹介します。

• 金融サービス：大量の機密性の高い顧客データや財務データを管理する金融機関にとって、データをパブリックインターネットに接続しないことで、規制やポリシーへのコンプライアンスを確保しながら、セキュアな接続を可能にします。

• 製薬会社：製薬会社は、生命を救う薬の開発を加速するために、研究開発パイプライン全体で個人識別情報 (PII) を含む機密データを統合する必要があります。Cloudera Private Link Network は、データが社外に公開されることを恐れることなく、チームが機密情報を統合して分析できるセキュアな環境を提供します。

• ヘルスケア：ヘルスケアプロバイダーは、データを活用して患者中心の医療と継続的なケアを提供する必要に迫られています。Cloudera Private Link Network は、厳格なプライバシー基準を維持し、データ損失のリスクを低減し、データプライバシーを確保しながら、プロバイダが積極的にデータドリブン型のヘルスケア体験を構築することを可能にします。 

Cloudera では、使いやすさがセキュリティと同じくらい重要であることを理解しています。そのため、Cloudera Private Link Network は使いやすく柔軟な設計となっており、組織のニーズに合わせて2つの導入オプションが用意されています。ユーザーは、Cloudera Command Line Interface (CLI) を使用してこれらのオプションをオンにすることができ、オンデマンドでこの機能を有効にすることができます。 

• VPCオプション：Cloudera の CLI を使用して完全なセットアップを行い、エンドツーエンドの制御と管理を求める組織に最適です。

• 認証オプション：Cloudera Private Link Network を Terraform やAWS CloudFormation などの既存のクラウド自動化ツールと統合したい組織に最適です。

価格

クラウドインフラストラクチャのセキュリティ確保には、隠れたコストがかかるべきではありません。そのため、Cloudera Private Link Network では、使用量に応じた価格設定モデルを採用しており、使用した分だけお支払いいただくことができます。このアプローチは透明性と予測可能性を提供し、単一のクラウド仮想ネットワークでも、複数のクラウドアカウントにまたがる Cloudera アカウント全体でも、組織はニーズに応じて使用を拡大することができます。

Cloudera Private Link Network の詳細は、こちらをご覧ください。

金融サービスにおける規制順守を確保する上で、ハイブリッド・クラウド・アーキテクチャが果たす重要な役割

この記事は、2024/9/10に公開された「The critical role of a hybrid cloud architecture in ensuring regulatory compliance in financial services」の翻訳です。

ある有名なグローバル銀行が、悪い意味で注目を集める事件があったとします。新しいデータ保護規制への準拠を怠り顧客データの漏洩につながったとして、その金融機関は数十億ドルという巨額の罰金を科せられたのです。機密情報が漏洩したこの事件は、金銭的な罰則にとどまらず、深刻な評判の失墜をもたらしました。銀行は顧客からの信頼を失い、投資家からはガバナンスに関する疑問を持たれることになりました。競合他社は、データプライバシーやインセンティブの大切さを強調し、その銀行からの乗り換えを考える顧客にアピールしました。

別のシナリオも考えてみましょう。大手金融機関が融資承認の合理化を図るため、AI ドリブン型の新しい信用格付けシステムを導入しました。このシステムは、処理時間の短縮と顧客満足度の向上が期待されていました。しかし、導入から6か月後、規制当局は、AI モデルが偏った過去のデータに基づいて訓練され、特定の人口統計グループに対して意図せず差別的になっていたことを発見しました。その結果、不当な融資慣行につながっていたことが判明したのです。

AI システムに透明性が欠け、公平性に関する必要基準を満たしていないため、規制当局は、その金融機関が差別禁止法およびデータ保護規制に準拠していないと判断しました。金融機関には1億ドルの罰金が科せられ、AI の運用実態の監査と全面的な見直しが命じられました。この事件は、金銭的な罰則だけではなく、世間の激しい非難を招き、銀行の評判を傷つけ、顧客の信頼を大きく損なう結果となりました。

この2件のシナリオは創作ですが、紹介したリスクは現実に起こり得ることです。

金融サービス業界は、特にデータプライバシーや人工知能の利用に関して、複雑な規制が適用されます。規制が厳格化され、データガバナンスの需要が高まるにつれ、金融機関はデータをより正確に管理するようにプレッシャーも大きくなってきています。そんな中で、ハイブリッドクラウド環境における効果的なデータ管理が不可欠となっています。

ハイブリッドクラウドアーキテクチャが規制順守を強化する方法

ハイブリッド・クラウド・アーキテクチャは、金融機関がイノベーションと業務効率を維持しながら、規制に対応するための重要な戦略として浮上しています。オンプレミスとクラウド環境のそれぞれの利点を組み合わせることで、ハイブリッドアーキテクチャは、柔軟性、安全性、拡張性に優れたデータ管理ソリューションを提供し、金融機関がコンプライアンスを維持し、セキュリティを強化し、規制の変更に対応できるようにします。同時に、コストを最適化し、ビジネスの継続性を確保します。

それでは、いくつかの重要な規制とハイブリッド・クラウド・アーキテクチャの影響について見ていきましょう。

プライバシー規制

GDPR (EU)、CCPA (米国カリフォルニア州)、LGPD (ブラジル)、APPI (日本)、PIPL (中国) などのプライバシー規制は、金融機関による個人データの管理に多大な影響を与えています。ハイブリッド・クラウド・アーキテクチャを導入することで、これらの厳しい要件への準拠において、いくつかの重要な利点が得られます。

データの主権とローカライゼーション

多くのプライバシー法では、特定の種類のデータを特定の地理的境界内に保存することが義務付けられています。ハイブリッドクラウドならば、金融機関は機密データをオンプレミスまたはプライベートクラウドで必要な管轄内に維持しながら、非機密のワークロードにはパブリッククラウドのリソースを活用することができます。

きめ細かなデータ制御

ハイブリッドクラウドにより、きめ細かなアクセス制御とデータ分類システムを導入することが可能になります。これにより、個人データの管理が改善され、GDPR や CCPA などの規制で義務付けられているデータ主体の権利 (アクセス権、忘れられる権利など) への準拠が容易になります。

セキュリティ対策の強化

ハイブリッドクラウドでは、暗号化、トークン化、データマスキングなどの強固なセキュリティ対策を導入することができます。これらの技術は、個人データの保護とプライバシー規制のセキュリティ要件を満たすために不可欠です。

コンプライアンスのモニタリングとレポート

ハイブリッドクラウドには、継続的なコンプライアンスのモニタリングと自動レポートを容易にするツールが含まれているものもあります。この機能は、金融機関が規制要件に沿って透明性と説明責任を維持するために不可欠です。

ディザスタリカバリと事業継続

ハイブリッドクラウドは、異なる環境に作業負荷を分散できるため、ディザスタリカバリと事業継続の強固な基盤となります。これにより、システム障害やサイバー攻撃が発生した場合でも、個人データの保護とアクセスを維持することができます。

AI に特化した規制

AI が金融サービスにますます不可欠になるにつれ、その倫理的かつ責任ある利用を確保するための規制として、EU AI法 (EU)、AIDA (カナダ)、デジタル・インディア法 (インド)、そして最近ではカリフォルニア州法案SB-1047 (AI法案) などが登場しています。これらの規制に対応するには強固なインフラが必要であり、ハイブリッド・クラウド・アーキテクチャは、以下のような方法で、これらの新たな課題に対応できることを証明します。

透明性と説明責任

AI 規制では、多くの場合、組織に対して AI の意思決定プロセスにおける透明性の確保が求められます。ハイブリッドクラウド環境では、AI モデルとその関連データの保存と処理が容易になるため、AI のもたらす結果に対する監査と説明が容易になります。

モデルガバナンス

ハイブリッドクラウドにより、金融機関は包括的なモデル・ガバナンス・フレームワークを導入することができます。これには、AI システムの厳格な監視を求めるAI規制への準拠に不可欠な、バージョン管理、モデルテスト、および検証プロセスが含まれます。

データ品質とバイアス緩和

多くの AI 規制は、AI システムの公平性の確保とバイアスの防止 (倫理的なAI) に重点を置いています。ハイブリッド・クラウド・アーキテクチャは、より優れたデータ管理と品質管理を可能にし、金融機関が AI モデルのトレーニングに高品質で多様なデータセットを維持し、潜在的なバイアスを緩和するのに役立ちます。

金融サービス固有の規制

金融機関は、IT インフラストラクチャの選択に影響を与える業界固有の規制にも直面しています。ハイブリッド・クラウド・アーキテクチャは、これらの要件に対応するのに適しています。

バーゼルIII/IV：これらの規制は、自己資本比率、ストレステスト、市場流動性リスクに重点を置いています。ハイブリッド・クラウド・アーキテクチャは、機密データをオンプレミスまたはプライベートクラウド内に維持したまま、複雑なリスク計算やストレステストに必要な演算能力を提供します。

MiFID II：この規制は、広範な記録保持と報告を義務付けています。ハイブリッド・クラウド・アーキテクチャは、大量の取引データを処理する拡張性を提供すると同時に、機密性の高い金融情報に必要なセキュリティを維持します。

DORA (デジタル業務回復力法) ：DORA は、金融機関のデジタル業務回復力に焦点を当てています。ハイブリッド・クラウド・アーキテクチャは、冗長性、災害復旧機能、業務上の課題に対応して迅速にリソースを拡張する能力を提供することで、業務回復力を強化します。

ESG 規制：ESG (環境、社会、ガバナンス) 報告が義務化される中、金融機関は堅牢なデータ管理と分析機能が必要となっています。ハイブリッド・クラウド・アーキテクチャは、膨大な ESG 関連データを収集、保存、分析する柔軟性を提供すると同時に、データプライバシー規制へのコンプライアンスを確保します。

Clouderaの規制コンプライアンスに対する対応支援

Cloudera のハイブリッドデータプラットフォームは、現在の複雑な規制環境に対応しながら、イノベーションと業務効率の向上、リスクの低減を目指す金融機関のための包括的なソリューションです。オンプレミス、プライベートクラウド、パブリッククラウドのリソースを統合アーキテクチャに統合することで、Cloudera は、GDPR、CCPA、PIPL などの国際的なプライバシー規制で義務付けられているデータ主権要件への対応を支援します。Cloudera の Shared Data Experience (SDX) によって強化されたプラットフォームの高度なセキュリティとガバナンス機能なら、EU AI 法や AIDA などの AI 固有の規制へのコンプライアンスを確保し、透明性、説明可能性、堅牢なモデルガバナンスを実現できます。

バーゼルIII/IV、MiFID II、DORA などの規制については、Cloudera の拡張可能な分析機能が、複雑なリスク計算、包括的な記録管理、業務の回復力強化をサポートします。このプラットフォームの柔軟性により、金融機関は、高度な分析や AI を活用して不正検出、リスクモデリング、ESG報告などの重要な業務を行うと同時に、変化する規制要件に迅速に対応することができます。ハイブリッドおよびマルチクラウド環境全体にわたるデータの管理と分析のための統合環境を提供することで、Cloudera は金融機関がコンプライアンスを順守し、顧客体験を向上させ、ダイナミックなデジタル環境におけるイノベーションを推進できるよう支援いたします。

Cloudera の金融機関での取り組みについての詳細は、こちらをご覧ください。

この記事は、2024/8/27に公開された「Add Flexera’s State of the Cloud Report to Your Summer Reading List」の翻訳です。

私が10年以上も楽しみにしている資料に、Flexera の「クラウドの現状」レポートがあります。毎年、世界中の数百人の IT 意思決定者を対象に実施されるこの調査では、クラウド戦略、移行の傾向、クラウドへの移行やクラウド環境の管理を検討している企業にとって重要な考慮事項が評価されています。長年にわたって実施されているレポートであるため、クラウド戦略と優先事項の進化を理解する上で貴重なリソースです。私は、このレポートが発表されて以来、最新版に目を通してきました。

Flexera State of the Cloud レポートの2024年版が3月に発表されましたが、例年通り、データ、分析、AI のリーダーがアーキテクチャのインフラストラクチャとプラットフォームのオプションを検討する際に役立つ素晴らしいリソースとなっています。レポートから得られた主な結果をいくつか紹介します。

クラウド支出の管理は依然として最大の課題であり、セキュリティを上回る

2023年のレポートで最も驚いたことの1つは、クラウド支出の管理が11年ぶりにセキュリティを上回り、最大の課題となったことです。クラウド支出は2年連続でトップの座を維持し、パブリッククラウドの支出は予算を平均15%上回りました。過去2年間に多くの企業が直面した経済的不確実性によりコスト超過がさらに悪化し、多くのデータチームは自社のパブリッククラウド消費に対するより厳しい監視を覚悟すべき状態です。

パブリッククラウドの高コストに対抗するには、2つの方法があります。1つ目はハイブリッド展開を設計することです。クラウドは、AI モデルのトレーニングのように、断続的または突発的な容量要件のあるワークロードに最適です。しかし、予測可能なリソース要件を持つ他のワークロードをオンプレミスで実行することで、企業はコストを削減できます。もう1つの方法は、SaaS プラットフォームをいつどこで活用するかを戦略的に考えることです。これにより、使いやすさを優先して、ワークロードのチューニングやリソースの割り当てをユーザーの手から離すことができます。このトレードオフは、常に必要であったり、最適であるというわけではありません。

マルチクラウド戦略の採用拡大

現在もマルチクラウド戦略が引き続き主流となっています。回答者の89%が複数のクラウドを使用していると報告しており、2023年の87%から増加しています。マルチクラウドの優位性は、ハイパースケーラー間の機能とエコシステムの同等性の向上、および個々のクラウドプロバイダーへのロックインを回避したいという要望の結果です。

マルチクラウド環境で運用するデータチームは、いくつかの重要なアーキテクチャ上の決定を下さなければなりません。1つ目は、ファイルレベルでは Apache Parquet、テーブルレベルでは Apache Iceberg などのオープンフォーマットを活用し、データがクラウド間で転送可能であること、またさまざまなユースケースに対応する幅広いツールと相互運用可能であることを保証することが挙げられます。2つ目である、マルチクラウドアーキテクチャで最も重要な要素は、データ全体にわたる統一されたセキュリティとガバナンスです。これにより機密データは常に保護され、利用者はデータの保存場所に関わらず、常に一貫性のある正確なデータにアクセスすることが可能になります。

多くのデータはオンプレミスに残る

機密データについては、消費者データ、企業財務データ、知的財産、研究データなど、多くの組織が依然としてオンプレミスでの保管を好んでいます。一方、非機密データの大半はパブリッククラウドに保管されることになります。これは、銀行や医療などの規制の厳しい業界を理解する人にとっては直感的なものです。そして、移行のプレッシャー下にある人にとっては健全さのチェックに役立つ情報となります。クラウドに関する多くの誇張された宣伝にもかかわらず、現実には調査に参加した企業の20%未満しか機密データをクラウドに移行する予定がないという結果が出ています。

Clouderaのお客様のメリット

Cloudera のお客様がクラウド戦略を検討するにあたり、良いニュースがあります。それは、機密データをパブリッククラウドに移行する予定があるかどうか、あるいはオンプレミスに置いたままにするかどうかは、問題ではないということです。データ、分析、AI のための唯一の真のハイブリッドプラットフォームである Cloudera では、データ分析のワークロードに利用するインフラストラクチャを自由に選択でき、データはオープンフォーマットのまま、データエンジニアリングからビジネスインテリジェンス、AI、ML に至るまで、幅広いワークロードで利用できます。ポータブルであるため、インフラストラクチャ要件が変更された場合でも簡単に移行できます。また、相互運用性があるため、データチームやデータ消費者は、ワークロードごとに最適なツールや実行エンジンを選択することができます。さらに、統一されたガバナンスとセキュリティソリューションによって保護されているため、データがクラウド上にあるかオンプレミスにあるかに関わらず、安全に保管され、適切なユーザーのみがアクセスできるようになります。

今すぐ Cloudera を試す

AWS のお客様はCloudera を今すぐお試しいただけます。3つのユースケースパターンのいずれかを導入し、クラウドへの移行を劇的に簡素化かつ加速できるプラットフォームをぜひご利用ください。

この記事は、2024/8/22に公開された「Cloudera’s Bangalore Center of Excellence – Local Innovation Driving Global Impact」の翻訳です。

インドのテクノロジーハブの中心地であるベンガルールに、当社のセンター・オブ・エクセレンス (CoE) があります。このCoEは、技術的進歩に重点的に取り組むイノベーションハブという役割を担っています。2014年に設立され、Cloudera のグローバル戦略の要として、当社の3つの成長の柱である「エンタープライズ AI の加速」、「真のハイブリッドプラットフォームの提供」、「最新のデータアーキテクチャの実現」を推進する上で重要な役割を果たしています。このセンターは、オープンソースのルーツに忠実であり、データと分析を誰もが利用しやすく、簡単に利用できるようにするという当社のミッションを推進する最先端ソリューションの原動力となっています。 

インドの豊かな才能

ベンガルールの CoE は、ほぼ10年にわたって成長を続け、現在では600人を超える従業員 (主にエンジニア職) を抱える強固なハブとなっています。そして、チェンナイのチームとともに、製品イノベーションとカスタマーサポートの基盤を支えています。これらの製品を提供しているその他のチームには、パフォーマンスエンジニアリング、データエンジニアリング、ストレージ、コントロールプレーン、テストインフラストラクチャ、セキュリティ、パフォーマンス、パートナー認定、リリースエンジニアリング、サイトの信頼性などがあります。この多様な専門知識が、当社のソリューションが包括的かつ最高品質であることを可能にしています。そしてそれを活かし、世界中のトップ企業のデータ活用をサポートしています。

当社は、米国、インド、ハンガリーに3つの主要なエンジニアリングセンターを展開しています。この戦略的な分散により、Cloudera は継続的なイノベーションを推進し、世界中のお客様にタイムリーなサポートを提供することができます。インド国内では、チェンナイとベンガルールのエンジニアリングの専門知識が、豊富な人材プールとIcebergなどのオープンソースプロジェクトへの歴史的な貢献により、グローバルな成長と進歩に戦略的な役割を果たしています。オープンソースコミュニティにおけるこのセンターの卓越性は、優秀な人材を引き付けています。

ベンガルールの当社チームは、プロジェクトのエンドツーエンドのデリバリーを包括的にサポートし、主要なリリースを最新機能に維持するとともに、Cloudera Machine Learning  (CML) の機能など、お客様のデータ環境内でモデルの開発、テスト、トレーニング、デプロイを可能にするイノベーションを提供しています。このチームは、探索から実用化までの期間を短縮し、機械学習のワークロードを拡張するソリューションの設計と構築を通じて、機能と拡張機能の提供において重要な役割を果たしています。これらの取り組みは、ハイブリッドクラウド環境における企業向け生成 AI アプリケーションのサポートを目指しており、すべてのデータが AI 対応となることを保証します。

機械学習とクラウドコンピューティングの革新を推進するチームは、生成 AI のワークロードフローを改良し、クラウドのアラートシステムを開発しました。これにより、お客様はクラウドコストを大幅に削減することができます。これらの進歩により、Cloudera は最先端の機械学習とデータサイエンスソリューションを提供するリーダーとしての地位を維持しています。

地域イノベーションによるグローバルな影響

ベンガルールの CoE がもたらす影響は、インドを越えて広がっています。チームは、金融、通信、製造など、さまざまな業界で大きな成長を促すグローバルなプロジェクトに取り組んでいます。ここで開発されたソリューションは、グローバルな視点に立って設計されており、インド国内外のお客様の多様なニーズを満たすことができます。

Cloudera は、インドの主要な銀行、証券取引所、およびさまざまな業界のトップ企業に対して、データ分析に必要なインフラを提供することで支援しています。この支援により、コスト削減、収益増加、業務効率の向上を実現しています。これらの業界では、機密性の高い大量のデータを頻繁に処理するため、強固なセキュリティが求められます。また、大規模で複雑なデータセットをより優れた戦略とインフラで管理する必要性も高まっています。

Cloudera は、データの力によって、今日不可能なことを明日可能にできると信じています。 当社のベンガルールおよびチェンナイの CoE は、企業がデータの潜在能力を最大限に引き出すことを支援する上で重要な役割を果たします。当社のチームは、強固で安全なデータプラットフォームを開発することで、企業が競争優位性を生み出す有意義な洞察を引き出せるようにしています。データガバナンスとセキュリティの強化から、データワークフローの最適化、リアルタイム分析の実現まで、当社のチームの貢献は、データドリブン企業の未来を形作る上で重要な役割を果たしています。

アイデアの創出からデリバリーまで、ソフトウェア開発のあらゆる側面に対応できる能力により、イノベーションの継続を保証します。これまでオープンソース技術に情熱を傾ける600人以上のエンジニアが、数百社のお客様の AI および機械学習の導入を加速してきました。この独自の組み合わせにより、クラウドへの移行を迅速化し、あらゆるパブリック／プライベートクラウド上のあらゆるタイプのデータを価値ある信頼性の高い洞察に変えることができる安全なハイブリッドソリューションを展開することが可能になります。 

今後も Cloudera はベンガルール CoE への投資を継続する予定で、今年だけでも新たに50人のエンジニアを雇用する計画です。重点を置くのは、エンタープライズ AI とハイブリッドプラットフォームの能力を促進する人材の育成です。ニッチなスキルセットを見つけることの難しさがあるものの、Cloudera のスキルアップと成長機会の提供に対する取り組みは揺るぎないものとして継続していきます。

Cloudera が今後も進化を続ける中で、ベンガルールの CoE は間違いなく最先端であり続け、ビッグデータと AI の世界で可能なことの限界を押し広げていきます。

この記事は、2024/4/1 に公開された「Cloudera Named a Visionary in the Gartner MQ for Cloud DBMS」の翻訳です。

2023年の Gartner® Magic Quadrant™ for Cloud Database Management Systems (2023年ガートナー®マジッククアドラント™クラウドデータベース管理システム) に選ばれたベンダーの中で、ガートナー社はCloudera を「ビジョナリー (概念先行型)」に位置付けました。この評価は、Cloudera の継続的な顧客イノベーションへの取り組みを表すものであり、将来のデータと AI のトレンドを予測する能力、データ管理の未来を形成する戦略を実証するものになります。

ビッグデータ分析のリーダーである Cloudera は、データ管理、AI、分析のための統合データプラットフォームを提供しています。当社のお客様は、ペタバイト規模の生成 AI ワークロードを含む、最も革新的で、最も規模が大きく、最も要求の厳しいデータサイエンスとデータエンジニアリング、分析、AIのユースケースを実行しています。Cloudera は25エクサバイトを超える価値の高いビジネスデータを管理しており、マジック・クアドラントの中では大規模なデータハイパースケーラの1つとなっています。今回の評価は、最適なデータサービスやローコード、ノーコードの生成AIを組み込んだ実践ツールを使用できる柔軟性を備えた、オープンで相互運用可能なクラウドデータプラットフォームを提供する戦略的パートナーとしての当社のビジョンと能力を証明します。

2023年版 Gartner® Magic Quadrant™ for Cloud Database Management Systems レポートの無料ダウンロードはこちらです。

ガートナー社のマジック・クアドラント・レポートは、ガートナーの分析のためのCritical Capabilities for Analytic (クリティカル・ケイパビリティ) レポートを補完するもので、すべてのベンダーの技術的な強みを採点しています。当社が、ハイブリッド、インタークラウド、マルチクラウドの各機能で最高得点を獲得したのは、プライベートクラウドを含むあらゆるクラウド上で実行可能な真のハイブリッドデータプラットフォームを持つ、市場で唯一のベンダーであり、データがどこにあろうと、すべてのデータにシームレスで統一されたエクスペリエンスを提供できるからです。当社の最先端の SDX (Shared Data Experience) サービスは、すべての構造化データおよび非構造化データに共通のセキュリティ、ガバナンス、メタデータ管理のための統一されたコントロールプレーンを提供します。これは、お客様がさまざまな場所にあるすべてのデータを可視化し、すべての分析とAIワークロードに信頼できるセキュアなデータを取り入れるために不可欠です。さらに、当社のデータサービスのポータビリティと相互運用性は、あらゆるデータワークロードにシンプルさ、柔軟性、俊敏性をもたらします。

2023年Gartner Critical Capabilities for Analytic レポート (無料) をダウンロードして、3つの主要な分析ユースケースに関する各ベンダーの技術スコアをご覧ください。

以下は、Clouderaのプラットフォームの主な特性です。

分析とAIを加速し、データの価値を解き放つ

データレイクハウスは、データの力を引き出す能力に革命を起こします。構造化データと非構造化データを統合することで、ビジネスの全体像を把握し、より構造化されたアクセス可能なビジネスデータの文脈としてAI に提供することで、AI の有効性を高めます。データウェアハウスのような機能をレイクにもたらすことで、複数のデータストアの必要性をなくします。また、データエンジニアリングのパイプラインを簡素化し、データの信頼性を高めることで、データサイエンティストとデータアナリストの業務効率を向上させます。Cloudera のオープンデータレイクハウスは、BI クエリのパフォーマンスを40%以上高速化すると同時に、データサイエンティストがモデルのために最新のデータセットを簡単に探索できるようにしています。ストリーム分析、データフロー、データエンジニアリングからデータウェアハウス、機械学習まで、統合されたデータサービスはすべて、Iceberg のテーブルに存在するデータの単一コピーで動作し、真の多機能分析体験を実現します。

これにより、チーム間のコラボレーションが改善され、セルフサービスでのデータアクセスが可能になります。さらに、統合にかかるコストを最小限に抑えながらも、コンピューティングとストレージの要件が削減されます。チームは ETL を気にすることなく、好きなツールやエンジンを柔軟に使うことができるのです。Cloudera のリアルタイム・ストリーミング・サービスは、他のインテリジェント・データ・プラットフォームのようにマイクロ・バッチ・インジェストを提供するだけでなく、ストリームインジェストとストリームデータ処理を提供するため、イベントをレイクハウスに取り入れる前にリアルタイムでストリームを処理することができるのが大きな特徴です。

データエコシステムの相互運用性を保証

多くの組織では、ツールやデータソースがバラバラで、データの質が低いために、その価値を十分に引き出せないでいます。組織は多様化する単一目的のデータベースを管理しなければならず、その結果、コスト、複雑性、管理人材数、リスクが増大しているのです。

Clouderaのお客様は、数百のデータソース、複数のクラウド、複数の処理エンジンで構成される非常に多様なデータインフラを展開しています。それに対して、当社のプラットフォームとサービスはオープンソースへのコミットメント、オープンスタンダードの統合への投資、オープン API の構築により、あらゆるデータエコシステムで相互運用が可能です。Apache Iceberg テーブルフォーマットの統合により、Cloudera のデータレイクハウスから、Snowflake、Google Big Query、AWS Redshift など Cloudera プラットフォーム外のエンジンを含む、あらゆるコンピュートエンジンがデータにアクセスできるようになりました。これにより、Snowflake と Databricks のクラウドコストを削減しながら、お好みのツールを使用することができます。

データ・分析・AI の民主化 

ハーバード・ビジネス・スクール、ウォートン・スクール、ワーウィック・ビジネス・スクール、MITスローンが実施した調査によると、生成AIは、高度なスキルを持つ従業員のパフォーマンスを、使用しない従業員と比較して40％も向上させることができます。

Cloudera では、データ専門家の生産性を向上させるため、すべての製品に AI を組み込んでいます。こうしたインテリジェントなサービスによって、タスクを自動化し、ワークロードを最適化し、UI を簡素化し、より多くのユーザーがデータを簡単に扱えるようにします。

さらに、Hue のインターフェイスに LLM を組み込んでいるので、英語やその他の言語で SQL クエリを書くことができます。データ可視化ツールの LLM は、ビジネスユーザーがチャットボットを使ってデータと会話し、ダッシュボードやレポートを簡単に共有できるようになっています。Cloudera機械学習 (CML) サービスの LLM は、データサイエンスと AI プロジェクトで、お客様をインテリジェントに支援します。Observability ソリューションの AI は、お客様のワークロードを最適化し、特定の使用状況に基づいて推奨を行います。プラットフォームに組み込まれたこれらのインテリジェンスは、データ、分析、AI を民主化します。

また、Cloudera を使用した AI アプリケーションの構築を支援するツールやサービスを継続的に提供しています。Cloudera の AMP と呼ばれる、素早くスタートするための AI プロジェクトでは、新しい ML プロジェクトのデプロイに必要なコード、モデル、データセット、設定をパッケージ化してあるので、新しい LLM ユースケースのデプロイまでの速度を、50%加速できます。ソフトウェアとは異なり、ML モデルは継続的なチューニングが必要となります。モデルのドリフトを防ぐため、継続的に監視し、リフレッシュする必要があります。Cloudera のMLFlow サービスはモデルを監視し、必要なときに新しいモデルを簡単に外したり接続したりできます。Cloudera のリアルタイム・ストリーミング・サービスは、最新のデータでモデルの微調整を確実に行い、モデルのドリフトを防ぎ、学習速度を加速します。プライベートクラウドのデータサービスと、一度書いたらどこからでも読むことができるというポータビリティは、推論のコストを削減しながら、企業秘密を外部に漏らすことなくLLMを使用できることを保証します。

「信頼できるAI」のために「信頼できるデータ」を提供

信頼できるAIには、信頼できるデータが必要です。信頼性が高く、完全に理解でき、適切なビジネス文脈を持つデータです。データには系統があるため、ソースと、すべての処理を遡ることができます。データへの信頼が高まることで、信頼できるAIが生まれます。ClouderaのデータカタログとSDXサービスを組み合わせることで、データに対する完全な可視性を提供できます。そして、データセットを簡単に見つけ、リネージとメタデータ情報でデータを理解し、統一されたセキュリティとガバナンスで適切なデータにアクセスすることができます。

AI の新しい流れを強化するデータメッシュの採用

データは、貴重な資産というだけでなく、プロダクトとして扱われるように進化を遂げています。データメッシュの理念を採用することは、単なるトレンドではなく、データの真の力を引き出すための戦略的必須事項です。このアプローチは、データをより深く理解しながら、実用的な洞察の推進に活用し、保守可能でポータビリティが高く、多様なチーム間で容易に共有できる信頼できるデータのリポジトリを構築するために不可欠です。データメッシュの本質は、データの所有権をユーザーやクリエイターの手に移し、さまざまなユースケースで有用性を増幅させることにあるのです。

データメッシュを導入するには、組織のデータ文化を変え、すべてのチームのデータリテラシーを高める必要があります。ツールとプラットフォームは、データの可視性を高め、管理しやすくし、データプロダクトの共有を促進し、すべてのデータ資産にわたって統合されたガバナンスを実現する上で極めて重要です。ポータブル・データ・サービス、SDX、データカタログ機能を統合した Cloudera のレイクハウスと、文字通りあらゆるソースからのデータを統合するデータフローサービスは、企業がグローバルなコラボレーションとチーム間での情報共有を促進するデータメッシュを実装するのに役立っています。

自社のデータを制御する

自らデータ、ワークロード、デプロイメント、支出の制御ができるのは、Cloudera だけです。Cloudera データレイクハウスでは、データを完全に制御することができ、好きな形式で保存し、好きなクラウド上でワークロードを実行し、好きなエンジンで処理する柔軟性があります。これらはすべて、ベンダーのロックインや追加のイングレスまたはエグレスのコストなしで実現でき、クラウド費用を制御しながら実現できます。Cloudera の、業界をリードする財務ガバナンス機能と観測可能なソリューションは、クラウド費用とストレージ費用を最小限に抑え、ワークロードを完全に可視化するのに役立ちます。また、変動しないワークロードをプライベートクラウドに移管することで、クラウド費用を削減し、完全に管理しながら、インスタンススケール、柔軟性、俊敏性といったクラウドのメリットをすべて体験できます。

生成 AI は、AI の導入を加速させました。しかし、生成 AI や LLM に飛びつく前に、企業は強力なデータの基礎が必要です。眠っているデータは、適切な分析と AI によって実用化されるまでは何の役にも立ちません。LLM の非構造化データをマイニングする能力は驚くべきもので、新たなビジネスユースケースを生み出し、顧客の要望に応え、パーソナライズされたオファーを提示するなど、研究開発を加速させます。Cloudera の顧客である OCBC 銀行のような組織はすでに、顧客体験と業務効率を改善するために、エンタープライズデータを文脈として使用する LLM を導入しています。

Cloudera の、ハイブリッド及びマルチクラウド・データ・プラットフォームは、生成 AI を加速するために必要な強力なデータ基盤を提供します。トライアルにお申し込みいただき、実際にご体験ください。

Cloudera の DE&I に重点を置いたスポンサーシッププログラム

この記事は、2024/9/3に公開された「DEI-focused Cloudera Sponsorship Program Named Finalist for Ragan Awards 2024 CSR & Diversity Awards」の翻訳です。

平等と公平性を実現するには継続的な取り組みが必要であり、企業が真に成功するには、認知度を高め、これまで十分に機会を与えられなかったコミュニティに対してリーダーシップと成長の機会を生み出すことが重要です。

この度、Cloudera は、当社のスポンサーシッププログラムにおける多様性、公平性、および包括性 (DE&I) への取り組みが評価され、メンタリングプログラム部門で Ragan 2024 Corporate Social Responsibility (CSR) & Diversity Awards の最終選考に残りました。当社では、誰もが成長できる包括的な環境を促進することが、真の成功につながるという信念を持っています。

ClouderaのDE&I戦略は、組織のあらゆるレベルにおける多面的なアプローチを重視しています。その中心となるのは、明確な目標と目的の設定、多様性分析の定期的な見直し、透明性と説明責任の強化です。当社は、DE&I イニシアチブへの幅広い参加とオーナーシップを確保するために、すべての事業部門のリーダーとチームメンバーが積極的に関与するように取り組んでいます。

Ragan Awards は、コミュニケーション、PR、マーケティング、および福利厚生業界において最も成功したキャンペーン、イニシアチブ、個人、チームを表彰するものです。そのメンタープログラムアワードは、マイノリティコミュニティに属する従業員のキャリアアップに役立つメンタープログラムを推進する組織に贈られます。カテゴリーごとの受賞者が発表される前に、9月27日にニューヨーク市で開催される特別イベントで、すべての最終候補者が表彰されます。 

Cloudera のスポンサーシッププログラムは、マイノリティグループ (URG) が経験するメンターシップとスポンサーシップの格差に取り組んでいます。歴史的に、これらのコミュニティは他のコミュニティと同じ機会を与えられておらず、キャリアアップのための積極的な支援者やサポーターも不足しています。Cloudera のスポンサーシッププログラムの主な目的は、これらのグループ内の潜在能力の高い人材を発掘し、社内での認知度を高め、積極的に支援することです。その結果、才能ある人材がリーダーシップポジションに昇進することになります。 

「このプログラムは、私にとって人生を変えるものでした」と、スポンサーシッププログラムの参加者は語ります。「自分の改善すべき点や、キャリアを導くために負うべき責任について考える機会がたくさんありました。加えて、Cloudera の経営陣と一緒に学ぶ機会を得られたことは、素晴らしい経験でした。」

スポンサーシッププログラムの仕組み 

Clouderaのスポンサーシッププログラムは、6か月間継続するグループベースのモデルで運営されています。戦略的に「スポンサー」であるシニアリーダーと、全社機能にわたる多様なバックグラウンドを持つ社員の「メンティー」を組み合わせています。この意図的な組み合わせにより、多様性と包括性の推進に熱心な経験豊富なリーダーから、メンティーが個別にサポートと支援を受けられるようにしています。

Cloudera は、著名なリーダーシップコーチング企業であるSounding Board社と提携しており、プログラム期間中、メンティーは追加の専門的コーチングとサポートも受けます。これにより、参加者の個人的およびキャリアにおける成長が促進され、課題を克服し、成長の機会を掴む力を得ることができます。

舞台裏 

Cloudera のスポンサーシッププログラムでは、各グループの成功を確実にするために、入念な計画と調整を行っています。プログラム管理者は、参加者独自の強みや希望を考慮しながら、適切なスポンサーとメンティーを特定するために、シニアリーダーと密に連携しています。

ペアが決定すると、スポンサーは自分のメンティーを支援し、影響力やネットワークを活用して、他のシニアリーダーや専門能力開発の機会に注目を集めるよう促します。同時に、メンティーは、Sound Board 社の認定を受けた能力開発の専門家と1対1のコーチングセッションを行い、キャリアアップ、スキル開発、リーダーシップ能力に重点的に取り組みます。スポンサー、メンティー、プログラム管理者は、進捗状況を監視し、課題に対処し、成果を祝うために、常に連携しています。

成功の鍵 

Cloudera のスポンサーシッププログラムは、潜在能力の高い人材を育成し、社内での認知度を高め、多様なリーダーシップパイプラインを育成する能力に基づいて評価されます。 エンゲージメントと多様性に関する調査を実施し、プログラム参加者の感情を他の従業員と比較分析します。統計的に裏付けられた評価では、リーダー的役割に転身したメンティーの数、コーチングとスポンサーシップのサポートに関する参加者の調査フィードバック、多様性イニシアチブが組織文化に与える全体的な影響を測定します。

参加者のフィードバックによると、Clouderaのスポンサーシッププログラムを修了した人の84%が、Cloudera ではあらゆる背景を持つ人々が成功する機会が平等に与えられていると感じており、また83%が組織において重要な一員であると感じているとのことです。この定期的な評価とフィードバックの仕組みにより、参加者のニーズの変化にプログラムが対応し続けられるようにすると同時に、Cloudera の DE&I イニシアチブ推進への取り組みとも足並みが揃うことになります。

Cloudera は、Ragan 2024 CSR & Diversity Awards のメンタリングプログラム部門でファイナリストに選出されたことを光栄に思います。当社は今後もスポンサーシッププログラムを推進し、多様なバックグラウンドを持つ従業員にメンターシップの機会を提供していきます。 

Cloudera のDE&I イニシアチブの詳細については、こちらをクリックしてください。

この記事は、2024/9/26に公開された「Streamlining Generative AI Deployment with New Accelerators」の翻訳です。

ML プロジェクト向けアクセラレータ (AMP) を新たに4種類導入し、本番環境で活用できる生成AI開発に関する課題を克服

生成 AI ユースケースの素晴らしいアイデアを本番環境へ導入するまでの道のりは、迷路に似ています。技術的なハードル、セキュリティ上の懸念、優先順位の変化など、角を曲がるたびに新たな課題が提示され、進捗が滞ったり、やり直しを余儀なくされたりすることもあります。

Cloudera は、多くの企業が直面する苦労を認識しており、それに対応するために ML プロジェクト用アクセラレータ (AMP) の構築を開始しました。AMPは、完全に構築された ML プロトタイプであり、Cloudera Machine Learning から直接ワンクリックでデプロイできます。AMP により、データサイエンティストはアイデアから完全に動作する ML ユースケースまで、ほんのわずかな時間で実行できるようになります。事前に構築されたワークフロー、ベストプラクティス、エンタープライズグレードのツールとの統合を提供することで、AMP は機械学習モデルの構築とデプロイに伴う複雑さの多くを排除します。

Cloudera は、ML の実践者をサポートするという当社の継続的な考えに沿って、4つの新しいアクセラレータのリリースを発表しました。これらの最先端ツールは、生成 AI の注目トピックに焦点を当て、企業がイノベーションを解き放ち、インパクトのあるソリューションの開発を加速できるよう支援します。

Fine Tuning Studio

ファインチューニングは、特化した大規模言語モデル (LLM) を作成するための重要な手法として浸透してきました。LLM は基本的にインターネット全体を対象に学習するため、多くのことをうまくこなせるジェネラリストです。しかし、コード生成や希少な方言の言語翻訳など、特定のタスクに秀でるためには、より焦点を絞った専門的なデータセットを用いて、そのタスク用にチューニングする必要があります。このプロセスにより、モデルはその理解を洗練させ、特定のタスクのニュアンスにより最適な出力が可能となり、その分野において正確で効率的なものになります。

Fine Tuning Studio

は Cloudera が開発した AMP で、LLM の管理、ファインチューニング、評価のための包括的なアプリケーションと「エコシステム」を、ユーザーに提供します。このアプリケーションは、LLM のトレーニングおよび評価タイプのタスクのために特別に構成された他の Cloudera Machine Learning ワークロード (主にジョブ機能経由) を整理し、ディスパッチするのに役立つランチャーです。

ナレッジグラフを活用したRAG

検索拡張生成 (RAG) は、LLM からの応答に追加のコンテキストを加えるための既定の手法の1つとなっています。このアプリケーションアーキテクチャは、プロンプトエンジニアリングとベクトルストアを利用して、推論時に LLM に新しい情報を提供します。しかし、RAG アプリケーションの性能は完璧とは言い難いものがあります。そこで、データを、相互接続されたエンティティや関係性に構造化するナレッジグラフを統合するような技術革新が求められています。この追加により、検索精度、文脈関連性、推論能力、およびドメイン固有の理解が向上し、RAG システムの全体的な有効性が高まります。

RAG with Knowledge Graph は、学術研究論文の検索用に設計されたソリューションを使用して、知識グラフを統合することで RAG のパフォーマンスがどのように向上するかを実証しています。このソリューションは、arXiv から重要な AI/ML 論文を、Neo4j のナレッジグラフとベクトルストアに取り込みます。LLM には、リモートでもローカルでも活用できる Meta-Llama-3.1-8B-Instruct を使用しました。ナレッジグラフが RAG にもたらす改善を明確にするために、UI ではナレッジグラフ有り、無しの結果を比較しています。

Vertav の PromptBrew

生成 AI の成功の80%はプロンプトに依存しますが、ほとんどのAI開発者は良いプロンプトを書くことができません。プロンプトエンジニアリングのスキルにこのようにギャップがあることは、生成 AI モデルの有効性が、指示によっていかにうまく誘導されるかに大きく左右されるため、多くの場合、最適とは言えない結果を生み出します。モデルの能力を最大限に引き出すには、正確かつ明確で、文脈に適したプロンプトを作成することが重要です。適切に設計されたプロンプトがなければ、最も高度なモデルであっても、関連がなく曖昧であったり、低品質の出力を生成する可能性があります。

PromptBrew なら、開発者が高性能で信頼性の高いプロンプトを簡単に作成できるよう、AI を活用した支援を提供します。具体的なプロジェクトの目標やプロンプトの草案から始めても、PromptBrew は合理化されたプロセスを通してガイドし、プロンプトを洗練させるための提案や最適化を提供できます。複数のプロンプト候補を生成し、改善点を提案することで、入力内容は最良の結果になるように調整されます。最適化されたプロンプトは、プロジェクトのワークフローにシームレスに統合され、生成 AI アプリケーションのパフォーマンスと精度を向上させていきます。

ドキュメントとチャット

この AMP では、オープンソースで事前にトレーニングされた、指示に従う大規模言語モデル (LLM) を使用して、チャットボットを構築する方法を紹介します。チャットボットの応答は、ユーザーがアップロードしたドキュメントから作成された内部知識ベースからのコンテキストを提供することによって改善されます。この文脈は、オープンソースのベクトルデータベースを利用したセマンティック検索によって取得されます。

既存のLLM Chatbot Augmented with Enterprise Data AMP と比較すると、このバージョンには、ユーザードキュメントの取り込み、質問の自動生成、結果のストリーミングなどの新機能が含まれています。また、Llama Index を活用して RAG パイプラインを実装しています。

詳しくはこちらをご覧ください。

この記事は、2024/8/21に公開された「Cloudera Open Data Lakehouse Named a Finalist in the CRN Tech Innovator Awards」の翻訳です。

CRN Tech Innovator Awards は、36のカテゴリーにわたる革新的な製品やサービスにスポットライトを当て、320以上の製品応募の中から CRN のスタッフが受賞者を決定します。今年は、Cloudera の Open Data Lakehouse 7.1.9 リリースが、ビジネスインテリジェンスおよびデータ分析のカテゴリーでファイナリストに残りました。

毎年開催されるこれらのアワードは、ソリューションプロバイダーが、真に革新的で顧客価値をもたらす IT 製品やサービスを見つけられるようにすることを目的としています。このアワードでは、AI および AI インフラストラクチャ、クラウド管理ツール、IT インフラストラクチャおよびモニタリング、ネットワーキング、データストレージ、サイバーセキュリティなどのテクノロジーカテゴリー全体にわたって、著しい技術進歩をもたらす IT ベンダーの製品や、パートナーの成長機会を紹介します。

オープンデータレイクハウスを採用

Cloudera のオープンデータレイクハウスが選出されたことは、人工知能 (AI) や生成AIの台頭により、このプラットフォームがいかに重要になっているかを示しています。

AI は、ほぼすべての企業の優先事項の最上位に位置しています。競争優位性の確立や業務効率の向上という観点では、その潜在能力は計り知れません。しかし、導入が加速する一方で、多くの組織は AI の力を十分に活用するための方法に苦慮しています。

問題の根源は信頼できるデータかどうかにあります。企業全体に散在するデータや、サイロ化されたデータが蓄積される可能性もあり、レガシーデータウェアハウスでは、構造化データと非構造化データの膨大なデータを適切に管理できない可能性もあります。AI の導入を成功させるには、ハイブリッド環境全体に散在するデータを適切にアクセスして収集する必要があります。

今回のプライベートクラウド上で稼働する最新の Open Data Lakehouse リリースでは、多数の機能、拡張されたサポート、そしてデータの管理を容易にする機能が提供されています。最新のプラットフォームリリースには、Apache Iceberg のサポートが含まれており、企業がミッションクリティカルなデータを AI に適用し、最もエラーが発生しやすいプロセスに対処し、新しいユースケースを生成し、全体的なパフォーマンスを向上させ、コストを削減する機会が提供されます。

このプラットフォームは他に類を見ないものであり、ダウンタイムなしのアップグレードやセキュリティ強化といった重要な機能も備えており、中断を最小限に抑え、事業継続性を向上させます。さらに、今回の Open Data Lakehouse のリリースには、クォータ、スナップショット、ディザスタリカバリーの強化といった Apache Ozone の機能も含まれています。また、Open Data Lakehouse は Python 3.10 と RHEL 9.1 のサポートも拡張しており、これらすべてが互換性と柔軟性のさらなる向上をもたらします。

Open Data LakehouseでAIイノベーションを推進

当社がCRN の Tech Innovator Awards の候補となった数百の革新的な製品やソリューションの中で、ファイナリストに残ったことを非常に光栄に思います。多くの企業は、自社の業務において効果的な AI と分析の必要性を理解していますが、それをサポートするデータアーキテクチャの構築に苦労しています。Cloudera のプラットフォームは、ポータブルでクラウドネイティブ、インフラストラクチャ全体に展開可能な分析機能を提供し、一貫したデータガバナンスとセキュリティを維持します。プライベートクラウド向けの Open Data Lakehouse のような最新のデータアーキテクチャを活用することで、複雑性を排除し、スケーラブルで有意義な洞察と真に効果的なAI を実現することができます。

Cloudera の Open Data Lakehouse が、貴社の AI の取り組みをどのように推進できるのか、詳しくはこちらをご覧ください。 

このトピックに関連する情報は、以下をご覧ください

• ホワイトペーパー：Limitless: AIの持つポジティブな力

この記事は、2024/8/20に公開された「AI Challenges and How Cloudera Can Help」の翻訳です。

今では、業界を問わず、あらゆる組織が AI を活用しているか、AI の導入を検討しています。今日の市場では、AIは不可欠であり、迅速に対応しなければ時代に取り残される可能性があります。しかし、導入が急増しているにもかかわらず、依然として苦労は続いており、スケーラビリティは依然として大きな問題となっています。組織は AI の導入には積極的ですが、組織全体に定着させるには、特有の課題が立ちはだかります。

コストの急上昇、非効率で時代遅れのデータインフラ、データガバナンスにおける深刻なギャップなど、企業がAIの導入を乗り越え、企業全体にAIを大規模に展開する上で苦労する理由は数多くあります。

しかし、適切なテクノロジーパートナーがいれば、企業は導入を加速し、自社データとAI が生成するアウトプットの両方の価値を最大限に引き出すことができます。企業が直面する課題と、Clouderaがどのようにしてビジネスの成功をご支援できるのかについて詳しく見ていきましょう。

新たな課題

AI の導入と運用は、必ずしも容易なものではありません。テクノロジーがビジネスに統合される際には、常に新たな課題が発生する可能性があります。その多くは信頼の問題、具体的に言うと信頼できるデータに関わる問題です。信頼できるデータは、AI のアウトプットを正確なものにするだけでなく、意思決定に大きな影響を与えるものです。データの信頼性を確保することは、それ自体が複雑な問題です。

Clouderaの「State of Enterprise AI and Modern Data Architecture (エンタープライズ AI とモダンデータアーキテクチャの状態)」調査では、データに関するいくつかの課題が特定されています。 その課題の中で、回答者は単にデータが多すぎること (35%) と、適切なガバナンスが深刻な障害となっていること (36%) を指摘しています。ビジネスリーダーにとって、信頼は独特な課題です。データから収集した洞察は、リーダーが信頼できると認識している場合にのみ有用です。基本的に、AI モデルに投入されるビジネスデータが不適切であれば、そこから得られる洞察も不完全なものとなります。そして、データの量が増加するにつれ、データサイロが増加し、経営陣がそれらの集合的なデータ資産を管理することが難しくなります。また、その知識の欠如は、データの誤用や不適切な処理の余地を残すため、ガバナンスの問題に直接影響します。

企業は、現代のビジネスニーズに対応できる最新のデータアーキテクチャを必要としています。このアーキテクチャにより、企業は既存のインフラに柔軟性と拡張性を組み込み、AI の台頭に対応することができます。企業が AI モデルを将来にわたって有効に保ち、イノベーションを推進し、競争の激しい市場で頭角を表すためには、こうしたアーキテクチャが必要です。

信頼できる AI パートナーである Cloudera

これらの課題を克服し、AI の力を活用するには、ハイブリッドクラウドと業界をリードする AI の専門知識が必要です。そして、投資をサポートし、将来にわたって有効な強固な基盤となる重要なデータおよび分析ソリューションを提供できる実績のある、テクノロジーパートナーと協力することも必要になってきます。

Cloudera を活用することで、企業は柔軟性と拡張性に優れたデータインフラストラクチャを構築し、AI の利用が拡大しても、それを支えるデータがそれに追いつくようにすることができます。Cloudera は、AI モデルで使用されるデータを保護し、その使用を社内基準や外部規制に沿ったものにする強固なデータガバナンスを保証します。

同様に、Clouderaのオープンデータレイクハウスは、データインフラストラクチャの基盤として活用できる優れたオプションを企業に提供します。当社のプラットフォームは、データレイクの柔軟性とデータウェアハウスのパワーを1か所で実現します。オープンデータレイクハウスは、AI を活用し、構造化データと非構造化データの両方で大規模な分析を実行しようとする企業にとって不可欠です。これは、AI の導入を妨げることの多いデータに関する課題に特化したものです。特に、企業がますます多くのデータに圧倒されている中、オープンデータレイクハウスは、そのペースを維持するための強力な基盤となります。Cloudera と、データ、分析、AI のための唯一の真のハイブリッドプラットフォームにより、企業はデータサイロを排除し、データチームがパブリッククラウドやプライベートクラウド上の任意のツールを使用して同じデータで共同作業を行えます。

最終的には、AI の導入には必ず困難が伴います。しかし、そのような課題に単独で立ち向かう必要はありません。Cloudera なら、プロセスを解明し、AI を安全かつ効果的に、そしてシンプルに導入して、迅速に拡張し、最大限のビジネス価値を生み出すことを可能にする、幅広いテクノロジーとソリューション、ノウハウを提供します。 

ClouderaがどのようにAIの導入を加速させるかについては、調査レポート (英語) をご確認ください。

このトピックに関連する情報は、以下をご覧ください

• Ebook：ハイブリッドデータプラットフォームの4つのユースケース