この記事は、2025/10/3に公開された「Democratize Data for AI Using Interoperability Across Engines and Zero-Copy Data Collaboration」の翻訳です。
Cloudera Iceberg REST カタログを使用してオープンで AI に対応した企業を実現する方法
相互運用性は長い間流行語であり、企業が実際に頼りにできる機能ではありませんでした。その代わりに、データアーキテクトは断片化されたシステムをつなぎ合わせる作業に追われることが多く、最高データ責任者はサイロ化されたガバナンスによる大きなリスクとベンダーロックインに直面し、プラットフォームリーダーはチームに一貫したデータビューを提供することができません。合併、マルチクラウド戦略、または外部パートナーシップに起因するかどうかにかかわらず、コストの上昇、イノベーションの遅れ、そしてAIを確信を持って拡張する能力の制限に関する課題は繰り返されます。
Cloudera では、分断されたメタデータ層、重複したデータパイプライン、ツール間で拡張できないガバナンスモデルなどの課題をお客様が克服できるよう支援し、大規模な相互運用性を実現する、オープンで AI に対応した企業の実現に常に努めています。
エンタープライズ AI にとってオープン性が重要である理由
AI ワークロードを拡張するには、ワークロードの原動力となるデータの可視性と管理が必要です。メタデータインテリジェンスは、この方程式において重要な役割を果たし、組織がデータの所在、構造、およびチームやツール間でどう使用されているかを理解できるようにします。
Apache Iceberg や Iceberg REST Catalog などのオープンスタンダードにより、企業はゼロ ETL データ共有をサポートし、ガバナンスを強化し、分析エンジンと AI エンジン間で安全な相互運用性を実現する統合メタデータレイヤーを獲得できます。この基盤は断片化されたインフラを接続された AI 対応のデータアーキテクチャに変換します。ここではメタデータがインサイトへのアクセスを加速させる鍵となり、同時に信頼を維持します。
オープンかつ安全でシンプル：Cloudera Iceberg REST Catalog
Cloudera Iceberg REST Catalog は、弊社のオープンデータレイクハウスを支え、組織がアーキテクチャを簡素化し、重複を減らし、必要な場所で安全なデータアクセスを拡張するのを支援します。
普遍的で相互運用可能なメタデータレイヤーとして機能し、ツール、クラウド、チームを超えて Iceberg テーブルへのゼロコピーアクセスを提供し、オープンソースツールとサードパーティツールが同じデータにアクセスできるようにします。機能とメリットは以下のとおりです。
- オープンでエンジンにとらわれない：Athena、Databricks、Redshift、Snowflake などのツールをサポートする標準ベースの API を提供し、ベンダーロックインなしで相互運用性を実現します。
- 設計段階で分離：クエリエンジンをバックエンドのメタストアから抽象化し、複雑さを軽減して環境間の移植性を向上させます。
- リアルタイムのメタデータアクセス：Iceberg 対応のメタストアからの高速で最新のメタデータクエリをサポートし、チーム間のデータ可視性を向上させます。
- ガバナンスとセキュリティ：きめ細かなアクセス制御、行レベルの権限、エンタープライズ ID アクセス管理（IAM）統合（LDAP や OAuth2 など）を、接続されているすべてのシステムに拡張し、一貫したポリシーの適用を大規模に実現します。
図1. Cloudera Iceberg REST Catalog は、普遍的で相互運用可能なメタデータレイヤーを提供し、オープンソースツールとサードパーティツールが同じデータにアクセスできるようにします。
Iceberg REST Catalog の実際の使用例と効果
以下の実際の使用例は、企業がどのように Iceberg REST Catalog を活用してデータスタックを簡素化し、総所有コスト（TCO）を削減して、価値実現までの時間を短縮し、データを適切な場所に保持しているかを示しています。
これらの例は、Cloudera のオープンで相互運用可能なアプローチが AI による効果を促進し、エンタープライズ規模で運用効率を高め、セキュリティとコンプライアンスを実現する方法を示しています。
データ共有：AI アプリケーションを3,000人以上のクロスプラットフォームユーザーに拡張
ある高級自動車メーカーでは、Databricks を使用して外部のパートナーとデータを安全に共有するという課題が日に日に大きくなっていました。従来の方法はデータの複製に依存していたため、コストや複雑さ、アーキテクチャの柔軟性の欠如が生じていました。
同社は Iceberg REST Catalog を採用することで、社内システムと外部プラットフォームの両方で、安全なゼロ ETL データ共有を確立しました。このオープンで標準ベースのアプローチにより、複雑なデータパイプラインには Spark を、高速 SQL 分析には Impala を使用するなど、作業に最適なツールを選択できるようになりました。これを基盤に、同社はデータアクセスに対するガバナンスと管理を維持しながら、AI アプリケーションを3,000人以上のユーザーに拡張できました。
データウェアハウスの最適化：データ移動コストを74％削減
ある世界的な衛星通信会社は、合併に伴い、独自のシステムで管理されていた断片的なデータを統合する際に大きな問題に直面しました。一貫性があり、相互運用可能なデータレイヤーが不足していたことで、AI や分析に対する取り組みの拡張が遅れ、管理が困難になったのです。
Iceberg REST Catalog を搭載した Cloudera のオープンデータレイクハウスアーキテクチャは、同社がこれらのサイロを統合し、すべての AI および分析ワークロード向けに信頼できる唯一の情報源を確立するのに役立ちました。マネージド Iceberg テーブルを S3 で直接クエリすることで、冗長なデータパイプラインと再プラットフォーム化の作業の必要性がなくなり、データ移動コストが74%削減されました。
デモ：Cloudera の Iceberg REST Catalog を通したデータ共有を詳しく見る
こちらのインタラクティブなデモでは、金融サービスにおけるシナリオを通じて Iceberg REST Catalog を実際に体験していただけます。デモに登場する架空の親銀行では、さまざまなチームが Snowflake や AWS Athena などの好みのツールを使用して、管理された1つのデータソースに安全にアクセスできます。複雑な ETL やコストのかかるデータ移動は必要ありません。
このサービスの詳細とそれが組織にもたらすメリットについては、以下のリソースをご覧ください。
