この記事は、2024/12/9に公開された「Introducing Accelerator for Machine Learning (ML) Projects: Summarization with Gemini from Vertex AI」の翻訳です。
Cloudera は、新たな Accelerator for Machine Learning Projects (AMP) として、「Vertex AI での Gemini による要約」を発表しました。AMP とは、人工知能 (AI) のユースケース向けに事前構築された高品質で実用最小限の製品 (MVP：Minimal Viable Product) のことで、Cloudera AI (CAI) からワンクリックで展開できます。AMP の目的は、パフォーマンスの高い AI アプリケーションの迅速な構築を支援することです。AMP の詳細については、こちらをご覧ください。
当社がこの AMP を作成した理由は、次の2つです。
- ドキュメントの全体的な要約と生のテキストの部分的な要約の両方に対応できる AI アプリケーションのプロトタイプを AMP カタログに追加するため。
- Cloudera AI と Google の Vertex AI Model Garden を使用して、AI アプリケーションを簡単に構築できることを示すため。
要約は、以前から生成 AI のユースケースの効果を最も簡単に実感できる用途とされています。例えば、ある Cloudera のお客様は、契約書の審査プロセスにおいて、契約書の重要条項を抽出して短い要約を表示できるアプリケーションを審査担当者向けに導入し、生産性を大幅に高めました。また、ある銀行のお客様は、数十から数百の財務文書の重要な内容を要約するカスタム生成 AI アプリケーションを使用して、見込み客の資産の出所に関する審査メモの作成にかかる時間を、1日からわずか15分に短縮しました。
この AMP は、当社が初めて Vertex AI の Model Garden を使用して作成したものです。Model Garden は、1つのアカウントで100を超える主要なクローズドソースモデルとオープンソースモデルに API 経由で簡単にアクセスできるという、極めて大きなメリットをもたらします。また、特定のタスクに特化した高性能なモデル群へのアクセスも可能です。Model Garden 内のモデルは、Google のクラウドインフラストラクチャーで効率的に動作するように最適化されており、高スループットのアプリにも対応し、費用対効果の高い推論機能とエンタープライズグレードの拡張性を提供します。
さらに当社は、この AMP で Gemini Pro モデルを初めて使用しています。このモデルは、マルチモーダルアプリケーションやテキスト要約アプリケーションとスムーズに連携し、最大100万トークンという大きなコンテキストウィンドウを提供します。ベンチマークテストによれば、Gemini Pro は GPT-4などの競合モデルよりトークン処理の速度が優れています。また、他の高性能モデルと比較して、無料モデルと有料モデルの両方で手頃な価格体系が用意されているため、品質を維持しながら費用対効果の高い AI ソリューションを求める企業にとって魅力的なオプションとなっています。
この AMP の展開方法
- Gemini Pro にアクセス: Vertex AI Marketplace で Vertex AI API を見つけて有効にしてから、API キーを作成します。次に、その API キーを生成した同じプロジェクトスペース内で Gemini を有効にします。
- AMP を起動: Cloudera AI Learning で「Document Summarization with Gemini from Vertex AI」という名前の AMP タイルをクリックし、設定情報 (Vertex AI の API キーと ML ランタイム情報) を入力して、[Launch] をクリックします。
これにより、AMP スクリプトが以下の動作を実行します。
- すべての依存関係と要件をインストールする (all-MiniLM-L6-v2組み込みモデル、Hugging Face の Transformers ライブラリ、LlamaIndex ベクトルストアなど)
- サンプルドキュメントを LlamaIndex ベクトルストアにロードする
- Streamlit UI を起動する
Streamlit UI を使用すると、以下の操作を実行できます。
- 要約に使用する Gemini Pro モデルを選択する
- テキストを貼り付けて要約する
- ドキュメントをベクトルストアにロードする (埋め込みが生成されます)
- ロードされたドキュメントを選択して要約する
- 応答の長さ (最大出力トークン) やランダム性 (temperature 値) を調整する
このように、わずか数分で要約アプリケーションを展開できます。今後も Cloudera AI と Vertex AI を使用して新たな AMP を開発する予定です。ぜひご期待ください。
