この記事は、2024/9/26に公開された「Streamlining Generative AI Deployment with New Accelerators」の翻訳です。
ML プロジェクト向けアクセラレータ (AMP) を新たに4種類導入し、本番環境で活用できる生成AI開発に関する課題を克服
生成 AI ユースケースの素晴らしいアイデアを本番環境へ導入するまでの道のりは、迷路に似ています。技術的なハードル、セキュリティ上の懸念、優先順位の変化など、角を曲がるたびに新たな課題が提示され、進捗が滞ったり、やり直しを余儀なくされたりすることもあります。
Cloudera は、多くの企業が直面する苦労を認識しており、それに対応するために ML プロジェクト用アクセラレータ (AMP) の構築を開始しました。AMPは、完全に構築された ML プロトタイプであり、Cloudera Machine Learning から直接ワンクリックでデプロイできます。AMP により、データサイエンティストはアイデアから完全に動作する ML ユースケースまで、ほんのわずかな時間で実行できるようになります。事前に構築されたワークフロー、ベストプラクティス、エンタープライズグレードのツールとの統合を提供することで、AMP は機械学習モデルの構築とデプロイに伴う複雑さの多くを排除します。
Cloudera は、ML の実践者をサポートするという当社の継続的な考えに沿って、4つの新しいアクセラレータのリリースを発表しました。これらの最先端ツールは、生成 AI の注目トピックに焦点を当て、企業がイノベーションを解き放ち、インパクトのあるソリューションの開発を加速できるよう支援します。
Fine Tuning Studio
ファインチューニングは、特化した大規模言語モデル (LLM) を作成するための重要な手法として浸透してきました。LLM は基本的にインターネット全体を対象に学習するため、多くのことをうまくこなせるジェネラリストです。しかし、コード生成や希少な方言の言語翻訳など、特定のタスクに秀でるためには、より焦点を絞った専門的なデータセットを用いて、そのタスク用にチューニングする必要があります。このプロセスにより、モデルはその理解を洗練させ、特定のタスクのニュアンスにより最適な出力が可能となり、その分野において正確で効率的なものになります。
Fine Tuning Studio
は Cloudera が開発した AMP で、LLM の管理、ファインチューニング、評価のための包括的なアプリケーションと「エコシステム」を、ユーザーに提供します。このアプリケーションは、LLM のトレーニングおよび評価タイプのタスクのために特別に構成された他の Cloudera Machine Learning ワークロード (主にジョブ機能経由) を整理し、ディスパッチするのに役立つランチャーです。
ナレッジグラフを活用したRAG
検索拡張生成 (RAG) は、LLM からの応答に追加のコンテキストを加えるための既定の手法の1つとなっています。このアプリケーションアーキテクチャは、プロンプトエンジニアリングとベクトルストアを利用して、推論時に LLM に新しい情報を提供します。しかし、RAG アプリケーションの性能は完璧とは言い難いものがあります。そこで、データを、相互接続されたエンティティや関係性に構造化するナレッジグラフを統合するような技術革新が求められています。この追加により、検索精度、文脈関連性、推論能力、およびドメイン固有の理解が向上し、RAG システムの全体的な有効性が高まります。
RAG with Knowledge Graph は、学術研究論文の検索用に設計されたソリューションを使用して、知識グラフを統合することで RAG のパフォーマンスがどのように向上するかを実証しています。このソリューションは、arXiv から重要な AI/ML 論文を、Neo4j のナレッジグラフとベクトルストアに取り込みます。LLM には、リモートでもローカルでも活用できる Meta-Llama-3.1-8B-Instruct を使用しました。ナレッジグラフが RAG にもたらす改善を明確にするために、UI ではナレッジグラフ有り、無しの結果を比較しています。
Vertav の PromptBrew
生成 AI の成功の80%はプロンプトに依存しますが、ほとんどのAI開発者は良いプロンプトを書くことができません。プロンプトエンジニアリングのスキルにこのようにギャップがあることは、生成 AI モデルの有効性が、指示によっていかにうまく誘導されるかに大きく左右されるため、多くの場合、最適とは言えない結果を生み出します。モデルの能力を最大限に引き出すには、正確かつ明確で、文脈に適したプロンプトを作成することが重要です。適切に設計されたプロンプトがなければ、最も高度なモデルであっても、関連がなく曖昧であったり、低品質の出力を生成する可能性があります。
PromptBrew なら、開発者が高性能で信頼性の高いプロンプトを簡単に作成できるよう、AI を活用した支援を提供します。具体的なプロジェクトの目標やプロンプトの草案から始めても、PromptBrew は合理化されたプロセスを通してガイドし、プロンプトを洗練させるための提案や最適化を提供できます。複数のプロンプト候補を生成し、改善点を提案することで、入力内容は最良の結果になるように調整されます。最適化されたプロンプトは、プロジェクトのワークフローにシームレスに統合され、生成 AI アプリケーションのパフォーマンスと精度を向上させていきます。
ドキュメントとチャット
この AMP では、オープンソースで事前にトレーニングされた、指示に従う大規模言語モデル (LLM) を使用して、チャットボットを構築する方法を紹介します。チャットボットの応答は、ユーザーがアップロードしたドキュメントから作成された内部知識ベースからのコンテキストを提供することによって改善されます。この文脈は、オープンソースのベクトルデータベースを利用したセマンティック検索によって取得されます。
既存のLLM Chatbot Augmented with Enterprise Data AMP と比較すると、このバージョンには、ユーザードキュメントの取り込み、質問の自動生成、結果のストリーミングなどの新機能が含まれています。また、Llama Index を活用して RAG パイプラインを実装しています。
詳しくはこちらをご覧ください。
