この記事は、2024/12/06に公開された「The Struggle Between Data Dark Ages and LLM Accuracy」の翻訳です。
ご存知のように、人工知能は私たちの生活とビジネスを一変させる可能性を秘めています。しかし、その未来は実際どのようなものになるのでしょうか。Cloudera が提供するポッドキャスト「The AI Forecast: Data and AI in the Cloud Era」(AI に関する予測: クラウド時代のデータと AI) は、AI がビジネス、産業、そして世界全体に与える影響を客観的に評価するのに役立ちます。
毎週配信される「The AI Forecast」では、ホストを務める Paul Muller 氏が AI 分野のエキスパートと対談し、企業における AI の現状、AI を支えるデータアーキテクチャやインフラストラクチャーの種類、導入すべきガードレール、模範的な成功事例、そして注意が必要な参考事例などを紹介しています。
AI の導入が成功するかどうかは、その基盤となるデータにかかっています。そこで、今日の AI ブームの中で次世代のデータがどのようなものになるのかを探るため、この新しいポッドキャストの第1回では、Constellation Research 社の創設者兼会長で主席アナリストを務める R "Ray" Wang 氏をお招きしてお話を伺いました。
Ray 氏との対談から得られた重要なポイントをいくつかご紹介します。
LLM の精度は今のところ悪くないが、完璧ではない
Paul 氏: 精度の高いデータについてお伺いしたいと思います。実は最近、データの暗黒時代について書かれたあなたのブログ記事を拝見しました。今日の精度の高いデータとはどういうものであり、データの暗黒時代とどのように関係しているのでしょうか。
Ray 氏: 今の私たちは、LLM の精度が85% で満足している状態です。顧客体験に関していえば、85% という精度は悪くはありません。例えば、かかってきた営業電話が間違った担当者に転送されたり、店のレジでフライドポテトの金額が間違っていたりするかもしれませんが、これらはいずれも些細なことです。
しかし、サプライチェーンの分野で精度が85% の場合、製造業務は成り立ちません。金融の分野で精度が85% だと、担当者が刑務所行きになってしまう可能性があります。したがって、精度をさらに10% 高める必要があり、そのために重要な役割を果たすのが小規模言語モデルです。この10% は最初の85% と同じくらいの価値があり、さらに95% に引き上げるための次の5% とも同じくらいの価値があります。100% に到達するための最後の5% は、さらに価値が高まるでしょう。そのために必要なのは、文脈や位置情報など、これまで取得していなかったメタデータかもしれません。発汗量から心拍数まで、あらゆる情報を取得することが必要になるわけです。
LLM の精度にとって最後の障害は、入手可能なデータ
Ray 氏: しかし、関係者が信頼できるレベルまで精度を高めるためには、データが不足しています。インターネット上で公開されている情報は、そのほとんどがすでにスクレイピングされており、新しい情報がないのです。人々はリスクを恐れて、情報を公開しなくなっています。私たちは、データが不足していた時代からあらゆるデータが手に入る時代へと移行しましたが、2022年以降は人々がデータの囲い込みを始めたため、最新の情報が得られなくなっています。
今後、価値のある情報が公開されなくなることで、私たちはデータとインターネットの暗黒時代に突入することになるでしょう。
暗黒時代に生まれるバリューチェーン
Ray 氏: データとインターネットの暗黒時代には、あらゆる新しい情報や洞察が価値を持つようになるでしょう。企業の価値は、収益だけでなく、ビジネスのグラフやその背後にあるデータによっても評価されるようになります。
また、企業同士が提携する場合でも、その相手は競合他社ではなくなるはずです。例えば、大手小売業者が製造業者や流通業者と提携して、需要や価格弾力性、あるいは供給可能な在庫に関する情報を共有するといったことが考えられます。こうした情報は非常に価値が高く、人々はそれに基づいて入札を行い、市場を形成するようになるでしょう。
つまり、データの集合体が徐々に集約され、業界のバリューチェーンで情報の統合と共有が進むようになります。このバリューチェーンには、直接的な競合相手は含まれません。製造、流通、小売という流れにより、自然な形でバリューチェーンが形成されます。こうした自然なバリューチェーンの中で、データを共有する方法が徐々に浸透し、そのためのさまざまなメカニズムが活用されるようになるでしょう。
+++
今後も Spotify や Apple Podcasts で、「The AI Forecast: Data and AI in the Cloud Era」(AI に関する予測: クラウド時代のデータと AI) のエピソードを配信しますので、どうぞお楽しみください。
