AI分野の"百モデル戦争": エンジニアリングの問題がアルゴリズムの革新に取って代わる

先月、AI界で「動物の争い」が勃発しました。一方はMetaが発表したLlamaモデルで、そのオープンソース特性から開発者に愛されています。もう一方はFalconという名前の大規模モデルで、5月に登場して以来、Llamaを抑えてオープンソースLLMランキングのトップに立ちました。

興味深いことに、Falconの開発者はアラブ首長国連邦の科学技術革新研究所です。180Bバージョンのリリース後、アラブ首長国連邦の人工知能大臣は《タイム》誌のAI分野で最も影響力のある100人に選ばれました。

現在、一定の財力を持つ国や企業は、自らの大規模言語モデルを構築しています。湾岸諸国だけでも1つ以上のプレイヤーが存在し、サウジアラビアは国内の大学のために3000枚以上のH100チップを購入し、LLMのトレーニングに使用しています。

この「百模戦」の背後には、Transformerアルゴリズムの功績があります。2017年、Googleは「Attention Is All You Need」という論文でTransformerアルゴリズムを公開し、これが今回のAIブームの引き金となりました。その後のすべての大規模モデル、GPTシリーズを含む、はTransformerを基に構築されています。

Transformerは、初期の神経ネットワークが文脈を理解するのが難しかった問題を解決し、トレーニングの効率を大幅に向上させ、AIを大規模モデルの時代に推進しました。それは、大規模モデルを理論研究から純粋なエンジニアリングの問題に変えました - 十分なデータ、計算力、モデルアーキテクチャがあれば、技術的能力のある企業は誰でも大規模モデルを構築できます。

これにより、学術界の基盤となるアルゴリズムの革新速度が鈍化し、データ、計算能力、モデルアーキテクチャなどのエンジニアリング要素がAI競争の鍵となっています。分析によれば、たとえGPT-4の競争力があっても、それは主にエンジニアリングソリューションに由来し、オープンソース化されれば、競争相手はすぐにコピーできるとのことです。

しかし、参入が容易だとしても、誰もがAI時代の巨頭になれるわけではありません。MetaのLlamaシリーズはオープンソースのLLMの指標となり、大規模な開発者コミュニティを持っています。一方、性能面では、GPT-4は依然として遥かに優れており、他のモデルはその背中を追うことすら難しいです。

大規模モデルのコア競争力は、エコシステムの構築や純粋な推論能力にあり、単にパラメータの規模だけではありません。オープンソースコミュニティがますます活発になるにつれて、各LLMの性能はおそらく収束するでしょう。

より大きな課題は収益モデルです。少数の例外を除いて、ほとんどの大規模モデルプロバイダーは、コストと収益の严重な不均衡の問題に直面しています。高額なアルゴリズムコストは業界の発展の障害となっており、ソフトウェア会社は巨額のコストを支払った後に明確な収益方法を見つけていません。

同質化競争が激化し、オープンソースモデルが増えるにつれて、単純な大規模モデルの提供者はより大きな圧力に直面する可能性があります。将来的には、真の価値はモデル自体にあるのではなく、その応用シーンと商業化能力にあるかもしれません。