AI行业的百模大战：从学术难题到工程问题

上个月，AI业界上演了一场动物主题的对决。

一方是Meta推出的Llama，因其开源特性深受开发者社区欢迎。日本电气公司(NEC)在研究Llama论文和源代码后，迅速开发出了日语版ChatGPT，为日本解决了AI发展的瓶颈。

另一方是名为Falcon的大模型。今年5月，Falcon-40B问世，超越Llama登顶了"开源LLM排行榜"。该榜单由开源模型社区制作，提供了评估LLM能力的标准。排行榜基本上就是Llama和Falcon轮流占据榜首。

Llama 2发布后，Llama家族暂时领先；但到了9月初，Falcon推出180B版本，再次获得更高排名。

有趣的是，Falcon的开发者是阿联酋首都阿布扎比的科技创新研究所。阿联酋官方表示，他们参与这个领域是为了打破现有格局。

180B版本发布次日，阿联酋人工智能部长入选了《时代周刊》评选的"AI领域最具影响力的100人"；与他一同入选的还有"AI教父"辛顿、OpenAI的阿尔特曼等人。

如今，AI领域已进入百花齐放阶段：稍有财力的国家和企业，都在推进本土版ChatGPT的计划。仅在海湾地区，就不止一个参与者——8月，沙特阿拉伯刚为国内大学购买了3000多块H100芯片，用于训练LLM。

有投资人曾吐槽道："当年看不起互联网的商业模式创新，觉得没有壁垒；没想到硬科技大模型创业，依然是百家争鸣..."

本应是高难度的硬科技，为何变成了人人都能参与的竞赛？

Transformer：AI发展的关键转折点

美国初创公司、中国科技巨头、中东石油大亨能够追逐大模型梦想，都要归功于那篇著名论文：《Attention Is All You Need》。

2017年，8位谷歌计算机科学家在这篇论文中公开了Transformer算法。这篇论文目前是AI历史上被引用第三多的论文，Transformer的出现引发了此轮AI热潮。

当前各种大模型，包括轰动全球的GPT系列，都建立在Transformer的基础之上。

在此之前，让机器理解文字一直是学术界的难题。不同于图像识别，人类阅读时不仅关注当前词句，还会结合上下文理解。早期神经网络的输入彼此独立，难以理解长文本甚至整篇文章。

2014年，谷歌科学家伊利亚首次取得突破。他使用循环神经网络(RNN)处理自然语言，使谷歌翻译性能大幅提升。RNN引入"循环设计"，让神经元既接收当前输入，也接收上一时刻输入，从而具备了"结合上下文"的能力。

RNN的出现激发了学术界的研究热情。然而开发者们很快发现，RNN存在严重缺陷：该算法使用顺序计算，虽然解决了上下文问题，但运行效率低下，难以处理大量参数。

从2015年开始，沙泽尔等人着手开发RNN的替代品，最终成果就是Transformer。相比RNN，Transformer有两大创新：一是用位置编码取代循环设计，实现并行计算，大幅提升训练效率；二是进一步增强了理解上下文的能力。

Transformer一举解决了多个技术难题，逐渐成为自然语言处理的主流方案。它让大模型从理论研究转变为纯粹的工程问题。

2019年，OpenAI基于Transformer开发出GPT-2，震惊学术界。谷歌随即推出性能更强的AI——Meena。Meena相比GPT-2没有算法创新，仅是增加了训练参数和算力。这种"暴力堆砌"方法给Transformer作者沙泽尔留下深刻印象。

Transformer的问世，使学术界底层算法创新速度放缓。数据工程、算力规模、模型架构等工程要素，逐渐成为AI竞赛的关键。只要有一定技术实力的公司，都能开发出大模型。

计算机科学家吴恩达在斯坦福大学演讲时指出："AI是一系列工具的集合，包括监督学习、无监督学习、强化学习以及现在的生成式AI。这些都是通用技术，类似于电力和互联网。"

OpenAI虽然仍是LLM的领跑者，但半导体分析机构认为，GPT-4的优势主要源自工程解决方案——如果开源，任何竞争对手都能快速复制。该分析师预计，其他大型科技公司可能很快就能打造出与GPT-4性能相当的大模型。

护城河的脆弱性

如今，"百模大战"已不再是夸张说法，而是客观现实。

报告显示，截至今年7月，中国大模型数量达130个，超过美国的114个。除中美两国外，其他富裕国家也纷纷推出本土大模型：如印度政府主导的Bhashini、韩国互联网公司Naver打造的HyperClova X等。

这场景仿佛回到了互联网早期，资本与技术激烈角逐的时代。

正如前文所述，Transformer使大模型成为纯工程问题，只要有人才、资金和硬件，就能通过堆砌参数来实现。但入场门槛降低并不意味着人人都能成为AI时代的巨头。

以文章开头提到的"动物大战"为例：Falcon虽然在某些排名上超越了Llama，但对Meta的实际影响有限。

众所周知，企业开源自身的科研成果，既是为了分享科技进步，也希望借助群众智慧。随着学术界和产业界不断使用、改进Llama，Meta可以将这些成果应用到自己的产品中。

对开源大模型而言，活跃的开发者社区才是核心竞争力。Meta早在2015年成立AI实验室时就确立了开源策略；扎克伯格凭借社交媒体起家，深谙"维护用户关系"之道。

例如今年10月，Meta专门举办了"AI创作者激励"活动：使用Llama 2解决教育、环境等社会问题的开发者，有机会获得50万美元资助。

如今，Meta的Llama系列已成为开源LLM的标杆。截至10月初，某开源LLM排行榜前10名中，8个都基于Llama 2开发，采用其开源协议。仅在该平台上，使用Llama 2开源协议的LLM就超过1500个。

当然，像Falcon那样提升性能也是一种策略，但目前大多数LLM与GPT-4仍有明显差距。

例如近期，GPT-4以4.41分的成绩在AgentBench测试中排名第一。AgentBench由多所知名大学共同推出，用于评估LLM在多维度开放式环境中的推理和决策能力。测试结果显示，第二名Claude仅2.77分，差距显著。其他知名开源LLM的得分多在1分左右，不到GPT-4的四分之一。

值得注意的是，GPT-4发布于今年3月，这还是全球同行追赶半年多后的成绩。OpenAI能保持领先地位，源自其高水平的科研团队和长期积累的经验。

换言之，大模型的核心优势并非参数规模，而是生态建设（开源路线）或纯粹的推理能力（闭源路线）。

随着开源社区日益活跃，各LLM的性能可能趋于一致，因为大家都在使用相似的模型架构和数据集。

另一个更直观的问题是：除了Midjourney，似乎还没有哪个大模型能实现盈利。

价值锚定的挑战

今年8月，一篇题为"OpenAI可能于2024年底破产"的文章引发关注。文章主旨可概括为：OpenAI的烧钱速度过快。

文中提到，自开发ChatGPT以来，OpenAI的亏损迅速扩大，2022年就亏损约5.4亿美元，只能依靠微软投资维持。

虽然标题有些耸人听闻，但确实反映了大模型提供商的普遍现状：成本与收入严重失衡。

过高的成本导致目前主要受益于AI热潮的只有英伟达等芯片制造商。

据咨询公司Omdia估计，英伟达在今年二季度售出超30万块H100芯片。这是一款高效的AI芯片，全球科技公司和研究机构都在争相购买。如果将这30万块H100叠在一起，重量相当于4.5架波音747飞机。

英伟达的业绩随之飙升，同比营收增长854%，令华尔街震惊。目前H100在二手市场的价格已被炒到4-5万美元，而其物料成本仅约3000美元。

高昂的算力成本在某种程度上阻碍了行业发展。红杉资本曾估算：全球科技公司每年预计将投入2000亿美元用于大模型基础设施建设；相比之下，大模型每年最多只能产生750亿美元的收入，存在至少1250亿美元的缺口。

此外，除了Midjourney等少数例外，大多数软件公司在投入巨额成本后，仍未找到清晰的盈利模式。即使是行业领头羊微软和Adobe的AI业务也面临挑战。

微软与OpenAI合作开发的AI代码生成工具GitHub Copilot，虽每月收取10美元会费，但由于设施成本，微软反而每月亏损20美元，重度用户甚至会让微软每月亏损80美元。据此推测，定价30美元的Microsoft 365 Copilot可能亏损更多。

同样，刚推出Firefly AI工具的Adobe也迅速引入了积分系统，防止用户过度使用导致公司亏损。一旦用户超出每月分配的积分，Adobe就会降低服务速度。

值得注意的是，微软和Adobe已经拥有明确的业务场景和大量付费用户。而大多数参数规模庞大的大模型，最主要的应用场景仍是聊天。

不可否认，如果没有OpenAI和ChatGPT的横空出世，这场AI革命可能不会发生。但在当前阶段，训练大模型所创造的价值仍有待商榷。

随着同质化竞争加剧，以及开源模型的不断涌现，单纯的大模型供应商可能面临更大的生存压力。

就像iPhone 4的成功不仅仅依赖于其A4处理器，而是因为它能运行各种有趣的应用一样，AI的真正价值可能更多地体现在其具体应用场景中。