大模型正朝着"更长"的方向发展

大模型的上下文长度正在快速增长，从4000 token扩展到40万 token。长文本能力似乎成为大模型公司的新标配。

国外方面，OpenAI通过多次升级将GPT-3.5和GPT-4的上下文长度分别提升到1.6万和3.2万token。Anthropic则一次性将上下文长度扩展到10万token。LongLLaMA更是将上下文长度扩展到25.6万token甚至更多。

国内方面，据了解，有初创公司发布的智能助手产品可支持输入20万汉字，约合40万token。另有研究团队开发出可将7B模型文本长度扩展到10万token的新技术。

目前,国内外已有众多顶级大模型公司和研究机构将拓展上下文长度作为重点升级方向。这些公司大多受到资本市场的热捧,估值和融资规模均处于高位。

大模型公司集中攻克长文本技术,上下文长度扩大100倍意味着什么?

表面上看,这使得模型可输入的文本更长,阅读能力更强。从原本只能读完一篇短文,到现在可以阅读整本长篇小说。

更深层次来看,长文本技术正在推动大模型在金融、司法、科研等专业领域的落地应用。长文档摘要、阅读理解、问答等能力是这些领域智能化升级的关键。

不过,与参数规模类似,文本长度并非越长越好。研究表明,模型支持更长上下文输入与性能提升并不能直接画等号。更重要的是模型如何有效利用上下文内容。

当前,国内外对文本长度的探索还远未达到"临界点"。40万token可能只是一个开始,各大公司仍在持续突破中。