大模型正朝着"更長"的方向發展

大模型的上下文長度正在快速增長，從4000 token擴展到40萬 token。長文本能力似乎成爲大模型公司的新標配。

國外方面，OpenAI通過多次升級將GPT-3.5和GPT-4的上下文長度分別提升到1.6萬和3.2萬token。Anthropic則一次性將上下文長度擴展到10萬token。LongLLaMA更是將上下文長度擴展到25.6萬token甚至更多。

國內方面，據了解，有初創公司發布的智能助手產品可支持輸入20萬漢字，約合40萬token。另有研究團隊開發出可將7B模型文本長度擴展到10萬token的新技術。

目前,國內外已有衆多頂級大模型公司和研究機構將拓展上下文長度作爲重點升級方向。這些公司大多受到資本市場的熱捧,估值和融資規模均處於高位。

大模型公司集中攻克長文本技術,上下文長度擴大100倍意味着什麼?

表面上看,這使得模型可輸入的文本更長,閱讀能力更強。從原本只能讀完一篇短文,到現在可以閱讀整本長篇小說。

更深層次來看,長文本技術正在推動大模型在金融、司法、科研等專業領域的落地應用。長文檔摘要、閱讀理解、問答等能力是這些領域智能化升級的關鍵。

不過,與參數規模類似,文本長度並非越長越好。研究表明,模型支持更長上下文輸入與性能提升並不能直接畫等號。更重要的是模型如何有效利用上下文內容。

當前,國內外對文本長度的探索還遠未達到"臨界點"。40萬token可能只是一個開始,各大公司仍在持續突破中。