Büyük modeller "daha uzun" bir yöne doğru gelişiyor
Büyük modellerin bağlam uzunluğu hızla artıyor, 4000 token'dan 400.000 token'a genişliyor. Uzun metin yetenekleri, büyük model şirketlerinin yeni standart özelliği haline geliyor.
Yurt dışında, OpenAI, GPT-3.5 ve GPT-4'ün bağlam uzunluğunu sırasıyla 16.000 ve 32.000 token'a yükseltmek için bir dizi güncelleme gerçekleştirdi. Anthropic ise bağlam uzunluğunu tek seferde 100.000 token'a genişletti. LongLLaMA, bağlam uzunluğunu 256.000 token'a ve hatta daha fazlasına genişletti.
Ülke içinde, bazı girişim şirketleri tarafından piyasaya sürülen akıllı asistan ürünlerinin 200.000 Çin karakterini, yaklaşık 400.000 token'ı desteklediği öğrenildi. Ayrıca bir araştırma ekibi, 7B modelinin metin uzunluğunu 100.000 token'a çıkartabilen yeni bir teknoloji geliştirdi.
Şu anda, yurt içi ve yurt dışında birçok üst düzey büyük model şirketi ve araştırma kurumu, bağlam uzunluğunu genişletmeyi ana yükseltme yönü olarak belirlemiştir. Bu şirketlerin çoğu, sermaye piyasalarının büyük ilgisini çekmekte olup, değerlemeleri ve finansman ölçekleri yüksek seviyelerde bulunmaktadır.
Büyük model şirketleri uzun metin teknolojisini ele alıyor, bağlam uzunluğunun 100 kat artması ne anlama geliyor?
Görünüşte, bu modelin girdiği metinlerin daha uzun olmasını ve okuma yeteneğinin daha güçlü olmasını sağlıyor. Başlangıçta yalnızca kısa bir metni okuyabilen model, şimdi bir romanın tamamını okuyabiliyor.
Daha derin bir bakış açısıyla, uzun metin teknolojisi büyük modellerin finans, yargı, araştırma gibi uzmanlık alanlarında uygulanmasını teşvik ediyor. Uzun belge özetleme, okuma anlama, soru yanıtlama gibi yetenekler bu alanların akıllı dönüşümünün anahtarıdır.
Ancak, parametre ölçeği gibi, metin uzunluğu her zaman daha uzun olduğu anlamına gelmez. Araştırmalar, modelin daha uzun bağlam girdisini desteklemesi ile performans artışı arasında doğrudan bir eşitlik kurulamayacağını göstermektedir. Daha önemli olan, modelin bağlam içeriğini ne kadar etkili bir şekilde kullanabileceğidir.
Şu anda, yurt içinde ve yurt dışında metin uzunluğuna yönelik araştırmalar "kritik nokta"ya henüz ulaşmamıştır. 400.000 token belki de sadece bir başlangıçtır, büyük şirketler hâlâ sürekli bir atılım içindedir.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Büyük modeller uzun metin yetenekleri yarışını başlatıyor, bağlam uzunluğunun 100 kat artırılması sektörde devrim yaratıyor.
Büyük modeller "daha uzun" bir yöne doğru gelişiyor
Büyük modellerin bağlam uzunluğu hızla artıyor, 4000 token'dan 400.000 token'a genişliyor. Uzun metin yetenekleri, büyük model şirketlerinin yeni standart özelliği haline geliyor.
Yurt dışında, OpenAI, GPT-3.5 ve GPT-4'ün bağlam uzunluğunu sırasıyla 16.000 ve 32.000 token'a yükseltmek için bir dizi güncelleme gerçekleştirdi. Anthropic ise bağlam uzunluğunu tek seferde 100.000 token'a genişletti. LongLLaMA, bağlam uzunluğunu 256.000 token'a ve hatta daha fazlasına genişletti.
Ülke içinde, bazı girişim şirketleri tarafından piyasaya sürülen akıllı asistan ürünlerinin 200.000 Çin karakterini, yaklaşık 400.000 token'ı desteklediği öğrenildi. Ayrıca bir araştırma ekibi, 7B modelinin metin uzunluğunu 100.000 token'a çıkartabilen yeni bir teknoloji geliştirdi.
Şu anda, yurt içi ve yurt dışında birçok üst düzey büyük model şirketi ve araştırma kurumu, bağlam uzunluğunu genişletmeyi ana yükseltme yönü olarak belirlemiştir. Bu şirketlerin çoğu, sermaye piyasalarının büyük ilgisini çekmekte olup, değerlemeleri ve finansman ölçekleri yüksek seviyelerde bulunmaktadır.
Büyük model şirketleri uzun metin teknolojisini ele alıyor, bağlam uzunluğunun 100 kat artması ne anlama geliyor?
Görünüşte, bu modelin girdiği metinlerin daha uzun olmasını ve okuma yeteneğinin daha güçlü olmasını sağlıyor. Başlangıçta yalnızca kısa bir metni okuyabilen model, şimdi bir romanın tamamını okuyabiliyor.
Daha derin bir bakış açısıyla, uzun metin teknolojisi büyük modellerin finans, yargı, araştırma gibi uzmanlık alanlarında uygulanmasını teşvik ediyor. Uzun belge özetleme, okuma anlama, soru yanıtlama gibi yetenekler bu alanların akıllı dönüşümünün anahtarıdır.
Ancak, parametre ölçeği gibi, metin uzunluğu her zaman daha uzun olduğu anlamına gelmez. Araştırmalar, modelin daha uzun bağlam girdisini desteklemesi ile performans artışı arasında doğrudan bir eşitlik kurulamayacağını göstermektedir. Daha önemli olan, modelin bağlam içeriğini ne kadar etkili bir şekilde kullanabileceğidir.
Şu anda, yurt içinde ve yurt dışında metin uzunluğuna yönelik araştırmalar "kritik nokta"ya henüz ulaşmamıştır. 400.000 token belki de sadece bir başlangıçtır, büyük şirketler hâlâ sürekli bir atılım içindedir.