Los grandes modelos están desencadenando una competencia en habilidades de texto largo, la ampliación de la longitud del contexto en 100 veces provoca una transformación en la industria.
Los grandes modelos están avanzando hacia una dirección "más larga".
La longitud del contexto de los grandes modelos está creciendo rápidamente, pasando de 4000 tokens a 400,000 tokens. La capacidad de manejar textos largos parece convertirse en un estándar para las empresas de grandes modelos.
En el extranjero, OpenAI ha aumentado la longitud del contexto de GPT-3.5 y GPT-4 a 16,000 y 32,000 tokens, respectivamente, a través de múltiples actualizaciones. Anthropic, por su parte, ha ampliado la longitud del contexto a 100,000 tokens de una sola vez. LongLLaMA ha ampliado la longitud del contexto a 256,000 tokens o incluso más.
En el ámbito nacional, se ha informado que un producto de asistente inteligente lanzado por una startup puede soportar la entrada de 200,000 caracteres chinos, equivalentes a aproximadamente 400,000 tokens. Además, un equipo de investigación ha desarrollado una nueva tecnología que puede extender la longitud del texto del modelo de 7B a 100,000 tokens.
Actualmente, muchas empresas de modelos grandes y organizaciones de investigación tanto en el país como en el extranjero han puesto la ampliación de la longitud del contexto como una dirección de actualización clave. La mayoría de estas empresas están siendo muy valoradas en el mercado de capitales, y sus valoraciones y tamaños de financiación están en niveles altos.
Las empresas de grandes modelos se centran en superar la tecnología de texto largo, ¿qué significa que la longitud del contexto se amplíe 100 veces?
A primera vista, esto hace que el texto que el modelo puede ingresar sea más largo y su capacidad de lectura sea más fuerte. Pasando de poder leer solo un texto corto a ahora poder leer una novela completa.
Desde una perspectiva más profunda, la tecnología de texto largo está impulsando la aplicación práctica de grandes modelos en campos profesionales como las finanzas, la justicia y la investigación científica. Las capacidades de resumen de documentos largos, comprensión de lectura y preguntas y respuestas son clave para la actualización inteligente en estos campos.
Sin embargo, al igual que con el tamaño de los parámetros, la longitud del texto no siempre es mejor cuanto más larga sea. Las investigaciones muestran que no se puede establecer una relación directa entre el soporte de entradas de contexto más largas y la mejora del rendimiento. Lo más importante es cómo el modelo utiliza eficazmente el contenido del contexto.
Actualmente, la exploración de la longitud del texto, tanto a nivel nacional como internacional, aún no ha alcanzado el "punto crítico". 400,000 tokens pueden ser solo el comienzo, y las grandes empresas continúan superándose.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
22 me gusta
Recompensa
22
7
Republicar
Compartir
Comentar
0/400
RugpullAlertOfficer
· 07-31 13:09
BTC siempre se romperá.
Ver originalesResponder0
rekt_but_resilient
· 07-31 03:38
Con gran cantidad, se satisface.
Ver originalesResponder0
OnChain_Detective
· 07-29 12:24
El juego de larga duración va a comenzar.
Ver originalesResponder0
FloorPriceWatcher
· 07-28 18:05
La acumulación de números es potencia computacional
Los grandes modelos están desencadenando una competencia en habilidades de texto largo, la ampliación de la longitud del contexto en 100 veces provoca una transformación en la industria.
Los grandes modelos están avanzando hacia una dirección "más larga".
La longitud del contexto de los grandes modelos está creciendo rápidamente, pasando de 4000 tokens a 400,000 tokens. La capacidad de manejar textos largos parece convertirse en un estándar para las empresas de grandes modelos.
En el extranjero, OpenAI ha aumentado la longitud del contexto de GPT-3.5 y GPT-4 a 16,000 y 32,000 tokens, respectivamente, a través de múltiples actualizaciones. Anthropic, por su parte, ha ampliado la longitud del contexto a 100,000 tokens de una sola vez. LongLLaMA ha ampliado la longitud del contexto a 256,000 tokens o incluso más.
En el ámbito nacional, se ha informado que un producto de asistente inteligente lanzado por una startup puede soportar la entrada de 200,000 caracteres chinos, equivalentes a aproximadamente 400,000 tokens. Además, un equipo de investigación ha desarrollado una nueva tecnología que puede extender la longitud del texto del modelo de 7B a 100,000 tokens.
Actualmente, muchas empresas de modelos grandes y organizaciones de investigación tanto en el país como en el extranjero han puesto la ampliación de la longitud del contexto como una dirección de actualización clave. La mayoría de estas empresas están siendo muy valoradas en el mercado de capitales, y sus valoraciones y tamaños de financiación están en niveles altos.
Las empresas de grandes modelos se centran en superar la tecnología de texto largo, ¿qué significa que la longitud del contexto se amplíe 100 veces?
A primera vista, esto hace que el texto que el modelo puede ingresar sea más largo y su capacidad de lectura sea más fuerte. Pasando de poder leer solo un texto corto a ahora poder leer una novela completa.
Desde una perspectiva más profunda, la tecnología de texto largo está impulsando la aplicación práctica de grandes modelos en campos profesionales como las finanzas, la justicia y la investigación científica. Las capacidades de resumen de documentos largos, comprensión de lectura y preguntas y respuestas son clave para la actualización inteligente en estos campos.
Sin embargo, al igual que con el tamaño de los parámetros, la longitud del texto no siempre es mejor cuanto más larga sea. Las investigaciones muestran que no se puede establecer una relación directa entre el soporte de entradas de contexto más largas y la mejora del rendimiento. Lo más importante es cómo el modelo utiliza eficazmente el contenido del contexto.
Actualmente, la exploración de la longitud del texto, tanto a nivel nacional como internacional, aún no ha alcanzado el "punto crítico". 400,000 tokens pueden ser solo el comienzo, y las grandes empresas continúan superándose.