Хоча Альтман закликає до регулювання майбутнього штучного інтелекту, він не вважає поточну модель небезпечною та вважає, що було б великою помилкою регулювати чи забороняти її.
· Внутрішні дані OpenAI показують, що закони масштабування продуктивності моделі (закони масштабування) все ще діють, тому збільшення моделі продовжить забезпечувати продуктивність.
Джерело зображення: створено інструментом Unbounded AI
Минулого тижня понад 20 розробників, у тому числі генеральний директор OpenAI Сем Альтман і генеральний директор платформи розробки ШІ HumanLoop Раза Хабіб, провели закриту зустріч, щоб обговорити API OpenAI (інтерфейс програмування додатків) і плани продукту. Кілька днів потому Раза Хабібі опублікував докладний виклад основних моментів зустрічі.
Під час обговорення Альтман дуже відверто визнав, що OpenAI наразі обмежений графічним процесором (графічним процесором), і розповів про план із відкритим кодом GPT-3, поточний головний пріоритет OpenAI та соціальний вплив штучного інтелекту. Хоча Альтман закликає до регулювання майбутнього ШІ, він не вважає поточну модель небезпечною.
Альтман також сказав, що внутрішні дані OpenAI показують, що закон про пропорційність продуктивності моделі масштабу все ще справедливий, тобто чим більша модель, тим сильніша продуктивність. OpenAI продовжить намагатися зробити моделі більшими, але вони, ймовірно, щороку збільшуватимуться лише вдвічі чи втричі, а не на багато порядків.
Наразі сильно обмежено GPU
Під час дискусії постійно повторювалась тема про те, що поточна сильна залежність OpenAI від GPU призвела до затримки багатьох їхніх короткострокових планів.
OpenAI отримав найбільше скарг користувачів на надійність і швидкість API. Альтман зрозумів їхнє занепокоєння та пояснив, що велика частина проблеми спричинена браком ресурсів GPU.
Контекстну функцію 32 тис. токенів, яку раніше підтримував ChatGPT, неможливо поширити на більше людей, і OpenAI все ще має деякі проблеми, які потрібно вирішити, тому, хоча незабаром у них може з’явитися контекстне вікно 100 тис.-1 млн токенів, їх все ще потрібно отримати в результаті наукового прориву.
API тонкого налаштування наразі також обмежений ресурсами GPU. Вони ще не використовували ефективні методи тонкого налаштування, такі як адаптери або LoRa (два поширені методи тонкого налаштування для великих моделей), тому операції тонкого налаштування та керування потребують великих обчислювальних ресурсів. У майбутньому будуть кращі способи тонкого налаштування. Вони можуть навіть розмістити ринок для моделей, створених спільнотою.
Виділена ємність також обмежена ресурсами GPU. OpenAI надає спеціальну ємність для клієнтів із приватними потребами, дозволяючи клієнтам запускати приватні дані у виділеному просторі. Щоб отримати доступ до цієї послуги, клієнти повинні внести аванс у розмірі 100 000 доларів США.
Дорожня карта OpenAI
Сем поділився орієнтовною короткостроковою дорожньою картою для API OpenAI.
У 2023 році першим завданням є досягнення дешевшого та швидшого GPT-4; по-друге, довшого вікна контексту — найближчим часом вікно контексту може сягнути до 1 мільйона токенів; по-третє, API тонкої настройки розшириться до остання модель, але конкретна форма визначатиметься фактичними потребами розробників; по-четверте, API із збереженням стану - під час виклику API чату сьогодні необхідно повторно передавати ту саму історію розмов і неодноразово оплачувати ті самі токени. У майбутньому , буде версія API, яка запам’ятовує історію розмов.
У 2024 році будуть відкриті мультимодальні можливості. Коли GPT-4 був випущений, він продемонстрував потужні мультимодальні можливості, але доки графічні процесори не будуть задоволені, ця можливість не може бути розширена для всіх.
Багато розробників зацікавлені в доступі до плагінів ChatGPT через API, але Альтман не думає, що ці плагіни будуть випущені найближчим часом. На додаток до перегляду, система плагінів ще не знайшла PMF (Product Market Fit, найкраще відповідність між продуктом і ринком).
Альтман зазначив, що багато людей думають, що вони хочуть, щоб їхня програма була в ChatGPT, але насправді вони хочуть, щоб ChatGPT був у програмі.
Альтман сказав, що OpenAI не випускатиме більше продуктів, ніж ChatGPT.
Він сказав, що за умовами чудова платформа матиме вбивчу програму, і ChatGPT збирається зробити цю програму-рекордсмен. Бачення ChatGPT полягає в тому, щоб бути суперрозумним помічником для роботи, але є багато інших випадків використання GPT, яких OpenAI не торкатиметься.
Закони масштабування все ще діють
Хоча Альтман закликає до регулювання майбутнього штучного інтелекту, він не вважає поточну модель небезпечною та вважає, що було б великою помилкою регулювати чи забороняти її.
Він підтвердив свою віру у важливість відкритого коду та сказав, що OpenAI розглядає можливість зробити GPT-3 відкритим кодом. Причина, чому він не був відкритим, полягає в тому, що вони відчувають, що не так багато людей і компаній мають можливість належним чином керувати такою великою мовною моделлю.
Багато останніх статей цитували Альтмана, який сказав, що «ера гігантських моделей штучного інтелекту закінчилася», але це не зовсім точно відображає його початкове значення. Він сказав, що внутрішні дані OpenAI показують, що закони масштабування продуктивності моделі (Scaling laws) все ще діють, тому збільшення моделі продовжить забезпечувати продуктивність. Швидкість масштабування справді є неприйнятною, оскільки OpenAI збільшив модель у мільйони разів лише за кілька років, і продовжувати це робити в майбутньому не є стійким. Це не означає, що OpenAI не намагатиметься збільшити моделі, це просто означає, що вони, ймовірно, подвоюватимуться чи потроюватимуться щороку, а не на багато порядків.
Той факт, що закони масштабування продовжують діяти, має важливі наслідки для графіків розробки AGI (штучного загального інтелекту), сказав Альтман. Закон масштабування припускає, що ми, ймовірно, вже маємо більшість частин, необхідних для побудови AGI, і що більша частина роботи, що залишилася, полягатиме в масштабуванні існуючих методів до більших моделей і більших наборів даних. Якщо ера законів про масштабування закінчилася, ми, ймовірно, повинні очікувати, що до AGI ще далеко. Той факт, що закони масштабування продовжують працювати, вказує на короткий термін для досягнення AGI.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Останнє відкриття Альтмана: існує гостра нестача графічних процесорів і плани відкрити код GPT-3 і відкрити мультимодальність наступного року
Джерело: The Paper
Репортер Шао Вень
Хоча Альтман закликає до регулювання майбутнього штучного інтелекту, він не вважає поточну модель небезпечною та вважає, що було б великою помилкою регулювати чи забороняти її.
· Внутрішні дані OpenAI показують, що закони масштабування продуктивності моделі (закони масштабування) все ще діють, тому збільшення моделі продовжить забезпечувати продуктивність.
Минулого тижня понад 20 розробників, у тому числі генеральний директор OpenAI Сем Альтман і генеральний директор платформи розробки ШІ HumanLoop Раза Хабіб, провели закриту зустріч, щоб обговорити API OpenAI (інтерфейс програмування додатків) і плани продукту. Кілька днів потому Раза Хабібі опублікував докладний виклад основних моментів зустрічі.
Під час обговорення Альтман дуже відверто визнав, що OpenAI наразі обмежений графічним процесором (графічним процесором), і розповів про план із відкритим кодом GPT-3, поточний головний пріоритет OpenAI та соціальний вплив штучного інтелекту. Хоча Альтман закликає до регулювання майбутнього ШІ, він не вважає поточну модель небезпечною.
Альтман також сказав, що внутрішні дані OpenAI показують, що закон про пропорційність продуктивності моделі масштабу все ще справедливий, тобто чим більша модель, тим сильніша продуктивність. OpenAI продовжить намагатися зробити моделі більшими, але вони, ймовірно, щороку збільшуватимуться лише вдвічі чи втричі, а не на багато порядків.
Наразі сильно обмежено GPU
Під час дискусії постійно повторювалась тема про те, що поточна сильна залежність OpenAI від GPU призвела до затримки багатьох їхніх короткострокових планів.
OpenAI отримав найбільше скарг користувачів на надійність і швидкість API. Альтман зрозумів їхнє занепокоєння та пояснив, що велика частина проблеми спричинена браком ресурсів GPU.
Контекстну функцію 32 тис. токенів, яку раніше підтримував ChatGPT, неможливо поширити на більше людей, і OpenAI все ще має деякі проблеми, які потрібно вирішити, тому, хоча незабаром у них може з’явитися контекстне вікно 100 тис.-1 млн токенів, їх все ще потрібно отримати в результаті наукового прориву.
API тонкого налаштування наразі також обмежений ресурсами GPU. Вони ще не використовували ефективні методи тонкого налаштування, такі як адаптери або LoRa (два поширені методи тонкого налаштування для великих моделей), тому операції тонкого налаштування та керування потребують великих обчислювальних ресурсів. У майбутньому будуть кращі способи тонкого налаштування. Вони можуть навіть розмістити ринок для моделей, створених спільнотою.
Виділена ємність також обмежена ресурсами GPU. OpenAI надає спеціальну ємність для клієнтів із приватними потребами, дозволяючи клієнтам запускати приватні дані у виділеному просторі. Щоб отримати доступ до цієї послуги, клієнти повинні внести аванс у розмірі 100 000 доларів США.
Дорожня карта OpenAI
Сем поділився орієнтовною короткостроковою дорожньою картою для API OpenAI.
У 2023 році першим завданням є досягнення дешевшого та швидшого GPT-4; по-друге, довшого вікна контексту — найближчим часом вікно контексту може сягнути до 1 мільйона токенів; по-третє, API тонкої настройки розшириться до остання модель, але конкретна форма визначатиметься фактичними потребами розробників; по-четверте, API із збереженням стану - під час виклику API чату сьогодні необхідно повторно передавати ту саму історію розмов і неодноразово оплачувати ті самі токени. У майбутньому , буде версія API, яка запам’ятовує історію розмов.
У 2024 році будуть відкриті мультимодальні можливості. Коли GPT-4 був випущений, він продемонстрував потужні мультимодальні можливості, але доки графічні процесори не будуть задоволені, ця можливість не може бути розширена для всіх.
Багато розробників зацікавлені в доступі до плагінів ChatGPT через API, але Альтман не думає, що ці плагіни будуть випущені найближчим часом. На додаток до перегляду, система плагінів ще не знайшла PMF (Product Market Fit, найкраще відповідність між продуктом і ринком).
Альтман зазначив, що багато людей думають, що вони хочуть, щоб їхня програма була в ChatGPT, але насправді вони хочуть, щоб ChatGPT був у програмі.
Альтман сказав, що OpenAI не випускатиме більше продуктів, ніж ChatGPT.
Він сказав, що за умовами чудова платформа матиме вбивчу програму, і ChatGPT збирається зробити цю програму-рекордсмен. Бачення ChatGPT полягає в тому, щоб бути суперрозумним помічником для роботи, але є багато інших випадків використання GPT, яких OpenAI не торкатиметься.
Закони масштабування все ще діють
Хоча Альтман закликає до регулювання майбутнього штучного інтелекту, він не вважає поточну модель небезпечною та вважає, що було б великою помилкою регулювати чи забороняти її.
Він підтвердив свою віру у важливість відкритого коду та сказав, що OpenAI розглядає можливість зробити GPT-3 відкритим кодом. Причина, чому він не був відкритим, полягає в тому, що вони відчувають, що не так багато людей і компаній мають можливість належним чином керувати такою великою мовною моделлю.
Багато останніх статей цитували Альтмана, який сказав, що «ера гігантських моделей штучного інтелекту закінчилася», але це не зовсім точно відображає його початкове значення. Він сказав, що внутрішні дані OpenAI показують, що закони масштабування продуктивності моделі (Scaling laws) все ще діють, тому збільшення моделі продовжить забезпечувати продуктивність. Швидкість масштабування справді є неприйнятною, оскільки OpenAI збільшив модель у мільйони разів лише за кілька років, і продовжувати це робити в майбутньому не є стійким. Це не означає, що OpenAI не намагатиметься збільшити моделі, це просто означає, що вони, ймовірно, подвоюватимуться чи потроюватимуться щороку, а не на багато порядків.
Той факт, що закони масштабування продовжують діяти, має важливі наслідки для графіків розробки AGI (штучного загального інтелекту), сказав Альтман. Закон масштабування припускає, що ми, ймовірно, вже маємо більшість частин, необхідних для побудови AGI, і що більша частина роботи, що залишилася, полягатиме в масштабуванні існуючих методів до більших моделей і більших наборів даних. Якщо ера законів про масштабування закінчилася, ми, ймовірно, повинні очікувати, що до AGI ще далеко. Той факт, що закони масштабування продовжують працювати, вказує на короткий термін для досягнення AGI.