Прорив технології генерації відео AI та її поєднання з Web3

Останнім часом одним із найзначніших досягнень у сфері ШІ є прорив у технології генерації мультимедійних відео. Ця технологія розвинулася від генерації відео з одного тексту до всебічної здатності інтегрувати текст, зображення та аудіо.

Кілька вражаючих прикладів технологічних проривів включають:

1. Відкритий фреймворк EX-4D, розроблений технологічною компанією, може перетворювати звичайні відео на контент у вільному ракурсі 4D, що отримало схвалення користувачів на рівні 70,7%. Ця технологія робить можливим створення багатокутового перегляду з відео з одного ракурсу, що значно спрощує складний процес традиційного 3D-моделювання.

2. Деяка AI платформа представила функцію "Художнє уявлення", яка стверджує, що може генерувати 10-секундне "кінематографічне" відео з одного зображення. Проте справжність цієї реклами ще потрібно перевірити.

3. Відомий дослідницький інститут штучного інтелекту розробив систему Veo, яка може синхронно генерувати 4K відео та навколишні звукові ефекти. Ця технологія подолала проблему узгодження відео та аудіо, досягаючи синхронізації звуку та зображення в складних сценах.

4. Технологія ContentV певної платформи коротких відео має 80 мільярдів параметрів і може генерувати 1080p відео за 2,3 секунди, вартість складає 3,67 юаня/5 секунд. Хоча контроль витрат непоганий, проте у обробці складних сцен є ще місце для покращення.

Ці технологічні прориви мають велике значення в таких аспектах, як якість відео, витрати на генерацію та сценарії використання. З технічної точки зору, складність багатомодального відеогенерування є експоненційною, що включає обробку величезної кількості пікселів, забезпечення часової узгодженості, синхронізацію аудіо та просторову узгодженість 3D. Наразі через модульну декомпозицію та співпрацю великих моделей ці складні завдання стали можливими.

У плані витрат за цим стоїть оптимізація архітектури висновків, включаючи ієрархічну генеративну стратегію, механізм повторного використання кешу та динамічне розподілення ресурсів. Ці оптимізації значно знизили витрати на генерацію відео.

У сфері застосування технології штучного інтелекту руйнують традиційні процеси виробництва відео. Відеопродукція, яка раніше вимагала великої кількості обладнання, приміщень, трудозатрат і часу, тепер може бути виконана за короткий проміжок часу за допомогою ШІ і досягти деяких результатів, які важко досягти традиційними методами зйомки. Ця трансформація може змінити всю економіку творців.

Отже, яке відношення між цими досягненнями Web2 AI технологій та Web3 AI?

По-перше, структура попиту на обчислювальну потужність змінилася. Генерація мультимодальних відео потребує різноманітних комбінацій обчислювальної потужності, що створює нові можливості для розподіленої незайнятої обчислювальної потужності.

По-друге, зростає потреба у високоякісній розмітці даних. Для створення професійного рівня відео потрібні точні описи сцен, референтні зображення, аудіо стилі та інші професійні дані. Заохочувальний механізм Web3 може залучити фахівців для надання високоякісних матеріалів даних.

Насамкінець, технології ШІ розвиваються від централізованого великих ресурсів до модульної співпраці, що саме по собі є новою вимогою для децентралізованих платформ. У майбутньому обчислювальна потужність, дані, моделі та механізм стимулювання можуть сформувати самопідтримувану екосистему, що сприятиме глибокій інтеграції сцен Web3 AI і Web2 AI.