Компанія Google представила свою революційну розробку у сфері генеративного ШІ — модель Lumiere. Це нейромережа, що здатна створювати високоякісні та реалістичні відеоролики за простим текстовим описом, значно випереджаючи за якістю та плавністю руху більшість існуючих аналогів.
Головна інновація: Технологія Space-Time U-Net (STUNet)
На відміну від інших моделей, які спочатку генерують ключові кадри, а потім "заповнюють" проміжки між ними (що часто призводить до "рваного" та неприродного руху), Lumiere використовує принципово інший підхід.
Що таке STUNet? Архітектура Space-Time U-Net обробляє весь відеоролик як єдине ціле. Вона одночасно генерує простір (те, що знаходиться в кадрі) і час (як воно рухається) для всієї тривалості відео.
Результат: Завдяки цьому відео, створені Lumiere, виглядають надзвичайно плавними, цілісними та реалістичними. Рух об'єктів, води, тканин та інших елементів виглядає природно, без артефактів та "тремтіння", характерних для старих моделей.
Ключові можливості Lumiere
Модель демонструє вражаючі здібності, які виходять за рамки простої генерації "текст-у-відео":
Генерація з зображення (Image-to-Video): Lumiere може "оживити" статичне зображення. Ви завантажуєте картинку і даєте текстовий запит (наприклад, "щоб з труби йшов дим"), і нейромережа створює анімацію на основі цього зображення.
Стилізація відео (Stylized Generation): Ви можете надати моделі референсне зображення зі стилем (наприклад, картину Ван Гога) і попросити згенерувати відео в аналогічному стилі.
"Кінографи" (Cinemagraphs): Lumiere дозволяє анімувати лише певну частину статичного зображення, створюючи ефект "живих фотографій". Наприклад, можна змусити рухатися лише хмари на пейзажному фото, залишаючи все інше нерухомим.
Inpainting/Outpainting для відео: Модель може редагувати вже існуючі відеоролики: змінювати одяг на персонажі, додавати нові об'єкти або навіть "домальовувати" те, що знаходиться за межами кадру.
Потенційне застосування та майбутнє
Хоча наразі Lumiere є дослідницьким проєктом і недоступний для широкого загалу, його потенціал величезний. Ця технологія може кардинально змінити підходи до:
- Створення контенту: Швидка генерація унікальних відео для соціальних мереж та реклами.
- Кіновиробництва: Створення чорнових анімацій (превізуалізацій) та спецефектів.
- Дизайну та освіти: Створення наочних посібників та прототипів.
Офіційне джерело
Дізнатися більше, переглянути численні приклади та ознайомитися з технічною документацією можна на офіційному сайті проєкту: