Lumiere от Google: новая дверь в мир высококачественных дипфейков

Новая генеративная модель Lumiere от Google совершила значительный скачок в области создания видео с помощью искусственного интеллекта. Модель способна создавать высококачественные реалистичные или сюрреалистические видеоклипы продолжительностью до пяти секунд. Она способна анимировать статичные изображения или их части, гибко реагируя на текстовые запросы пользователей.

Одной из уникальных особенностей Lumiere является возможность копирования стиля изображения и создания на его основе серии видеороликов на разные темы, сохраняя при этом единообразие стиля. Эта функция может быть использована в том числе для создания брендированного контента.

Lumiere также может трансформировать стили исходного видео, превращая объекты в лего, оригами или цветы, в зависимости от заданных параметров.

Особенно стоит выделить функцию «inpainting», которая позволяет удалять нежелательные элементы из видео. Пользователь может замазать ненужную часть изображения, а Lumiere автоматически заполнит это пространство так, что изменения будут незаметны.

Создатели Lumiere утверждают, что архитектура «Space-Time U-net» модели позволяет строить видео за один проход, в отличие от предыдущих моделей, которые создавали начальный и конечный кадры, а затем пытались воссоздать происходящее между ними.

На данный момент Lumiere является исследовательским проектом, что избавляет Google от необходимости ограничивать систему в рамках политик авторских прав, дезинформации, безопасности, ненависти, наготы, конфиденциальности и т.д. Гипотетически, она может быть использована для создания видео-дипфейков высокого качества на абсолютно любые темы.

Тем не менее, сейчас модель находится в закрытом доступе, а значит и возможные риски сведены к минимуму.

Что очевидно уже сейчас, так это то, что Lumiere представляет собой огромный скачок вперёд в области нейросетевой генерации видео. Энтузиасты с нетерпением ждут, когда модель можно будет «пощупать» собственными руками и сравнить с уже существующими аналогами от других разработчиков.