KLING против Sora: китайский гигант Kuaishou запускает модель генерации видео

Китайская технологическая компания Kuaishou представила KLING – новую модель генерации видео, которая, судя по демонстрациям, может составить конкуренцию Sora от OpenAI.

Kuaishou заявляет, что KLING способен создавать видеоролики длительностью до двух минут в разрешении 1080p и с частотой 30 кадров в секунду. Модель также умеет моделировать сложные движения, которые выглядят физически правдоподобно.

В качестве примера возможностей KLING приводится видеоролик двухминутной поездки на поезде, созданный по запросу «Поездка на поезде с видом на различные пейзажи за окном». Для сравнения, OpenAI представила свою модель видеогенерации Sora в середине февраля, способную создавать относительно стабильные видеоролики длительностью до одной минуты.

Еще один пример демонстрирует видео, где мальчик катается на велосипеде в саду, а окружающий пейзаж меняется в зависимости от сезона. Несмотря на смену сезонов, мальчик на велосипеде остается удивительно стабильным и выглядит достаточно правдоподобно.

Видео: kling.kuaishou.com

По словам разработчиков, KLING использует систему пространственно-временного внимания для лучшего моделирования движения и физического взаимодействия. Кроме того, благодаря масштабируемой архитектуре и оптимизированному выводу модель способна генерировать длинные видеоролики высокого разрешения.

Kuaishou утверждает, что модель корректно имитирует физические свойства реального мира. Например, в одном из роликов мальчик ест чизбургер в ресторане быстрого питания, и размер бургера уменьшается после первого укуса. Другие примеры включают нарезку лука ножом и человека, который ест пасту с тарелки, демонстрируя физическое взаимодействие между объектами.

Видео: kling.kuaishou.com

С помощью диффузионного трансформатора KLING также может объединять концепции и создавать вымышленные сцены, например, кота, управляющего автомобилем в оживлённом городе.

На данный момент модель KLING доступна в виде демоверсии в Китае. Kuaishou – пекинская технологическая компания, известная в Поднебесной своими приложениями для социальных сетей.