Google представила нейросеть Lumiere для генерации видео
Искусственный интеллект создает ролики по текстовым запросам и анимирует статичные изображения
Кадры из роликов, сгенерированных нейросетью Lumiere
Разработчики Google представили искусственный интеллект для генерации реалистичных видео. Как сообщается на сайте проекта, нейросеть Lumiere может создавать ролики длиной до пяти секунд на основе текстовых подсказок.
Новинка стала возможна благодаря архитектуре, позволяющей просчитывать не отдельные изображения, а весь ролик целиком. Это отличается от большинства существующих генеративных моделей для создания видео: сначала они создают ключевые кадры, затем заполняют промежутки между ними.
Помимо обработки текстовых запросов, Lumiere умеет переводить статические изображения в динамические. Также нейросеть может скопировать стиль других видео и отредактировать существующие ролики. Изменить можно какие-то определенные детали, например, одежду персонажей или цвет фона.
Нейросеть, обученная на 30 млн видеороликов, пока что недоступна для публики. Журналисты портала VentureBeat считают, что полноценный запуск Lumiere позволит Google конкурировать с другими нейросетями, создающими видео, в том числе Runway, Pika и Stability AI.