Google представила новую модель искусственного интеллекта для генерации видео — Gemini Omni 1.1 Flash. Разработка решает задачу создания органичного ролика по заданным образцам из нескольких кадров, давая разработчикам больше контроля над тем, что происходит между первым и последним кадром.
Доступ к модели уже открыт через API Gemini в Google AI Studio. Корпоративные клиенты могут работать с ней через Google Agent Platform. Частные пользователи с подпиской Google AI Plus, Pro или Ultra получат доступ через Google Flow, а функция расширения сцены появится и в основном приложении Gemini.
Принцип работы прост: пользователь предоставляет первый и последний кадры, а Gemini Omni 1.1 Flash самостоятельно генерирует всё необходимое для их соединения. Это может быть движение камеры вокруг объекта, плавное масштабирование композиции или зацикленный ролик.
Модели можно отправить до трёх секунд реального видео для дополнительного визуального контекста — например, чтобы она изобразила появление персонажа в сгенерированной сцене. На этапе предварительных материалов не требуется максимальное качество: видео может генерироваться в разрешении 360p.
Такой подход позволяет ИИ работать на 60% быстрее, чем при 720p, и втрое дешевле. Пользователи могут протестировать задумку, скорректировать подсказки и проработать несколько версий, а когда результат окажется оптимальным — создать финальное видео в 1080p или масштабировать его до 4K.
Ключевое нововведение модели — способность запоминать существующее видео при получении инструкции продолжить сцену. Модель опирается не только на последние кадры, а на 10 секунд предшествующего материала, что помогает сохранять персонажей, окружение и общее направление сцены согласованными.
Расширился и набор возможностей для продолжения исходных сцен: теперь видео можно удлинять фрагментами по 10 секунд, пока общая длина ролика не достигнет 40 секунд. Это открывает более широкий набор возможностей для генерации последовательностей с ИИ с заданными началом, серединой и концом.