LTX-2 — первая фундаментальная аудио-видео модель на основе DiT, объединяющая синхронизированное аудио и видео, высокую точность, несколько режимов производительности, готовые к производству результаты, API и открытый доступ.
Модель включает набор готовых компонентов: чекпоинты, пространственный и временной апскейлеры, дистиллированные LoRA, текстовый энкодер Gemma и множество LoRA. Доступны различные пайплайны: от быстрой односторонней генерации до аудио-видео, ретуширования и липсинка.
Для лучших результатов используйте детальные промпты, описывающие действия и сцены хронологически. Оптимизация включает дистиллированные пайплайны, FP8, FlashAttention и градиентную оценку для ускорения.
GitHub ★ 7,378
0 комментариев