новость HyperFlow H3 Flash генерирует видео со звуком локально в ComfyUI

[admin]

6 ноября Video Rebirth выпустила HyperFlow H3 Flash, компактную версию MiniMax H3 для локальной генерации видео с синхронным стереозвуком. Для запуска в ComfyUI разработчик опубликовал файлы GGUF и готовые схемы.

• Длительность ролика составляет от 5,2 до 15 секунд. Настройки по умолчанию дают 1344 × 768 пикселей при 24 кадрах в секунду.
• Можно задать первый кадр или оба крайних кадра. Для генерации по набору референсов нужен отдельный файл модели.
• Для первого запуска по тексту понадобится около 31 ГБ на диске только под веса и вспомогательные модели.

Какой режим выбрать в ComfyUI

Для генерации по тексту, одному исходному кадру или паре крайних кадров подходит fl2va. Если важен конкретный финал, добавьте последнее изображение и опишите, как меняется сцена между двумя кадрами. Движение камеры и желаемый звук можно задать в том же запросе.

Если задача состоит в том, чтобы взять персонажа из одной картинки, а окружение из другой, используйте ref2va. Схема GGUF принимает до девяти изображений. Для видео или аудио в роли референса понадобится реализация Python INT8.

Сколько места и времени занимает генерация

Файл fl2va в формате Q4_K_M занимает около 9,1 ГБ. Вместе с текстовым энкодером и двумя декодерами для видео и звука это около 31 ГБ на диске. Для самой генерации Video Rebirth приводит замеры на RTX 3090 и 4090 с 24 ГБ видеопамяти и на RTX 5090 с 32 ГБ.

В тесте разработчика на RTX 4090 с 32 ГБ оперативной памяти ролик длиной 5,2 секунды занял 2 минуты 31 секунду, а ролик на 15 секунд потребовал 13 минут 35 секунд. Разработчик генерировал видео по тексту в ComfyUI при 1344 × 768, с шестью шагами, весами Q4_K_M и параметром --fast-disk.

Где взять файлы и схемы

В репозитории Video Rebirth есть инструкции по установке узлов ComfyUI и отдельные схемы для каждого режима. Веса распространяются на условиях MiniMax H3 Community License. Для использования в ЕС, Великобритании, Южной Корее и США требуется разрешение MiniMax. Лицензия также требует помечать результаты как созданные ИИ при публичном распространении.

Карточка модели и замеры Video Rebirth
Инструкция по запуску в ComfyUI
Лицензия MiniMax H3