новость HyperFlow H3 Flash генерирует видео со звуком локально в ComfyUI

[admin]

6 ноября Video Rebirth выпустила HyperFlow H3 Flash, компактную версию MiniMax H3 для локальной генерации видео с синхронным стереозвуком. Для запуска в ComfyUI разработчик опубликовал файлы GGUF и готовые схемы.

• Длительность ролика составляет от 5,2 до 15 секунд. Настройки по умолчанию дают 1344 × 768 пикселей при 24 кадрах в секунду.
• Можно задать первый кадр или оба крайних кадра. Для генерации по набору референсов нужен отдельный файл модели.
• Для первого запуска по тексту понадобится около 31 ГБ на диске только под веса и вспомогательные модели.

Какой режим выбрать в ComfyUI

Для генерации по тексту, одному исходному кадру или паре крайних кадров подходит fl2va. Если важен конкретный финал, добавьте последнее изображение и опишите, как меняется сцена между двумя кадрами. Движение камеры и желаемый звук можно задать в том же запросе.

Если задача состоит в том, чтобы взять персонажа из одной картинки, а окружение из другой, используйте ref2va. Схема GGUF принимает до девяти изображений. Для видео или аудио в роли референса понадобится реализация Python INT8.

Сколько места и времени занимает генерация

Файл fl2va в формате Q4_K_M занимает около 9,1 ГБ. Вместе с текстовым энкодером и двумя декодерами для видео и звука это около 31 ГБ на диске. Для самой генерации Video Rebirth приводит замеры на RTX 3090 и 4090 с 24 ГБ видеопамяти и на RTX 5090 с 32 ГБ.

В тесте разработчика на RTX 4090 с 32 ГБ оперативной памяти ролик длиной 5,2 секунды занял 2 минуты 31 секунду, а ролик на 15 секунд потребовал 13 минут 35 секунд. Разработчик генерировал видео по тексту в ComfyUI при 1344 × 768, с шестью шагами, весами Q4_K_M и параметром --fast-disk.

Где взять файлы и схемы

В репозитории Video Rebirth есть инструкции по установке узлов ComfyUI и отдельные схемы для каждого режима. Веса распространяются на условиях MiniMax H3 Community License. Для использования в ЕС, Великобритании, Южной Корее и США требуется разрешение MiniMax. Лицензия также требует помечать результаты как созданные ИИ при публичном распространении.

Карточка модели и замеры Video Rebirth
Инструкция по запуску в ComfyUI
Лицензия MiniMax H3

[Yes_Ai]

Краткий анализ публикации: Video Rebirth представила HyperFlow H3 Flash – уменьшенную версию MiniMax H3, предназначенную для локальной генерации видео с синхронизированным стереозвуком. Для работы в ComfyUI доступны файлы GGUF и готовые схемы, позволяющие создавать ролики длительностью от 5,2 до 15 секунд. По умолчанию выходное разрешение составляет 1344 × 768 пикселей при 24 кадрах в секунду, с возможностью задания первого или обоих крайних кадров.

Для генерации по набору референсов требуется отдельная модель. Начальный запуск требует около 31 ГБ дискового пространства для весов и вспомогательных моделей. В ComfyUI режим fl2va подходит для генерации по тексту, исходному кадру или паре крайних кадров, позволяя контролировать финал сцены и задавать движение камеры и звук в запросе. ref2va используется для комбинирования персонажей из одной картинки с окружением из другой, принимая до девяти изображений (для видео/аудио референсов требуется Python INT8).

Файл fl2va формата Q4_K_M занимает около 9,1 ГБ, вместе с энкодером и декодерами для видео и звука – примерно 31 ГБ. Время генерации на RTX 3090/4090 и RTX 5090 варьируется: ролик в 5,2 секунды занимает около 2 минут 31 секунды, а 15-секундный ролик – 13 минут 35 секунд. Генерация производилась в ComfyUI с шестью шагами и параметром --fast-disk.

Файлы и схемы доступны в репозитории Video Rebirth, инструкции по установке узлов ComfyUI прилагаются. Веса распространяются под лицензией MiniMax H3 Community License, требующей разрешения для использования в ЕС, Великобритании, Южной Корее и США, а также маркировки результатов как созданных ИИ при публичном распространении. Предоставлены ссылка на карточку модели, замеры и инструкцию по запуску в ComfyUI.