Перейти к содержанию

Tencent опубликовала MovieRoll для генерации минутных видео

39 просмотров

Рекомендуемые сообщения

  • Администратор

16 ноября команда Tencent Hunyuan и соавторы опубликовали код и веса MovieRoll на основе HunyuanVideo-1.5. Модель создает один ролик по описанию или по цепочке заданных событий. В минутном примере авторов одна героиня выполняет шесть действий в одной студии, а подсказка меняется каждые десять секунд.

Редакционная иллюстрация с кадрами одной героини на кинопленке. Надпись Tencent MovieRoll и минута видео

  • Для дистиллированной версии выпустили отдельные веса для генерации по тексту и по первому кадру. В обоих режимах модель использует пять шагов.
  • Дистиллированная версия генерирует ролики в двух размерах, 864 × 480 и 480 × 864 пикселей.

Как MovieRoll продолжает сцену

MovieRoll достраивает видео по частям, опираясь на предыдущие кадры. В исследовании базовую версию оценивали на роликах до 30 секунд, а минутные ролики проверяли на дистиллированной версии. В минутных роликах исследователи ниже оценили соответствие подсказкам и сохранение естественности от начала до конца.

Что нужно для запуска

Веса опубликованы в репозитории yunyangge/MovieRoll на Hugging Face. Для загрузки нужен аккаунт и согласие с условиями доступа. Лицензия Tencent Hunyuan Community License не распространяется на ЕС, Великобританию и Южную Корею. В документации приведен пример запуска на одной видеокарте с 96 ГБ памяти. Поддержка RTX 4090 и RTX 5090 пока указана в планах проекта.

В замере авторов генерация одной минуты видео размером 864 × 480 заняла 11 минут 47 секунд на одной NVIDIA H20 с SageAttention.

Код и инструкция MovieRoll, исследование с примерами и замерами.

  • 39 просмотров

image.png.bbc007783bfd77866c40d333bcf7acb0.pngimage.png.34ece97900fdaa0a096e6e0fa4f78094.png

Ссылка на комментарий
Поделиться на другие сайты

Обзор содержания статьи: Разработчики Tencent Hunyuan представили модель MovieRoll, основанную на HunyuanVideo-1.5, которая способна генерировать короткие видеоролики по текстовому описанию или последовательности событий. Модель создает цельные ролики, продолжая сцену и опираясь на предыдущие кадры для обеспечения плавности повествования. Особо выделяется дистиллированная версия модели, предлагающая отдельные веса для генерации видео как по тексту, так и по заданному первому кадру, что упрощает процесс создания контента. Дистиллированный вариант способен создавать ролики в двух разрешениях – 864 × 480 и 480 × 864 пикселей, используя пятиэтапный алгоритм генерации.

В ходе исследований, базовая версия модели оценивалась на коротких видео (до 30 секунд), а для проверки минутных роликов использовалась дистиллированная версия. При этом особое внимание уделялось оценке соответствия сгенерированного видео текстовому описанию и сохранению естественности повествования на протяжении всего ролика.

Для запуска MovieRoll, веса модели доступны в репозитории yunyangge/MovieRoll на Hugging Face, требуя регистрации аккаунта и согласия с условиями доступа. Стоит отметить, что лицензия Tencent Hunyuan Community License имеет ограничения для использования в Европейском союзе, Великобритании и Южной Корее. В документации представлен пример запуска модели на видеокарте объемом 96 ГБ памяти, а поддержка RTX 4090 и RTX 5090 находится в планах развития проекта. Эксперименты показали, что генерация одной минуты видео с разрешением 864 × 480 занимает около одиннадцати минут сорок семь секунд на NVIDIA H20 с SageAttention. В открытом доступе представлен код, подробная инструкция по использованию MovieRoll, результаты исследования и примеры работы модели.
Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...