Перейти к содержанию

Tencent открыла веса WeMM-Video для анализа видео со звуком

17 просмотров

Рекомендуемые сообщения

  • Администратор

20 ноября Tencent открыла веса WeMM-Video. Модель анализирует кадры и исходную звуковую дорожку вместе. Ей можно передать ролик и спросить, что происходит на экране и о чем в это время говорят. Ответ приходит текстом.

Редакционная иллюстрация к Tencent WeMM-Video. Видеомонитор, полевой рекордер и условная звуковая волна.

  • Выпущены версии 2B, 4B, 9B и 35B-A3B. Для каждой есть исходные веса BF16 и более компактные сборки.
  • Семейство рассчитано на английский и китайский. Кроме роликов со звуком можно подавать отдельные фотографии, аудио и видео без звука.
  • Tencent проверила компактную версию 2B GGUF с видео и звуком на центральном процессоре.

Как WeMM-Video анализирует запись

Если передать ролик в режиме со звуком, модель сопоставляет речь и другие звуки с тем, что видно в кадре. В примере Tencent она описывает сцену и кратко пересказывает речь из одного файла MP4. Для отдельной аудиозаписи в репозитории есть пример расшифровки английской речи.

В режиме Instruct модель дает прямой ответ. Thinking подходит для вопросов, где требуется рассуждение в несколько шагов. В тесте Tencent на Video-MME со звуком версия 35B-A3B правильно ответила на 84,2% вопросов в режиме Instruct и на 86,4% в Thinking.

Веса и локальный запуск

Для сборок GGUF Tencent предлагает среду wemm-native на базе llama.cpp. Она работает в Linux на процессоре или с ускорением через NVIDIA CUDA. Комплект 2B GGUF содержит отдельные файлы для языковой части, изображения и звука. Вместе они занимают около 5 ГиБ на диске. Для серверного запуска разработчик описал варианты с Transformers и адаптированными vLLM и SGLang.

Код и веса коллекции распространяются по Apache 2.0. У сторонних компонентов сохраняются собственные условия. Инструкции и ссылки на варианты весов есть в репозитории Tencent и руководстве по GGUF. Результаты сравнения режимов приведены в техническом отчете.

  • 17 просмотров

image.png.bbc007783bfd77866c40d333bcf7acb0.pngimage.png.34ece97900fdaa0a096e6e0fa4f78094.png

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...