Администратор admin Опубликовано 3 часа назад Администратор Поделиться Опубликовано 3 часа назад Подписка на новости 20 ноября Tencent открыла веса WeMM-Video. Модель анализирует кадры и исходную звуковую дорожку вместе. Ей можно передать ролик и спросить, что происходит на экране и о чем в это время говорят. Ответ приходит текстом. Выпущены версии 2B, 4B, 9B и 35B-A3B. Для каждой есть исходные веса BF16 и более компактные сборки. Семейство рассчитано на английский и китайский. Кроме роликов со звуком можно подавать отдельные фотографии, аудио и видео без звука. Tencent проверила компактную версию 2B GGUF с видео и звуком на центральном процессоре. Как WeMM-Video анализирует запись Если передать ролик в режиме со звуком, модель сопоставляет речь и другие звуки с тем, что видно в кадре. В примере Tencent она описывает сцену и кратко пересказывает речь из одного файла MP4. Для отдельной аудиозаписи в репозитории есть пример расшифровки английской речи. В режиме Instruct модель дает прямой ответ. Thinking подходит для вопросов, где требуется рассуждение в несколько шагов. В тесте Tencent на Video-MME со звуком версия 35B-A3B правильно ответила на 84,2% вопросов в режиме Instruct и на 86,4% в Thinking. Веса и локальный запуск Для сборок GGUF Tencent предлагает среду wemm-native на базе llama.cpp. Она работает в Linux на процессоре или с ускорением через NVIDIA CUDA. Комплект 2B GGUF содержит отдельные файлы для языковой части, изображения и звука. Вместе они занимают около 5 ГиБ на диске. Для серверного запуска разработчик описал варианты с Transformers и адаптированными vLLM и SGLang. Код и веса коллекции распространяются по Apache 2.0. У сторонних компонентов сохраняются собственные условия. Инструкции и ссылки на варианты весов есть в репозитории Tencent и руководстве по GGUF. Результаты сравнения режимов приведены в техническом отчете. Подписка на новости17 просмотров17 Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Для публикации сообщений создайте учётную запись или авторизуйтесь
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!
Регистрация нового пользователяВойти
Уже есть аккаунт? Войти в систему.
Войти