Администратор admin Опубликовано 6 часов назад Администратор Поделиться Опубликовано 6 часов назад Подписка на новости 20 ноября Tencent опубликовала веса флагманской модели Hy4. Теперь ее можно развернуть на собственной инфраструктуре и дообучать. Модель представили 4 ноября. Сейчас для скачивания открылись три комплекта весов. Hy4 Instruct предназначена для работы по инструкциям. Файлы весов занимают около 1,55 ТБ. Версия Instruct в формате FP8 занимает около 786 ГБ. Hy4 base выпущена как предобученная основа для дальнейшей настройки. Файлы весов занимают около 1,54 ТБ. С какими данными работает Hy4 В текстовом ядре 770 млрд параметров, из них на каждый текстовый токен активируются 49 млрд. Контекст вмещает до 1 048 576 токенов. Модель принимает текст, изображения и видео для анализа. Поддержку видеовхода при самостоятельном развертывании нужно сверять с выбранным сервером и его настройками. Развертывание и лицензия Для серверного запуска Tencent публикует инструкции по vLLM и SGLang. В примере запуска FP8 на vLLM модель распределяется между восемью ускорителями. Требования к памяти зависят от варианта весов, длины контекста и настроек сервера. Веса распространяются по Tencent Hy License 1.0. Если оператор предоставляет сторонним клиентам универсальный доступ к модели, лицензия требует отдельного письменного разрешения при мировой валовой выручке свыше $50 млн за любые 12 месяцев подряд или при аудитории продукта свыше 100 млн активных пользователей за календарный месяц. Репозиторий Tencent, веса Hy4, веса FP8, базовые веса и лицензия. Подписка на новости32 просмотра32 Ссылка на комментарий Поделиться на другие сайты Поделиться
Рекомендуемые сообщения
Для публикации сообщений создайте учётную запись или авторизуйтесь
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!
Регистрация нового пользователяВойти
Уже есть аккаунт? Войти в систему.
Войти