Перейти к содержанию

Tencent опубликовала веса флагманской Hy4 для запуска на своих серверах

32 просмотра

Рекомендуемые сообщения

  • Администратор

20 ноября Tencent опубликовала веса флагманской модели Hy4. Теперь ее можно развернуть на собственной инфраструктуре и дообучать. Модель представили 4 ноября. Сейчас для скачивания открылись три комплекта весов.

Редакционная иллюстрация к Tencent Hy4. Открытый серверный модуль с вычислительными платами.

  • Hy4 Instruct предназначена для работы по инструкциям. Файлы весов занимают около 1,55 ТБ.
  • Версия Instruct в формате FP8 занимает около 786 ГБ.
  • Hy4 base выпущена как предобученная основа для дальнейшей настройки. Файлы весов занимают около 1,54 ТБ.

С какими данными работает Hy4

В текстовом ядре 770 млрд параметров, из них на каждый текстовый токен активируются 49 млрд. Контекст вмещает до 1 048 576 токенов. Модель принимает текст, изображения и видео для анализа. Поддержку видеовхода при самостоятельном развертывании нужно сверять с выбранным сервером и его настройками.

Развертывание и лицензия

Для серверного запуска Tencent публикует инструкции по vLLM и SGLang. В примере запуска FP8 на vLLM модель распределяется между восемью ускорителями. Требования к памяти зависят от варианта весов, длины контекста и настроек сервера.

Веса распространяются по Tencent Hy License 1.0. Если оператор предоставляет сторонним клиентам универсальный доступ к модели, лицензия требует отдельного письменного разрешения при мировой валовой выручке свыше $50 млн за любые 12 месяцев подряд или при аудитории продукта свыше 100 млн активных пользователей за календарный месяц.

Репозиторий Tencent, веса Hy4, веса FP8, базовые веса и лицензия.

  • 32 просмотра

image.png.bbc007783bfd77866c40d333bcf7acb0.pngimage.png.34ece97900fdaa0a096e6e0fa4f78094.png

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...