Перейти к содержанию

Thinking Machines выпустила Inkling 2 Mini с открытыми весами для локального запуска

21 просмотр

Рекомендуемые сообщения

  • Администратор

20 ноября Thinking Machines Lab выпустила Inkling 2 Mini с открытыми весами. Модель можно запустить на своем компьютере и использовать для работы с кодом и разбора изображений, например скриншотов интерфейса. Она принимает текст и картинки, а ответ выдает текстом.

Редакционная иллюстрация к Inkling 2 Mini. Ноутбук с условным экраном редактора кода и вычислительный чип.

  • Исходный комплект весов занимает около 20 ГБ и доступен по лицензии Apache 2.0.
  • Для запуска на Mac с Apple silicon разработчик указывает от 32 ГБ памяти. Также поддерживается NVIDIA DGX Spark.
  • В модели 26,4 млрд параметров. При обработке каждого токена средние 12 слоев проходят трижды.

Локальный запуск Inkling 2 Mini

Ollama 0.40.17 поддерживает эту модель на Mac с Apple silicon. Thinking Machines показала работу без интернета после установки на MacBook Pro с M5 Pro и 48 ГБ памяти. Карточка модели указывает контекст до миллиона токенов. Доступная длина контекста при локальном запуске зависит от памяти устройства и настроек программы.

Что показало сравнение Artificial Analysis

В публикации Artificial Analysis от 20 ноября Inkling 2 Mini набрала 20 баллов в Intelligence Index. Столько же получила Qwen3.8-27B в режиме xhigh. Среднее время на задание оценили в 9 минут для Inkling и в 38,2 минуты для Qwen, а среднюю стоимость в $0,59 и $3,53 соответственно. Время рассчитано по числу выходных токенов и скорости ответов через облачный API.

Доступ через Tinker

Для запуска в облаке и дообучения модель доступна через Tinker. По тарифам Training & sampling миллион входных токенов стоит $0,15. Если их взяли из кеша, ставка составляет $0,015. Миллион выходных токенов стоит $0,50. В тарифе с контекстом обучения 64 тыс. токенов дообучение стоит $0,75 за миллион токенов, а при 256 тыс. токенов ставка составляет $1,50.

  • 21 просмотр

image.png.bbc007783bfd77866c40d333bcf7acb0.pngimage.png.34ece97900fdaa0a096e6e0fa4f78094.png

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...