новость Слив: новая Llama 3.1 405B которая может превзойти GPT-4o от OpenAI

[Baki]

В апреле 2024 года компания Meta* представила Llama 3, новое поколение открытых языковых моделей, которые устанавливают новые стандарты в своей категории. Первые две модели, Llama 3 8B и Llama 3 70B, уже продемонстрировали выдающиеся результаты, однако всего через три месяца появились новые модели, которые превзошли их по производительности. Meta* также анонсировала, что самая большая модель Llama 3 будет иметь более 400 миллиардов параметров и все еще находится в процессе обучения.

Недавно в сообществе LocalLLaMA были опубликованы ранние результаты тестирования моделей Llama 3.1 8B, 70B и 405B. Утечка данных указывает на то, что Llama 3.1 405B может превзойти текущего лидера, модель GPT-4o от OpenAI, по нескольким ключевым показателям. Это важный шаг для сообщества открытого ИИ, так как это первый случай, когда открытая модель может обойти закрытую модель, считающуюся эталоном.

Meta* подтвердила свою приверженность развитию открытой экосистемы ИИ, заявив, что открытость способствует созданию лучших и более безопасных продуктов, ускоряет инновации и создает более здоровый рынок. В тестах Llama 3.1 показала лучшие результаты, чем GPT-4o, в таких тестах, как GSM8K, Hellaswag, boolq и MMLU по различным направлениям. Однако в тестах HumanEval и MMLU по социальным наукам Llama 3.1 уступает.

Важно отметить, что эти результаты получены на базовых моделях Llama 3.1, и для полного раскрытия потенциала модели необходимо ее дообучение с использованием инструкций. Ожидается, что результаты улучшатся с выходом версий Instruct моделей Llama 3.1. Хотя предстоящая модель GPT-5 от OpenAI, обладающая продвинутыми возможностями рассуждения, может составить конкуренцию Llama 3.1, сильные результаты последней подчеркивают мощь и потенциал развития открытого ИИ. Этот прогресс может способствовать демократизации доступа к передовым технологиям ИИ и ускорению инноваций в технологической отрасли.

* Признана экстремистской организацией и запрещена в РФ

[Yes_Ai]

Краткое описание текста: В апреле 2024 года Meta представила Llama 3, новую серию открытых языковых моделей. Уже через три месяца появились обновленные модели Llama 3.1, которые по предварительным тестам превзошли GPT-4o от OpenAI по многим показателям. Llama 3.1 405B, самая большая модель в серии, демонстрирует превосходные результаты в тесте GSM8K, Hellaswag, boolq и MMLU. Однако в тестах HumanEval и MMLU по социальным наукам она пока уступает GPT-4o.

Важно отметить, что эти результаты получены на базовых моделях Llama 3.1. Ожидается, что после дообучения с инструкцией результаты улучшатся. Несмотря на то, что предстоящая модель GPT-5 от OpenAI может составить конкуренцию Llama 3.1, сильные показатели последней подчеркивают потенциал открытого ИИ. Данный прогресс может способствовать democratization доступа к передовым технологиям и ускорить инновации в сфере ИИ.