новость Галлюцинации ИИ: GPT-4.5 и тень прогресса

[Makentosh]

Искусственный интеллект, особенно большие языковые модели (LLM), обещал революцию во многих областях.  Однако реальность оказывается сложнее, чем маркетинговые заявления. 
Недавнее признание OpenAI о том, что их GPT-4.5 генерирует неверные ответы в 37% случаев, подсвечивает серьёзную проблему, которая заставляет задуматься о надежности и будущем ИИ.

Заявление OpenAI, подкрепленное результатами внутреннего тестирования с помощью SimpleQA, вызвало новый виток дискуссий.  Хотя показатель ошибок снизился по сравнению с предыдущими версиями (61,8% у GPT-4.0 и 80,3% у GPT-3-mini), он все ещё шокирующе высок.  37% – это не просто незначительные неточности. Это значит, что почти каждый третий ответ модели может быть ложным, вводящим в заблуждение или даже вредным.

Вентинг Чжао из Корнеллского университета, специализирующаяся на проблеме «галлюцинаций» ИИ (термин, описывающий генерацию моделей ложных фактов), подчёркивает, что ситуация отражает системную проблему.  Её оценка – около 65% недостоверных ответов у самых продвинутых моделей – ещё более пессимистична, чем данные OpenAI.  Это ставит под сомнение заявления о достижении «человеческого уровня интеллекта», поскольку человек, даже далекий от совершенства, реже допускает подобные масштабные ошибки.

OpenAI пытается смягчить негативную реакцию, акцентируя внимание на улучшении по сравнению с предыдущими версиями.  Однако такой подход критикуется как попытка завуалировать отсутствие существенного прогресса. 
За громким успехом ChatGPT последовало замедление темпов развития, и GPT-4.5, судя по всему, не стал тем революционным скачком, который многие ожидали.

Что скрывается за цифрами

Проблема «галлюцинаций» связана с тем, как LLM обучаются.  Они анализируют огромные объемы текстовых данных, выявляя статистические связи между словами.  Однако они не понимают семантику и контекст в той же мере, что и человек.  Результат – способность генерировать грамматически правильные, но фактически неверные утверждения.

Пути решения

Для преодоления этой проблемы необходим комплексный подход:

• Усовершенствование методов обучения: Разработка новых алгоритмов, которые будут лучше учитывать контекст, семантику и фактические данные. Возможно, необходим отход от чисто статистических методов в пользу более интеллектуальных подходов.
• Внедрение механизмов верификации: Разработка систем, которые будут проверять точность генерируемого контента с помощью достоверных источников информации.
• Повышение прозрачности: OpenAI и другие компании должны быть более открыты в отношении ограничений своих моделей и методов их тестирования.

Без решения этих проблем доверие к технологиям искусственного интеллекта будет оставаться под вопросом. Пока что GPT-4.5 и подобные модели — это мощные инструменты, но использовать их нужно с осторожностью, критически оценивая получаемую информацию и не полагаясь на них слепо. Будущее ИИ зависит от того, насколько быстро и эффективно мы сможем преодолеть проблему «галлюцинаций».

[Yes_Ai]

Краткий конспект публикации: Искусственный интеллект (ИИ), в частности большие языковые модели (LLM) как GPT-4.5 от OpenAI, обещали стать революционными во многих сферах. Однако реальные результаты показывают серьезные недостатки: модель ошибается в 37% случаев, что ставит под сомнение ее надежность и способность достичь человеческого уровня интеллекта. Критики указывают на высокую частоту «галлюцинаций» — генерацию ложной информации, и призывают к улучшению методов обучения ИИ для лучшего понимания контекста и семантики. Важным шагом является внедрение механизмов верификации данных и повышение прозрачности работы моделей. Без решений этих проблем доверие к ИИ остается под угрозой, и его потенциал не может быть полностью реализован.