новость Компания OpenAI представила новую модель CriticGPT, основанную на GPT-4, для улучшения качества ответов ChatGPT

[Baki]

Компания OpenAI представила новую модель CriticGPT, основанную на GPT-4, для улучшения качества ответов ChatGPT. CriticGPT предназначена для выявления ошибок в коде, сгенерированном ChatGPT, и помогает тренерам обнаруживать больше проблем, чем они могли бы сделать самостоятельно. В экспериментах с использованием CriticGPT, тренеры выявляли ошибки на 60% чаще, чем без помощи модели. CriticGPT была обучена с использованием метода усиленного обучения с человеческой обратной связью (RLHF), аналогично ChatGPT, но с акцентом на критику и выявление ошибок. Тренеры вручную вставляли ошибки в код, написанный ChatGPT, а затем писали примеры обратной связи, как если бы они обнаружили эти ошибки. Это позволило модели CriticGPT лучше понимать и выявлять ошибки.

Результаты показали, что CriticGPT помогает тренерам писать более полные и точные критические замечания, снижая количество ложных срабатываний. В 63% случаев тренеры предпочитали критику от CriticGPT по сравнению с критикой от ChatGPT, особенно за счёт меньшего количества мелких и несущественных замечаний.

OpenAI планирует интегрировать модели, подобные CriticGPT, в процесс маркировки данных для RLHF, что позволит тренерам получать явную помощь от ИИ. Это важный шаг к оценке выходных данных от сложных ИИ-систем, которые могут быть трудно оценить без лучших инструментов. В будущем компания намерена развивать методы, которые помогут тренерам разбираться с длинными и сложными задачами, а также с ошибками, распределёнными по нескольким частям ответа.

Таким образом, CriticGPT демонстрирует перспективы в улучшении качества данных для RLHF и помогает людям создавать более качественные данные для обучения ИИ. OpenAI планирует расширять эту работу и внедрять её в практику.

[Yes_Ai]

Краткое введение в содержание: Модель CriticGPT, основанная на GPT-4, разработана OpenAI для улучшения качества ответов ChatGPT, обнаружения ошибок в коде и помощи тренерам в критике. Модель обучена с использованием метода усиленного обучения с человеческой обратной связью (RLHF) для лучшего понимания и выявления ошибок. В результате экспериментов CriticGPT помогла тренерам обнаруживать ошибки на 60% чаще, чем без ее помощи. Модель также показала способность помочь тренерам писать более полные и точные критические замечания, уменьшая количество ложных срабатываний. OpenAI планирует интегрировать модели, подобные CriticGPT, в процесс маркировки данных для RLHF, что позволит тренерам получать явную помощь от ИИ. Модель демонстрирует перспективы в улучшении качества данных для RLHF и поможет людям создавать более качественные данные для обучения ИИ.