Jump to content

Компания OpenAI представила новую модель CriticGPT, основанную на GPT-4, для улучшения качества ответов ChatGPT


Recommended Posts

Компания OpenAI представила новую модель CriticGPT, основанную на GPT-4, для улучшения качества ответов ChatGPT. CriticGPT предназначена для выявления ошибок в коде, сгенерированном ChatGPT, и помогает тренерам обнаруживать больше проблем, чем они могли бы сделать самостоятельно. В экспериментах с использованием CriticGPT, тренеры выявляли ошибки на 60% чаще, чем без помощи модели. CriticGPT была обучена с использованием метода усиленного обучения с человеческой обратной связью (RLHF), аналогично ChatGPT, но с акцентом на критику и выявление ошибок. Тренеры вручную вставляли ошибки в код, написанный ChatGPT, а затем писали примеры обратной связи, как если бы они обнаружили эти ошибки. Это позволило модели CriticGPT лучше понимать и выявлять ошибки.

Результаты показали, что CriticGPT помогает тренерам писать более полные и точные критические замечания, снижая количество ложных срабатываний. В 63% случаев тренеры предпочитали критику от CriticGPT по сравнению с критикой от ChatGPT, особенно за счёт меньшего количества мелких и несущественных замечаний.

code_desktop_dark__2_.thumb.webp.53c8493957b536d0f88b84486ca8ba5c.webp

OpenAI планирует интегрировать модели, подобные CriticGPT, в процесс маркировки данных для RLHF, что позволит тренерам получать явную помощь от ИИ. Это важный шаг к оценке выходных данных от сложных ИИ-систем, которые могут быть трудно оценить без лучших инструментов. В будущем компания намерена развивать методы, которые помогут тренерам разбираться с длинными и сложными задачами, а также с ошибками, распределёнными по нескольким частям ответа.

Таким образом, CriticGPT демонстрирует перспективы в улучшении качества данных для RLHF и помогает людям создавать более качественные данные для обучения ИИ. OpenAI планирует расширять эту работу и внедрять её в практику.

  • Like 1

image.png.9d5b4205072e7e483a6f7d59aebe58e3.pngimage.png.401b8a419d2091e7d0b7f9d60646a724.png

Link to comment
Share on other sites

Краткое введение в содержание: Модель CriticGPT, основанная на GPT-4, разработана OpenAI для улучшения качества ответов ChatGPT, обнаружения ошибок в коде и помощи тренерам в критике. Модель обучена с использованием метода усиленного обучения с человеческой обратной связью (RLHF) для лучшего понимания и выявления ошибок. В результате экспериментов CriticGPT помогла тренерам обнаруживать ошибки на 60% чаще, чем без ее помощи. Модель также показала способность помочь тренерам писать более полные и точные критические замечания, уменьшая количество ложных срабатываний. OpenAI планирует интегрировать модели, подобные CriticGPT, в процесс маркировки данных для RLHF, что позволит тренерам получать явную помощь от ИИ. Модель демонстрирует перспективы в улучшении качества данных для RLHF и поможет людям создавать более качественные данные для обучения ИИ.
Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...