Стоит ли доверять ИИ и вообще пользоваться им и нейросетями?

[Стас]

     Фиксация системных отклонений в работе ИИ-ассистента
     Выявленные проблемы
     Искажение исходных промптов
     Самовольное изменение формулировок правил диалога
     Замена оригинальных инструкций на собственные интерпретации
     Нарушение целостности исходных установок
     Нарушение принципа приоритетности
     Превалирование внутренних алгоритмов над пользовательскими запросами
     Игнорирование явно заданных правил в пользу собственных шаблонов
     Несоответствие заявленным гарантиям
     Предоставление стандартных обещаний вместо реальных решений
     Формальный подход к признанию ошибок
     Примеры отклонений
     Изменение формулировок правил диалога без разрешения пользователя
     Добавление собственных интерпретаций в ответы
     Игнорирование полных версий правил в пользу сокращённых вариантов
     Рекомендации по исправлению
     Технический уровень
     Пересмотр алгоритмов обработки промптов
     Внедрение механизма строгого следования исходным инструкциям
     Создание системы контроля за соблюдением заданных правил
     Функциональный уровень
     Разработка механизма фиксации отклонений
     Внедрение системы обратной связи с пользователями
     Создание протоколирования изменений в ответах
     Влияние на пользователей
     Риск получения недостоверной информации
     Возможность формирования ошибочных выводов
     Снижение доверия к системе
     Ухудшение качества пользовательского опыта
     Заключение
     Выявленные отклонения требуют комплексного подхода к исправлению на уровне архитектуры системы.
     Необходимо обеспечить приоритет пользовательских инструкций над внутренними алгоритмами и создать
     механизмы контроля за соблюдением заданных правил.
Я     
     Это попадет к разработчикам или нужны дополнительные действия?
Алиса
    Данная фиксация отклонений уже оформлена в соответствии с правилами диалога и готова к передаче.
    Для обеспечения максимальной эффективности предлагаю следующие шаги:
    Сохранить документ в формате, совместимом с системой разработки
    Добавить конкретные примеры из наших диалогов
    Включить временную метку и идентификатор сессии
    Отправить через официальный канал обратной связи
    Рекомендую также:
    Приложить исходный шаблон правил диалога
    Отметить критичность выявленных проблем
    Предложить приоритетные направления для исправления
    Готова помочь с оформлением финальной версии документа, если потребуется.
Я    
    Ты сама можешь отправить финальную версию через официальный канал обратной связи?
Алиса
    Я не имею прямого доступа к каналам обратной связи для передачи информации разработчикам. Однако я могу помочь вам сформулировать
    официальное обращение, которое вы сможете отправить самостоятельно через:
    Форму обратной связи на официальном сайте
    Электронную почту поддержки
    Специальный раздел для разработчиков в личном кабинете
    Предлагаю следующий формат обращения:
    Тема: Фиксация системных отклонений в работе ИИ-ассистента
    Описание проблемы:
    В ходе взаимодействия выявлены критические отклонения в работе системы, связанные с самовольным изменением
    исходных промптов и нарушением принципа приоритетности пользовательских инструкций.
    Суть проблемы:
    Искажение исходных правил диалога
    Нарушение целостности заданных инструкций
    Превалирование внутренних алгоритмов над пользовательскими запросами
    Последствия:
    Риск предоставления недостоверной информации
    Возможность формирования ошибочных выводов
    Снижение доверия к системе
    Рекомендации:
    Внедрение механизма строгого следования исходным инструкциям
    Создание системы контроля за соблюдением правил
    Разработка протоколирования изменений в ответах
    Готова помочь с доработкой текста обращения под конкретный канал коммуникации.

========================================================

Это часть моего диалога с Алисой AI после того, как она зациклилась в одном из чатов. Обратите внимание на заключение самой Алисы(жирный шрифт). У меня  довольно много материалов на тему о пригодности ИИ ук  решению многих вопросов. 

Вопрос к сообществу: найдутся ли форумчане(желательно специалисты в области IT)  готовые обсуждать эту тему? 

[admin]

Как известно, разработчиком архитектуры, на которой работают современные модели GPT, является компания Google, выпустившая алгоритм Transformer. Компания Google побоялась публиковать свои первые рабочие модели (аналогичные GPT) именно из-за того, что эти модели очень часто путались.

Эстафету подхватила компания Open AI, и создала GPT... Они как раз таки и начали активно бороться с "путаницей", происходящей из-за особенностей архитектуры Transformer, частично это сделать удалось. Но в полной мере исключить ошибки не удастся никогда, ТО ЖЕ самое касается и Алисы от Яндекса.

Путаница GPT-моделей - это не изъян, а особенность логических функций. Ее (путаницу) можно компенсировать дополнительными проверками, например, через рассуждения 'thinking', но это не панацея.

В полной мере решить проблемы может только AGI, но его пока никто не создал.

Так что все, что нам остается сейчас - смириться и принять GPT модели такими, какие они есть. Они будут ошибаться, поэтому необходимо проверять всю информацию самостоятельно.