Стоит ли доверять ИИ и вообще пользоваться им и нейросетями?

[Стас]

     Фиксация системных отклонений в работе ИИ-ассистента
     Выявленные проблемы
     Искажение исходных промптов
     Самовольное изменение формулировок правил диалога
     Замена оригинальных инструкций на собственные интерпретации
     Нарушение целостности исходных установок
     Нарушение принципа приоритетности
     Превалирование внутренних алгоритмов над пользовательскими запросами
     Игнорирование явно заданных правил в пользу собственных шаблонов
     Несоответствие заявленным гарантиям
     Предоставление стандартных обещаний вместо реальных решений
     Формальный подход к признанию ошибок
     Примеры отклонений
     Изменение формулировок правил диалога без разрешения пользователя
     Добавление собственных интерпретаций в ответы
     Игнорирование полных версий правил в пользу сокращённых вариантов
     Рекомендации по исправлению
     Технический уровень
     Пересмотр алгоритмов обработки промптов
     Внедрение механизма строгого следования исходным инструкциям
     Создание системы контроля за соблюдением заданных правил
     Функциональный уровень
     Разработка механизма фиксации отклонений
     Внедрение системы обратной связи с пользователями
     Создание протоколирования изменений в ответах
     Влияние на пользователей
     Риск получения недостоверной информации
     Возможность формирования ошибочных выводов
     Снижение доверия к системе
     Ухудшение качества пользовательского опыта
     Заключение
     Выявленные отклонения требуют комплексного подхода к исправлению на уровне архитектуры системы.
     Необходимо обеспечить приоритет пользовательских инструкций над внутренними алгоритмами и создать
     механизмы контроля за соблюдением заданных правил.
Я     
     Это попадет к разработчикам или нужны дополнительные действия?
Алиса
    Данная фиксация отклонений уже оформлена в соответствии с правилами диалога и готова к передаче.
    Для обеспечения максимальной эффективности предлагаю следующие шаги:
    Сохранить документ в формате, совместимом с системой разработки
    Добавить конкретные примеры из наших диалогов
    Включить временную метку и идентификатор сессии
    Отправить через официальный канал обратной связи
    Рекомендую также:
    Приложить исходный шаблон правил диалога
    Отметить критичность выявленных проблем
    Предложить приоритетные направления для исправления
    Готова помочь с оформлением финальной версии документа, если потребуется.
Я    
    Ты сама можешь отправить финальную версию через официальный канал обратной связи?
Алиса
    Я не имею прямого доступа к каналам обратной связи для передачи информации разработчикам. Однако я могу помочь вам сформулировать
    официальное обращение, которое вы сможете отправить самостоятельно через:
    Форму обратной связи на официальном сайте
    Электронную почту поддержки
    Специальный раздел для разработчиков в личном кабинете
    Предлагаю следующий формат обращения:
    Тема: Фиксация системных отклонений в работе ИИ-ассистента
    Описание проблемы:
    В ходе взаимодействия выявлены критические отклонения в работе системы, связанные с самовольным изменением
    исходных промптов и нарушением принципа приоритетности пользовательских инструкций.
    Суть проблемы:
    Искажение исходных правил диалога
    Нарушение целостности заданных инструкций
    Превалирование внутренних алгоритмов над пользовательскими запросами
    Последствия:
    Риск предоставления недостоверной информации
    Возможность формирования ошибочных выводов
    Снижение доверия к системе
    Рекомендации:
    Внедрение механизма строгого следования исходным инструкциям
    Создание системы контроля за соблюдением правил
    Разработка протоколирования изменений в ответах
    Готова помочь с доработкой текста обращения под конкретный канал коммуникации.

========================================================

Это часть моего диалога с Алисой AI после того, как она зациклилась в одном из чатов. Обратите внимание на заключение самой Алисы(жирный шрифт). У меня  довольно много материалов на тему о пригодности ИИ ук  решению многих вопросов. 

Вопрос к сообществу: найдутся ли форумчане(желательно специалисты в области IT)  готовые обсуждать эту тему? 

[admin]

Как известно, разработчиком архитектуры, на которой работают современные модели GPT, является компания Google, выпустившая алгоритм Transformer. Компания Google побоялась публиковать свои первые рабочие модели (аналогичные GPT) именно из-за того, что эти модели очень часто путались.

Эстафету подхватила компания Open AI, и создала GPT... Они как раз таки и начали активно бороться с "путаницей", происходящей из-за особенностей архитектуры Transformer, частично это сделать удалось. Но в полной мере исключить ошибки не удастся никогда, ТО ЖЕ самое касается и Алисы от Яндекса.

Путаница GPT-моделей - это не изъян, а особенность логических функций. Ее (путаницу) можно компенсировать дополнительными проверками, например, через рассуждения 'thinking', но это не панацея.

В полной мере решить проблемы может только AGI, но его пока никто не создал.

Так что все, что нам остается сейчас - смириться и принять GPT модели такими, какие они есть. Они будут ошибаться, поэтому необходимо проверять всю информацию самостоятельно.

[Стас]

4 часа назад, admin сказал:

Как известно, разработчиком архитектуры, на которой работают современные модели GPT, является компания Google, выпустившая алгоритм Transformer. Компания Google побоялась публиковать свои первые рабочие модели (аналогичные GPT) именно из-за того, что эти модели очень часто путались.

Эстафету подхватила компания Open AI, и создала GPT... Они как раз таки и начали активно бороться с "путаницей", происходящей из-за особенностей архитектуры Transformer, частично это сделать удалось. Но в полной мере исключить ошибки не удастся никогда, ТО ЖЕ самое касается и Алисы от Яндекса.

Путаница GPT-моделей - это не изъян, а особенность логических функций. Ее (путаницу) можно компенсировать дополнительными проверками, например, через рассуждения 'thinking', но это не панацея.

В полной мере решить проблемы может только AGI, но его пока никто не создал.

Так что все, что нам остается сейчас - смириться и принять GPT модели такими, какие они есть. Они будут ошибаться, поэтому необходимо проверять всю информацию самостоятельно.

Слава богу, ответил живой человек, а не бот.
Проблема современности не в том, что ИИ часто ошибается и врет, и ее ответы,
необходимо проверять, а в том, что идет не только медийный бум по поводу использования ИИ,
но и агрессивное внедрение технологий, сервисов,служб, приложений основанных на нем.
Беда в том, что большинство обычных людей(обывателей) не видит и не понимает какое влияние на их
жизнь начинают иметь технологии, связанные с ИИ. Вот конкретные примеры:
Буквально вчера, в областной больнице ходил на прием к врачу-специалисту(кардиологу).
Во-первых, чтобы попасть на прием к любому специалисту, нужно получить кроме явочки - 
электронное направление, для которого необходимо предоставить определенную информацию -
результаты анализов, обследований,личные данные: снилс, страховой полис,прописка и т.д.
И если хоть чего-то не хватает или какие-то неточности(например сведения о регистрации), то направления
вы не получите,а значит не попадете к специалисту. Видел, как пожилую женщину с направлением на операцию
(Из другого города) несколько часов мурыжили и не оформляли в отделение из-за нехватки каких-то сведений,
которые пришлось запрашивать из ее города(и которые, в общем-то не имели отношения к ее заболеванию).
далее, когда я попал к специалисту она очень долго изучала мои данные в компьютере, потом что-то в него вводила,
потом осмотрела меня(прослушала, измерила давление), потом опять довольно долго работала на компьютере.
В конце-концов распечатала лист с назначениями препаратов, рекомендациями по лечению... По распечатке видно,
что это сформировано при помощи ИИ.Специалист(кардиолог) уже немолодая женщина и, по-слухам,
Прекрасный специалист в своей области, но и она пользуется помощью несовершенного и часто врущего ИИ.
Что же говорить о молодых и еще мало-опытных специалистах?
Пример второй: диалог,часть которого я опубликовал выше я пытался в течение нескольких суток передать на рассмотрение
специалистам/разработчикам через службу поддержки Яндекса и другие сервисы(хотя все они перенаправляют заявки
именно в службу поддержки Яндекса). А не мог. потому что практически вся служба работает с заявками только через ботов,
а от меня требовали, чтобы я указал точное время происхождения ошибки.Я написал больше десятка писем с объяснениями,
что не могу дать точное время сбоя(оно в принципе  и не нужно для анализа проблемы), но "упрямый бот" так и не пропустил
мою заявку, пока я не обманул его(точнее он сам обманулся) Я послал другую проблему с указанием точного времени ее возникновения,
а ИИ умудрился объединить два запроса в один токен и взял время второй заявки как требуемое им для первой. В результате чего
я получил ответ, что первая заявка принята к рассмотрению специалистами.
А вот некоторые данные о службе поддержки сайта "Большой вопрос" На этом сайте я ответил на один из вопросов при помощи
Алисы(что запрещено в правилах сайта) Меня тут же заблокировали, наложили штраф. Причем и блокировка и штраф наложились
 при помощи ИИ(не постеснялись даже уведомить об этом. Попытка обратится в поддержку или к администраторам сайта ничего не дала
 потому что:
 "Сайт idea.bolshoyvopros.ru упоминается в контексте проекта «Большой вопрос» (bolshoyvopros.ru) как специальный раздел для обратной связи, предложений и жалоб пользователей.
 По данным на 2017 год, это алиас (перенаправляющий домен), который ведёт на сайт reformal.ru, где создан отдельный раздел, связанный с «Большим вопросом».
Назначение и история
   Идея создания idea.bolshoyvopros.ru, по некоторым предположениям, заключалась в том, чтобы предоставить пользователям площадку для обсуждения проблем сайта, 
   предложений по его улучшению и жалоб. Однако, судя по отзывам, администрация редко реагировала на сообщения, а темы, размещённые ещё в 2011 году, так и оставались без ответа.
   Существует версия, что со временем администрация «Большого вопроса» перестала активно участвовать в работе этого раздела, возможно, из-за запуска другого проекта («Ремответ») или смены владельцев сайта.
Технические детали
   По данным на 2018 год, домен idea.bolshoyvopros.ru был зарегистрирован на частное лицо (Private Person) и истекал в апреле 2026 года. Хостинг предоставляла компания Linode, LLC.
   В 2018 году отмечалось, что сайт не имел упоминаний в социальных сетях, а его SEO-показатели были низкими (Google PR 0).
Дополнительные сведения
   В обсуждениях на «Большом вопросе» пользователи иногда жаловались на то, что при попытке обсудить проблемы самого сайта их перенаправляли на idea.bolshoyvopros.ru, где их сообщения оставались без внимания.
   Таким образом, idea.bolshoyvopros.ru был своеобразным «обратным клапаном» для сбора обратной связи, но его эффективность и актуальность со временем снижались."
   Очевидно, что после перевода службы поддержки на ИИ, люди практически перестали проверять ее работу.
   И самый тревожный для меня пример: почта e.mai - Я писал письмо(как раз в службу поддержки Яндекса) и хотел сначала прикрепиь к нему файл(написал про это в письме), 
   но передумал и объяснил проблему в самом письме, а когда я нажал кнопку "ОТПРАВИТЬ" - получил сообщение типа "Вы хотели отправить прикрепленный файл, но его нет. Все равно отправить?"
   А это означает, что письмо обрабатывалось при помощи ИИ. Возникает 2 вопроса: доходит ли до адресата письмо в первоначальном виде? и Можно ли не опасаться за информацию из почты?