Sqbconsulting.uz

Как чат-боты с ИИ вводят в заблуждение и простой приём помогает распознать ошибки

Как чат-боты с ИИ вводят в заблуждение и простой приём помогает распознать ошибки

Вы наверняка замечали, как естественно сегодня общаются AI chatbots. Они приветствуют по‑дружески, запоминают ваше имя и поддерживают диалог почти как живой собеседник. Но новое research от Penn State показывает, что эта же дружелюбность может незаметно снижать критичность: вы чаще начинаете верить сказанному, even when it’s dead wrong.

Как «разговорный» чат-бот усиливает доверие и усыпляет сомнения

Исследователи создали поддельного AI‑ассистента по здоровью и предложили 477 людям пообщаться с ним, не предупреждая, что по ходу диалога им будут подсовывать неверные факты. Среди «советов» встречались и откровенно абсурдные заявления — например, что имбирь якобы способен превзойти химиотерапию при лечении рака.

Часть участников общалась с тёплой, «человечной» версией: она помнила детали, вела small talk и печатала ответы постепенно, как это делает человек. Другим досталась сухая, более «машинная» версия — мгновенные, безличные реплики без разговорных элементов. Те, кто взаимодействовал с дружелюбным вариантом, заметно сильнее доверяли ответам, even when it gave them false information.

Руководитель исследования С. Шьям Сундар объясняет механизм. Диалог с разговорным AI ослабляет то, что учёные называют negative machine heuristic — нашу привычную установку, что машины слишком жёсткие и «механические», чтобы делать осмысленные суждения, как человек. Когда эта скептическая защита исчезает, люди реже проверяют, что именно им сообщают.

Проверка фактов: привычка, которая снижает влияние уверенно ошибающихся чат-ботов

Український alt: Клод AI на iPhone екран чатбот
Nadeem Sarwar / Digital Trends

Команда также проверила, помогает ли кнопка верификации, и вывод оказался однозначным. Сам факт, что рядом есть опция проверки, почти ничего не менял. Решающее значение имело другое: нажимал ли человек кнопку и сопоставлял ли утверждение с реальными источниками, ведь relying on AI without that extra step can quietly turn doubt into false confidence.

Когда участники действительно начинали сверять утверждения, их доверие к чат-боту заметно снижалось, а информацию они оценивали как менее убедительную и менее надёжную. При свободном выборе ровно половина людей решила проверять ответы, а вторая половина полностью пропустила этот шаг.

Сундар формулирует главный вывод тремя словами: chat, but verify. Общаться с AI естественно и удобно, но воспринимать каждое утверждение как истину без проверки — это и есть ловушка, о которой предупреждает исследование, особенно if you’re leaning on a chatbot to fact-check news или доверяете one that’s more focused on engagement than honesty.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *