Можно подумать, что плохие подсказки заставляют быть осторожнее. Но новые исследования показывают обратное: когда неверный совет даёт ИИ, люди чаще ошибаются и при этом становятся увереннее when that advice comes from AI. В study под руководством Валерио Капраро, профессора психологии Университета Милан-Бикокка, выяснилось, что неправильные рекомендации AI снижали точность ответов, но заметно усиливали уверенность участников (по данным IBM Think).
Также исследование показало: те, кто получал ошибочный совет от ИИ, гораздо реже признавали, что не знают ответа, даже если можно было промолчать и при этом вознаграждение зависело от точности.
Откуда берётся чрезмерная уверенность после ошибочного ответа ИИ?
В ходе работы исследователи задали участникам шесть вопросов о малозаметных деталях из фильмов и специально выбрали такие, на которые модель ИИ стабильно отвечала неверно. Благодаря этому удалось отделить эффект самого обращения к ИИ от качества его подсказок.
Итоги оказались показательными. Без помощи ИИ участники отказывались отвечать примерно в 36–44% случаев в двух экспериментах. Когда же ИИ был доступен, доля отказов падала до 3–6%. Одновременно снижалась и точность: с 27,5% правильных ответов при самостоятельной работе до всего 9,2% при участии ИИ.
Капраро предполагает, что ИИ способен снижать планку уверенности, необходимую человеку, чтобы решиться на ответ, то есть меняет то, как мы оцениваем собственную определённость. Примечательно, что эффект сохранялся даже тогда, когда подсказки ИИ появлялись автоматически и их не запрашивали, а значит, дело не только в активном поиске помощи.
Меняют ли деньги и риск поведение при советах ИИ?
Когда добавляли финансовые поощрения и штрафы, участники становились немного осторожнее и отвечали точнее, однако общая закономерность полностью не исчезала. Капраро подчёркивает важную границу: ИИ должен усиливать человеческое суждение, а не подменять его.
Он опасается, что подобный эффект может затрагивать и детей: growing up with instant answers could prevent kids from experiencing сомнение как естественную часть обучения. Новые сообщения указывают, что AI-hooked younger generation is sourcing chatbot help even for in-person talks. Как говорит Капраро, сомнение — не признак незнания; часто именно с него и начинается настоящее понимание.
