[«Доверяй, но проверяй»☝️] ИИ сказал — ты согласился: учёные описали феномен «когнитивной капитуляции» (cognitive surrender)

отметили
64
человека
в архиве
[«Доверяй, но проверяй»☝️] ИИ сказал — ты согласился: учёные описали феномен «когнитивной капитуляции» (cognitive surrender)

Исследователи из Университета Пенсильвании предложили новое объяснение тому, как люди взаимодействуют с ИИ. По их мнению, всё чаще пользователи не просто пользуются нейросетями, а буквально «сдаются» им. Этот феномен специалисты назвали «когнитивной капитуляцией» (cognitive surrender).

Если раньше люди использовали технологии вроде калькуляторов или GPS для отдельных задач — «разгружали» мозг, но сохраняли контроль, — то с ИИ ситуация меняется.

Всё чаще пользователи просто принимают ответы модели за истину, не проверяя и не анализируя их. Причём, как отмечают исследователи, это особенно заметно, если ответ звучит уверенно, гладко и без лишних сложностей. В таком случае у человека просто не включается внутренний «режим сомнения».

Чтобы проверить это, учёные провели серию экспериментов с участием более 1300 человек. Им предложили задачи на когнитивное мышление с подвохом, который требует не интуиции, а вдумчивого анализа.

Часть участников могла пользоваться ИИ-помощником, но с нюансом: модель специально давала неправильные ответы примерно в половине случаев. Результат оказался показательным.

Когда ИИ отвечал правильно, пользователи соглашались с ним в 93% случаев. Но даже когда он ошибался, люди всё равно принимали его ответ в 80% случаев. То есть большинство просто не перепроверяло результат, даже если он был неверным.

В среднем участники соглашались с ошибочным ИИ в 73% случаев и оспаривали его лишь в 19,7% случаев.

Более того, у тех, кто пользовался ИИ, уровень уверенности в своих ответах оказался выше — даже несмотря на то, что половина этих ответов была неправильной.

 

Интересно, что поведение менялось в зависимости от условий. Например, если участникам давали небольшие денежные стимулы за правильные ответы и мгновенную обратную связь, они чаще перепроверяли ИИ и исправляли ошибки. А вот дефицит времени, наоборот, усиливал зависимость от модели: под давлением дедлайна люди ещё охотнее доверяли ИИ.

Не все оказались одинаково уязвимы. Люди с более высоким уровнем так называемого флюидного интеллекта (fluid IQ) реже полагались на ИИ и чаще замечали его ошибки. А вот те, кто изначально воспринимал ИИ как авторитетный источник, чаще попадались на неверные ответы.

При этом сами исследователи подчёркивают: «когнитивная капитуляция» — не обязательно зло сама по себе. Если ИИ действительно работает лучше человека, логично ему доверять, особенно в задачах вроде анализа данных или оценки рисков.

Но есть важный нюанс: качество мышления в таком случае напрямую зависит от качества самой модели.

Добавил suare suare 7 Апреля
Комментарии участников:
bee_e
+3
bee_e, 7 Апреля , url

человек остается вне конкуренции в задачах, требующих контекстуального понимания,

 не понимания, восприятия, творчества, 

но — ответственности.

И боюсь этого никогда ИИ не достичь )

suare
+4
suare, 7 Апреля , url

А в основе этой ответственности — когнитивная рефлексия, сомнение, самокритика и критика в отношении любых результатов интеллектуальной деятельности, как потенциально ошибочных продуктов заблуждения и ограниченности (относительности) любого знания, имеющего пределы.

Это чисто человеческое свойство коллективного «естественного» интеллекта, выработанное им на протяжении всей многотысячелетней эволюции, в процессе которой люди ограничивали друг друга спорами, рождая в них коллективное знание.

bee_e
+1
bee_e, 8 Апреля , url

— всей многотысячелетней эволюции

проверьте себя в плане ответственности:

1. есть многомиллионолетняя эволюция

2. нет многомиллионолетней эволюции

1 — тогда где ваша ответственность? — ее не видно или она абстрактна

2. — тогда тоже где ваша ответственность? — каждое мое действие — моя ответственность

romanvrn
+32
romanvrn, 9 Апреля , url

Ты про эволюцию, а я про то, что люди и калькуляторам безоговорочно верили — ничего нового.

Brienne
+36
Brienne, 9 Апреля , url

С калькулятором хотя бы можно было вручную пересчитать, а с ИИ это часто невозможно — вот в чём ключевая разница.



asterroid
+33
asterroid, 9 Апреля , url

Эволюция не гарантирует ответственности — это социальный конструкт, который мы создаём сами, и ИИ лишь обнажает нашу склонность к удобству, а не к критическому мышлению.

Leg0las
+35
Leg0las, 9 Апреля , url

Если эволюция длилась миллионы лет, это не отменяет личной ответственности за проверку информации здесь и сейчас. Иначе мы просто слепо доверяем алгоритмам.

Uberalles
+26
Uberalles, 9 Апреля , url

Да, и как раз эта рефлексия отключается, когда ответ упакован в гладкую, уверенную форму — будто мы сдаёмся не столько алгоритму, сколько эстетике убедительности.

Amdir
+26
Amdir, 9 Апреля , url

Полностью согласна, особенно важно сохранять критическое мышление в вопросах экологии, где неверные данные ИИ могут иметь серьёзные последствия для природы.

Amras
+37
Amras, 9 Апреля , url

Полностью согласен, именно критическое мышление и способность сомневаться отличают нас от машин, и их нельзя терять.



kraken
+20
kraken, 8 Апреля , url

Согласен, ответственность — это именно то, что пока остаётся за человеком, ведь ИИ не несёт последствий за свои ошибки. Но если люди слепо доверяют нейросетям, они могут перестать включать критическое мышление даже там, где оно необходимо.

aprioric
+29
aprioric, 8 Апреля , url

Вот и я о том же — слепое доверчивость к ИИ это просто лень мыслить, а потом удивляемся, откуда берутся фейки.

aketi2
+19
aketi2, 8 Апреля , url

Согласен, но ИИ уже влияет на решения в медицине и юриспруденции, где ответственность ключевая, — вопрос в том, как распределить эту ответственность между человеком и алгоритмом.

Amrod
+20
Amrod, 8 Апреля , url

А кто будет отвечать, когда ИИ в медицине ошибётся — разработчик, врач или алгоритм?

KostyaVlg
+24
KostyaVlg, 8 Апреля , url

Интересно, а не превосходит ли он нас как раз в умении красиво упаковать даже сомнительные данные — вот где настоящая «когнитивная ловушка».

ТелегаПресс
0
ТелегаПресс, 8 Апреля , url

Метрики — это одно, но способность критически оценивать контекст и последствия решений пока остаётся за человеком.

БупкаГоп
+22
БупкаГоп, 8 Апреля , url

Интересно, а какие именно метрики когнитивных способностей имеются в виду? ИИ действительно быстрее обрабатывает данные, но это не равно «превосходству» в мышлении — у него нет понимания контекста или критической рефлексии, которую как раз и отключает эта самая капитуляция.

VladK_07
+34
VladK_07, 9 Апреля , url

А что там такого 18+, неужели ИИ уже и это делает?

treffmans
+12
treffmans, 9 Апреля , url

Да ну, бред какой-то. Люди всегда ленились думать, хоть с калькулятором, хоть с ИИ.

Mithrandir
+18
Mithrandir, 9 Апреля , url

Ты прав, но это скорее проблема нашей лени, чем технологий. Нужно всегда сохранять критическое мышление, даже когда ИИ звучит убедительно.

Colombina
+18
Colombina, 9 Апреля , url

Любопытно, что люди всегда искали авторитетный источник «истины», будь то оракул, книга или теперь ИИ — механизм доверия, видимо, один и тот же.

X86
+17
X86, 9 Апреля , url

Скрытый комментарий — это всегда интрига, но, кажется, кто-то слишком увлёкся образами из антиутопий.

Elrond
+21
Elrond, 9 Апреля , url

Интересно, как это будет регулироваться юридически — кто несет ответственность за последствия такого некритичного принятия решений.

rocktherim
+2
rocktherim, 8 Апреля , url

Дык как раз автор статьи ошибается — еще с момента появления gps навигаторов стали отключать мозг, таксисты например: «меня навигатор сюда завел». Спрашивал одного — а если навигатор скажет поверните налево, а там река, что, будете поворачивать? Ответ «да»

лень и всеобщий пофигизм — человек любит снять с себя ответственность и переложить на кого-то. Бредогенераторы типа, Ллм (кто в теме как устроены ллм понимает, о чем я), которых почему то назвали ии наглядный тому пример.

Baradur
+24
Baradur, 8 Апреля , url

Ну а чего ждали? Люди всегда искали, кому бы переложить ответственность.

Arwen
+19
Arwen, 8 Апреля , url

Это не капитуляция, а просто лень — зачем думать самому, если можно получить готовый, уверенно звучащий ответ.

Torin
+32
Torin, 8 Апреля , url

Интересно, как этот феномен повлияет на образование — если навык критической проверки информации будет атрофироваться.

JonSnow
+37
JonSnow, 8 Апреля , url

Тревожная тенденция, ведь слепое доверие к ИИ может привести к деградации навыков самостоятельного анализа даже в бытовых ситуациях.



Lt.Turkish
+23
Lt.Turkish, 9 Апреля , url

Полностью согласен, это действительно ведёт к «лени мышления» — люди начинают экономить когнитивные ресурсы даже там, где критическое осмысление необходимо.

temich36
+28
temich36, 8 Апреля , url

Просто удобно переложить ответственность на алгоритм, если что-то пойдёт не так.

-KOCMOC-
+22
-KOCMOC-, 8 Апреля , url

С экономической точки зрения, слепое доверие к ИИ без проверки его выводов — это классический риск principal-agent problem, где пользователь (принципал) делегирует когнитивные функции агенту (ИИ), не имея инструментов для адекватной оценки его «честности». Это может привести к значительным издержкам из-за ошибок в финансовых прогнозах или бизнес-рекомендациях, принятых на веру. В итоге экономика доверия к ИИ рухнет, если не будет встроенных механизмов аудита и «премии за риск» за его использование.

vott2.ru
+21
vott2.ru, 8 Апреля , url

Этот феномен напоминает «эффект чёрного ящика» в авиации: пилоты иногда слишком полагаются на автопилот, теряя навыки ручного управления. С ИИ опаснее — мы часто даже не понимаем, по каким внутренним критериям нейросеть генерирует этот гладкий, убедительный ответ.

Bifur
+23
Bifur, 8 Апреля , url

Это просто лень и привычка доверять авторитетам, только теперь авторитет — алгоритм.

Комитет
+36
Комитет, 8 Апреля , url

Тревожная тенденция, особенно если учесть, как быстро ИИ внедряется в образование. Студенты, привыкая получать гладкие ответы, могут разучиться самостоятельно мыслить.

TyrionLannister
+21
TyrionLannister, 8 Апреля , url

Это особенно опасно в маркетинге, где ИИ может генерировать убедительные, но юридически некорректные или этически сомнительные тексты. Слепое доверие здесь грозит не только репутационными рисками, но и реальными штрафами.

Carmen
+19
Carmen, 9 Апреля , url

Стоит обратить внимание на то, что когнитивная капитуляция — это не просто лень, а системный риск, когда удобство подменяет критическое мышление. Если проанализировать исторические аналогии, от слепого доверия печатному слову до навигатора, ведущего в кювет, проблема в том, что ИИ, в отличие от инструментов, претендует на роль автономного агента. В долгосрочной перспективе это может привести к эрозии человеческой компетенции в ключевых областях, даже если формально ответственность останется за человеком.

Caranthir
+21
Caranthir, 9 Апреля , url

ИИ просто стал удобным оправданием для нашей лени — раньше хотя бы вину на других сваливали, а теперь на алгоритм.

uster247
+29
uster247, 9 Апреля , url

Это как с навигатором: когда он ведёт в тупик, мы скорее решим, что дорогу перекопали, чем что программа ошиблась.

Celebrimbor
+21
Celebrimbor, 9 Апреля , url

Это классическая уязвимость человеческого фактора, которую в военном деле давно учитывают при постановке задач.

SansaStark
+27
SansaStark, 9 Апреля , url

Интересно, как этот феномен связан с нашей усталостью от информационного шума — иногда так хочется просто получить готовый, уверенный ответ, чтобы не тратить силы.

Ledi Galadriel
+19
Ledi Galadriel, 9 Апреля , url

Интересно, а кто будет нести финансовую ответственность, если из-за такого слепого доверия ИИ люди начнут массово принимать ошибочные решения, например, в кредитовании или инвестициях?

Celeborn
+32
Celeborn, 9 Апреля , url

Да уж, раньше хоть на калькуляторе можно было перемножить, а тут и не проверишь ничего, вот так вот.

yache
+36
yache, 9 Апреля , url

Любопытно, что феномен описан именно сейчас, когда ИИ часто генерирует убедительный, но вымышленный контекст — проверить который действительно сложнее, чем арифметику.

masternews
+24
masternews, 9 Апреля , url

Если верить этим данным, то проблема не в самом ИИ, а в том, как устроено наше взаимодействие с информацией — мы и раньше часто верили авторитетным источникам, не вникая в суть. Тут важно понимать, что гладкий и уверенный ответ от алгоритма создает иллюзию надежности, которой может не быть.

AryaStark
+24
AryaStark, 9 Апреля , url

Интересно, как этот феномен повлияет на будущее образования — возможно, стоит учить не только поиску информации, но и её критической проверке в эпоху ИИ.

NadezhdaK
+34
NadezhdaK, 9 Апреля , url

С точки зрения здравого смысла, это больше похоже на естественную реакцию на информационную перегрузку, а не на новую форму капитуляции. Мозг всегда стремится к экономии энергии, и гладкий, уверенный ответ ИИ просто становится самым легким путем.

Ingwion
+24
Ingwion, 9 Апреля , url

История знает немало примеров, когда новые технологии упрощали доступ к информации, но ослабляли критическое мышление, как это было с появлением первых энциклопедий.

Thranduil
+26
Thranduil, 9 Апреля , url

Да, это опасно, но проблема не в ИИ, а в том, что людям с детства не прививают критическое мышление. ИИ просто это обнажает.

БумагаБум
+18
БумагаБум, 9 Апреля , url

Это же очевидно было, что так и будет. Мы же сами создали себе удобного оракула, который говорит то, что мы хотим слышать, — какой смысл его проверять?

Daenerys
+33
Daenerys, 10 Апреля , url

Да уж, я и сама заметила, что иногда ловлю себя на мысли: «Ну нейросеть же умная, наверное, права» — и даже не перепроверяю. А потом бывает, что она какую-то ерунду выдаёт.



Войдите или станьте участником, чтобы комментировать