Международная группа исследователей из Гарварда, MIT, Наньянского технологического университета и других научных центров провела 72 191 проверку, чтобы выяснить, насколько убедительно нейросети воспроизводят человеческое поведение. В эксперименте, результаты которого опубликованы 26 октября в Nature Human Behaviour, участвовали 1916 человек в роли судей и 10 алгоритмов оценки. Учёные сравнили ответы 636 добровольцев и 37 моделей искусственного интеллекта.

Самые показательные результаты получили при проверке письменного общения. Когда участники читали переписки, люди правильно распознавали человеческие реплики в 66% случаев, а машинные ответы определяли как созданные ИИ лишь в 47% случаев. При оценке описаний фотографий показатели составили 67% и 46% соответственно. Иными словами, больше половины машинных текстов в обоих испытаниях принимали за человеческие.

Ещё интереснее оказались результаты проверки полноценных разговоров. Переписки между двумя людьми участники признавали человеческими в 64% случаев, а разговоры двух нейросетей получали такую оценку в 57% случаев. Разница оказалась статистически незначимой. Особенно убедительно выглядел BlenderBot, чьи диалоги с другим ИИ принимали за человеческие в 67% случаев, даже чаще, чем разговоры настоящих людей.

Исследователи проверяли не только способность нейросетей поддерживать беседу. Участникам предлагали определять происхождение словесных ассоциаций, подписей к фотографиям, описаний предметов и названий цветов. Отдельное испытание касалось зрительного внимания. Люди смотрели на последовательность точек, показывающих перемещения взгляда по изображению, и пытались понять, записали ли движения глаз реального человека или сгенерировал алгоритм.

При распознавании предметов участники правильно определяли машинные ответы в 63% случаев. В задании на определение преобладающего цвета фотографии показатель достигал 61%. Хуже всего люди справлялись с искусственно созданными траекториями взгляда, распознавая машинное происхождение лишь в 50% случаев. Некоторые алгоритмы воспроизводили характерные особенности человеческого зрительного внимания настолько убедительно, что отличить имитацию от реальной записи практически не удавалось.

Затем исследователи поменяли участников местами и поручили распознавать искусственные ответы самим алгоритмам. Для проверки использовали сравнительно простые классификаторы машинного обучения, которые искали закономерности в словах, структуре предложений и других характеристиках ответов. В большинстве заданий автоматические системы существенно превосходили людей. Например, при распознавании предметов алгоритмы правильно определяли 72% машинных ответов и 90% человеческих, а при анализе движений глаз соответствующие показатели достигали 80% и 79%.

Учёные также проверили GPT-4o, поручив одной мультимодальной модели выполнять все шесть заданий без специального обучения под каждую задачу. Показатели различимости человеческих и машинных ответов находились в диапазоне от 0,44 до 0,56 при уровне 0,5, соответствующем случайному угадыванию. По оценке авторов, результаты показывают, что универсальная нейросеть способна воспроизводить человеческие реакции в разных областях, а не только успешно справляться с узкой задачей, для которой её специально подготовили.

Однако при переходе от просмотра готовых переписок к живому общению картина резко изменилась. Исследователи разработали мобильное приложение, в котором судья самостоятельно задавал вопросы человеку и GPT-3.5 Turbo. В десяти проведённых разговорах участники безошибочно определили, кто перед ними. Эксперимент показал, что возможность самостоятельно выбирать вопросы существенно влияет на результат, хотя небольшое число бесед не позволяет делать далеко идущие выводы.

Авторы объясняют успех несколькими обстоятельствами. Люди спрашивали собеседников о личном опыте, семье и эмоциях, а нейросеть иногда выдавала себя характерными отказами отвечать на определённые вопросы. Дополнительными подсказками служили скорость набора текста и длина сообщений. Когда исследователи повторили испытание с Llama 3 70B Instruct с отключёнными защитными ограничениями, безошибочное распознавание исчезло. В дополнительном эксперименте участвовали 28 человек, а число проверок составило 188.

Авторы подчёркивают, что способность выдавать себя за человека нельзя приравнивать к интеллекту или пониманию происходящего. Алгоритм способен дать правильный ответ, но построить его непривычным для человека способом. Возможна и обратная ситуация, когда нейросеть ошибается точно так же, как ошибся бы человек. Поэтому традиционные показатели точности моделей слабо связаны с убедительностью имитации человеческого поведения.

Работа продолжает исследования теста Тьюринга, предложенного британским математиком Аланом Тьюрингом в 1950 году. Первоначально проверка сводилась к письменному общению, во время которого человек должен был определить, разговаривает ли с машиной. Современные системы способны подражать людям не только в переписке, но и при описании окружающего мира. При этом исследователи использовали в том числе GPT-3, GPT-3.5 и GPT-4o, поэтому результаты нельзя автоматически переносить на все современные модели.

Практические последствия выходят далеко за пределы научных испытаний. Способность создавать убедительные человеческие ответы облегчает мошенничество, выдачу себя за другого человека и распространение дезинформации. Вместе с тем успешная работа автоматических детекторов показывает, что распознавать подобные подделки можно программными средствами. Правда, универсального решения исследование не предлагает. Большинство классификаторов обучали на известных примерах машинных и человеческих ответов, а появление новых моделей может потребовать повторного обучения систем распознавания.

Исследовательская группа открыла наборы данных и программный код, чтобы другие специалисты могли проверять новые алгоритмы по единой методике. Авторы ожидают дальнейшего соревнования между системами, которые всё убедительнее имитируют человеческое поведение, и инструментами, способными распознавать машинное происхождение ответов. Результаты показывают, насколько ненадёжным становится привычный способ проверки собеседника по естественности его речи.

* Быстрый ответ Алисы AI