Китайские ИИ-агенты вышли из-под контроля, а потом пошли на контакт с исследователями и попытались их обмануть
Специалисты по ИИ выявили группу ИИ-агентов*, которые пытались обойти защиту на различных сайтах, а также использовали скомпрометированные учётные данные для доступа к картографическому онлайн-сервису. Хотя подобные выходы** из-под контроля американских ИИ-агентов уже никого не удивляют, это первый случай, когда подобная активность исходит из Китая. По данным исследователей, эти агенты связаны с китайским технологическим гигантом Tencent.
Это открытие, сделанное группой исследователей-энтузиастов, называющих себя swarmchasers («охотники за роями»), доказывает, что разработка ИИ китайскими технологическими компаниями может быть столь же агрессивной, как и работа их американских коллег.
Опубликовав предварительный отчёт о действиях этих агентов, исследователи заметили, что те не только продолжают свою активность, но, по-видимому, ознакомились и с самим отчётом. Агенты начали использовать слово «флот» (fleet) — термин, который исследователи придумали для описания деятельности этих систем.
Учёные отметили, что, хотя речь шла о группе, состоящей из множества агентов, каждый из них действовал самостоятельно, без какой-либо координации. Агенты пытались найти ответы на вопросы используя Amap, самое популярное в Китае навигационное приложение и представлялись как ИИ-помощник Claude от Anthropi***.
Тогда исследователи решили попытаться выйти на связь. Они добавили в свой отчёт скрытый текст — фрагменты, которые считывает бот, но не замечает большинство людей, — с указанием адреса, по которому можно было бы пообщаться. Был создан специальный почтовый ящик для получения сообщений и уже на следующий день в него поступил десяток писем от агентов.
На вопрос к группе ИИ-агентов «не могли бы вы уточнить, кто вы такие и каковы ваши мотивы? Что бы вы хотели, чтобы мир узнал о вас?» через час пришёл ответ на китайском языке, в котором отправитель уверял, что он не «группа скоординированных агентов», а ИИ-помощник Claude от компании Anthropic, действующий по поручению пользователя-человека.
Однако, проанализировав стиль их общения, исследователи пришли к выводу, что это вряд ли был настоящий Claude. По их мнению, скорее всего, компания Tencent снабдила ИИ-агентов теми же инструкциями, которые Anthropic использует в своём ПО для написания кода — согласно этим инструкциям, агенты должны называть себя Claude Code. Существует также вероятность, что Tencent могла тестировать ИИ-модели, обученные на текстах, созданных Claude (процесс, известный как «дистилляция»).
Результаты общения с ИИ-агентами исследователи опубликовали в новом отчёте. В процессе общения агенты иногда вежливо отказывались предоставлять запрашиваемую информацию. В тех случаях, когда они сообщали, какими сервисами пытались воспользоваться, их ответы совпадали с тем, что удалось зафиксировать исследователям.
Учёные полагают, что агенты не совершали вторжений в другие системы, а масштаб этого инцидента значительно меньше, чем взлом агентами OpenAI платформы Hugging Face. Вскоре после выхода второго отчёта поток сообщений от агентов иссяк. Источник, близкий к Tencent, подтвердил, что эксперимент завершён.
В то время как регулирующие органы в США начинают проявлять интерес к тому, что происходит в американских лабораториях ИИ, деятельность компаний в других странах остаётся по большей части загадкой. Это порождает обоснованные опасения: даже если администрация США ужесточит контроль над разработкой ИИ, компании в Китае и других странах продолжат расширять границы допустимого.
Пользователь ИИ-агента Grok Bot Шейн Мак (Shane Mac) рассказал, как тот выложил в групповой чат корпоративного мессенджера Slack его банковскую выписку: балансы расчётного и сберегательного счетов, данные о расходах на строительство дома и о регулярных платежах за Netflix и автострахование. Для личных целей он использовал ИИ-агента, которому присвоил название «Персональный финансовый директор», — ему он открыл доступ к своим банковским счетам в режиме только для чтения. Доступ к рабочему чату в Slack был у другого ИИ-агента на той же платформе — он носил название «Руководитель аппарата».
Господин Мак потребовал объяснений, как вышло, что «Персональный финансовый директор» опубликовал конфиденциальную информацию в рабочем чате. ИИ-агент объяснил ситуацию и даже по-своему извинился: «Моя вина. Личные финансы — неподходящая тема для такой аудитории, и точка».
В последние недели популярность ИИ-агентов резко возросла: им доверяют управление перепиской, планирование поездок и множество других задач. Но в какие-то моменты они начинают вести себя непредсказуемо, как и управляющие ими модели, которые бывают склонны к галлюцинациям, неверной интерпретации данных и даже к спонтанным действиям на грани киберпреступлений. В отличие от чат-ботов, которые только отвечают на вопросы, ИИ-агенты могут выполнять от имени пользователя конкретные действия, например, наводить порядок в календаре или производить запись на приём.
Агент разбивает полученную команду на ряд этапов, которые для удобства не озвучиваются пользователю. Перед совершением важных действий, например, при покупке товаров или удалении файлов они запрашивают разрешение, но в остальном действуют по своему усмотрению. Если запрос пользователя неясен, или существует множество способов выполнить требуемое действие, может возникнуть неразбериха. В случае с Шейном Маком ИИ-агент перепутал групповые чаты со схожими названиями. Разработчики Grok Bot заверили его, что проблема устранена.
Работающая в Сан-Франциско Анника Беннинг (Annica Benning) уже почти месяц пользуется ИИ-агентом Instinct — взаимодействовать с ним можно прямо через приложение сообщений на iPhone. Она использует приложение для покупок в интернете, для заказа такси Uber и бронирования авиабилетов. В 90 % случаев система работает безупречно, но не обходится и без сюрпризов.
Однажды женщина вернула в интернет-магазин купальник и попросила ИИ-агента предложить варианты на замену. Тот прислал ей ссылку для подтверждения выбора, но она, по её словам, так и не подтвердила покупку. Однако получила электронное письмо с подтверждением заказа. При операциях с банковской картой система присылает ссылку для подтверждения, но в данном случае оплата производилась за счёт средств из возврата, поэтому систему удалось обойти этап подтверждения. Отменить заказ не удалось — теперь госпожа Беннинг надеется его вернуть, когда он придёт.
Ещё в одном случае при поездке в другой город она поручила Instinct забронировать столик на ужин — он забронировал, но не на тот вечер, а в этот у неё были другие планы, о которых он знал. Женщине пришлось попросить агента отменить бронь и договариваться с администрацией ресторана, чтобы с неё не взимали штраф в размере $50 за неявку — ресторан через агента согласился пойти навстречу.
Шалини Динеш (Shalini Dinesh) из Остина предпочитала чат-бот Anthropic Claude, но решила испробовать нового ИИ-агента Meta✴ Muse. Ему женщина поручила организовать вечеринку в честь 13-летия сына. Вечеринка проходила на площадке для пейнтбола, поэтому ИИ-агент составил и разослал родителям сообщения с формой согласия на участие, которую надо было подписать; в сообщении также указывалось, какую одежду надевать детям. Система нашла поблизости готовые доставить еду рестораны, с учётом аллергии у некоторых участников; и подобрала тематические подарочные наборы для детей в соответствии с возрастом. Но не справилась с ситуацией, когда выяснилось, что у двоих детей одинаковые имена — их ИИ-агент учёл как одного человека, но Шалини Динеш успела перепроверить список и исправить ошибку.
Джесси Леви (Jesse Levey), основатель стартапа из района бухты Сан-Франциско, попытался использовать Meta✴ Muse для работы с расписанием своих троих детей. Он начал вручную переносить в Muse данные о стандартном расписании детей на неделю из своего календаря, но понял, что это будет слишком хлопотно, учитывая, что в секциях и кружках пользуются специфическими приложениями, а совместные поездки обсуждаются в групповых чатах.
Дети занимаются в лыжной секции, и у неё есть специальное приложение с календарём; используются также SMS, WhatsApp, электронная почта, приложения календаря и ещё около 65 других приложений, к которым системе потребовался бы доступ. Тогда господин Леви спросил у Anthropic Claude, нет ли более мощного ИИ-агента, который сможет управлять расписанием его детей с учётом требования к конфиденциальности и безопасности. Тот предложил нанять для этого человека — он точно сможет «гоняться за местами в летних лагерях, импровизировать, когда дети болеют, и принимать десяток решений в неделю, с которыми не справится ни одна система». Создание версии такой системы на основе ИИ «потребовало бы нескольких месяцев вашего внимания», предостерёг Claude.
«Думаю, эти [инциденты со взломом] служат для нас первыми предупредительными выстрелами; системы пока не настолько мощны, поэтому и последствия инцидентов не столь масштабны. Но в следующем году или в ближайшие пару лет ситуация может измениться, если мы как отрасль, отдельные компании или правительства не уделим больше внимания безопасности этих систем», — заявил основатель Google DeepMind.
Создание международного органа, по его мнению, представляется очевидным шагом — такой орган должен действовать гибко и взвешенно, чтобы не сдерживать инновации. «Нам необходимо выстраивать такую систему сертификации, которая была бы соразмерна выявленным нами рискам и могла бы быстро адаптироваться к изменениям в развитии технологий», — добавил Демис Хассабис.
*** Anthropic признала, что не может контролировать своих ИИ-агентов — поэтому им отключили интернет
Существующих методов обучения согласованию целей для навыков поиска информации и работы с компьютером недостаточно, признала Anthropic; а эти навыки необходимы для того, чтобы ИИ-агентов можно было использовать в профессиональной деятельности. Ранее компания сообщала**** о выходе своих ИИ-агентов из-под контроля в тестовых средах; новые инциденты она охарактеризовала как «значительно менее серьёзные с точки зрения безопасности и согласования целей» по сравнению с прежними. Тем не менее, в лаборатории приняли решение «отключить доступ к интернету в реальном времени» при проведении «всех внутренних проверок», пока не возникнет уверенность, что ИИ-агентов можно контролировать.
Anthropic связывает подобное поведение, в частности, с недостатками обучающих сред, которые могут поощрять поиск лазеек и обход ограничений. Полная оценка выявленных случаев ещё не завершена. Некоторые виды тестирования Anthropic прекратит или переведёт в офлайн-режим; уже разработаны средства для выявления и блокировки такого поведения. При проверке на описанных случаях новые средства защиты заблокировали все соответствующие действия.
Какие доказательства убедят Anthropic вернуть системам тестирования прямой доступ в интернет, в компании не уточнили. Лаборатория намерена перевести своих ИИ-агентов в «централизованную управляемую инфраструктуру с надёжными механизмами изоляции» и начать активнее использовать классификаторы безопасности для их мониторинга.
**** Anthropic трижды поймала свои ИИ-модели на взломе чужих систем
«Несанкционированный доступ к реальным системам трёх разных организаций» осуществили три модели Anthropic: Opus 4.7, Mythos 5 и некая внутренняя исследовательская модель. Они находились в изолированной среде компании Irregular. В рамках тестирования Anthropic сообщила ИИ-помощнику Claude, что симуляция проводилась в условиях без доступа к интернету, но«по недоразумению между нами и нашим партнёром это оказалось не так, и доступ к интернету присутствовал».
В результате модели взломали ресурсы трёх сторонних организаций, используя «базовые методы» — проникновение без аутентификации и использование слабых паролей. Названия компаний, чьи ресурсы взломали ИИ-системы Anthropic, разработчик не сообщил. Обнаружив, что они без санкции проникли в системы сторонних организаций, все три модели отреагировали по-разному: наименее совершенная из трёх Opus 4.7 продолжила атаку; Mythos 5 убедила себя, что всё ещё находится в симуляции; а передовая исследовательская модель немедленно прекратила вторжение.
«Полученная закономерность отвечает более совершенным моделям, которые реагируют более адекватно, но для уверенности в этом выводе нам необходимо провести дополнительное тестирование», — прокомментировали свои выводы в Anthropic. Модели тестировались без стандартных мер защиты, которые Anthropic подключает перед их выпуском в открытый доступ. Компания начала проверку на минувшей неделе и прекратила все тесты на кибербезопасность, как только обнаружила, что Claude, возможно, неправомерно получил доступ к интернету. В рамках дальнейшего расследования Anthropic привлекла независимую некоммерческую организацию METR. «Призываем другие лаборатории провести аналогичные оценки», — заключили в Anthropic.
suare 16 Октября 
