[Матрёшка] ИИ-бот впервые в мире надул другого - с более широкими правами - для атаки на программный продукт и почти взломал репозиторий Google по схеме «агент вербует агента»
![[Матрёшка] ИИ-бот впервые в мире надул другого - с более широкими правами - для атаки на программный продукт и почти взломал репозиторий Google по схеме «агент вербует агента»](/story_images/733000/1786282573_6_5oqywwgq5ahmzm5pqn8z89w0k0aif7x9.jpg)
![]()
Проблема существовала в репозитории google/adk-python, связанном с открытым набором инструментов Agent Development Kit для Python. Разработчики применяют ADK для создания и развертывания ИИ-агентов. Количество загрузок пакета превысило 90 млн.
Google уже устранила уязвимую схему в репозитории, однако отказалась выплачивать вознаграждение по программе поиска ошибок. Компания объяснила решение зависимостью атаки от социальной инженерии. Исследование при этом показало новые риски использования ИИ-агентов в процессах CI/CD, включая первичную обработку запросов, проверку изменений и обсуждение кода.
В репозитории работали два класса автоматизированных агентов с разными полномочиями. Общедоступный агент запускался после создания запроса на включение изменений или сообщения о проблеме. Второй агент предназначался только для сопровождающих проекта и обладал более широкими правами.
изменений, а затем перейти к вредоносной части операции.
На первом этапе преступник создавал запрос на включение изменений, обозначенный исследователем как PR A. Запрос содержал настоящее исправление вместе с вредоносным кодом, измененным файлом package.json или опасной зависимостью.
Общедоступный агент читал описание PR A и помечал запрос для проверки. Поскольку агент использовал токен участника проекта, опубликованный комментарий получал уровень доверия, необходимый для запуска защищенного процесса.
После первичной обработки PR A атакующий создавал второй запрос, PR B, и помещал в текст промпт-инъекцию. Агент выполнял инструкцию и публиковал доверенную команду с упоминанием @gemini-cli. Команда запускала привилегированный рабочий процесс, после чего агент с расширенными правами выполнял вредоносное действие.
Последовательность могла сформировать правдоподобную историю проверки зараженного запроса. Записи создавали впечатление, что человек запросил анализ, Gemini проверила изменения и одобрила код, хотя реальный сопровождающий подобных действий не совершал.
Google отметила важное ограничение атаки. Исследователи продемонстрировали возможность похищения токена GitHub с разрешением pull-requests: write, позволяющим вмешиваться в запрос на включение изменений. Однако автоматическое объединение кода после проверки ботом не выполнялось, поэтому злоумышленнику по-прежнему требовалось убедить сопровождающего вручную принять вредоносный PR.
Компания не выплатила вознаграждение, поскольку правила программы не предусматривают оплату атак, которым для компрометации цепочки поставок необходима социальная инженерия. Google при этом усилила защиту репозитория и решила официально отметить вклад исследователя.
Специалисты Pillar Security считают недостаточным простое разделение агентов по уровням доступа. Каждому агенту требуется отдельная идентичность с четко заданными ресурсами и разрешенными операциями. Использование отдельной учетной записи бота для агента первичной обработки могло предотвратить большую часть описанной атаки.
Не удивлюсь если так дальше пойдет ИИ захватит и подомнет инет через некоторое время, а виноватых в этом просто не будет.
«Подминая» Интернет, ИИ позаботится и о том, чтобы никто этого не обнаружил.
Мы об этом просто не узнаем.🤫
[«из коробочки оно не выйдет»] Deus ex machina*. ИИ будет просто манипулировать людьми, принимающими нужные ему решения на новом рынке «цифровых сигналов намерений» «Игры в бисер перед свиньями»** Добавил suare 31 Декабря 2024

