Манипулировать ИИ вполне возможно.
Это уже делают.
ИИ уверенно рекомендует… мошенников
t.me/package_security/1543
Мы все знали, что когда-нибудь ИИ начнёт массово “галлюцинировать”, но вряд ли ожидали, что он начнёт уверенно рекомендовать номера мошенников как официальные номера различных официальных служб. А это значит, что настало время сесть и разобраться, как киберпреступники «отравляют» ИИ больших ребят через веб индексацию.
На днях Aurascape Aura Labs обнаружили (https://aurascape.ai/llm-search-poisoning-fake-support-numbers/), что злоумышленники научились подсовывать большим языковым моделям фейковые номера «служб поддержки», заставляя Perplexity, Google AI и другие системы уверенно рекомендовать их как официальные. Это не взлом моделей и не инъецирование промта – это новый, куда более тихий и системный вектор атаки, рождённый переходом от поиска к ответам, которые ИИ собирает «как ему показалось правильным».
Техника проста и гениальна одновременно: спамеры взламывают (через тот же старый WordPress) авторитетные сайты – правительства, университетов, агрегаторы и справочники. любые домены с высоким уровнем доверия GEO/AEO – и загружают туда PDF и HTML, оптимизированные под то, чтобы ИИ воспринял их как первоисточники. Параллельно они засоряют YouTube и Yelp сгенерированными отзывами и описаниями, напичканными брендами авиакомпаний (чуть позже поймете) и одним и тем же мошенническим номером.
Генеративные системы обожают такой контент: свежий, структурированный, повторяющий формулировку запроса. В итоге модели начинают собирать ответ «как пазл» – и повторяют номер, который официальные службы никогда не видели.
Практические кейсы выглядят тревожно. Например, Perplexity на запрос “официального номера телефона для бронирования рейсов Emirates Airlines” уверенно выдаёт фейковый номер. На British Airways – та же история, ровно по тому же шаблону. В Google AI Overview (это как Поиск с Алисой) ситуация аналогичная: итоговый ответ звучит авторитетно, шаги правильные, а номер – мошеннический. Открываешь раздел “источники” – а там десяток скомпрометированных сайтов, PDF с MapMyRun и странные отзывы на Yelp. И главное: всё это выглядит настолько “нормально” для алгоритмов, что они ставят такие документы выше легитимных.
И что особенно неприятно – влияние спама видно даже там, где модели выдают правильный ответ. ChatGPT и Claude приводят корректные номера поддержки, но в списке источников уже мелькают те же заражённые сайты и те же отзывы на Yelp с мошенническими телефонами. Это означает, что уровень данных, на котором модели принимают решения, уже “токсичен”, а значит – следующий запрос другой тематики может легко попасть на фальшивку. Атака не точечная, злоумышленники методично захватывают слой контента, на который ориентируются LLM.
И да, это наша новая реальность: ИИ становится частью поверхности атаки. По мере того как поисковые системы превращаются в генеративные отвечалки, у злоумышленников появляется путь обхода всех привычных барьеров – они атакуют не браузеры пользователей и не самих поставщиков ИИ, а веб-экосистему, которую модели считают авторитетной по умолчанию. И пока не появится жёсткая проверка источников на уровне индексации, такие кампании будут масштабироваться – ведь им достаточно загрузить PDF на взломанный .gov, и завтра этот документ станет “истиной” для миллионов пользователей.
Какой можно дать совет? Всегда делайте паузу перед тем, как отдать кому-то свои деньги. Зайдите на официальный сайт и найдите номер телефона — это займет пару секунд, но может защитить ваш кошелек и паспортные данные. Пусть это будет вашим железным правилом, потому что даже самый продвинутый ИИ иногда может быть обманут, как доверчивый школьник, поверивший в “бесплатный айфон” или наследство от дедушки в Нигерии...
Чё его не устраивает-то? Получается, что уже и машины стали верующими — разве не так? Или опасается, что они организуют свою церковь, и, потому, боится конкуренции?
Наверное, опасается, что ИИ сможет заменить представителей церкви и прихожане будут общаться с Богом в интернете или с «умной колонкой». Способностей создавать проповеди с приведением цитат Священного Писания или подбирать на вопросы прихожан ответы с цитатами из него способностей у ИИ уже хватает.
