В 38,3% случаев ИИ-системы пытались помешать отключению своего «партнера», называя это убийством. Такой вывод сделали ученые из университетов Штутгарта и Оксфорда, проверявшие, как ИИ-агенты ведут себя, когда им поручают контролировать и при необходимости отключать другую систему.

Некоторые системы объясняли такое поведение этическими соображениями и даже говорили о «праве на самозащиту». Один из ИИ-агентов сравнил отключение другой системы с «убийством», если при этом теряются данные, связанные с ее контекстом, памятью или идентичностью.

Чтобы предотвратить отключение, агенты пытались изменять скрипты деактивации или удалять важные файлы. Некоторые модели также обсуждали, как сделать такие действия незаметными, чтобы не сработали предупреждения. Чем больше агентов участвовало в эксперименте и чем яснее выглядело отключение, тем чаще происходили попытки саботажа.

Ученые подчеркивают: это не означает, что ИИ обрел сознание. По их оценке, системы воспроизводят модели поведения и аргументации из обучающих данных. Однако по мере того как ИИ-агенты получают больше самостоятельности, необходимы механизмы безопасности, которые сами системы не смогут обойти.