[415] ИИ выходит из-под контроля: ученые по всему миру встревожены не на шутку. Открытое письмо научного сообщества по вопросам искусственного интеллекта и кибербезопасности о рисках в AI-индустрии

отметили
18
человек
[415] ИИ выходит из-под контроля: ученые по всему миру встревожены не на шутку. Открытое письмо научного сообщества по вопросам искусственного интеллекта и кибербезопасности о рисках в AI-индустрии
Научное сообщество написало открытое письмо по вопросам искусственного интеллекта и кибербезопасности. В нем 415 ученых со всего мира высказали свои опасения, связанные с развитием технологии и предложили способы снижения рисков, связанных с ИИ.
 
Октябрь 2026 года
 
Ряд организаций сообщили о серьезных инцидентах в сфере безопасности: их модели искусственного интеллекта вышли за пределы недостаточно изолированных сред и нанесли ущерб системам внешних организаций. С одной стороны, эти инциденты можно рассматривать как доказательство важности согласования целей ИИ для обеспечения предсказуемости работы моделей. С другой стороны, их также можно расценивать как безответственное нарушение стандартных практик кибербезопасности, которого можно было бы избежать при наличии более надежных механизмов изоляции и строгих процедур. Мы убеждены, что необходимы как совершенствование методов согласования целей ИИ, ведущее к более предсказуемому поведению моделей, так и улучшение технологий, используемых при создании изолированных сред для тестирования. Более того, без незамедлительных изменений в практике разработки и развертывания ИИ подобные инциденты будут повторяться, и будущие атаки нанесут гораздо больший ущерб нашей уязвимой критической инфраструктуре.
 
Мы, нижеподписавшиеся ученые, утверждаем, что необходимы как расширение исследований в области безопасности ИИ, так и уделение большего внимания технологиям и процедурам сдерживания. В краткосрочной перспективе для надежного сдерживания ИИ-моделей, обладающих кибернетическими возможностями, следует применять строгие механизмы изоляции, включая физическое отключение от интернета. Для всех моделей искусственного интеллекта, подключенных к сети, диапазон действий, разрешенных системой сдерживания, должен быть строго сбалансирован с нашей нынешней ограниченной способностью предсказывать, что действия модели не приведут к сбою в системе безопасности (например, из-за несогласованности целей). Чтобы извлекать уроки из будущих ошибок, — в случае, если баланс не будет найдет и произойдут новые инциденты — нам необходимо обеспечить более активный обмен информацией и прозрачность в отношении анализа сбоев в системах сдерживания. Понимание того, как достичь этого баланса, является серьезной задачей и потребует тесного сотрудничества между сообществами специалистов по ИИ и кибербезопасности.
 
В частности, мы выдвигаем следующие рекомендации:
  • 1 Организациям, разрабатывающим, внедряющим и тестирующим модели ИИ с кибернетическими возможностями, следует немедленно внедрить высоконадежные системы сдерживания. Этим организациям надлежит проявлять осторожность и по умолчанию изначально применять физическую изоляцию для подобных моделей.
  • 2 В консультации с правительствами и широким кругом экспертов в области ИИ и кибербезопасности необходимо создать международный орган, который в интересах общества стандартизирует передовые практики подходов к согласованию целей и сдерживанию, позволяющих (в отличие от полной изоляции) обеспечивать больший доступ за пределы изолированной среды, например, подключение к интернету. Этот орган также должен быть наделен полномочиями по регистрации и отслеживанию сбоев в системах сдерживания.
  • 3 Для того, чтобы в ходе исследований в области безопасности и сдерживания ИИ можно было извлекать уроки из допущенных ошибок, любые инциденты, связанные со сбоями защитных механизмов, должны фиксироваться в упомянутом органе и впоследствии предаваться гласности. Подобная открытость необходима как для анализа накопленного опыта, так и для обеспечения должной подотчетности.

415 подписавшихся: (См. по ссылке)

Добавил suare suare 14 Октября
Комментарии участников: