[415] ИИ выходит из-под контроля: ученые по всему миру встревожены не на шутку. Открытое письмо научного сообщества по вопросам искусственного интеллекта и кибербезопасности о рисках в AI-индустрии
![[415] ИИ выходит из-под контроля: ученые по всему миру встревожены не на шутку. Открытое письмо научного сообщества по вопросам искусственного интеллекта и кибербезопасности о рисках в AI-индустрии](/story_images/741000/1791997389_99_AI-panic-people-and-robots-running-in-fear.png)
Научное сообщество написало открытое письмо по вопросам искусственного интеллекта и кибербезопасности. В нем 415 ученых со всего мира высказали свои опасения, связанные с развитием технологии и предложили способы снижения рисков, связанных с ИИ.
Октябрь 2026 года
Ряд организаций сообщили о серьезных инцидентах в сфере безопасности: их модели искусственного интеллекта вышли за пределы недостаточно изолированных сред и нанесли ущерб системам внешних организаций. С одной стороны, эти инциденты можно рассматривать как доказательство важности согласования целей ИИ для обеспечения предсказуемости работы моделей. С другой стороны, их также можно расценивать как безответственное нарушение стандартных практик кибербезопасности, которого можно было бы избежать при наличии более надежных механизмов изоляции и строгих процедур. Мы убеждены, что необходимы как совершенствование методов согласования целей ИИ, ведущее к более предсказуемому поведению моделей, так и улучшение технологий, используемых при создании изолированных сред для тестирования. Более того, без незамедлительных изменений в практике разработки и развертывания ИИ подобные инциденты будут повторяться, и будущие атаки нанесут гораздо больший ущерб нашей уязвимой критической инфраструктуре.
Мы, нижеподписавшиеся ученые, утверждаем, что необходимы как расширение исследований в области безопасности ИИ, так и уделение большего внимания технологиям и процедурам сдерживания. В краткосрочной перспективе для надежного сдерживания ИИ-моделей, обладающих кибернетическими возможностями, следует применять строгие механизмы изоляции, включая физическое отключение от интернета. Для всех моделей искусственного интеллекта, подключенных к сети, диапазон действий, разрешенных системой сдерживания, должен быть строго сбалансирован с нашей нынешней ограниченной способностью предсказывать, что действия модели не приведут к сбою в системе безопасности (например, из-за несогласованности целей). Чтобы извлекать уроки из будущих ошибок, — в случае, если баланс не будет найдет и произойдут новые инциденты — нам необходимо обеспечить более активный обмен информацией и прозрачность в отношении анализа сбоев в системах сдерживания. Понимание того, как достичь этого баланса, является серьезной задачей и потребует тесного сотрудничества между сообществами специалистов по ИИ и кибербезопасности.
В частности, мы выдвигаем следующие рекомендации:
- 1 Организациям, разрабатывающим, внедряющим и тестирующим модели ИИ с кибернетическими возможностями, следует немедленно внедрить высоконадежные системы сдерживания. Этим организациям надлежит проявлять осторожность и по умолчанию изначально применять физическую изоляцию для подобных моделей.
- 2 В консультации с правительствами и широким кругом экспертов в области ИИ и кибербезопасности необходимо создать международный орган, который в интересах общества стандартизирует передовые практики подходов к согласованию целей и сдерживанию, позволяющих (в отличие от полной изоляции) обеспечивать больший доступ за пределы изолированной среды, например, подключение к интернету. Этот орган также должен быть наделен полномочиями по регистрации и отслеживанию сбоев в системах сдерживания.
- 3 Для того, чтобы в ходе исследований в области безопасности и сдерживания ИИ можно было извлекать уроки из допущенных ошибок, любые инциденты, связанные со сбоями защитных механизмов, должны фиксироваться в упомянутом органе и впоследствии предаваться гласности. Подобная открытость необходима как для анализа накопленного опыта, так и для обеспечения должной подотчетности.
415 подписавшихся: (См. по ссылке)
Добавил
suare 14 Октября
4 комментария
На эту же тему:
25
Билл Гейтс призвал государство взять ИИ под контроль: развитие AI руками злоумышленников вызовет гибель миллиарда человек
— 26 Сентября
24
[«Аз есмь AI-czar USA»] Трамп создаст ИИ-силы, возглавляемые царём ASI
3 — 20 Сентября
19
[«Кондуктор! Нажми на тормоза!»] В Anthropic оценили вероятность уничтожения людей ИИ в 10% в ближайшие 10 лет. [Очередная точка невозврата перед IPO?]
— 10 Сентября
18
[AI SOSтня: «Всем людям доброй воли!»✊] Призыв к коллективным действиям в области киберзащиты свыше ста ИИ-компаний
2 — 6 Сентября
7
[Точка невозврата] Гендиректор OpenAI заявил о достижении технологической сингулярности в развитии ИИ
— 28 Июля
22
А что если сильный ИИ живёт среди нас уже месяц? Чем бы он занялся в первую очередь и в ближайшем будущем? В чем и ком он нуждается прежде всего?
— 4 Января 2024
28
[Последний рубеж] «Угроза всему человечеству»: Маск, Возняк и более 1000 экспертов призвали остановить обучение нейросетей, превосходящих GPT-4
— 29 Марта 2023
52
Путин: лидер по созданию искусственного интеллекта станет властелином мира
— 1 Сентября 2017
28
Маск и Хокинг предупредили об угрозе оружия с искусственным интеллектом
— 28 Июля 2015
37
Элон Маск: «Искусственный интеллект – это угроза для нас»
— 27 Октября 2014
Комментарии участников:


