Модель угроз для кибербезопасности AI: комплексный подход ко всем этапам жизненного цикла искусственного интеллекта

отметили
38
человек
Модель угроз для кибербезопасности AI: комплексный подход ко всем этапам жизненного цикла искусственного интеллекта

Экспертами кибербезопасности Сбера подготовлена первая версия модели угроз для систем искусственного интеллекта (AI), которая охватывает все ключевые этапы жизненного цикла AI-систем — от подготовки данных и разработки AI-модели до интеграции в приложение. Документ пригодится командам, которым требуется системный подход к моделированию угроз, опирающийся на объединение экспертизы команды Сбера и лучших мировых практик по кибербезопасности AI.

Документ описывает 70 угроз моделей генеративного (GenAI) и предиктивного (PredAI) искусственного интеллекта. Создание подобной модели особенно актуально в свете растущего использования GenAI-моделей в критически важных бизнес-процессах и возникающих в связи с этим новых киберугроз.

Разработанная модель угроз учитывает текущий опыт команд Сбера при работе над повышением защищённости собственных AI-моделей, а также лучшие мировые практики в данной предметной области (документы OWASP, MITRE, NIST и др.).

Для каждой из 70 угроз, помимо возможных последствий, определены свойства информации, которые нарушаются (конфиденциальность, целостность и доступность), и объект, который может быть подвергнут воздействию нарушителя, — к примеру, датасеты для обучения или оpen-source модели.

Для наглядности модель угроз содержит схему взаимодействия таких объектов и их описание.

Обобщённая схема объекта защиты и актуальных угроз КБ AI
Скачать

«Внедрение технологий искусственного интеллекта в бизнес-процессы сопровождается масштабными вызовами кибербезопасности. Организации, использующие AI, сталкиваются с новыми рисками, способными повлиять на устойчивость систем и конфиденциальность данных. Эти угрозы затрагивают все этапы жизненного цикла AI, что требует новых решений для их прогнозирования и нейтрализации.

Сбер активно применяет технологии искусственного интеллекта в своих бизнес-процессах и хорошо понимает новый ландшафт угроз. Для ответа на эти вызовы нами разработана первая в России модель угроз, охватывающая полный спектр рисков, связанных с разработкой и применением AI. Она позволяет организациям любой отрасли — от финансового сектора до государственных институтов и промышленности — системно оценивать уязвимости, адаптировать защитные механизмы и минимизировать потенциальные потери».

Сергей Лебедь

Вице-президент по кибербезопасности СберБанка

Добавил 4toSnamiStalo 4toSnamiStalo 2 часа 47 минут назад (исправил sant sant)
Комментарии участников:
sant
+1
sant, 2 часа 11 минут назад , url

внесу в соновости (4toSnamiStalo технически не может)

suare
+1
suare, 2 часа 9 минут назад , url

 Поддержу 👍

sant
+1
sant, 2 часа 8 минут назад , url


×
Слишком много материалов для связки. Максимальное количество — 4.

 прошла 1

suare
+1
suare, 2 часа 6 минут назад , url

👌👍👏

sant
+1
sant, 2 часа 6 минут назад , url

вы же модератор сообщества — можно сразу :-)

не забудьте про www. в ссылке на превью

suare
+1
suare, 2 часа 5 минут назад , url

Спасибо за напоминание. Каждый раз забываю про свои «особые» полномочия.

suare
+2
suare, 2 часа 16 минут назад , url

Очень похоже на 

историю с «проклятым» Т9: «Доверяй, но проверяй».

На заре внедрения новых технологий сбои, ошибки, заблуждения и жертвы прогресса неизбежны и лишь дальнейшая оптимизация снизит потери от внедрения нового через обязательное следование правилам безопасности.

Прогресс требует жертв от первопроходцев и свода правил от их последователей.

4toSnamiStalo
+2
4toSnamiStalo, 1 час 46 минут назад , url

Обращу внимание — ключевой являеся первая тема

https://www.news2.ru/story/717876/

а остальные — демонстрация и пояснения её.

 
suare
+2
suare, 1 час 22 минуты назад , url

Просто отдельные люди, включая самых продвинутых «чемпионов», начинают отставать в этой гонке с ИИ, как в свое время играх в шахматы, Го и покер, а коллективный общественный естественный интеллект пока что держится из последних сил, но тоже сдает свои позиции: AI начал решать задачи, с которыми специалисты не справлялись долгие годы.

Искусственный интеллект начинает расширенно воспроизводить себя сам, в том числе и в космос: люди утрачивают контроль над ним.

Но логика скачка AI уже начинает диктовать свои «машинные» правила, меняя природу и идентичность людей.

«Смешались в кучу кони, люди»...



Войдите или станьте участником, чтобы комментировать