Модель угроз для кибербезопасности AI: комплексный подход ко всем этапам жизненного цикла искусственного интеллекта

отметили
51
человек
в архиве
Модель угроз для кибербезопасности AI: комплексный подход ко всем этапам жизненного цикла искусственного интеллекта

Экспертами кибербезопасности Сбера подготовлена первая версия модели угроз для систем искусственного интеллекта (AI), которая охватывает все ключевые этапы жизненного цикла AI-систем — от подготовки данных и разработки AI-модели до интеграции в приложение. Документ пригодится командам, которым требуется системный подход к моделированию угроз, опирающийся на объединение экспертизы команды Сбера и лучших мировых практик по кибербезопасности AI.

Документ описывает 70 угроз моделей генеративного (GenAI) и предиктивного (PredAI) искусственного интеллекта. Создание подобной модели особенно актуально в свете растущего использования GenAI-моделей в критически важных бизнес-процессах и возникающих в связи с этим новых киберугроз.

Разработанная модель угроз учитывает текущий опыт команд Сбера при работе над повышением защищённости собственных AI-моделей, а также лучшие мировые практики в данной предметной области (документы OWASP, MITRE, NIST и др.).

Для каждой из 70 угроз, помимо возможных последствий, определены свойства информации, которые нарушаются (конфиденциальность, целостность и доступность), и объект, который может быть подвергнут воздействию нарушителя, — к примеру, датасеты для обучения или оpen-source модели.

Для наглядности модель угроз содержит схему взаимодействия таких объектов и их описание.

Обобщённая схема объекта защиты и актуальных угроз КБ AI
Скачать

«Внедрение технологий искусственного интеллекта в бизнес-процессы сопровождается масштабными вызовами кибербезопасности. Организации, использующие AI, сталкиваются с новыми рисками, способными повлиять на устойчивость систем и конфиденциальность данных. Эти угрозы затрагивают все этапы жизненного цикла AI, что требует новых решений для их прогнозирования и нейтрализации.

Сбер активно применяет технологии искусственного интеллекта в своих бизнес-процессах и хорошо понимает новый ландшафт угроз. Для ответа на эти вызовы нами разработана первая в России модель угроз, охватывающая полный спектр рисков, связанных с разработкой и применением AI. Она позволяет организациям любой отрасли — от финансового сектора до государственных институтов и промышленности — системно оценивать уязвимости, адаптировать защитные механизмы и минимизировать потенциальные потери».

Сергей Лебедь

Вице-президент по кибербезопасности СберБанка

Добавил 4toSnamiStalo 4toSnamiStalo 5 Февраля (исправил sant sant)
Комментарии участников:
sant
+15
sant, 5 Февраля , url

внесу в соновости (4toSnamiStalo технически не может)

suare
+1
suare, 5 Февраля , url

 Поддержу 👍

sant
+16
sant, 5 Февраля , url


×
Слишком много материалов для связки. Максимальное количество — 4.

 прошла 1

suare
+2
suare, 5 Февраля , url

👌👍👏

sant
+18
sant, 5 Февраля , url

вы же модератор сообщества — можно сразу :-)

не забудьте про www. в ссылке на превью

suare
+2
suare, 5 Февраля , url

Спасибо за напоминание. Каждый раз забываю про свои «особые» полномочия.

suare
+3
suare, 5 Февраля , url

Очень похоже на 

историю с «проклятым» Т9: «Доверяй, но проверяй».

На заре внедрения новых технологий сбои, ошибки, заблуждения и жертвы прогресса неизбежны и лишь дальнейшая оптимизация снизит потери от внедрения нового через обязательное следование правилам безопасности.

Прогресс требует жертв от первопроходцев и свода правил от их последователей.

4toSnamiStalo
+3
4toSnamiStalo, 5 Февраля , url

Обращу внимание — ключевой являеся первая тема

https://www.news2.ru/story/717876/

а остальные — демонстрация и пояснения её.

 
suare
+4
suare, 5 Февраля , url

Просто отдельные люди, включая самых продвинутых «чемпионов», начинают отставать в этой гонке с ИИ, как в свое время играх в шахматы, Го и покер, а коллективный общественный естественный интеллект пока что держится из последних сил, но тоже сдает свои позиции: AI начал решать задачи, с которыми специалисты не справлялись долгие годы.

Искусственный интеллект начинает расширенно воспроизводить себя сам, в том числе и в космос: люди утрачивают контроль над ним.

Но логика скачка AI уже начинает диктовать свои «машинные» правила, меняя природу и идентичность людей.

«Смешались в кучу кони, люди»...

suare
+1
suare, 5 Февраля , url

AI начал решать задачи, с которыми специалисты не справлялись долгие годы

Быстрый ответ, возможны неточности
Содержимое ответа
Искусственный интеллект (AI) решил задачи, которые ранее казались нерешёнными, в разных областях: математике, медицине, экономике и экологии. wired.com1cBIT.rumoluch.ru
 
Математика
  • Решение задачи Эрдёша №728 — открытой проблемы о делимости факториалов, поставленной в 1975 году Полом Эрдёшем, Рональдом Грэхемом, Имре Рузой и Эрнстом Страусом. Связка GPT-5.2 Pro и математического ИИ Aristotle сгенерировала новое доказательство, формализованное в proof assistant Lean и верифицированное машинно.
  • Решение задачи, которая столетие мешала математикам — модель ИИ, разработанная Meta, определила, останутся ли решения уравнений, описывающих определённые динамически изменяющиеся системы, стабильными и предсказуемыми навсегда. Ключом к решению было нахождение функций Ляпунова, которые определяют долгосрочную стабильность этих систем.
  • Решение задач на Международной математической олимпиаде (IMO) — в 2024 году системы AlphaProof и AlphaGeometry 2 от DeepMind совместно решили четыре из шести задач, набрав в общей сложности 28 баллов.
dtf.ruhabr.com
 
Медицина
  • Диагностика и анализ изображений — нейросети анализируют рентгенограммы, МРТ, КТ и маммограммы с точностью, которая часто превышает человеческие возможности. Например, российский сервис диагностики MDDC выявляет новообразования в лёгких размером менее 4 мм, что позволяет обнаружить рак на самых ранних стадиях.
  • Прогнозирование заболеваний — алгоритмы машинного обучения способны предсказывать развитие болезней задолго до появления клинических симптомов. Они анализируют данные из электронных медицинских карт, выявляя скрытые закономерности и факторы риска.
  • Персонализированное лечение — ИИ-решения помогают создавать индивидуальные планы лечения на основе генетической информации пациента, истории болезни и реакции на различные препараты. Это минимизирует побочные эффекты и повышает эффективность терапии.
  • Разработка лекарств — ИИ проверяет тысячи формул, сравнивает их структуру, моделирует, как они будут взаимодействовать с белками и клетками. Например, при создании вакцины «Спутник V» команда AIRI и Центра имени Гамалеи использовала ИИ, чтобы улучшить S-белок вируса.
1cBIT.rubitrix24.ru
 
Экономика
  • Оптимизация бизнес-процессов и снижение затрат — ИИ используется для прогнозирования спроса, ассортимента и промоакций, оптимизации ценообразования, управления ассортиментом, поиска новых локаций для торговых точек.
  • Автоматизация процессов — например, в строительстве ИИ контролирует прогресс на строительных площадках с помощью камер с компьютерным зрением и видеоаналитикой.
  • Выявление возможных мошенников — ИИ помогает отклонять заявки по утерянным или украденным паспортам, например, «компьютерное зрение» лучше справляется с задачей, чем человек.
  • Оптимизация документооборота — искусственный интеллект обрабатывает документы в 15–20 раз быстрее человека.
sber.prokp.ru
 
Экология
  • Мониторинг изменений климата и прогнозирование природных бедствий — алгоритмы машинного обучения анализируют данные о климатических изменениях и предсказывают возможные последствия изменений, такие как наводнения и засухи.
  • Моделирование и управление экосистемами — проект NatureServe Conservation Status использует ИИ для создания моделей изменений в биоразнообразии, что помогает эффективно управлять заповедниками и зонами сохранения.
  • Мониторинг загрязнений и качества воздуха — проект Aclima установил датчики в городах, собирающие данные о качестве воздуха, а алгоритмы анализируют эту информацию, определяя и прогнозируя источники загрязнений.
  • Оптимизация энергопотребления и управление отходами — Google DeepMind разработала систему управления энергопотреблением для центров обработки данных, используя нейронные сети, что помогает снижать энергозатраты, оптимизируя использование ресурсов.
  • Контроль обращения со строительными отходами — система на основе ИИ использует камеры, чтобы отслеживать грузовики, перевозящие строительный мусор, и фиксировать нарушения, предотвращая несанкционированный сброс отходов за пределами полигонов.
moluch.ruhi-tech.mail.ru
 
ИИ вдруг начали щелкать одну за другой нерешенные людьми математические задачи
12 января
2901
1 мин

Это значит, что ИИ уровня «гений по требованию» может появиться уже в 2026

Сегодня многие медиа напишут, как о сенсации, о «победе на выходных: ChatGPT 5.2 Pro решил нерешенную ранее математическую задачу».Речь идет о сообщении Нила Сомани, что доказательство, которое он представил для задачи Эрдёша № 397, было принято знаменитым математиком Теренсом Тао.

FYI. Знаменитый венгерский математик Пал Эрдёш сформулировал множество нерешённых гипотез и задач в математике (более 1000), в основном в областях комбинаторики, теории чисел и геометрии. Многие из них до сих пор не решены.

И хотя в сообщении Нила Сомани чистая правда, сенсация вовсе не в этом.

Настоящая сенсация в том, что произошел какой-то еще не понятый нами прорыв. Фронтирные модели вдруг начали с конца декабря щелкать одну за другой нерешенные людьми задачи Эрдёша, тратя на решение одной задачи около15 минут: 24-го декабря решена задача №1077; 25-го — №333; 26-го – 897; 6 января 2026 — №728; 8-го – 720; 10-го №205 и №397 (источник).

О том, что преодолен важный рубеж, Теренс Тао написал после того, как 6-го января модель ChatGPT 5.2 Pro с помощью Aristotle (новая LLM, которая находит напрямую формальные доказательства математических утверждений, которые можно верифицировать, и если они проходят проверку, считать вопрос закрытым) решил задачу Эрдёша № 728.

Прорыв в том, что:

1. Задача была решена ИИ автономно (после получения обратной связи по результатам первоначальной попытки).

2. Это решение не существовало (не было описано) в каких либо источниках, созданных математиками – людьми.

Это – как пишет Теренс Тао — демонстрирует реальное увеличение возможностей этих инструментов за последние месяцы.

Следовательно, потребовалось всего 3 месяца, чтобы уровень моделей (по определению того же Теренса Тао) повысился с «уровня некомпетентного аспиранта» до «уровня компетентного аспиранта» (способного к самостоятельному творческому синтезу знаний).

И возможно, до уровня «гений по требованию» нас также отделяют уже не годы, а месяцы.



Войдите или станьте участником, чтобы комментировать