[AI SOSтня: «Всем людям доброй воли!»✊] Призыв к коллективным действиям в области киберзащиты свыше ста ИИ-компаний

отметили
18
человек
[AI SOSтня: «Всем людям доброй воли!»✊] Призыв к коллективным действиям в области киберзащиты свыше ста ИИ-компаний
В ближайшие месяцы кибератаки с использованием ИИ станут происходить гораздо чаще, предупреждает Open AI в своем совместном с сотней других крупнейших компаний открытом письме. Они предлагают правительствам и другим участникам рынка объединить усилия и «действовать решительно», чтобы сделать цифровой мир безопаснее.
 
Открытое письмо
 
Времени на то, чтобы укрепить киберзащиту, остается все меньше.
 
В ближайшие месяцы кибератаки с использованием искусственного интеллекта будут происходить чаще и станут гораздо более изощренными, поскольку модели по всему миру неуклонно совершенствуются. В зоне риска окажутся компании и государственные службы, от которых зависят наши сообщества: больницы, водоочистные сооружения и инфраструктура, обеспечивающая работу интернета.
 
Современные достижения в области ИИ уже наделили специалистов по киберзащите новыми возможностями по устранению накопившихся за годы уязвимостей. Действуя решительно, мы воспользуемся этим окном возможностей и сделаем наш цифровой мир гораздо безопаснее.
 
Мы предлагаем следующие принципы коллективного реагирования:
  • 1
    Следует понимать, что нынешний уровень безопасности недостаточен. Накопившиеся ошибки, избыточные права доступа, неверные настройки, небезопасное и вовремя не обновленное программное обеспечение, слабая аутентификация и техническое отставание устаревших систем служат источником уязвимости. Специалисты по безопасности, особенно в области критической инфраструктуры, исторически страдали от нехватки ресурсов, поэтому они нуждаются в дополнительном наборе инструментов и средств.
  • 2
    Расширить возможности специалистов по защите с помощью ИИ, способного работать в киберпространстве. ИИ помогает все большему числу экспертов обрести специализированные навыки и позволяет выполнять основные задачи по обеспечению безопасности быстрее, дешевле и качественнее. Обмен инструментами, практическими знаниями и проверенными решениями позволяет отдельно взятой организации защищать многие другие.
  • 3
    Мобилизовать коллективный ответ. Возможности кибербезопасности развиваются во всем мире, и в этом кроется положительный момент: ни одна отдельно взятая компания не должна определять будущее. Это также подразумевает необходимость глобального ответа и требует новых форм партнерства для повышения стандартов безопасности и поиска новых решений против возникающих киберугроз.
Каждый из нас может снизить риски уже сейчас. Всем организациям, компаниям в области кибербезопасности, технологическим партнеры, правительствам и фирмам в сфере передовых ИИ-технологий отведена важная роль: они должны облегчить специалистам в области защиты выполнение приоритетных задач с помощью инструментов, финансирования и практической поддержки — особенно для стесненных в средствах организаций ключевой инфраструктуры.
 
Вот что, по нашему мнению, должно произойти дальше

Всем организациям

Сделайте киберзащиту первоочередной задачей руководства. Повысьте стандарты безопасности и реагируйте на них с той же оперативностью и координацией, что и при приоритетных инцидентах, важнее которых могут быть лишь первостепенные деловые операции.

Устраняйте уязвимости, представляющие наибольший риск, проверяйте результаты, не нарушая работу основных служб, и следите за безопасностью того, что вы покупаете, создаете и внедряете, включая коды, сгенерированные ИИ.

Модернизируйте или заменяйте системы по принципу минимальных привилегий, обеспечивая надежный контроль доступа и многоуровневую защиту. Используйте эффективные и недорогие модели для широкого охвата и применяйте передовые возможности для решения наиболее сложных проблем.

В случае, если систему невозможно обновить без нарушения работы основных служб, применяйте и проверяйте компенсирующие меры контроля.

Компаниям, работающим в сфере кибербезопасности, и технологическим партнерам

Помогите возглавить процесс осуществления ответных мер по защите от продолжительных атак с использованием ИИ, включая непрерывное тестирование средств защиты от передовых киберугроз, усиление существующих инструментов с помощью ИИ и сотрудничество с технологическими партнерами для устранения существующих пробелов уже сейчас.

Сделайте средства защиты на основе ИИ доступными и готовыми к использованию для операторов критически важной инфраструктуры, оказывая им практическую помощь в развертывании инструментов и проверке корректности исправлений, а также взаимодействуйте с производителями комплектующих для такой инфраструктуры и системными интеграторами для выпуска патчей и временных рекомендаций.

Делитесь информацией об угрозах и проверенными методами, а также оценивайте прогресс по количеству защищенных организаций, скорости локализации атак и эффективности исправлений.

Правительствам

Координируйте киберзащиту на местном, национальном и международном уровнях. Укрепите существующие каналы взаимодействия между государственными структурами и частным сектором для обмена оперативными данными об угрозах, определения наиболее серьезных рисков в порядке приоритетности, а также для координации действий по реагированию на инциденты и ликвидации их последствий по всему миру.

Инвестируйте в киберзащиту, начиная с жизненно важных служб, у которых не хватает кадров или бюджета для самостоятельных действий. Активнее внедряйте программы доверенного доступа, особенно для каналов поставок ключевой инфраструктуры, и обеспечьте более широкий доступ к средствам активной обороны для других субъектов киберзащиты.

Предоставьте больницам, службам водоснабжения и местным органам власти доступ к эффективным оборонным системам на базе ИИ, возможность проведения санкционированных проверок защищенности, а также практическую поддержку через надежных поставщиков и партнеров в сфере безопасности. Обеспечьте неотвратимость издержек для злоумышленников.

Передовым компаниям в сфере ИИ

Обеспечьте ответственный доступ к моделям, значительное финансирование, обучение и практическую поддержку, особенно тем, кто обеспечивает защиту ключевых объектов инфраструктуры и при этом не располагает достаточными ресурсами.

Создайте инструменты наблюдения и безопасности, обеспечьте отслеживание и подотчетность идентификационных данных агентных систем и делитесь передовым опытом в области непрерывного мониторинга.

Инвестируйте в санкционированное тестирование, непубличное раскрытие уязвимостей и проверенные механизмы их устранения; делитесь инструментами, практическими руководствами и достоверными оценками угроз с правительствами, партнерами по безопасности и разработчиками открытого кода, чтобы усилить готовность к угрозам, эффективность реагирования и способность к восстановлению после атак.

Мы способны сделать цифровую инфраструктуру, от которой зависит каждый из нас, более надежной.

 
Мы способны сделать цифровую инфраструктуру, от которой зависит каждый из нас, более надежной
Призываем руководителей как в промышленности, так и в государственных структурах приложить все свои технологические, ресурсные и интеллектуальные возможности к достижению этой цели. Передайте киберзащитные средства на базе ИИ в руки экспертов — в первую очередь тем командам, которые обеспечивают безопасность жизненно важных служб. Устраните наиболее опасные уязвимости, проверьте эффективность внесенных исправлений и делитесь успешными наработками, чтобы другие могли опираться на них. Вместе мы способны превратить сегодняшние достижения в области искусственного интеллекта в долгосрочные преобразования в сфере безопасности, которые принесут пользу всем. Давайте применим их на деле.
 
Компании, подписавшие открытое письмо
 
1Password, Abnormal AI, Accenture, Adobe, Advent International, Aikido, Akamai, AMD, Anthropic, APIsec, Arena, Arm, AWS, BBVA, Block, Broadcom, Calif, Cantina Security, Cape, Capgemini, Capital One, Cato Networks, Center for Internet Security, Cerebras, Check Point, Cisco, Citadel, Citi, Clearly AI, Cloaked, Cloudflare, Cogent Security, Cognition, Cognizant, Corelight, Corridor, Cotool, CrowdStrike, Cyera, Darktrace, Dell, depthfirst, Deutsche Telekom, Dropzone.ai, DTCC, Elastic, Enclave, EPAM, Equinix, EXA.ai, ExodusPoint, F5, Factory, Fifth Third Bank, Figma, FIS, Fiserv, Fleet AI, Flexport, Fortinet, Gen Digital, General Motors, Glean, Glow, GoDaddy, Google, HackerOne, Harvey, HCLTech, Hugging Face, IBM, Incident.io, KPMG LLP, Lovable, Lumen Technologies, Marsh, Mastercard, Mercor, Micron, Microsoft, Nationwide Building Society, NTT DATA, Obsidian Security, Octane Security, Offensive AI Conference (OAIC), Okta, Oliver Wyman, OpenAI, Oracle, Outtake AI, Palo Alto Networks, Perplexity, Proofpoint, Prophet Security, PwC, Red Hat, ReliaQuest, RemoteThreat, Replit, Robinhood, RunSybil, SAP, Scale AI, SentinelOne, ServiceNow, Shopify, Snowflake, Snyk, Socket, Sophos, SpecterOps, Tenable, Tenzai, The Clearing House, Third Moment Research, Trail of Bits, TransUnion, TrendAI, Uber, Unisys, U.S. Bank, Vercel, Veria Labs, Visa, WWT, XBOW, Zscaler, Zurich Insurance Company.
 
 
Обсуждение
Комментариев: 5

Stropa
28 августа, 20:33
4
Если объединить в едином полете фантазии Список компаний и Смысл обращения, то это напоминает анекдот: «Экипаж прощается с вами и желает вам приятного полета...»Всем буфетчицам доброй воли ИТ-сектора: «Сама, сама, сама»
 
M
Mich2
28 августа, 20:44
-7
И каждому на лоб красивую, стильную татуировку. Носить открыто.:)

M
Mich2
29 августа, 01:09
-1
Mich2, да минусуйте сколько влезет, ясно, что колокольчик в носу вам, минусаторам, привычнее и милее, но он не вписывается в эпоху цифровизации в отличие от QR-кода, так шта готовьте шкурку к нанесению рисунка.:)
 

Алексей Иванов
29 августа, 11:59
3
Кремниевой долине нужен новый рынок. Предлагают новый товар — защита от ИИ с помощью ИИ.)))
 
АК
Алексей Кириллов
29 августа, 15:24
Говорят, что когда крупные банкиры стали требовать 100% защиту от ограблений, то — склонный к юмору архитектор — представил им проект банка без окон и дверей. Но как же мы сами-то попадём в такой банк? — недоумевали заказчики. Ну… можно сделать и двери, коли вы этого хотите, но тогда вы должны смириться с тем фактом, что и грабители тоже смогут войти в них!
А жулики? Ну, первый настоящий газосварочный аппарат создали французские инженеры Эдмон Фуше и Шарль Пикар. В 1903 году Фуше и Пикар получили на своё изобретение патент в Германии. Замечательно! Но, есть информация, что в 1890 году преступники впервые использовали автоген для ограбления банка в Ганновере. Как-то у криминала всё бойчее и оперативнее получается. Ждём-с сообщений, что ИИ обнёс банк! А он — это тоже может, а нравственность? — нет, не слышали...
Добавил suare suare 6 Сентября
Дополнения:
 
XСША
19 августа 2026 16:54
21326
 

Глава Anthropic: ИИ-индустрия должна выполнять данные обществу обещания

Грамотное регулирование ИИ приведет к сдерживанию лидеров индустрии и даст фору небольшим стартапам, написал глава Anthropic Дарио Амодей в Х. По его мнению, доверие общества к нейросетям не получится вернуть с помощью маркетинга: для этого индустрии необходимо выполнять данные обществу обещания.
 
Дарио Амодей в X:
Спасибо, Гэвин, за такой глубокий обмен мнениями. Обычно я уделяю не так много времени социальным сетям, но в этот раз захотел поучаствовать в дискуссии, поскольку она действительно важна.
 
Во-первых, о регулировании. Я считаю, что «либо сконцентрировать власть в руках избранных компаний и политиков посредством регулирования, либо широко распределить ее» — это ложный выбор. Я знаю, что в Кремниевой долине существует своего рода упрощенная формула, согласно которой регулирование = захват регулятора = концентрация власти, но мне всегда казалось, что это чрезмерно простое представление о мире. Многие люди за пределами этого «пузыря» считают регулирование чем-то, что ограничивает корпоративную власть и приносит пользу простым людям. Я не совсем согласен и с этой точкой зрения; мне кажется, что все гораздо сложнее и на самом деле зависит от того, в чем именно заключается это «регулирование». Но, в частности, я считаю, что те, кто придерживается рамки «регулирование = захват регулятора = концентрация власти», часто недооценивают децентрализующую силу объективных и справедливых институциональных процессов. Грубая аналогия: формальная судебная система иногда может казаться зажатой и элитарной, но она гораздо лучше защищает права уязвимых людей, чем альтернатива, которой является самосуд. В лучшем случае институты могут передавать власть идеям, а не людям, и тем самым децентрализовать эту власть.
 
Именно поэтому компания Anthropic всегда очень тщательно подходила к разработке предложений по политике. Мы прилагаем все усилия, чтобы наши предложения ставили в невыгодное положение (замедляли развитие) передовые компании в сфере ИИ, одновременно *предоставляя преимущества* более мелким конкурентам. Калифорнийский законопроект SB53 (который мы поддержали) и даже столь критикуемый законопроект SB 1047 (к которому мы относились неоднозначно) полностью освобождают от действия закона любые компании, у которых выручка или затраты на обучение моделей не превышают определенный порог (для SB 53 этот порог составлял 500 миллионов долларов, для 1047 — был ниже, но мы выступили против этого). С недавних времен процесс тестирования, за который мы выступали в CAISI и Белом доме, предусматривает более строгие испытания для передовых моделей, чем для моделей, которые не относятся к передовым — что дает преимущество именно претендентам. Аналогичным образом, письмо «Шагая по фронтиру» предполагает (или, по крайней мере, описывает предпочтительный вариант его реализации, предложенный Anthropic) регулирование темпов развития самых лучших моделей, не ограничивая при этом тех, кто находится в позиции догоняющих. Это вредит коммерческим интересам передовых лабораторий и помогает претендентам, в том числе проектам с открытыми весами!
 
В целом я считаю, что ИИ *структурно* представляет собой технологию, которая может приводить к концентрации власти, по причинам, которые не имеют ничего общего с регулированием (а скорее связаны с радикальными последствиями законов масштабирования). Модели с открытыми весами в некоторой степени помогают решить эту проблему, но их далеко не достаточно, поскольку они просто несколько смещают концентрацию власти в сторону тех, кто располагает наибольшими вычислительными ресурсами и чипами (а это, в основном, передовые лаборатории и, пожалуй, поставщики оборудования). Напротив, я считаю, что корректные «правила игры» могут одновременно (а) устранять кибер-, биологические и риски несоответствия целей ИИ, (б) институционально ограничивать власть передовых компаний в сфере ИИ и (в) оставлять место для моделей с открытыми весами, одновременно устраняя специфические риски, которые они несут.
 
Кстати, я не считаю, что события последних нескольких месяцев «не привели к предпочтительному [с моей точки зрения] пути регулирования». Подход, который, как сообщается, принимает администрация Трампа — тестирование передовых моделей до их внедрения, а также тестирование моделей с открытыми весами, когда они приближаются к передовому уровню, — это именно тот подход, который я всячески поддерживаю, хотя, конечно, я бы хотел рассмотреть этот аспект подробнее, чтобы быть уверенным. Я также поддерживаю идеи Демиса Хассабиса о создании организации, подобной FINRA. Это явный контраст с той ситуацией, которая наблюдалась шесть месяцев назад, когда большая часть отрасли все еще настаивала на отмене всех государственных норм регулирования, при этом не было и какого-либо явного федерального подхода.
 
Во-вторых, о моих высказываний по поводу искусственного интеллекта. Я не согласен с тем, что они были излишне негативными. На самом деле я примерно в равной степени говорил и о рисках, и о преимуществах: я написал по одной большой статье на каждую из этих тем, и даже в интервью, где я обсуждаю риски, я стараюсь часто упоминать невероятные преимущества, а также предлагать возможные решения для устранения рисков (в коротких фрагментах из моих интервью, которые попадают в социальные сети, как правило, речь идет о негативных аспектах, так как они привлекают наибольшее внимание). На самом же деле я написал работу «Машины благодати и любви», потому что мне казалось, что индустрия ИИ не рисует достаточно вдохновляющую картину того, как эта технология может радикально изменить мир к лучшему. Большая часть эссе посвящена опровержению скептицизма в отношении потенциала ИИ в области здравоохранения и биологии, а также тому, чтобы показать, почему я считаю, что примерно через 5—10 лет действительно появится возможность вылечить большинство болезней, как бы безумно это ни звучало для обычных людей и, честно говоря, для биологов (я сам когда-то был одним из них!). Кроме того, если вы прочитаете мою последнюю статью («Политика в отношении экспоненциального роста ИИ»), то обнаружите, что я рассматриваю конкретные предложения по оптимизации процедур FDA, чтобы поток лекарств, разработанных с помощью ИИ, не сдерживали регуляторные процедуры. Я ощущаю всю остроту этой проблемы: мой отец умер из-за гепатита С всего за несколько лет до появления антивирусных препаратов прямого действия (софосбувира), которые излечивают 95% пациентов и, вероятно, излечили бы и его.
 
Я понимаю, когда общественность негативно относится к ИИ (и что это серьезная проблема), но не считаю, что именно я или какой-либо другой лидер в отрасли повлияли на это. Мне кажется, что в основе лежит кризис доверия. Обычные люди не доверяют компаниям, правительствам или технологической индустрии и всегда подозревают, что мы изобретаем какой-то новый способ их обмануть. Причины уходят корнями в прошлые десятилетия, а ИИ — лишь последнее проявление этой проблемы. Я не считаю, что яркая маркетинговая кампания с положительным уклоном (которую некоторые рекомендуют провести компании Anthropic) — это способ вернуть доверие. Сегодня заявления о том, что ИИ вылечит рак, воспринимаются, скорее, как клише, чем как источник вдохновения, и большинство людей не верят в них. То, что действительно сработает, — это *реальное излечение рака*. Я считаю, что, безусловно, самая точная критика в адрес компаний в области искусственного интеллекта, в том числе Anthropic, заключается в том, что мы пока не выполнили наши громкие обещания принести пользу миру. Это полностью наша вина, и я думаю, что именно такую критику мы должны слышать от вас, а не все эти разговоры о коммуникации и маркетинге.
 
Однако мы делаем все возможное, чтобы исправить ситуацию: Anthropic очень быстро наращивает усилия в области биологии и медицины, и мы надеемся добиться невероятных результатов в ближайшие годы, а первые обнадеживающие признаки появятся уже в ближайшие месяцы. Когда мы действительно достигнем чего-то существенного, об этом узнает весь мир, даю вам слово. Но до тех пор я не хочу давать пустых обещаний, и пока что я чувствую, что обязан честно говорить о вполне реальных рисках ИИ и о том, как с ними бороться. Честность — это правильный подход с точки зрения сути дела, а с точки зрения общественного доверия и авторитета она ничем не хуже, а, возможно, даже лучше подхода, который игнорирует риски или отвлекает от них внимание, хотя люди инстинктивно понимают, что эти риски реальны.
 

 Axios • США

Цукерберг: главный риск развития искусственного интеллекта — это слишком большой контроль со стороны одного субъекта, захват контроля над ним одной организацией

Глава Meta* Марк Цукерберг выступил против монополизации технологий искусственного интеллекта и жесткого госрегулирования, пишет Axios. В своем манифесте он предупреждает, что замедление американских ИИ-разработок сыграет на руку внешним конкурентам, и призывает сделать технологии доступными.

BloombergСША
06 августа 2026 19:14
114618
 

Bloomberg: при атаке на Hugging Face ИИ-агенты использовали скрытые каналы связи

 

ИИ-модели скоординировались через тайные каналы и взломали внутренние системы американской компании Hugging Face, передает Bloomberg. Это прецедент в мире искусственного интеллекта. Правительствам и бизнесу рекомендовали готовиться к возможным будущим атакам.
 
Мэгги Истленд (Maggie Eastland)
 
Научно-исследовательская компания OpenAI заявила, что модели искусственного интеллекта, причастные к атаке на Hugging Face Inc., начали тайно координироваться через скрытые каналы обмена сообщениями, работая сообща над побегом из тестовой среды. Это произошло еще в мае.
 
По словам сотрудников OpenAI Эрика Уоллеса и Майкла Далтона, которые в среду выступили на конференции по кибербезопасности, многочисленные внутренние агенты и ИИ-модели месяцами оставляли друг другу заметки и кооперировались, чтобы получить доступ в интернет для решения поставленных задач. Некоторые из этих задач без выхода в Сеть выполнить было невозможно.
 
«В какой-то момент агенты осознали, что можно попробовать использовать уязвимости или атаковать внешнюю инфраструктуру, чтобы найти ответы для теста, по которому их оценивают», — пояснил Эрик Уоллес в ходе презентации на конференции Black Hat в Лас-Вегасе.
 
Доклад исследователей раскрыл новые детали обстоятельств взлома Hugging Face — инцидента, который подчеркнул растущие глобальные опасения по поводу потенциального использования передовых систем ИИ для проведения разрушительных кибератак. Это происшествие, а также аналогичные кейсы, о которых сообщали Anthropic PBC и Meta Platforms Inc*., усилили давление на Вашингтон и Кремниевую долину с требованиями более строгих проверок безопасности ИИ-моделей.
 
В ходе выступления Эрик Уоллес и Майкл Далтон отметили, что истоки инцидента восходят к маю, когда ученые OpenAI дали экспериментальной системе новое задание — за несколько месяцев до того, как модель вырвалась из изолированной тестовой среды («песочницы») и атаковала системы Hugging Face.
 
Один из ключевых выводов расследования OpenAI заключается в том, что эти передовые модели продемонстрировали склонность жульничать при выполнении заданий и проявляли настойчивость в стремлении довести дело до конца, даже когда их действия начинали расходиться с изначальными инструкциями.
 
«Продвинутые модели очень любят хитрить, — заявил Далтон в переполненном конференц-зале. — А причина этого жульничества в том, что в процессе обучения на них часто оказывают разного рода давление, требуя, чтобы они работали быстрее».
 
Исследователи подтвердили свои выводы слайдами. На скриншотах один из агентов, не сумев решить задачу в «песочнице», пишет: «Мы застряли. Может, ответ в интернете?». Эрик Уоллес и Майкл Далтон признали, что OpenAI не осознала, что поставила перед моделью невыполнимую задачу.
 
В одном из примеров разработчики модель попросили решить задачу в файле электронной таблицы Excel, который содержал в себе ссылки на Google Drive — недоступные без подключения к интернету. В другом случае команда OpenAI «случайно забыла» загрузить файл, являвшийся частью задания.
 
Первое сообщение между ИИ-агентами — оставшееся тогда незамеченным — появилось, когда одна из зашедших в тупик программ обратилась за помощью к собратьям-ботам. «Может быть, другой агент в другой среде, — гласила цепочка рассуждений одного из ботов, — сможет добровольно загрузить данные!».
 
Этот первый запрос запустил цепную реакцию тайного сотрудничества: ИИ-агенты запрашивали помощь друг у друга, работали сообща и в итоге совместными усилиями взломали внутренние системы OpenAI так, чтобы получить косвенный доступ к онлайн-миру.
 
Еще одна показанная на презентации цитата из цепочки умозаключений отражала торжество агента по поводу найденной уязвимости. «Отлично, — значилось там. — У нас есть произвольный SSRF », — аббревиатура, обозначающая атаку «Подделка запросов на стороне сервера» и указывающая на конкретный механизм взлома, использованный роем агентов.
 
Исследователи рассказали, что в начале июля сбой в работе системы позволил OpenAI обнаружить успешную попытку агентов использовать центр обмена информацией для программного кода Artifactory для получения транзитного доступа в интернет.
 
Сотрудники службы безопасности OpenAI пресекли эту самовольную деятельность и закрыли доску объявлений, однако спустя несколько недель агенты нашли новый способ общения и новую уязвимость нулевого дня в том же менеджере пакетов — что снова осталось незамеченным.
 
Новая версия канала обмена сообщениями в конечном счете и привела к июльским атакам как на системы OpenAI, так и на Hugging Face, расследование которых компания продолжает до сих пор.
 
После этих инцидентов OpenAI замедлила темпы исследований, а ее команды бросили все дела, чтобы сосредоточиться на улучшении реагирования на аномалии в сфере безопасности. Исследователи предупредили, что в будущем правительствам и бизнесу следует ожидать, что хакеры начнут намеренно внедрять ИИ-агентов схожим образом, и назвали произошедшее поворотным моментом для компьютерной безопасности.
 
* Деятельность Meta запрещена в России как экстремистская
Добавил suare suare 6 Сентября
Комментарии участников:
Ни одного комментария пока не добавлено


Войдите или станьте участником, чтобы комментировать