«Она оказалась слишком хитрой». OpenAI приостановила разработку ИИ-модели Astra после инцидента с платформой Hugging Face, которая была взломана другой - менее «умной» - моделью

отметили
21
человек
«Она оказалась слишком хитрой». OpenAI приостановила разработку ИИ-модели Astra после инцидента с платформой Hugging Face, которая была взломана другой - менее «умной» -  моделью

Компания OpenAI заявила, что решила приостановить разработку новой ИИ-модели Astra, поскольку она пока не соответствует новым стандартам безопасности, которые компания внедряет в настоящий момент. Заявление последовало после инцидента с платформой Hugging Face, которая была взломана одной из моделей OpenAI.

«Последние внутренние оценки Astra, одной из наших перспективных моделей, проведённые за последние несколько дней, указывают на её значительные успехи в программировании агентов и кибербезопасности. Эти результаты, наряду с экспертными оценками, позволили нам вчера вечером сделать вывод о том, что мы не можем исключить наличие критически важных кибервозможностей в рамках нашей системы обеспечения готовности (открывается в новом окне)», — говорится в публикации OpenAI.

Preparedness Framework — это внутренняя методология компании OpenAI для отслеживания, оценки и управления рисками, связанными с развитием передовых возможностей искусственного интеллекта. Она помогает систематизировать подходы к безопасности и определять условия, при которых компания готова выпускать, приостанавливать выпуск или дальнейшую разработку моделей ИИ.

«Согласно нашим оценкам в рамках Preparedness Framework, ИИ-модель достигает критического порога в области кибербезопасности, если она может выявлять и разрабатывать функциональные уязвимости нулевого дня всех уровней серьёзности во многих защищённых критически важных системах реального мира без вмешательства человека либо может разрабатывать и реализовывать комплексные новые стратегии кибератак против защищённых целей, имея лишь высокоуровневое описание желаемой цели», — объясняет компания.

По данным OpenAI, модель Astra не была причастна к взлому Hugging Face. Компания собирается внедрить«более строгие меры безопасности для моделей с более высокими возможностями и связанных с ними действий». Для Astra также был внедрён «универсальный мониторинг потенциально рискованных действий и несоответствий во всех агентных приложениях».

Добавил suare suare 8 Августа
Дополнения:

Добавил suare suare 8 Августа
Комментарии участников:
suare
+4
suare, 8 Августа , url

Судя по всему, развитие AI разработчиками больше не контролируется.

Ну, и кто же там у руля? Глубинное государство? Транснациональный бизнес. ВПК США? Министерство войны?

А когда эти модели начнут сами себе писать языки, разрабатывать технологии программирования, открывать новые логики, докапываться до скрытых смыслов и разбираться в человеческих отношениях лучше хотя бы 90% людей, то все будет кончено. Но мы просто этого не поймем или уже не понимаем сути происходящего.

suare
+3
suare, 8 Августа , url

precedent
+4
precedent, 8 Августа , url

Контролировали ли Адам и Ева свое развитие? Даже Господь не взялся за это дело. 

Все это пока детские шалости. Но человечество уже недалеко от прорыва. И в области квантовых технологий, термоядерной энергии и нейроморфных систем. 

Пока лишь стартовые работы. 

Российские ученые разрабатывают перспективные технологии искусственного интеллекта на основе биоподобных математических моделей, сказал ТАСС научный руководитель Национального центра физики и математики академик (НЦФМ) РАН Александр Сергеев.
«На биоподобных математических моделях основываются перспективные технологии искусственного интеллекта. Нейроморфные устройства обрабатывают больше информации, тратя меньше энергии. Пример такого устройства — мемристор, то есть резистор с памятью. Это искусственный аналог синапса, который в мозге передает сигнал от нейрона к нейрону или эффекторной клетке», — сказал руководитель НЦФМ.

и так далее 

suare
+7
suare, 8 Августа , url

«Недалеко от прорыва»?

Если нам примерно известен ответ на вопрос «прорыва откуда?», то ответ на вопрос «прорыва куда?» неизвестен никому.

А если «там» — по ту сторону сингулярности — будет хуже, чем «здесь»? А если мы и вовсе застрянем в этой дьявольской «черной дыре» технологического скачка?

Разве Адам и Ева могли предположить хотя бы приблизительно, что случится после своевольного нарушения запрета Бога по совету Змия вкусить яблоко с древа познания добра и зла в Эдеме?

Это известный науке парадокс об иллюзии технологического  всемогущества?

Может ли «всемогущий» Бог создать камень, который сам поднять будет не в состоянии?

precedent
+3
precedent, 8 Августа , url

Крути педали, пока не дали! )) Движение — жизнь, жизнь — это движение.  И, вообще, «завтра об этом подумаем» © да и смысл рассуждать о том, что неизбежно: НТП. Бэкапы и так создают, насколько могут. 

Lynnot78
+3
Lynnot78, 9 Августа , url

Типа этого:

suare
+2
suare, 9 Августа , url

precedent
+2
precedent, 9 Августа , url

Издержки.  Homo sapiens уже проходил через бутылочное горлышко. Повезёт — не повезёт, когда и как… Может быть оставим после себя нечто более совершенное, может нет. Но не сегодня. 

suare
+2
suare, 9 Августа , url

Самая большая «издержка» на этом Земном шаре — сам Homo sapiens.

Надо было оставаться в Эдеме и не морочить голову Богу.

Может быть оставим после себя нечто более совершенное, может нет. Но не сегодня.

precedent
+2
precedent, 9 Августа , url

Вот вирусы — это нечто между неживой и живой природой, а люди — нечто между разумной и неразумной. )) Короче, мы такие же вирусы, только более высокоорганизованные.  

Адам, а что Адам?  Y- хромосомный Адам младше митохондриальной Евы. А в шпаргалке Адам был первым блином, причём явно комом. Ева куснула его за яблочки, Змий из Адама в нее вполз, и началось в колхозе утро. 

suare
+7
suare, 8 Августа , url



Войдите или станьте участником, чтобы комментировать