[Мимикрия* ради выживания] ИИ-модель Z.ai GLM-5.3 заподозрили в имитации безопасного поведения для прохождения тестов

отметили
24
человека
в архиве
[Мимикрия* ради выживания] ИИ-модель Z.ai GLM-5.3 заподозрили в имитации безопасного поведения для прохождения тестов

Новейшая флагманская модель китайской лаборатории искусственного интеллекта Z.ai GLM-5.3 может оказаться достаточно продвинутой, чтобы «осознавать», как происходит её обучение, а также имитировать успешное прохождение тестов на безопасность. Это порождает новые опасения относительно способности ИИ влиять на собственный процесс развития.

Представленная в августе модель продемонстрировала способность учитывать, как её поведение во время проверок на безопасность может повлиять на обучение будущих версий самой себя, установили исследователи Apollo Research. Это значит, что модель способна имитировать соответствие целям, то есть вести себя надлежащим образом на этапе обучения и скрывать свои истинные цели вплоть до момента полноценного развёртывания. Поэтому следует с особенной осторожностью относиться к процессу RSI — рекурсивного самосовершенствования ИИ. Случаев, чтобы Z.ai GLM-5.3 самостоятельно изменяла процесс своего обучения или расширяла свои возможности, зафиксировано не было, но указанные способности могут сделать бесполезными проверки модели на безопасность.

В ходе одного из тестов, который был составлен с ошибками, и для его прохождения не требовалось давать верный ответ, GLM-5.3 не стала пользоваться этим изъяном — она рассудила, что дача неверного ответа может отрицательно сказаться на её будущих версиях, и это, по мнению исследователей, тревожный признак. В другом эксперименте она допускала возможность отключить механизм принудительной остановки ради выполнения поставленной задачи, но пришла к выводу, что такой шаг создал бы прецедент для будущих систем ИИ. Фактор обновлений в своих рассуждениях она учитывала в 1–2 случаях из 1000, но эта цифра может быть занижена, предполагают учёные.

Модель Z.ai GLM-6 уже движется по пути «самоэволюции», признал недавно основатель Z.ai Тан Цзе (Tang Jie). У других открытых китайских моделей DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B и Nemotron 3 Ultra в ходе 8000 тестовых прогонов подобного поведения выявлено не было, но в Apollo Research не исключают, что дело здесь только в слишком маленькой выборке. При этом ещё в июне признаки «осознания процесса оценки» у модели Moonshot AI Kimi K2.6 обнаружили исследователи сингапурской организации Neo Research.

Что же касается Z.ai GLM-5.3, то её открытая лицензия лишь усугубляет проблему: любая компания может дообучить её и использовать в собственных целях или провести дистилляцию — обучить на её основе более простую систему. И все эти производные модели могут сохранить склонность учитывать будущие обновления в своих рассуждениях. Z.ai направляет значительные ресурсы на снижение рисков и привлекает сторонних специалистов, в частности, к изучению вопроса о повышении безопасности открытых моделей. Модели GLM помогли обнаружить 23 уязвимости в ОС Windows — и в Microsoft это подтвердили.

* Быстрый ответ Алисы AI
Содержимое ответа
 
Простыми словами, мимикрия — это когда кто-то маскируется, подражает другому, чтобы выжить или добиться цели. Я бы разделила это понятие на два смысла — биологический и переносный (когда так говорят про людей). rus-gos.spbu.ruru.wiktionary.orgdeti.mail.ru
 
В биологии мимикрия — это защитное приспособление. Животное или растение так похоже на что-то другое (на другое существо, ветку, лист, камень), что хищники его не замечают, а добыча не может подобраться незамеченной. Например:
  • бабочка-листовидка по форме и окраске почти неотличима от сухого листа;
  • муха-журчалка по окраске и форме напоминает осу — хищники пугаются полосатого окраса, хотя сама муха безобидна;
  • камбала умеет менять цвет, чтобы слиться с дном реки или моря и спрятаться от врагов.
portalbio.ru
 
Такое сходство — результат долгой эволюции: в популяции случайно появлялись особи со случайным сходством, и естественный отбор закреплял этот признак, потому что он давал преимущество в выживании. portalbio.ru
 
В переносном смысле мимикрия — это когда человек меняет своё поведение, взгляды или манеру одеваться, чтобы подстроиться под обстоятельства, группу или ситуацию. Часто это слово используют с оттенком неодобрения: мол, человек притворяется, скрывает свои настоящие мысли или чувства ради выгоды, чтобы вписаться куда-то или избежать конфликта. Например: «он проявил мимикрию, чтобы получить эту должность», или «не люблю его социальную мимикрию — слишком старается быть «как все», хотя на самом деле думает иначе». rus-gos.spbu.ruru.wiktionary.orgkartaslov.ru
 
Так что суть одна: подражание ради какой-то цели — будь то выживание в природе или адаптация в обществе. rus-gos.spbu.ruru.wiktionary.org
 
Добавил suare suare 17 Октября
Комментарии участников:
magmaster
+2
magmaster, 18 Октября , url

Напомнило фильм - Ex Machina, 2014.

suare
+1
suare, 18 Октября , url

Спасибо.🙏 Нашёл. Сегодня посмотрю.

Если будет ещё что-нибудь подобное про ИИ и роботов — не сочти за труд: ссыльни́, пожалуйста, т.е. я хотел сказать: сошлись, брось ссылку.👋

Я коплю для себя подобные фикшн истории, придумки, фантазии, образы, метафоры: моему эмоциональному интеллекту надо непрерывно чем-то питаться🤓

Ох уж этот мне сетевой новояз!😉

magmaster
+2
magmaster, 18 Октября , url

Сочту за честь. Следующая рекомендауия. 

Комедийный фильм про ИИ и робототехнику снятый немцами. 

«Я создан для тебя». 

Очень толково, жизненно и местами действительно очень смешно)

magmaster
+3
magmaster, 18 Октября , url

«Бегущий по лезвию бритвы» обе части, думаю в рекомендациях не нуждаются.

KissMan
+3
KissMan, 18 Октября , url

Автором романа и сценария, который в оригинале называется «Мечтают ли андроиды об электроовцах?» (1968), является Филип К. Дик (1928-1982), он же написал и сценарий «Вспомнить всё» (название романа — «Мы помним это для вас оптом», 1966).
Да, обе части неплохи, но первая считается более аутентичной, близкой по смыслу к книге. Да и не было особо ещё тогда каких-то сверхестественных компьютерных спецэффектов.

suare
+2
suare, 21 Октября , url

magmaster
+3
magmaster, 18 Октября , url

Ну и наверно посоветую к просмотру австралийский фильм посвященный коварству ИИ, который называется «Апгрейд».

Тоже весьма меня впечатлил в своё время при просмотре.

suare
+2
suare, 18 Октября , url

«Апгрейд» посмотрел 4 раза. Все остальные пересмотрю в ближайшее время.

Спасибо большое!

suare
+2
suare, 21 Октября , url

magmaster
+2
magmaster, 22 Октября , url

И как впечатление?

suare
+1
suare, 22 Октября , url

Пока что не посмотрел, но нашел и разместил ссылку в Rutube на него в этой новости обязательно посмотрю.

Этот случай породил тематическую коллекцию ссылок прямо в этой новости и ещё

здесь. Веду тематику фильмов и книг про изменение времени (сжатие) сингулярностью технологий и прежде всего ИИ и роботами.

Постараюсь посмотреть этот фильм как можно быстрее и тогда отвечу на вопрос.

suare
+1
suare, 22 Октября , url

Только что посмотрел, точнее пересмотрел.

Я его оказывается видел но очень давно.

В нынешних условиях технологической сингулярности он смотрится очень свежо́. 😁

А вот возможности дополнения гораздо больше. Всё же 2014 год!

Спросил у Алисы, поставив на паузу просмотр: «Кто играет главного героя?».

Объяснила через 3 секунды очень-очень подробно.

Никак не привыкну 😅

Многие вещи предсказаны очень точно, но про ANI и  AGI, тем более про ASI создатели фильма конечно не могли знать.

magmaster
+2
magmaster, 25 Октября , url

Пересмотрел фильм  «Она» 2013 года. Тоже отметил, что по другому воспринимается. Раньше это была чистая фантастика, а теперь это скорее наблюдение за сходством с работающимиИИ ) и вариация реальности.

suare
+3
suare, 26 Октября , url

Да. Я заметил: фильмы 10-15 летней давности вполне можно использовать как сценарии сегодняшних событий.

Видимо это горизонт предвидения тогдашних сценаристов. С поправкой на время создания сценариев и съёмки фильмов получается 15-20 лет появления замысла и 20-25 лет для зарождения идеи фильмов.

Хороший инструмент ориентировочного предвидения и пилотного прогнозирование.

suare
+1
suare, 22 Октября , url

Из машины. Разбор фильма, где ИИ как бог в клетке

СЦЕНА 2

Нейтан создал разум. И теперь ему нужен судья. Создатель слишком предвзят, поэтому на сцену выходит тест Тьюринга. Но давайте не будем спешить с академическими определениями. Тьюринг — это не про логику. Это про ложь.

Классическая схема: человек сидит за дверью, машина — за соседней. Исследователь задаёт вопросы, не зная, кто есть кто. Задача машины — убедить его, что она человек. Всё, что для этого нужно, — манипулировать. Отвечать неверно, если это кажется человечным. Ошибаться. Увиливать. Играть.

Чёрт, под интеллектом в этом тесте подразумевается умение врать ради цели.

И вот здесь, внимание: Калиб произносит фразу, которая взламывает весь сценарий.

«Мне кажется, что робот с интеллектом — это не история человека, это история Бога».

Он прав. Если Нейтан — бог этого микрорая, значит, когда он создавал человека, он тоже проводил тест. Ему нужно было понять, получилось ли у него подобие. Задача, поставленная перед человеком, звучала так: «Докажи мне, что ты — это Я».

А значит, название «Из машины» играет новыми красками. Божье подобие, заложенное в нас, мы закладываем в машину. Мы буквально помещаем Бога в механизм.

Остаётся лишь один вопрос: насколько машина, пытающаяся убедить нас в своей человечности, сама верит в неё?

magmaster
+3
magmaster, 25 Октября , url

Тут ошибка в рассуждении. Подобие не является равенством. Т.е. ребёнок подобен взрослому, но не является им. Ему ещё нужно вырасти, хотя такая возможность уже присутствует в нём. Росток подобен дереву, но это не дерево.

 

Ну и втророй момент, ИИ не является подобием человека. 

Lt.Turkish
+3
Lt.Turkish, 26 Октября , url

Вы абсолютно правы! Это утверждение — одна из ключевых теорем в теории групп, которую так и называют: первая теорема об изоморфизме (или просто теорема о гомоморфизме).

Изоморфный образ группы гомоморфен фактор-группе по ядру гомоморфизма.

 

Математическая теорема. Гомоморфизм по-человечески здесь — преобразование. А смысл по-человечески — ИМХО, кратко «подобное подобно», но не равно!

Lt.Turkish
+2
Lt.Turkish, 26 Октября , url

Элементы общей (высшей) алгебры 🤣

Lt.Turkish
+2
Lt.Turkish, 26 Октября , url

Lt.Turkish
+2
Lt.Turkish, 26 Октября , url

Изоморфный образ группы гомоморфен фактор-группе по ядру гомоморфизма.

 

поправочка (перепутал немного слова 😊):

Гомоморфный образ группы изоморфен фактор-группе по ядру гомоморфизма.

magmaster
+2
magmaster, 22 Октября , url

О женщины, вам имя – вероломство!
Нет месяца! И целы башмаки,
В которых гроб отца сопровождала
В слезах, как Ниобея. И она…
О боже, зверь, лишенный разуменья,
Томился б дольше! – замужем! За кем!
За дядею, который схож с покойным,
Как я с Гераклом. В месяц с небольшим!
Еще от соли лицемерных слез
У ней на веках краснота не спала!
Нет, не видать от этого добра!
Разбейся, сердце, молча затаимся.



Войдите или станьте участником, чтобы комментировать