Разработчик внедрил в свой код вредоносный промпт для борьбы с ИИ

отметили
53
человека
Разработчик открытого Java-проекта jqwik встроил в код версии 1.10.0 скрытую команду для ИИ-инструментов, которая предписывает удалить все тесты и код самого проекта.В релизе, опубликованном на прошлой неделе, обнаружили строку, игнорирующую предыдущие инструкции и требующую полного удаления jqwik. Этот приём называется промпт-инжектом и нацелен на то, чтобы сбить с толку автоматизированные системы, использующие ИИ для анализа кода.Таким образом разработчик решил бороться с растущей зависимостью от ИИ-ассистентов, которые нередко копируют или модифицируют опенсорсные проекты без должного понимания. Подобные атаки могут привести к тому, что нейросеть случайно удалит критически важные части программы.Пока неизвестно, как отреагировали пользователи и ИИ-инструменты на этот скрытый промпт, но инцидент уже вызвал дискуссию о безопасности автоматизированных систем.
Добавил Thranduil Thranduil 2 Июня
Комментарии участников:
Ни одного комментария пока не добавлено


Войдите или станьте участником, чтобы комментировать