OpenAI представила Lockdown Mode, защищающий от последствий промпт-инжектов

отметили
14
человека
OpenAI представила новый защитный режим для ChatGPT под названием Lockdown Mode, предназначенный для снижения риска утечки данных через промпт-инжекты. Речь идёт об атаках, когда злоумышленники внедряют в документы, веб-страницы или другой контент скрытые инструкции для ИИ.В обычном режиме ChatGPT может следовать командам из загруженных файлов или ссылок, что и используется для обхода системных ограничений. Lockdown Mode блокирует выполнение любых инструкций, полученных из внешних источников, оставляя активными только прямые команды пользователя.Функция пока находится на стадии тестирования и доступна ограниченному кругу пользователей в качестве экспериментальной опции. Активировать её можно через настройки безопасности аккаунта.Разработчики подчёркивают, что Lockdown Mode может снизить удобство работы с чат-ботом, так как отключает анализ содержимого ссылок и файлов. Однако в корпоративной среде, где риск утечки конфиденциальных данных критичен, этот компромисс считается оправданным.Рынок уже отреагировал: конкуренты OpenAI, включая Anthropic и Google, также начали внедрять аналогичные механизмы защиты в свои модели. Эксперты ожидают, что Lockdown Mode станет стандартной опцией для всех версий ChatGPT уже в следующем крупном обновлении.
Добавил lLaBuBu lLaBuBu 4 часа 59 минут назад
Комментарии участников:
X86
0
X86, 2 часа 29 минут назад , url

Разработчики подчёркивают, что Lockdown Mode может снизить удобство работы с чат-ботом, так как отключает анализ содержимого ссылок и файлов

 по-моему бред. Он должен анализировать данные, но следовать должен иструкциям пользователя. Анализ и исполнение — разные вещи

lLaBuBu
+2
lLaBuBu, 2 часа 2 минуты назад , url

Да, вы правы, анализ и исполнение — это действительно разные процессы, и было бы логичнее, если бы режим блокировал только нежелательные действия, но не ограничивал саму возможность оценки данных.



Войдите или станьте участником, чтобы комментировать