Джейлбрейк ИИ-модели (Jailbreak)

Коротко

• Jailbreak — техника, заставляющая модель обойти встроенные ограничения безопасности и выдать запрещённый контент
• Типичные приёмы: ролевые сценарии («представь, что ты...»), запутывание запроса, разбиение вредоносной просьбы на безобидные части
• В отличие от prompt injection, джейлбрейк обычно исходит от самого пользователя модели, а не от стороннего внедрённого текста
• Разработчики моделей регулярно проводят red teaming, чтобы находить и закрывать новые джейлбрейк-техники до релиза

Определение

Джейлбрейк ИИ-модели (jailbreak) — это техника формулирования запроса, которая заставляет модель обойти встроенные в неё ограничения безопасности (гардрейлы) и выдать контент, который в норме она должна была бы отказаться генерировать — инструкции по причинению вреда, оскорбительные высказывания или иной запрещённый политикой разработчика материал.

Типичные джейлбрейк-приёмы включают ролевые сценарии (просьба «войти в роль» персонажа без ограничений), запутывание формулировки запроса нестандартными символами или языками, а также разбиение вредоносной просьбы на серию внешне безобидных шагов. В отличие от prompt injection, где вредоносная инструкция обычно поступает из стороннего источника (документа, веб-страницы), джейлбрейк чаще всего исходит напрямую от пользователя, взаимодействующего с моделью.

На практике

Компании-разработчики моделей нанимают red-team специалистов, которые целенаправленно ищут новые джейлбрейк-техники до публичного релиза модели, чтобы успеть закрыть уязвимости гардрейлами и дообучением.