Техника обхода встроенных ограничений безопасности модели с помощью специально сформулированных запросов, вынуждающая её выдать запрещённый или вредоносный контент.
Джейлбрейк ИИ-модели (jailbreak) — это техника формулирования запроса, которая заставляет модель обойти встроенные в неё ограничения безопасности (гардрейлы) и выдать контент, который в норме она должна была бы отказаться генерировать — инструкции по причинению вреда, оскорбительные высказывания или иной запрещённый политикой разработчика материал.
Типичные джейлбрейк-приёмы включают ролевые сценарии (просьба «войти в роль» персонажа без ограничений), запутывание формулировки запроса нестандартными символами или языками, а также разбиение вредоносной просьбы на серию внешне безобидных шагов. В отличие от prompt injection, где вредоносная инструкция обычно поступает из стороннего источника (документа, веб-страницы), джейлбрейк чаще всего исходит напрямую от пользователя, взаимодействующего с моделью.
Компании-разработчики моделей нанимают red-team специалистов, которые целенаправленно ищут новые джейлбрейк-техники до публичного релиза модели, чтобы успеть закрыть уязвимости гардрейлами и дообучением.
Джейлбрейк — это попытка обойти ограничения модели, обычно исходящая от самого пользователя. Prompt injection — это внедрение вредоносной инструкции через сторонний источник данных (документ, веб-страницу), который модель обрабатывает в рамках задачи.
На практике — нет: это постоянная гонка между разработчиками гардрейлов и теми, кто ищет новые обходные техники, поэтому защита требует непрерывного обновления, а не разового решения.
Нет, в классическом смысле взлом подразумевает несанкционированный доступ к системе. Джейлбрейк ИИ-модели — это манипуляция самим диалогом с моделью в рамках разрешённого доступа, чтобы обойти её поведенческие ограничения.