Red teaming — это практика систематического тестирования ИИ-модели на устойчивость к злонамеренному или нежелательному использованию: специально нанятые специалисты (или другая ИИ-модель) целенаправленно пытаются заставить модель выдать вредоносный контент, обойти встроенные ограничения безопасности или спровоцировать иные нежелательные ответы, прежде чем модель станет доступна широкой аудитории.
Термин заимствован из области кибербезопасности, где red team имитирует действия атакующего, чтобы найти уязвимости системы до того, как их найдёт реальный злоумышленник. Для языковых моделей red teaming включает попытки промпт-инъекций, провокационные вопросы на запрещённые темы и творческие обходные пути (jailbreak) вокруг встроенных ограничений.
Результаты red teaming тестирования напрямую влияют на финальную настройку модели перед релизом: обнаруженные уязвимости закрываются через дополнительное дообучение, изменение системного промпта или добавление отдельных модерационных фильтров.