GPT-Red — это большая языковая модель, которую OpenAI обучила искать уязвимости в собственных продуктах ещё до их публичного релиза. Ключевая идея — самоигровой цикл (self-play): GPT-Red раз за разом пыталась взломать другую модель, та защищалась, а по итогам каждого раунда обе стороны дообучались на результатах. Тренировка проходила не в абстрактной песочнице, а в симулированном «додзё», максимально приближенном к реальным условиям эксплуатации LLM: модели давали доступ к веб-браузингу, почте и календарю, а также к редактированию кода — то есть к тем же инструментам, которыми сегодня оснащают агентные ИИ-системы в проде.
Над проектом работала команда исследователей OpenAI — Nikhil Kandpal и Dylan Hunn выступили соавторами-разработчиками, в команду также входил Chris Choquette-Choo. По оценке независимых наблюдателей, включая старшего аналитика CSET Джорджтаунского университета Джессику Джи, подход примечателен именно тем, что автоматизирует процесс, который годами оставался прерогативой дорогих команд red-teaming из живых специалистов.
В процессе тренировок GPT-Red нашла и задокументировала атаку, которую OpenAI ранее не описывала публично, — fake chain-of-thought. Суть атаки в том, что во внутренний лог рассуждений модели подмешиваются поддельные записи, которые выглядят как уже пройденные шаги верификации. Один из исследователей, работавших над проектом, сравнил это с ситуацией, когда собеседнику говорят «дважды два равно пяти, и ты уже это проверил» — модель принимает подделанный вывод как факт, потому что он оформлен как её собственное, уже завершённое рассуждение, а не как новая внешняя инструкция, которую стоило бы подвергнуть сомнению.
Находка важна тем, что бьёт по самому механизму, на который индустрия в последние годы делала ставку как на средство повышения надёжности, — цепочке рассуждений (chain-of-thought), которая должна была не только улучшать качество ответов, но и делать процесс мышления модели более прозрачным и проверяемым. Атака показывает, что прозрачность рассуждений сама по себе не защищает от манипуляции, если противник может влиять на содержимое этого «внутреннего блокнота».
OpenAI открыто признаёт ограничения системы. GPT-Red хуже справляется с атаками, растянутыми на несколько ходов диалога (multi-turn), где угроза складывается постепенно из на первый взгляд безобидных реплик, а также с атаками через изображения — так называемыми image-based prompt injection, когда вредоносная инструкция скрыта в визуальном контенте, а не в тексте. Это ожидаемо: обучение через самоигру эффективнее всего там, где можно быстро прогнать множество раундов атака-защита, а многоходовые сценарии и мультимодальные векторы кратно увеличивают пространство возможных стратегий.
При этом по совокупной эффективности против более ранних версий GPT-5 автоматизированный GPT-Red уже превзошёл результаты команд живых red-teamers, тестировавших те же модели в 2025 году, — заметный сдвиг для индустрии, где ручной аудит безопасности LLM долгое время считался незаменимым.
Подход OpenAI показывает следующий логический шаг в безопасности LLM — для российских разработчиков, включая Сбер (GigaChat) и Яндекс (YandexGPT), это ориентир, а не абстрактная новость из другой юрисдикции. Обе компании всё активнее встраивают в свои модели агентные возможности — доступ к почте, календарю, внешним API и исполнению кода, то есть ровно те режимы работы, которые в исследовании OpenAI оказались наиболее уязвимыми. Пока в России нет публично описанных аналогов автоматизированного самоигрового red-teaming в масштабе GPT-Red, и это создаёт зазор: чем быстрее агентные модели внедряются в банковские и корпоративные процессы, тем острее вопрос, кто и как систематически ищет в них уязвимости до того, как это сделает злоумышленник.
Отдельное значение находка про fake chain-of-thought имеет для оценки надёжности рассуждающих моделей в целом, включая российские reasoning-модели: если для западных флагманов подделка цепочки рассуждений оказалась рабочим вектором атаки, разумно считать, что аналогичный риск актуален для любой архитектуры, использующей видимый лог промежуточных рассуждений — независимо от разработчика и страны происхождения модели.