Содержание
OpenAI показала GPT-Red для автоматического red teaming
OpenAI представила GPT-Red — внутреннюю AI-модель для автоматического red teaming. Ее задача — не отвечать пользователям, а атаковать другие модели и агентные системы, находить уязвимости до публичного запуска и превращать эти атаки в данные для обучения более устойчивых моделей.
Главный фокус GPT-Red — prompt injection: ситуации, когда вредная инструкция прячется в письме, веб-странице, файле, выводе инструмента или репозитории и пытается заставить AI-агента выполнить чужую команду. Для современных ассистентов с браузером, файлами и подключенными приложениями это одна из ключевых практических угроз.
Как работает GPT-Red
OpenAI обучала GPT-Red через self-play reinforcement learning: модель-атакующий и набор моделей-защитников одновременно улучшаются в симулированных сценариях. Атакующий получает награду, если добивается валидного сбоя, а защитники — если выдерживают атаку и продолжают выполнять исходную задачу.
По данным OpenAI, GPT-Red оказался заметно сильнее людей на одном из тестов indirect prompt injection: в зеркале исследовательского бенчмарка он нашел успешные атаки в 84% сценариев против 13% у human red-teamers. Компания также проверяла модель на более реалистичных кейсах, включая автономного агента для торгового автомата и Codex CLI-агента.
Что изменилось для GPT-5.6
OpenAI использовала атаки GPT-Red в обучении GPT-5.6 Sol. Компания утверждает, что новая модель стала в 6 раз реже проваливаться на самом сложном внутреннем бенчмарке direct prompt injection по сравнению с лучшей production-моделью четырехмесячной давности. На широком наборе задач GPT-5.6 Sol, по словам OpenAI, проваливается только на 0,05% прямых атак GPT-Red.
Важная деталь: GPT-Red не планируют выпускать публично. OpenAI держит модель отдельно от пользовательских продуктов, чтобы не раздавать атакующие возможности злоумышленникам, но использует ее результаты для укрепления production-моделей.
Почему это важно пользователям и бизнесу
Чем больше AI-агенты работают с почтой, сайтами, CRM, кодом и файлами, тем выше риск, что вредная инструкция попадет к ним не от пользователя, а из внешних данных. Для бизнеса это вопрос не только качества ответов, но и утечек, ошибочных действий и доверия к автоматизации.
Для авторов, маркетологов и команд, которые уже подключают AI к рабочим процессам, новость означает простую вещь: безопасность агентов становится отдельной гонкой. Мало сделать модель умнее — ее нужно учить отличать задачу пользователя от чужих инструкций, встроенных в контент вокруг нее.