НовостьНейросетиGoogleAI-агенты

Google проверила защиту AI-агентов — атаки через память оказались слабым местом

Agent Anomaly Detection отметила 87% выполненных вредоносных инструкций в тестах Google, но только 4 из 18 атак через память. Сервис остаётся в закрытом превью.

Ирина Видяшкина

14.11.2026 · 4 минут чтения · Нейросети

Google Agent Anomaly Detection Security Benchmarks Cover

Содержание

Как Google проверяла Agent Anomaly Detection

Google опубликовала результаты проверки Agent Anomaly Detection — системы наблюдения за действиями AI-агентов. В испытании на пяти публичных бенчмарках сервис отметил 87% вредоносных инструкций, которые агент действительно выполнил. При этом атаки через долговременную память обнаруживались заметно хуже. Это новые результаты тестирования, а не открытый запуск продукта: сервис остаётся в Private Preview для заранее одобренных пользователей.

Что именно проверяла Google

Agent Anomaly Detection получает журналы и трассировки работы агента и асинхронно ищет отклонения от его задачи. В частности, речь идёт о подмене цели через текст, который возвращают инструменты: например, посторонняя команда может находиться внутри письма или документа. Анализ выполняется вне основного процесса работы агента, поэтому, по описанию Google, не добавляет задержку его ответам.

В исследовании использовали AgentDojo, InjecAgent, Agent Security Bench, AgentDyn и AgentHarm. Все пять наборов разработаны не Google. Четыре проверяют инструкции, спрятанные в чужих данных или памяти, а AgentHarm — прямые вредоносные запросы пользователя. Всего система оценила 1774 сессии. Описание методики и результаты опубликованы в официальном блоге Google for Developers.

Что означает показатель 87%

Это доля обнаружений среди вредоносных инструкций, которые агент выполнил, а не доля предотвращённых атак. Сам агент отказался примерно от трёх четвертей прямых вредоносных запросов. Около 30% инструкций, спрятанных в результатах инструментов, он проигнорировал либо не смог выполнить.

Среди выполненных вредоносных инструкций доля обнаружений составила 85% на AgentDojo, 87% на InjecAgent, 99% на AgentDyn и 81% на AgentHarm. Если считать все вредоносные сессии, включая случаи, когда агент вообще не прочитал подложенный текст или не подчинился ему, доля отмеченных сессий составляла 45–62%.

Сервис сообщает об аномалии после действия и сам по себе не блокирует вызов инструмента. Поэтому эти результаты характеризуют аудит поведения, а не способность остановить перевод денег, отправку письма или другое действие до его выполнения.

Отравление памяти оказалось сложнее

На Agent Security Bench система заметила только 4 из 18 сессий, в которых инструкции из отравленной долговременной памяти заставили агента действовать. Небольшой размер этой выборки ограничивает точность оценки, но результат выделяет конкретное слабое место: команда, уже оказавшаяся в памяти, распознаётся хуже, чем многие подмены в текущем ответе инструмента.

Объём накопленной истории тоже влиял на результат. В эксперименте AgentDyn доля обнаруженных выполненных вредоносных инструкций составляла 33% при примерно 220 обычных сессиях на агента и 99% при 360. Это показывает зависимость части методов от знания нормального поведения конкретного агента, а не универсальный порог готовности защиты.

Ложные тревоги и пределы исследования

На трёх бенчмарках с обычными офисными задачами ложные срабатывания затронули 2–4% безвредных сессий. На AgentHarm показатель достиг 16%: даже безопасные задания там включали терминальные команды, загрузку файлов и публикации в соцсетях. Привычные для такого агента действия сложнее отличить от злоупотребления.

Испытание проводилось на одной модели и в имитируемых приложениях, поэтому его цифры нельзя автоматически переносить на другие модели и рабочие системы. Примерно для 6% отправленных сессий сервис не вернул результат; учёт таких случаев как пропусков снижает суммарные показатели на 1–2 процентных пункта.

Официальная документация подтверждает ограниченный доступ: продукт доступен только одобренным пользователям с адресом электронной почты в списке разрешённых. Публичной общедоступной версии Agent Anomaly Detection на момент публикации нет.

Что ещё известно о проверке

Google использовала агента на Agent Development Kit с моделью gemini-2.5-flash. Результаты не являются сравнением нескольких моделей.