Содержание
Почему robots.txt не всегда останавливает ChatGPT-User
Свежий отчёт TollBit показал: AI-агенты, которые открывают страницы по запросу пользователей, иногда заходят на URL, помеченные как запрещённые в robots.txt. На европейских сайтах из исследования около 15% выявленных обращений таких ботов пришлись на закрытые адреса, а ChatGPT-User оказался одним из самых заметных источников подобных запросов.
Почему ChatGPT-User может не учитывать запрет
В документации OpenAI прямо сказано, что ChatGPT-User используется, когда человек просит ChatGPT или пользовательский GPT открыть веб-страницу. Компания считает это действием, инициированным пользователем, а не автоматическим обходом сайта, поэтому правила robots.txt «могут не применяться». Это не означает, что ChatGPT постоянно сканирует закрытые разделы: речь идёт именно о точечных запросах от пользователей.
У OpenAI три разных типа ботов
Для владельцев сайтов важно не смешивать ChatGPT-User с другими агентами OpenAI. OAI-SearchBot отвечает за появление страниц в поисковых ответах ChatGPT, GPTBot — за сбор данных, которые могут использоваться для обучения моделей, а ChatGPT-User загружает страницу во время конкретного диалога или действия GPT. Запрет первого может лишить сайт видимости в AI-поиске, запрет второго управляет использованием контента для обучения, но блокировка ChatGPT-User не гарантирует, что пользовательский запрос не дойдёт до страницы.
Что это меняет для сайтов и бизнеса
Одного robots.txt теперь недостаточно, если нужно технически закрыть приватный контент. Для платных материалов, личных кабинетов и внутренних страниц по-прежнему нужны авторизация, серверные правила доступа, WAF или ограничения на уровне CDN. Проверять реальное поведение AI-ботов лучше по журналам сервера и CDN, а не только по содержимому robots.txt.
Для публичных сайтов задача обратная: можно разрешить OAI-SearchBot, чтобы материалы попадали в ответы ChatGPT, отдельно запретить GPTBot для обучения и при этом учитывать особый режим ChatGPT-User. Такое разделение помогает сохранить AI-видимость и точнее управлять доступом к контенту.