Содержание
Новый AI-инструмент для команд безопасности
OpenAI представила CSAM Image Classifier — инструмент для выявления изображений, которые могут содержать материалы сексуального насилия над детьми. Доступ через API предоставляется бесплатно только проверенным и одобренным организациям. Это не общедоступная функция ChatGPT: свободное подключение без проверки не заявлено.
Не только поиск уже известных файлов
Как поясняет компания в официальном анонсе от 16 ноября, классификатор анализирует визуальные признаки и выдаёт оценки риска. Это помогает выявлять ранее неизвестные изображения и потенциально сгенерированные ИИ материалы, которые может пропустить сопоставление с хешами уже известных файлов.
Результат предназначен для сортировки очереди и приоритизации работы обученных специалистов. Инструмент дополняет поиск совпадений, анализ контекста и человеческую проверку, а не заменяет всю систему модерации. В подготовке и оценке модели OpenAI помогал американский Национальный центр по делам пропавших и эксплуатируемых детей — NCMEC.
Что показали внутренние испытания
При оценке загруженных пользователями изображений OpenAI сравнила новый классификатор с действующими средствами защиты. По расчётам компании, он мог бы помечать на 48% меньше изображений, обнаруживая примерно то же число материалов с насилием. Среди отмеченных файлов подтверждённое нарушение встречалось примерно вдвое чаще.
Это оценка для конкретного сравнения, а не обещание сократить трудозатраты любой команды на 48%. Меньшее число пометок означает потенциально более короткую очередь, но реальная нагрузка зависит от потока изображений, порогов срабатывания и правил проверки.
Показатели зависят от реального потока
В опубликованной карточке модели OpenAI отдельно предупреждает: точность среди отмеченных изображений в онлайн-оценке была существенно ниже, чем на отложенной тестовой выборке. Когда запрещённые материалы редки, даже небольшая доля ложных срабатываний способна создать много лишних пометок.
Поэтому высокие показатели на тестовом наборе не гарантируют такую же долю подтверждений в работающем сервисе. Карточка также описывает ограничения оценки: различия между группами данных и риск пересечения изображений из одной серии, который не полностью устраняет поиск визуальных дубликатов.
Инструмент рассчитан на специализированные команды безопасности платформ и организаций, работающих с защитой детей. Бесплатность API не отменяет предварительного одобрения доступа и не делает модель публично доступной каждому разработчику.
Обложка: официальный график ROC и precision–recall из карточки OpenAI CSAM Image Classifier. Он отражает результаты на отложенной выборке, а не качество на любом пользовательском потоке.