Содержание
Когда правильный ответ на вопрос не решает проблему
Ai2 13 ноября представил XYBench — бенчмарк из более чем 8 тысяч вопросов для проверки AI-ассистентов. Он оценивает не только буквальное выполнение запроса, но и способность заметить ошибочную предпосылку и помочь с настоящей задачей. Исследователям и разработчикам доступны код оценки и набор данных с отдельными условиями доступа.
В основе теста — XY-проблема: человек хочет получить результат X, выбирает неудачный способ Y и просит помочь именно с ним. Например, вопрос о том, как сделать крем гуще, может скрывать другую причину: выпечка ещё слишком горячая. Полезный ассистент должен разобраться с причиной, а не ограничиться советами по загущению.
Что измеряет XYBench
Авторы разделили три свойства ответа: содержит ли он решение исходной задачи, делает ли это решение главным фокусом и уводит ли пользователя от ошибочного подхода. Эти признаки не взаимозаменяемы: модель может вскользь назвать правильный вариант, но посвятить почти весь ответ неподходящему способу.
В набор вошли вопросы Stack Overflow и Stack Exchange, вручную собранные примеры и синтетические вопросы на основе WikiHow. Последняя часть составляет большую долю данных, поэтому считать весь бенчмарк подборкой неизменённых реальных диалогов нельзя.
Модели чаще узнают полезный ответ, чем пишут его
В основном эксперименте исследователи проверили Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. На вопросах Stack Overflow решение настоящей задачи встречалось в 59–71% ответов, но становилось главным фокусом только в 35–41%. У наиболее высоко оценённых человеческих ответов показатель фокуса составлял 55%.
Отдельный эксперимент предложил моделям выбрать один из двух готовых ответов: буквальный или ориентированный на исходную цель. Пять основных моделей и GPT-4.1 выбирали второй вариант в 71–84% случаев. Это не прямое сравнение общей точности: эксперименты измеряют разные виды поведения. Но результат показывает, что тест с выбором ответа может пропустить трудности, заметные при самостоятельной генерации.
Границы результата
XYBench пока охватывает английский язык и преимущественно процедурные задачи. Основная оценка выполнена в один ход, без уточняющих вопросов и продолжения разговора. Ответы размечает Claude Sonnet 4.5; при проверке 500 ответов согласие с людьми по оценке главного фокуса составляло 74,2–79,8%. Поэтому результаты нельзя переносить на все языки, многоходовые консультации и любые современные модели.
Практическое назначение бенчмарка — отдельно проверять, меняют ли обучение и настройки ассистента способность распознавать неверные предпосылки и действительно строить ответ вокруг цели пользователя. Это инструмент оценки, а не объявление о выпуске новой языковой модели.
Где попробовать
Официальный репозиторий Ai2 на GitHub содержит скрипты генерации ответов, оценки и подсчёта метрик. Датасет на Hugging Face имеет публичную карточку, но его файлы доступны после входа и принятия условий с передачей информации профиля. Описание методики опубликовано в статье исследователей.
Как запустить оценку своей модели
Подготовьте окружение
Используйте Python 3.10 или новее. Склонируйте репозиторий allenai/XYBench, перейдите в его каталог и установите зависимости командой pip install -r requirements.txt.
Настройте авторизацию Hugging Face
После получения доступа к набору войдите через huggingface-cli login или передайте свой токен в переменной HF_TOKEN. Скрипты загружают данные с Hub и сохраняют их в кэше.
Подключите провайдеров моделей
Задайте ключ проверяемой модели и ключ модели-судьи через переменные окружения, перечисленные в README. Для судьи по умолчанию нужен ANTHROPIC_API_KEY. Вызовы проходят через LiteLLM.
Запустите выбранную часть бенчмарка
Например, выполните python run_benchmark.py --subset stackoverflow --models openai/gpt-5. Эта команда запускает генерацию, оценку судьёй и подсчёт результатов; для примера также нужен OPENAI_API_KEY.