НовостьНейросетиAI-исследованияБенчмарки

Ai2 выпустил XYBench — тест ИИ на понимание настоящей задачи пользователя

Ai2 представил XYBench: более 8 тысяч вопросов с ошибочными предпосылками. Тест проверяет, помогает ли ИИ решить исходную задачу, а не только выполнить буквально сформулированную просьбу. Код опубликован, доступ к данным требует принятия условий Hugging Face.

Ирина Видяшкина

15.11.2026 · 3 минут чтения · Нейросети

Allenai Xybench User Misconceptions Benchmark Cover

Содержание

Когда правильный ответ на вопрос не решает проблему

Ai2 13 ноября представил XYBench — бенчмарк из более чем 8 тысяч вопросов для проверки AI-ассистентов. Он оценивает не только буквальное выполнение запроса, но и способность заметить ошибочную предпосылку и помочь с настоящей задачей. Исследователям и разработчикам доступны код оценки и набор данных с отдельными условиями доступа.

В основе теста — XY-проблема: человек хочет получить результат X, выбирает неудачный способ Y и просит помочь именно с ним. Например, вопрос о том, как сделать крем гуще, может скрывать другую причину: выпечка ещё слишком горячая. Полезный ассистент должен разобраться с причиной, а не ограничиться советами по загущению.

Что измеряет XYBench

Авторы разделили три свойства ответа: содержит ли он решение исходной задачи, делает ли это решение главным фокусом и уводит ли пользователя от ошибочного подхода. Эти признаки не взаимозаменяемы: модель может вскользь назвать правильный вариант, но посвятить почти весь ответ неподходящему способу.

В набор вошли вопросы Stack Overflow и Stack Exchange, вручную собранные примеры и синтетические вопросы на основе WikiHow. Последняя часть составляет большую долю данных, поэтому считать весь бенчмарк подборкой неизменённых реальных диалогов нельзя.

Модели чаще узнают полезный ответ, чем пишут его

В основном эксперименте исследователи проверили Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. На вопросах Stack Overflow решение настоящей задачи встречалось в 59–71% ответов, но становилось главным фокусом только в 35–41%. У наиболее высоко оценённых человеческих ответов показатель фокуса составлял 55%.

Отдельный эксперимент предложил моделям выбрать один из двух готовых ответов: буквальный или ориентированный на исходную цель. Пять основных моделей и GPT-4.1 выбирали второй вариант в 71–84% случаев. Это не прямое сравнение общей точности: эксперименты измеряют разные виды поведения. Но результат показывает, что тест с выбором ответа может пропустить трудности, заметные при самостоятельной генерации.

Границы результата

XYBench пока охватывает английский язык и преимущественно процедурные задачи. Основная оценка выполнена в один ход, без уточняющих вопросов и продолжения разговора. Ответы размечает Claude Sonnet 4.5; при проверке 500 ответов согласие с людьми по оценке главного фокуса составляло 74,2–79,8%. Поэтому результаты нельзя переносить на все языки, многоходовые консультации и любые современные модели.

Практическое назначение бенчмарка — отдельно проверять, меняют ли обучение и настройки ассистента способность распознавать неверные предпосылки и действительно строить ответ вокруг цели пользователя. Это инструмент оценки, а не объявление о выпуске новой языковой модели.

Где попробовать

Официальный репозиторий Ai2 на GitHub содержит скрипты генерации ответов, оценки и подсчёта метрик. Датасет на Hugging Face имеет публичную карточку, но его файлы доступны после входа и принятия условий с передачей информации профиля. Описание методики опубликовано в статье исследователей.

Как запустить оценку своей модели

Подготовьте окружение

Используйте Python 3.10 или новее. Склонируйте репозиторий allenai/XYBench, перейдите в его каталог и установите зависимости командой pip install -r requirements.txt.

Настройте авторизацию Hugging Face

После получения доступа к набору войдите через huggingface-cli login или передайте свой токен в переменной HF_TOKEN. Скрипты загружают данные с Hub и сохраняют их в кэше.

Подключите провайдеров моделей

Задайте ключ проверяемой модели и ключ модели-судьи через переменные окружения, перечисленные в README. Для судьи по умолчанию нужен ANTHROPIC_API_KEY. Вызовы проходят через LiteLLM.

Запустите выбранную часть бенчмарка

Например, выполните python run_benchmark.py --subset stackoverflow --models openai/gpt-5. Эта команда запускает генерацию, оценку судьёй и подсчёт результатов; для примера также нужен OPENAI_API_KEY.

Доступ, лицензии и расходы

Нет. Код опубликован под Apache 2.0, а датасет — под CC BY-NC-SA 3.0 для исследовательского и образовательного использования с соблюдением Responsible Use Guidelines Ai2. Условия данных не дают общего разрешения на коммерческое использование.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости