Содержание
Copilot Evals проверяет не только ответ, но и действия AI-агента
17 ноября GitHub открыла публичную предварительную версию GitHub Copilot Evals. Она доступна для тарифов Copilot Individual, Business и Enterprise и позволяет создавать повторяемые проверки навыков, собственных агентов и MCP-инструментов. Поддерживаются VS Code, Copilot CLI и приложение GitHub Copilot.
Один удачный ответ не заменяет проверку
Поведение AI-агента может меняться от запуска к запуску. Если команда переписала навык, сменила модель или подключила другой инструмент, прежний удачный ответ ещё не доказывает, что настройка продолжает работать правильно. Evals сохраняет задачу и критерии результата, чтобы один и тот же сценарий можно было прогнать повторно.
Проверка охватывает итоговый результат и путь к нему: какие действия выполнил агент, какие выходные файлы создал и какие условия нарушил. Например, для навыка подготовки заметок о выпуске можно задать критерии: включать только завершённые задачи, сохранять их номера и не изменять исходные файлы. Это пример проверяемого поведения, а не универсальный балл качества модели.
Отчёты и сравнение изменений
Copilot помогает сформулировать тест, показывает пройденные и проваленные проверки и позволяет сравнить сохранённые результаты до и после изменения настройки. Для выполнения используется локальный движок Vally; устройство и зависимости интеграции описаны в репозитории GitHub. Пользователь подтверждает каждый запуск до его начала.
Создание и сохранение теста отделено от его выполнения. Чтение или сравнение уже сохранённых результатов не вызывает модели, а сами прогоны и AI-оценщики могут расходовать токены или кредиты и выполнять код в пределах локальных разрешений. Поэтому бесплатность всех прогонов из анонса не следует. Пройденная проверка также не гарантирует правильный ответ во всех будущих ситуациях.
Где попробовать
Для VS Code доступно официальное расширение GitHub Copilot Evals. В Copilot CLI и приложении Copilot используется плагин из github/evals. В CLI команды /eval и визуальная панель пока требуют экспериментального режима; обращения к навыкам обычным языком доступны и без него. Статус продукта — public preview, не общедоступный стабильный выпуск.
Как проверить свою настройку Copilot
Установите официальное расширение
В VS Code найдите GitHub Copilot Evals от издателя GitHub в Visual Studio Marketplace и войдите в Copilot.
Опишите реалистичную задачу
Попросите Copilot создать eval для навыка, собственного агента или MCP-инструмента. Укажите, какой результат считать правильным.
Проверьте критерии и сохраните тест
Просмотрите предложенные сценарии, входные данные и условия проверки. Настройте локальный test runner через команду GitHub Copilot Evals: Set up test runner.
Подтвердите запуск
Выберите Review & run в Evals Canvas. Перед подтверждением изучите действия прогона и указанные расходы токенов или кредитов.
Сравните поведение после изменения
Изучите отчёт, измените нужную настройку и повторите тот же eval. Попросите Copilot сравнить два сохранённых запуска.