Содержание
JudgeGPT показал, почему одного доступа к AI недостаточно
Исследователи из ETH Zurich, Новой экономической школы и Imperial College London провели один из крупнейших полевых экспериментов с генеративным AI в государственном секторе. В испытании участвовали 1 559 судей из 118 судов Пакистана — примерно половина всех судей первой инстанции в стране.
Как работал JudgeGPT
Судьям дали помощника JudgeGPT на базе GPT-4. Система использовала RAG-поиск по базе из 129 235 документов: судебных решений и законов Пакистана. На запрос пользователя она находила десять наиболее подходящих фрагментов, формировала ответ и добавляла ссылки на источники.
Участников разделили на группы. Одна получила доступ к JudgeGPT и шесть практических занятий по 90 минут: судей учили выбирать подходящие задачи, видеть ограничения модели и проверять ответы. Вторая получила тот же AI-инструмент, но только общий семинар о технологиях и праве. Третья группа работала без JudgeGPT.
Обучение оказалось важнее самого доступа
Судьи после практического курса использовали помощника в четыре раза активнее. Через 40 недель районы с большей долей обученных участников закрывали примерно на 1 848 дел в год больше — прирост составил 6,3%. Сам по себе доступ к AI почти не изменил производительность.
Качество решений при этом не снизилось: доля апелляций немного уменьшилась, а проверка около 4 000 документов не обнаружила роста гендерной или религиозной предвзятости. Исследователи оценили отдачу до 38,5 доллара на каждый вложенный доллар, а даже консервативный сценарий дал не менее десятикратного возврата.
Что это значит для бизнеса
Эксперимент показывает полезную закономерность для любых компаний: купить подписки на AI недостаточно. Максимальный эффект появляется, когда сотрудники понимают, какие задачи отдавать модели, где обязательна проверка и как встроить инструмент в ежедневный процесс. Обученные судьи чаще поручали JudgeGPT редактирование, суммаризацию и поиск, а ключевые решения оставляли за человеком — именно такой подход снижает риск галлюцинаций и даёт измеримый результат.