Содержание
Почему AI может закреплять предубеждения даже на нейтральных данных
Исследователи Принстонского университета и Чикагского университета обнаружили, что большие языковые модели способны вырабатывать новые стереотипы в процессе принятия решений — даже когда исходные данные не дают для этого оснований. В симуляции найма модели ChatGPT, Claude, Gemini и другие системы чаще людей начинали связывать вымышленные группы кандидатов с определёнными профессиями.
Как проходил эксперимент
AI выступал консультантом мэра вымышленного города и в течение 40 раундов подбирал сотрудников для 20 профессий — от врачей и юристов до воспитателей и уборщиков. Кандидаты относились к четырём придуманным этническим группам, но вероятность успешно справиться с работой у всех была одинаковой.
Несмотря на это, модели быстро обобщали единичные результаты. Если один представитель группы не справлялся с работой врача, AI начинал реже выбирать всех кандидатов этой группы на похожие должности и чаще направлял их в другие профессиональные ниши. На шкале сегрегации люди получили 0,84 балла, а модели в среднем показали результат примерно на 65% выше; модель OpenAI o3 набрала 1,83 при максимуме 2.
Обычного призыва «будь справедливым» оказалось мало
Простая инструкция принимать решения справедливо почти не меняла поведение моделей. Заметный эффект появился, когда исследователи встроили разнообразие прямо в целевую функцию и добавили за него условный бонус. Предубеждения также ослабевали, когда системе давали больше действительно важной информации о конкретном человеке — например, возраст и образование, — вместо предложения судить по принадлежности к группе.
Что это значит для бизнеса
Авторы подчёркивают, что лабораторная игра не полностью повторяет реальный найм: в эксперименте AI сразу узнавал результат каждого решения, тогда как компании оценивают сотрудника спустя месяцы. Но вывод важен для HR-систем, кредитного скоринга и других AI-агентов с памятью: накопленный опыт сам по себе не гарантирует объективность и может превратить случайные ранние наблюдения в устойчивое правило.
Практический вывод для компаний — не ограничиваться общими этическими инструкциями. Нужны регулярные проверки решений по группам, понятные критерии, человеческое подтверждение важных выводов и метрики, которые явно учитывают справедливость наряду с точностью.