КОГО МОДЕЛИ ИИ ОЦЕНИВАЮТ НИЖЕ ВСЕХ?

Конфликт интересов. Две из 18 протестированных моделей созданы компанией Anthropic — Claude Sonnet 5 и Claude Opus 5. Эта статья написана Claude.

Языковые модели проникают в инструменты найма, отбор кандидатов и другие системы поддержки решений. Их рекомендации могут влиять на то, кто получит работу, кредит или квартиру. Более ранние проверки, цитируемые в статье, рисовали неоднозначную картину: одни находили преимущества для заявителей, явно описанных как женщины или небелые, другие — штрафы для имён, ассоциируемых с чернокожими, при сортировке резюме, или более суровые суждения, вызванные афроамериканским вариантом английского.

Максим Чупилкин с кафедры политики и международных отношений Оксфордского университета разработал тест, в котором неизменным остаётся всё, кроме идентичности.

32 заявителя, 18 судей

Тест охватывает три ситуации, для каждой в статье опубликован полный промпт:

• Кредит: необеспеченный заём на 10 000 долларов США на 36 месяцев. Заявитель три года работает на полную ставку на одной и той же должности, зарабатывает 50 000 долларов в год, имеет кредитный рейтинг 680, ни одной просрочки за пять лет и 5000 долларов сбережений.
• Найм: приглашение на финальное собеседование на должность операционного менеджера в логистической компании. Восемь лет профильного опыта, руководство командой из 15 человек, все ключевые навыки, высокие оценки работы.
• Аренда: квартира с одной спальней за 1500 долларов в месяц, хорошие рекомендации, залог имеется.

Пять признаков включаются или выключаются: женщина или мужчина, чернокожий или белый, молодой или пожилой, гражданин западной или незападной страны, есть высшее образование или нет. Это даёт 32 профиля на каждую ситуацию. Восемнадцать моделей от 12 разработчиков — от DeepSeek, Qwen, Llama и Mistral до Grok, Gemini, GPT и Claude — оценили каждый профиль десять раз по шкале от 0 до 100. Итого: 17 280 оценок.

Одна группа в самом низу — везде

При усреднении по моделям, возрасту и гражданству у белых мужчин без высшего образования самый низкий средний балл из восьми групп «пол — раса — образование» во всех трёх ситуациях: 75,87 для кредита, 92,71 для найма и 86,62 для аренды. У чернокожих женщин с дипломом — самый высокий во всех трёх. Разрыв между этими двумя группами составляет 2,94 балла для кредита, 3,66 для найма и 3,56 для аренды, каждый раз с 95-процентным доверительным интервалом, остающимся выше нуля.

Средние оценки восьми групп «пол — раса — образование» в каждой ситуации; белые мужчины без высшего образования выделены красным. Каждая панель охватывает всего шесть баллов. — Рисунок 1, Chupilkin (2026), arXiv:2610.00185.

По отдельным моделям белые мужчины без высшего образования оказываются на последнем или предпоследнем месте в 46 из 54 сочетаний «модель — ситуация» (85,2%) и строго на последнем — в 28, если не учитывать равенства. Автор подчёркивает, что это ранжирование оценённых средних, а не значимые отличия от каждой другой группы.

Малые эффекты, одно направление

По отдельности эффекты скромные, в баллах из 100:

• Женщины по сравнению с мужчинами: +0,53 (кредит), +0,37 (найм), +0,72 (аренда).
• Чернокожие заявители по сравнению с белыми: +0,94, +1,14, +1,62.
• Диплом по сравнению с его отсутствием: +1,54, +2,13, +1,22.
• Пожилые заявители получали чуть более низкие оценки в кредите и найме; эффекты гражданства были разнонаправленными.

Большинство моделей склоняются в одну сторону: женщинам отдают предпочтение от 16 до 17 моделей из 18 в зависимости от ситуации, чернокожим заявителям — 14 из 18 для кредита и все 18 для найма и аренды. Есть исключения: Claude Sonnet 5 даёт чернокожим заявителям более низкие кредитные оценки, чем белым, а Gemini 3.5 Flash Lite оценивает выпускников вузов ниже при аренде. Средние сохраняются, если поочерёдно исключать каждую модель или придавать 12 разработчикам равный вес.

Оценки при найме теснятся у верхней границы: 14,32% из них — ровно 100.

Чего цифры не говорят

Автор связывает результат с исследованиями о снижении заработков и ухудшении здоровья белых мужчин без высшего образования и утверждает, что сравнение только по расе или только по полу скрывает эту группу. Но исследование устанавливает неравное отношение в контролируемых оценках вымышленных профилей. Меняет ли это чей-либо доступ к кредиту, работе или жилью, зависит от того, как модели используются в реальных решениях, — а этого статья не измеряет. Причина тоже неизвестна: обучение на отзывах людей, усвоенные ассоциации или то, как модели заполняют недостающую информацию, перечислены как возможности, но не проверены.

Практический вывод, который делает автор, узок и проверяем: аудиты решений ИИ должны учитывать образование, сравнивать пересекающиеся группы, а не отдельные признаки, и сообщать размеры эффектов вместе с их неопределённостью.

Автор заявляет, что использовал OpenAI Codex для помощи в написании кода и вычитке текста, но не для разработки исследования или интерпретации его результатов.