В 2018 году стало известно, что внутренний алгоритм отбора резюме Amazon систематически занижал оценки резюме, где встречалось слово «женский» — например, «женская шахматная федерация». Разбираем, откуда берётся предвзятость в ИИ-инструментах найма и как её выявлять и контролировать при внедрении таких систем.
Модели отбора кандидатов обучаются на исторических данных о том, кого компания нанимала раньше — и если в прошлом при найме на определённые позиции преобладали кандидаты одного пола, возраста или образования, алгоритм воспринимает это как «успешный паттерн» и продолжает его воспроизводить, даже если сама компания не имела такого явного намерения.
Помимо истории с Amazon, известны случаи, когда алгоритмы видеоанализа собеседований оценивали кандидатов по мимике и интонации способами, которые оказывались менее точны для людей с определёнными особенностями речи или неврологическими особенностями, а системы скрининга резюме занижали оценки при упоминании перерыва в карьере — например, из-за декретного отпуска.
Перед внедрением любого ИИ-инструмента отбора стоит провести аудит на тестовых наборах резюме, которые отличаются только защищёнными характеристиками (пол, возраст, происхождение) при одинаковой квалификации — если оценки заметно различаются, алгоритм требует донастройки. Хорошая практика — не давать алгоритму финального решения, используя его только как один из фильтров, с обязательной проверкой человеком отклонённых кандидатов. Это касается и российских ИИ-инструментов найма вроде робота Веры и ИИ-помощника hh.ru — автоматизация первичного отбора не отменяет необходимость аудита на предвзятость.
В Евросоюзе системы ИИ для отбора кандидатов при найме отнесены к категории высокого риска в рамках AI Act и требуют дополнительной прозрачности и аудита. В России подобное регулирование пока в стадии обсуждения, но компаниям, использующим ИИ в найме, стоит заранее закладывать практики прозрачности и человеческого контроля, не дожидаясь обязательных требований закона.
Внутренний алгоритм Amazon, который занижал оценки резюме с упоминанием слова «женский» — компания отказалась от системы после обнаружения проблемы.
Полностью убрать сложно, но можно значительно снизить через регулярный аудит на тестовых наборах данных и обязательное сохранение финального решения за человеком.
Провести тест с парами резюме, идентичными по квалификации, но отличающимися защищёнными характеристиками — если оценки алгоритма систематически расходятся, это сигнал предвзятости.
В Евросоюзе — да, в рамках AI Act такие системы отнесены к высокому риску и требуют дополнительной прозрачности; в России подобное регулирование пока формируется.
Хорошая практика — не давать алгоритму последнее слово, используя его как вспомогательный фильтр с обязательной проверкой решений человеком, особенно при отказе кандидату.