Модели отбора кандидатов обучаются на исторических данных о том, кого компания нанимала раньше — и если в прошлом при найме на определённые позиции преобладали кандидаты одного пола, возраста или образования, алгоритм воспринимает это как «успешный паттерн» и продолжает его воспроизводить, даже если сама компания не имела такого явного намерения.
Помимо истории с Amazon, известны случаи, когда алгоритмы видеоанализа собеседований оценивали кандидатов по мимике и интонации способами, которые оказывались менее точны для людей с определёнными особенностями речи или неврологическими особенностями, а системы скрининга резюме занижали оценки при упоминании перерыва в карьере — например, из-за декретного отпуска.
Перед внедрением любого ИИ-инструмента отбора стоит провести аудит на тестовых наборах резюме, которые отличаются только защищёнными характеристиками (пол, возраст, происхождение) при одинаковой квалификации — если оценки заметно различаются, алгоритм требует донастройки. Хорошая практика — не давать алгоритму финального решения, используя его только как один из фильтров, с обязательной проверкой человеком отклонённых кандидатов.
В Евросоюзе системы ИИ для отбора кандидатов при найме отнесены к категории высокого риска в рамках AI Act и требуют дополнительной прозрачности и аудита. В России подобное регулирование пока в стадии обсуждения, но компаниям, использующим ИИ в найме, стоит заранее закладывать практики прозрачности и человеческого контроля, не дожидаясь обязательных требований закона.