Demographic parity

Демографический паритет — принцип справедливости в машинном обучении, требующий, чтобы решения алгоритма не зависели от защищённых характеристик человека: пола, возраста, расы, религии. Проще говоря, если людей разделить на группы по такому признаку, то доля положительных исходов в каждой группе должна быть одинаковой. Например, если одной группе кредит одобряют в 70% случаев, другой — тоже в 70%.

Зачем это нужно? Модели обучаются на исторических данных, в которых нередко зашиты старые предрассудки. Без дополнительных ограничений алгоритм может начать отказывать людям в кредитах или собеседованиях не из-за их реальной пригодности, а из-за закономерностей прошлого. Демографический паритет страхует от явной дискриминации и поддерживает доверие к автоматизированным решениям.

Как это работает на примере? Представьте, что нужно нанять 40 человек из 100 мужчин и 100 женщин. Демографический паритет требует, чтобы среди отобранных было примерно по 20 человек от каждой группы. Это похоже на квоту: итоговый баланс сохраняется независимо от того, как распределились оценки в резюме, хотя такая стратегия не гарантирует выбора исключительно «лучших» кандидатов.

Прикладная ситуация: в подборе персонала ИИ часто фильтрует резюме. Если модель обучалась на данных, где большинство успешных сотрудников — мужчины, она может «штрафовать» женские резюме по косвенным признакам вроде перерывов в карьере или возраста. Применение демографического паритета выравнивает долю выбранных мужчин и женщин, снижая риск гендерного перекоса.

Краткий вывод: демографический паритет — понятный критерий справедливости, но не универсальный. Равные доли могут противоречить реальным различиям между группами, поэтому его стоит использовать осознанно, в сочетании с другими метриками и с пониманием конкретной задачи. Тем не менее именно с него начинается разговор об этике ИИ.