Disparate impact

«Disparate impact» (непропорциональное воздействие) — это ситуация, когда внешне нейтральное правило, процедура или алгоритм приносит значительно худшие результаты для определённой группы людей по признаку расы, пола, возраста или другой защищённой характеристики. О дискриминации здесь говорят не из-за намерения кого-то ущемить, а из-за фактического неравенства последствий.

Термин критически важен в контексте искусственного интеллекта. Модели машинного обучения обучаются на исторических данных, которые уже содержат перекосы. Если алгоритм будет просто «честно» повторять закономерности прошлого, он станет автоматизировать и усиливать существующую несправедливость. Понимание disparate impact позволяет инженерам и юристам проверять системы на реальную, а не только декларируемую, нейтральность.

Интуитивно это работает так. Представьте, что банк выдаёт кредиты по формуле, где ключевой фактор — почтовый индекс. Формула не упоминает национальность, но в некоторых районах исторически живут люди определённого происхождения. В итоге заявки от жителей таких районов отклоняются чаще. Алгоритм не смотрит на кожу или фамилию, но результат — явный перекос. Это и есть disparate impact: вред возникает не из-за явного запрета, а из-за косвенной корреляции.

Пример из практики: в 2020 году исследователи обнаружили, что система распознавания лиц от Amazon выдавала ошибки для более тёмных женщин почти в трети случаев, а для светлых мужчин — лишь в одном проценте. Обучалась система в основном на светлых мужских лицах, поэтому для других групп её точность резко падала. Намеренного предубеждения не было, но результат при использовании в полиции мог приводить к систематическим ложным обвинениям.

Короткий вывод: disparate impact — напоминание, что алгоритмы наследуют наши ошибки. Измерить справедливость так же важно, как измерить точность, иначе технологический прогресс рискует закрепить старые несправедливости в новых формах.