Equalized odds

Equalized odds — это критерий справедливости для алгоритмов машинного обучения. Он требует, чтобы вероятность ошибки модели была одинаковой для разных групп людей, разделённых по защищённому признаку, например по полу или национальности. Проще говоря, алгоритм не имеет права ошибаться в пользу одной группы чаще, чем в ущерб другой.

Зачем это нужно? Модели всё чаще решают судьбы людей: выдают кредиты, ставят диагнозы, помогают судьям. Если алгоритм обучался на исторических данных, он может незаметно впитать предрассудки прошлого. Equalized odds позволяет выявить и скорректировать такую несправедливость.

Как это работает интуитивно? Представь двух студентов — Петю и Аню, которые реально одинаково знают материал. Модель, предсказывающая результат экзамена, видит, что по статистике мальчики и девочки сдают по-разному, и начинает решать, что для Ани «четвёрка» — это скорее ошибка, а для Пети — закономерность. В результате Ане занижают оценку. Equalized odds требует, чтобы модель называла «двоечниками» одинаковую долю реально слабых учеников и среди мальчиков, и среди девочек.

Прикладной пример: банк использует скоринг для выдачи ипотеки. Если среди реально платёжеспособных клиентов модель отказывает 10% мужчин, но 20% женщин, это нарушение критерия. Чтобы его исправить, алгоритм подстраивают так, чтобы доли ложных отказов стали равными.

Конечно, equalized odds не делает алгоритм абсолютно беспристрастным — могут быть другие формы дискриминации. Но это мощный шаг к тому, чтобы технологии перестали усиливать социальное неравенство.