Simpson's paradox

Парадокс Симпсона — статистический феномен, при котором взаимосвязь между переменными, видимая в каждой отдельной группе данных, исчезает или меняется на противоположную при объединении этих групп. Термин важен, потому что предупреждает об ошибке: если не учитывать скрытые факторы, можно сделать ложный вывод и принять неверное решение.

Как это работает? Представьте два метода лечения. При лёгкой форме болезни метод А успешен в 80% случаев, метод Б — в 90%. При тяжёлой форме метод А — в 60%, метод Б — в 70%. Метод Б лучше в обеих группах. Но если метод А применяли в основном к лёгким пациентам, а метод Б — к тяжёлым, то при объединении данных метод А покажет успех 75%, а метод Б — только 65%. Общая статистика противоречит частной, поэтому возникает парадокс.

Классический пример — операция при камнях в почках. Открытая операция успешна в 78% случаев при мелких камнях и в 73% при крупных. Менее инвазивный метод, нефролитотомия, даёт 93% и 87% соответственно. Нефролитотомия лучше в каждой подгруппе, но в общей статистике она выглядит хуже (78% против 83%), потому что её чаще применяли при сложных случаях с крупными камнями.

Вывод: всегда разбивайте данные на однородные группы, прежде чем доверять средним значениям. Парадокс Симпсона напоминает, что за общими цифрами могут скрываться важные нюансы.