Mutual information

Взаимная информация — это количественная мера из теории информации, которая показывает, насколько знание одной случайной величины снижает неопределённость другой. Если две величины независимы, их взаимная информация равна нулю: одна не даёт ни малейшей подсказки о другой. Если же одна полностью определяет вторую, значение максимально.

Зачем это нужно? В отличие от корреляции, которая улавливает только линейные связи, взаимная информация чувствует любые зависимости — логические, периодические, сложные нелинейные. В задачах машинного обучения это незаменимо: на её основе отбирают признаки, понимают структуру данных и оценивают, насколько одно явление объясняет другое.

Как это работает интуитивно? Представьте, что вы угадываете загаданное число от 1 до 8. Вначале энтропия (неопределённость) равна трём битам. Вам дают подсказку «число чётное» — неопределённость падает до двух битов. Значит, подсказка несёт один бит взаимной информации. Чем больше таких битов, тем полезнее информация: она экономит усилия при принятии решений.

Прикладной пример: в диагностике нужно понять, связан ли уровень белка в крови с заболеванием. Взаимная информация между показателем и диагнозом сразу покажет силу связи. Если она близка к нулю — белок ничего не говорит о болезни. Если велика — его стоит использовать как маркер, даже если зависимость нелинейная и не видна глазу.

Итог: взаимная информация — универсальный инструмент для поиска скрытых закономерностей и построения надёжных моделей ИИ, работающий там, где простая корреляция бессильна.