Saliency map

Карта значимости (saliency map) — это визуализация того, на какие участки изображения модель искусственного интеллекта обращает внимание при принятии решения. Каждый пиксель получает оценку важности: от горячих зон, которые сильно влияют на результат, до холодных, которые модель почти игнорирует.

Важна для объяснимости ИИ. Когда нейросеть ставит диагноз или распознаёт объект, хочется понять, на чём основан вывод. Карта значимости показывает, не смотрит ли модель на посторонние детали (например, метку на снимке) вместо реальной патологии.

Представьте, что модель — это человек, который смотрит на фотографию и говорит: «здесь кошка». Карта значимости подобна тепловой карте его взгляда: чем дольше и пристальнее он смотрит на уши, усы и хвост, тем ярче эти места на карте. В технике это делается через анализ градиентов: мы немного меняем каждый пиксель и смотрим, как меняется ответ модели. Если небольшое изменение точки сильно меняет предсказание, эта точка важна.

В медицине карта значимости помогает врачам проверять ИИ-диагноста. Допустим, нейросеть определяет пневмонию по рентгеновскому снимку. Карта подсвечивает участки лёгких с затемнениями. Врач видит, что модель действительно опирается на характерные признаки, а не на артефакты съёмки или рамку снимка. Это повышает доверие к системе и позволяет вовремя заметить ошибку.

Таким образом, карта значимости превращает «чёрный ящик» нейросети в прозрачный инструмент. Она не объясняет всю логику модели, но даёт важную подсказку о том, какие данные реально повлияли на решение. Это делает ИИ безопаснее и понятнее для людей.