Linear probe

Линейный зонд — это простой вспомогательный классификатор, который подключают к внутреннему слою уже обученной нейросети, чтобы проверить, какая информация там закодирована. Он состоит из одного линейного слоя без хитрых нелинейностей. Если такой зонд быстро достигает высокой точности на нужной задаче, значит, интересующие признаки уже лежат на поверхности внутреннего представления, и их легко извлечь простым разделением.

Метод даёт недорогой способ заглянуть в «мышление» сети, не переобучая её. Берём вектор признаков из слоя и пытаемся предсказать по нему конкретное свойство. Успех говорит, что знание уже присутствует, провал — что оно либо отсутствует, либо запутано в нелинейных комбинациях. Это ключевой инструмент для диагностики предвзятости и проверки переносимости выученных признаков.

Интуитивно работает так: нейросеть раскладывает объекты в многомерном пространстве, похожие оказываются рядом. Линейный зонд проводит гиперплоскость, разделяющую классы. Если объекты чётко разнесены — он сработает отлично; если перемешаны — линейного разделения не выйдет, значит, информация закодирована неявно.

Прикладной пример: модель ставит диагноз по рентгеновским снимкам лёгких. Подключаем зонд к последнему слою и просим угадать возраст пациента. Если он легко справляется, это тревожный сигнал: сеть невольно выучила демографические признаки, способные искажать выводы для разных групп людей. Так вскрываются скрытые смещения данных ещё до внедрения модели в клинику.

Краткий итог: линейный зонд — дешёвая и прозрачная диагностическая техника, которая отделяет простое знание от сложного. Она не улучшает модель, но помогает понять, что именно выучила сеть, какие признаки легко переносятся в другие задачи и где спрятаны нежелательные зависимости. За эту простоту и информативность метод ценят и в лабораториях, и в индустрии.