LP-FT

LP-FT — это двухэтапный приём обучения нейросетей, расшифровывается как Linear Probe then Fine-Tuning («линейный зонд, затем дообучение»). Сначала поверх замороженной предобученной модели обучают только простой линейный классификатор, а потом размораживают все слои и дообучают сеть целиком. На первом этапе веса модели не меняются: зонд учится использовать уже существующие признаки.

Этот термин важен, потому что обычное дообучение больших моделей часто ведёт к искажению признаков: при обновлении всех весов градиенты сразу «сдвигают» внутренние представления, которые модель уже построила. Полезные свойства, полученные на огромном датасете, разрушаются, и модель хуже обобщается. LP-FT даёт безопасную отправную точку.

Аналогия: у вас есть готовая планировка квартиры — предобученная модель. Линейный зонд — быстрая расстановка мебели без перестройки стен: вы понимаете, где что лучше поставить. Затем аккуратно меняете перегородки — обновляете внутренние представления. Модель стартует с осмысленной картинки, финальная настройка не ломает прежние знания.

Пример: нужно распознавать редкие виды птиц. Берём модель, обученную на миллионах общих изображений, не меняя весов, обучаем линейный классификатор на снимках птиц. Потом размораживаем сеть и дообучаем на том же датасете. Благодаря первому шагу модель уже знает важные признаки, и доработка устойчива даже при малом количестве примеров.

Коротко: LP-FT — правило «сначала стабилизируй, потом меняй». Это сохраняет мощные признаки предобученной модели и одновременно адаптирует её под задачу, делая дообучение надёжнее и качественнее.