Frozen weights

Замороженные веса — это параметры нейросети, которые обучение больше не меняет. Представьте, что веса — это настройки сложного музыкального инструмента: во время тренировки их подкручивают, добиваясь нужного звучания. Заморозка означает, что ручки намертво фиксируются, и дальнейшие репетиции их не трогают.

Зачем это нужно? В современном ИИ модели обходятся колоссально дорого: обучение одного большого языка может стоить миллионы долларов. Замораживание весов позволяет использовать уже обученные «универсальные» части сети как готовый фундамент, дообучая лишь небольшую надстройку под конкретную задачу. Это экономит время, деньги и память, а заодно защищает ценное знание от «забывания» при обучении на маленьких или узких наборах данных.

Интуитивно это похоже на ремесленника, который не пересобирает свой верстак каждый раз, а меняет только сменный инструмент. Нейросеть состоит из слоёв: ранние слои выучивают общие признаки (например, линии, края, звуки), а поздние — специфические (лица, мелодии, смыслы). Если мы хотим, чтобы модель, умеющая распознавать животных, научилась отличать кошек от собак, мы оставляем «звериную» часть нетронутой — это и есть frozen weights — и обучаем лишь новые блоки, отвечающие за различие. Так мы сохраняем накопленную мудрость и не позволяем редким примерам исказить её.

Классический пример — трансферное обучение в компьютерном зрении. Берут нейросеть, обученную на миллионах общих фотографий, замораживают её сверточные слои, а сверху добавляют новый классификатор. Затем обучают только его на тысяче снимков ваших собственных питомцев. Модель мгновенно учится, не забывая при этом, как выглядят деревья и дороги.

Коротко: замороженные веса — это способ сказать сети: «это знание ценно, не трогай его». Такой приём делает искусственный интеллект практичным и быстрым, позволяя дообучать гигантские модели малыми усилиями.