BitFit

Зачем это важно. Полная настройка гигантской языковой модели требует кластеров GPU и дней вычислений. BitFit затрагивает лишь небольшую часть параметров, поэтому обучение занимает минуты и умещается на одной видеокарте. При этом точность многих задач почти не уступает полному дообучению, а риск переобучения снижается.

Как это работает. Каждый нейрон сети вычисляет взвешенную сумму входов, а затем прибавляет к ней смещение — своё число, сдвигающее порог срабатывания. BitFit замораживает веса и обновляет только эти смещения. Меняя их, мы перенаправляем внимание сети: например, усиливаем реакцию на определённые признаки, сохраняя обширные базовые знания нетронутыми. Представьте оркестр, выучивший классическую симфонию: чтобы зазвучать по-джазовому, достаточно чуть сместить громкость и темп отдельных партий, а не переучивать музыкантов с нуля.

Пример. Банковскому чат-боту нужно отвечать на вопросы о кредитах. Базовая модель уже понимает язык, но не специфику банка. BitFit на нескольких сотнях диалогов за пару минут адаптирует её, и бот даёт корректные ответы. Для этого не нужен гигантский размеченный датасет — достаточно нескольких сотен примеров.

Вывод. BitFit — экономный способ «тональной подстройки» нейросети, полезный там, где дорогие ресурсы недоступны, а цель узкая.