WiSE-FT

WiSE-FT (Weight Space Ensembling for Fine-Tuning) — это приём, который соединяет веса двух версий одной нейросети: исходной, обученной на огромном массиве данных, и дообученной под узкую задачу. Вместо того чтобы выбирать одну из них, алгоритм усредняет параметры обеих моделей в особой пропорции, получая гибрид, который часто работает лучше каждой по отдельности.

Важность термина в том, что он решает классическую проблему дообучения: модель, настроенная на специализированных данных, отлично справляется со своей задачей, но забывает общие знания и теряет устойчивость к новым примерам. WiSE-FT позволяет сохранить и специальные навыки, и широкий кругозор, что критично для систем, работающих в меняющихся условиях.

Как это работает интуитивно? Представьте двух экспертов: одного, знающего мир в целом, и второго, углублённо изучившего один вопрос. Если вы смешаете их советы, взвесив по ситуации — например, 70% общего эксперта и 30% узкого, — вы получите решение, которое не игнорирует узкую специфику, но и не теряет здравый смысл. WiSE-FT делает то же самое на уровне чисел: умножает веса исходной модели на коэффициент, веса дообученной — на дополнительную величину и складывает результаты.

Прикладной пример: система распознавания медицинских снимков дообучается на редких болезнях. Чисто дообученная модель склонна к ложным тревогам в новых условиях, а WiSE-FT снижает их число, сохраняя точность диагностики — она видит и редкие патологии, и типичные здоровые ткани.

Коротко: WiSE-FT — это простой и надёжный способ «подружить» старые и новые знания нейросети, повышая её гибкость без потери точности.