Hard parameter sharing

Hard parameter sharing — это метод многозадачного обучения нейросетей, при котором одна общая «база» параметров используется для нескольких задач, а на выходе разделяются лишь небольшие специализированные «головы». Проще говоря, сеть имеет общее ядро, которое извлекает универсальные признаки, и несколько отдельных надстроек, каждая из которых отвечает за свою задачу. Это главный приём против «катастрофического забывания» — ситуации, когда обучение новой способности стирает уже выученные.

Интуитивно это напоминает строительство дома с общим фундаментом. Фундамент и несущие стены одни на всех, но в каждой квартире — своя планировка. Если строить каждую комнату с нуля (полное разделение параметров), выйдет дорого и ненадёжно. А если всё делать общим, то интерьеры будут одинаковыми и неудобными. Компромисс — общие «стены» и разные «двери». Нейросеть сначала учится видеть общие закономерности, а затем адаптирует их под конкретные цели.

Классический пример — беспилотный автомобиль. Одна сеть с общими слоями одновременно распознаёт пешеходов, дорожную разметку и знаки. Благодаря общему «зрению» это дешевле и стабильнее, чем три отдельные модели, каждая со своими ошибками. При этом каждой задаче достаётся своя голова, что позволяет ей выдавать точный ответ без конфликтов друг с другом.

Вывод: hard parameter sharing — это баланс между общим знанием и специализацией. Он делает многозадачные модели компактнее, устойчивее и быстрее в обучении, поэтому широко применяется в компьютерном зрении и обработке речи, где задачи по своей природе связаны.