Elastic Weight Consolidation

Эластичное закрепление весов (EWC) — метод обучения нейросетей, позволяющий осваивать новые навыки, не разрушая старые. Его предложили в 2017 году в DeepMind для борьбы с катастрофическим забыванием: обычная сеть при обучении новой задаче перестраивает связи и забывает предыдущий опыт. EWC защищает важные веса.

Почему это важно? В реальности данные приходят постепенно: новые сообщения, фото, движения робота. Идеальный ИИ должен учиться непрерывно, как человек, а не переучиваться с нуля. Без методов вроде EWC модель уничтожает собственные знания при каждом обновлении.

Как это работает? Представьте сеть как упругую панель с пружинками — весами связей. Для каждой задачи нейросеть определяет, какие пружинки важны, используя информационную матрицу Фишера. Когда приходит новая задача, EWC добавляет в функцию ошибки штраф за изменение важных весов — их как бы замораживают. Маловажные остаются свободными и берут на себя освоение нового.

Пример: медицинская сеть, обученная распознавать пневмонию на рентгене, дообучается на томографию мозга. Без EWC после новых данных она начинает путать лёгкие с изображениями головы. С EWC она закрепляет знания о лёгких и спокойно осваивает томограммы, оставаясь компетентной в обеих областях.

Итог: EWC — это баланс между пластичностью и стабильностью. Оно позволяет нейросетям накапливать знания постепенно, как человек, и считается важным шагом к непрерывно обучающимся системам.