Catastrophic forgetting

Катастрофическое забывание — явление, при котором нейросеть, осваивая новую задачу, почти полностью утрачивает ранее полученные навыки. В отличие от человека, который копит знания всю жизнь, искусственная сеть страдает радикальным склерозом: каждый новый урок способен стереть всё, что было выучено до него.

Термин важен, потому что он мешает созданию универсального ИИ. Сейчас модель обучают сразу на всём массиве данных. Но как только её дообучают чему-то новому, старые данные начинают теряться. Если не решить проблему, из каждой новой задачи придётся пересобирать систему с нуля, что не позволяет ИИ постепенно осваивать новые профессии.

Представьте: вы выучили французский, а затем берётесь за испанский. У человека знания не вытесняют друг друга. У нейросети всё иначе: её опыт хранится в миллионах числовых коэффициентов — весах. Когда сеть учится испанскому, веса меняются, чтобы распознавать новый язык, но те же веса отвечали и за старый. Новое просто затирает прежнее. Сеть не умеет переносить старое в «долговременную память», её архитектура этого не позволяет.

Вот показательный пример. Чат-бот техподдержки хорошо отвечал на вопросы о банковских картах. После дообучения на тему кредитов он вдруг начинает нести нелепость про карты, забывая, что такое овердрафт. Для компании это оборачивается абсурдными ответами и потерей репутации.

Вывод: катастрофическое забывание — ключевое ограничение ИИ. Учёные ищут обходные пути вроде повторного перемешивания старых данных или «заморозки» части нейронов, но настоящий прорыв ещё впереди.