Бэггинг

Бэггинг (от английского bagging — «наполнение мешка») — это метод ансамблевого обучения, когда несколько моделей обучаются на случайных подвыборках данных и их прогнозы объединяются усреднением или голосованием. Зачем он нужен? Одиночная модель склонна переобучаться: она запоминает случайные ошибки и шумы, поэтому на новых данных ошибается. Бэггинг заставляет модели работать в коллективе и тем самым сглаживает эти ошибки, делая предсказания устойчивыми и стабильными.

Как это работает на интуитивном уровне? Представьте, что нужно оценить вес яблока. Один человек взвешивает его на неточных весах — результат может сильно мимо. Но если попросить десять человек сделать то же самое и усреднить их ответы, случайные отклонения взаимно компенсируются: у кого-то весы завысили, у кого-то занизили, а среднее окажется близким к истине. Бэггинг действует аналогично: из исходной выборки генерируют множество новых датасетов с повторами строк, на каждом учат отдельную модель, а затем усредняют результаты. Поскольку данные каждый раз немного разные, модели получаются неодинаковыми, но их совместный ответ более надёжен.

Прикладной пример: в банке бэггинг помогает оценивать кредитоспособность клиентов. Строятся сотни деревьев решений на разных случайных подмножествах историй выплат. Каждое дерево капризно и может отказать в кредите надёжному заёмщику, но когда все деревья «голосуют», ошибки одиночек перекрываются, и итоговое решение банка становится точным.

Краткий итог: бэггинг превращает слабых и неуверенных специалистов в коллективного эксперта, который почти не обращает внимания на случайные колебания данных. Поэтому он широко применяется в машинном обучении как простой и мощный способ повысить качество прогнозов.