Бустинг

Бустинг — это мощный метод машинного обучения, в котором множество простых моделей последовательно объединяются в одну сложную. Каждая следующая модель учится исправлять ошибки предыдущих, поэтому итоговый прогноз оказывается точнее, чем у любой модели по отдельности. Важно, что модели добавляются не параллельно, а друг за другом: новая сосредотачивается именно на тех примерах, где старые ошиблись.

Термин важен, потому что бустинг лежит в основе таких алгоритмов, как AdaBoost, XGBoost, LightGBM. Они выигрывают соревнования по анализу данных, используются в банках, медицине, рекомендательных системах. Без бустинга многие прогнозы на табличных данных были бы заметно слабее.

Как это работает интуитивно? Представьте команду из десяти людей, угадывающих вес мешка конфет. Первый называет число, второй пытается компенсировать его ошибку, третий уточняет ошибку второго. Каждый следующий эксперт обращает внимание не на сам вес, а на то, где промахнулся предыдущий. В итоге взвешенная сумма их ответов сильно точнее любого индивидуального. В бустинге роль таких экспертов играют слабые деревья решений, а их коррекция вычисляется через градиент ошибки.

Пример: банк использует бустинг для обнаружения мошеннических транзакций. Алгоритм комбинирует тысячи маленьких деревьев, учитывающих сумму, время, историю клиента. Благодаря последовательному исправлению ошибок он находит редкие аномалии, которые пропустили бы простые правила, и работает в реальном времени.

Итак, бустинг — это способ превратить слабых «учеников» в сильного за счёт исправления ошибок друг друга. Это один из самых практичных и интуитивных инструментов современного ИИ.