Стратификация

Стратификация — это приём, когда данные делят на однородные подгруппы (слои) перед обучением или проверкой модели. Вместо перемешивания всех примеров мы сохраняем важные пропорции внутри слоя. Например, если 90% здоровых и 10% больных, при случайном разбиении в тест может попасть слишком мало больных, и метрики обманут. Стратификация гарантирует, что доли повторяются.

Зачем это важно? Модели нужны честные проверки. Если редкий класс пропадёт из теста, мы не увидим, как модель справляется с трудным случаем. А если пропадёт из обучения, она о нём просто не узнает. Это критично для медицины, финансов и антифрода: редкие события стоят дорого. Без стратификации результаты выглядят отлично, а система бесполезна.

На интуитивном уровне представьте суп: вы хотите проверить, не пересолили ли его. Перемешав, берёте пробу сверху, из середины и со дна. Если черпать только с поверхности, ошибка. Стратификация в машинном обучении «перемешивает» данные так, чтобы в каждой контрольной порции сохранился состав блюда.

Прикладной пример: банк ловит редкие мошенничества — 1%. При наивном разделении в тесте может не оказаться ни одного мошенника, и модель «все обычные» получит 99% точности, но не поймает никого. Стратифицированное разбиение оставляет в тесте примерно 1% мошенников, и метрика честно показывает качество детектора.

Итог: стратификация — простой инструмент, который делает обучение и оценку моделей устойчивыми к несбалансированности. Она не добавляет информации, но помогает не обмануться случайностью, а значит, решения на основе ИИ надёжнее.