Трейн/вал/тест

Трейн, вал и тест — это три части набора данных для обучения и проверки модели машинного обучения. Трейн (обучающая выборка) — данные, на которых модель учится закономерностям. Вал (валидационная выборка) — данные для настройки параметров и выбора лучшей версии модели. Тест (тестовая выборка) — независимые данные, которые модель видит только один раз, после завершения обучения, для окончательной оценки качества.

Зачем это важно? Без разделения данных модель легко запоминает ответы наизусть вместо обобщения. Это называется переобучением: на знакомых примерах модель работает отлично, а на новых ошибается. Трейн/вал/тест дают честную проверку: модель оценивают на данных, которых она не встречала.

Как это работает интуитивно? Представьте подготовку к экзамену по математике. Тренировочный набор — это задачи из учебника. Валидационный набор — пробные экзамены, на которых вы корректируете стратегию. Тест — настоящий экзамен с новыми задачами. Если зазубрить решения, пробный тест покажет это, но результат настоящего экзамена непредсказуем. Поэтому тест не используют при выборе модели — иначе он перестанет быть честным.

Пример: при создании спам-фильтра мы кладём 80% писем в трейн, 10% в вал и 10% в тест. Модель учится отличать спам от обычных писем на трене. На вале подбираем порог срабатывания и пробуем разные алгоритмы. Убедившись, что качество на вале хорошее, запускаем модель на тесте. Если точность высокая — модель готова.

Итог: трейн/вал/тест разделяют обучение и контроль. Тренировка на трене, настройка на вале, финальная проверка на тесте. Это делает модели надёжными и позволяет избежать самообмана.