Ваш бэктест нейронки врёт на ±10 процентных пунктов

Инженерный эксперимент по проверке способности нейросети зарабатывать на бирже привел к неожиданному выводу: даже самый честный бэктест дает результат с огромной погрешностью. Энтузиаст собрал данные Мосбиржи, построил корректный walk-forward пайплайн и зашил комиссии в каждую цифру, чтобы получить максимально чистую оценку. Однако главный урок оказался не про рынок или архитектуру моделей, а про статистическую природу самого тестирования.

Оказалось, что результат бэктеста нейронной сети — это не фиксированное значение, а случайная величина, разброс которой достигает десяти процентных пунктов годовой доходности. Если этот фактор игнорировать, любые выводы о прибыльности стратегии превращаются в шум. Достаточно поменять random seed — и модель покажет совершенно иные цифры, которые могут отличаться от заявленных на целые порядки.

Автор подозревает, что значительная часть популярных статей вида «я обучил LSTM на котировках и получил X% годовых» страдает именно от этой проблемы. Публикации часто приводят один удачный прогон, но умалчивают о том, насколько сильно результат зависит от случайной инициализации. Проверить любой такой материал просто: достаточно спросить у автора, что произойдет при изменении зерна генератора случайных чисел. Если ответа нет — скорее всего, перед вами не стратегия, а артефакт конкретного запуска.

Это наблюдение напоминает о фундаментальной разнице между подгонкой под историю и реальной торговлей. Даже идеально выстроенный пайплайн не защищает от коварства дисперсии. Поэтому любой результат, полученный на исторических данных, стоит воспринимать как оценку в диапазоне, а не как гарантированную доходность. Именно этот урок и стал самым ценным результатом эксперимента.