476 000 новостей против нейронки: пять попыток заставить текст предсказывать цену

Трейдеры часто верят, что новости двигают рынок. Звучит логично, но на практике проверить это сложно. Автор решил всерьез протестировать эту гипотезу: собрал полный архив финансовых телеграм-каналов с 2021 года, потратил недели GPU-часов и придумал пять разных постановок задачи — от простого подсчета упоминаний до NLP-разметки и поминутного event study. Итог оказался обескураживающим: ни одна из пяти моделей не улучшила боевую торговую систему. Ноль из пяти.

Однако главное не сам нулевой результат, а то, как именно каждая попытка проваливалась. Два подхода сначала даже показали улучшение на бэктесте. Если бы исследователь остановился на средней цифре, он бы сейчас с уверенностью рассказывал, что нейросеть с новостями торгует лучше. Но детальный разбор вскрыл, что эти улучшения — артефакт, обман данных. Именно поэтому так важно смотреть не только на итоговые метрики, но и на механику работы модели.

В статье подробно разбираются все пять механизмов: что строилось, какие признаки считались, какие цифры были получены и в каком месте каждая версия вводила в заблуждение. Это обещанное продолжение материала про сидовый шум, который может менять результат на десять процентных пунктов. Теперь протокол проверки применяется к живому сквозному примеру с новостями. Вывод простой: прежде чем верить в силу нейронок и текстов, нужно уметь отличать реальную закономерность от случайной удачи на исторических данных.