FT-Transformer

FT-Transformer — нейросеть для табличных данных: числовые и категориальные признаки превращаются в токены и обрабатываются механизмом внимания, как в языковых моделях. Это попытка применить мощь трансформеров к обычным строкам и столбцам, где каждая строка — объект, а каждый столбец — его свойство.

Таблицы остаются самой распространённой формой информации в бизнесе и науке. Долгое время здесь доминировали градиентные бустинги — быстрые, но плохо находящие сложные перекрёстные зависимости без ручной работы. FT-Transformer выявляет их автоматически, что даёт заметный прирост точности при обилии взаимодействий и нелинейностей.

Интуиция: каждый признак — слово в предложении. Строка «возраст 35, доход 80 тысяч, отличная кредитная история» превращается во фразу, которую модель читает целиком, а не по одному слову, постоянно сверяя связи между признаками. Механизм внимания сам решает, какие пары важны для предсказания, и улавливает тонкие закономерности без явных правил.

Пример: банк оценивает риск дефолта. Бустинг рассматривает признаки по отдельности, а трансформер замечает, что высокий доход опасен при короткой кредитной истории, хотя каждый фактор сам по себе благополучен. В итоге модель реже пропускает рискованных клиентов и реже отклоняет надёжных, экономя банку миллионы.

FT-Transformer — мощный инструмент для сложных табличных задач, но требует больше данных и вычислений, чем классические методы. Он не всегда выигрывает у бустинга, однако при богатых взаимосвязях может стать решающим преимуществом. Если нужна максимальная точность и достаточно данных — определённо стоит попробовать.