Xiaomi открыла модель TabLDM для табличных данных и лидирует в регрессии OpenML-CTR23

5 сентября Xiaomi представила универсальную модель Xiaomi-TabLDM для табличных данных. Подход «одна предобученная модель — разные задачи» переносится на структурированные данные: одна модель с едиными параметрами решает задачи классификации и регрессии на разных датасетах без переобучения и подбора гиперпараметров. Это важно для финансов, медицины, производства и логистики, где данные часто хранятся в таблицах, а классические методы требуют повторного обучения для каждого набора данных.

Модель предобучена на синтетических данных, сгенерированных структурными причинными моделями. Архитектура объединяет двухпоточную группировку признаков, лёгкие остаточные блоки внимания и разреженный Mixture-of-Experts; на выводе работает Test-Time Scaling — точность растёт за счёт увеличения вычислений при неизменных весах.

На четырёх публичных бенчмарках Xiaomi-TabLDM в первой группе. Регрессия — первое место в OpenML-CTR23, бинарная классификация — первое в TALENT, регрессия в TALENT, TabArena и BCCO — второе место. В TabArena регрессия имеет второй результат по шкале Elo, но обучается на 82% быстрее и предсказывает на 68% быстрее TabFM.

Практика подтверждает пользу. Прогноз свойств материалов без тонкой настройки повысил точность на 130%, сократив неудачные испытания примерно на 90%. Ошибки при прогнозе веса деталей снизились на 31% по сравнению с XGBoost. В оценке производственного состава средняя ошибка уменьшилась на 54%; при изменении условий 30 новых примеров в контексте снижают её ещё на 62%. Модель устанавливается через pip, использует интерфейс scikit-learn, код и веса открыты на GitHub и Hugging Face.