Ant Group получила VLDB Best Paper за OmniTable: подготовка LLM-данных ускорена в 5,6 раза

Традиционная подготовка строится вокруг множества физических таблиц, и каждый новый признак требует ручного сопоставления версий. В одном случае для добавления признака нужно было работать с 106 таблицами. OmniTable предлагает логическую «широкую таблицу» для каждого домена, а физическое хранение отслеживает каталог. Каждая запись получает глобальный идентификатор, связывающий исходные данные и признаки.

Система сама вычисляет недостающие зависимости и выбирает CPU, GPU или SQL, объединяет обработчики общих данных и изолирует ошибки на уровне записей: сбойная строка не останавливает весь пакет, а уходит в журнал.

В задаче подготовки SFT-данных цикл сократился с 14 до 2,5 дней, ручные шаги — с 45 до 12, а скорость выросла в 5,6 раза. Авторы отмечают, что важна не только скорость: логическая таблица дает единую точку входа, а каталог хранит происхождение и версии данных.