ByteDance создала отдельный департамент данных для ИИ-модели на 10 триллионов параметров

Решение выглядит неслучайным на фоне сообщений Financial Times о том, что ByteDance приступила к предобучению сверхмасштабной ИИ-модели с количеством параметров до 10 триллионов. Это один из самых амбициозных проектов в индустрии, но чем больше модель, тем острее проблема качественных данных.

Раньше данные для обучения были разрознены: их собирали разные команды внутри Global Data, DMC, AIDP и Seed. Теперь все сводится в единый департамент, а масштабы впечатляют: только для оценки модели Seedance работают тысячи человек, а бюджеты на данные измеряются десятками миллионов долларов. Это уже не старая практика аутсорсинга разметки, а полноценная инженерная инфраструктура.

Отрасль в целом упирается в нехватку «хорошего» текста. По оценкам Epoch AI, запасов публичного интернет-контента хватит лишь до начала 2030-х. Компании скупают данные: Google платит Reddit около 60 миллионов долларов в год, OpenAI заключила сделку с News Corp. Anthropic даже сканировала миллионы физических книг, срезая корешки гидравлическими ножами, а затем заплатила 1,5 миллиарда долларов за урегулирование иска о пиратстве.

Для ByteDance ставка на собственные данные принципиальна: основатель компании Чжан Имин запретил использовать дистилляцию чужих моделей, чтобы сократить разрыв. Значит, «учебники» придется готовить самим. Пока 10 триллионов параметров существуют лишь в планах, но битва за данные уже началась.