Краткая история китайских больших моделей: никто не знал их будущего

Центральный эпизод — презентация модели «Удао 2.0» (WuDao 2.0) с 1,75 триллиона параметров. На тот момент это был мировой рекорд: у GPT-3 было 175 миллиардов, у Switch Transformer от Google — 1,6 триллиона. Параметры не равны интеллекту, но они ясно показали: исследования ИИ превращаются в инженерный проект огромного масштаба. Чтобы обучить такую модель, нужны тысячи ускорителей, массивы данных и координация сотен ученых из разных институтов.

Вокруг WuDao 2.0 звучали разные метафоры. Один из создателей называл его «ребенком», которого еще предстоит учить. Другой сравнил большую модель с электростанцией, которая производит «интеллект» и распределяет его по сети. В Huawei предпочитали более приземленный образ: говорили, что большие модели должны избавить ИИ от «кустарщины» и превратить его в промышленное производство. Baidu делала ставку на «знание»: встраивала в модель сущности и связи из своей гигантской базы знаний.

Но за всеми техническими амбициями стоял главный вопрос: что именно должна делать такая модель? Ответа не знал никто. В тексте рассказывается, как китайские исследователи пришли к осознанию масштабирования благодаря GPT-3, как боролись с проблемами обучения вроде loss spike, когда потери внезапно взлетают, и как оптимизировали гигантские сети, чтобы они помещались на потребительских видеокартах.

Эта часть цикла — не хроника побед, а попытка восстановить атмосферу неопределенности. В 2021 году будущее больших моделей не было предопределено: одни считали их научным проектом, другие — инфраструктурой, третьи — зародышем будущих продуктов. Прошли годы, и некоторые ранние догадки подтвердились, а некоторые — нет. Но тогда, в начале пути, никто не знал, чем на самом деле станут эти модели.