Масштабирование LLM: от одного чипа до ЦОДа. Глава 4. Тренировка трансформера

Опубликована четвертая глава цикла о масштабировании больших языковых моделей (LLM). Материал посвящен практическим аспектам тренировки трансформеров и распределения вычислений между несколькими ускорителями. Как отмечается в статье, модель такого типа обычно не помещается на один чип, поэтому требуется параллелизация. Цель — добиться того, чтобы производительность системы росла пропорционально числу ускорителей. Однако это непросто: чем больше устройств задействовано, тем выше накладные расходы на передачу данных и синхронизацию. В частности, распределенное матричное умножение требует таких операций, как AllGather и ReduceScatter, которые нагружают шину и отнимают процессорное время. Важно понимать, когда дальнейшее расширение становится нецелесообразным.

В главе рассматриваются четыре вида параллелизма, их сильные и слабые стороны, а также возможные комбинации. Анализ выполнен в предположении, что работа ведется внутри одного вычислительного кластера и учитываются только связи между ускорителями. Кроме того, введены обозначения, используемые в дальнейшем: D — размерность входных эмбеддингов, F — размерность скрытого MLP-слоя, на который приходится основная доля параметров и вычислений трансформера.