LoRA

LoRA (Low-Rank Adaptation) — это способ дообучения больших нейросетей, при котором изменяются не все веса модели, а лишь небольшая дополнительная часть. Вместо того чтобы пересобирать гигантский «мозг» искусственного интеллекта, мы добавляем к нему компактный «настроечный модуль». Такой подход важен, потому что полное дообучение требует огромных вычислительных ресурсов и памяти: даже одна большая языковая модель может занимать сотни гигабайт. LoRA же позволяет адаптировать модель под новую задачу на обычной видеокарте за несколько часов, а не недель.

Как это работает на интуитивном уровне? Внутри нейросети знания зашиты в матрицы весов — таблицы чисел, определяющие, как сигналы превращаются в ответы. LoRA добавляет к этим матрицам две маленькие матрицы, произведение которых даёт небольшое изменение исходных весов. Ключевая хитрость в том, что маленькие матрицы имеют низкий ранг: они содержат гораздо меньше чисел, чем большие. Поэтому новых параметров мало, и обучать нужно только их. Вся модель при этом остаётся замороженной, а изменение вносится как бы поверх неё.

Прикладной пример: допустим, нужно создать медицинского чат-бота. Берут готовую базовую языковую модель, вставляют в неё LoRA-слои и тренируют их на тысячах диалогов врачей с пациентами. После обучения модель начинает отвечать в медицинском стиле, сохраняя общие знания о языке. А если понадобится другой профиль — например, юридический, — можно просто заменить LoRA-слои, не трогая основную модель. Это удобно и дёшево. Вывод: LoRA — практичный инструмент, который делает настройку искусственного интеллекта под конкретные задачи доступной каждому разработчику.