PEFT

PEFT (Parameter-Efficient Fine-Tuning) позволяет адаптировать огромные языковые модели под новые задачи, меняя лишь крошечную долю параметров. Вместо обновления всех весов сети, что требует гигантских ресурсов, PEFT замораживает исходную модель и добавляет немного обучаемых элементов — например, специальные векторы или тонкие прослойки. Это как выдать библиотекарю памятку на одну страницу: базовые знания не меняются, но поведение подстраивается под новую область.

На практике это выглядит так: модель, отлично понимающая язык, но не разбирающаяся в медицине, остаётся нетронутой. Рядом создаётся низкоранговая матрица, которая вносит небольшие поправки в вычисления. Таких поправок мало, поэтому они быстро обучаются даже на одной видеокарте, а итоговый файл весит мегабайты вместо гигабайтов.

Пример: для чат-бота страховой компании обучают только адаптер на нескольких тысячах диалогов. Через час бот корректно отвечает про полисы и выплаты, не теряя качества обычных ответов. Для другой сферы — просто новый адаптер. Поэтому PEFT стал стандартом персонализации больших моделей: экономит время, деньги и позволяет небольшим командам использовать мощные нейросети прицельно. Это способ сделать ИИ по-настоящему прикладным инструментом.