LoRA (Low-Rank Adaptation)

Коротко

• LoRA — метод файнтюнинга, при котором обновляется лишь небольшая добавочная часть весов модели
• Снижает требования к памяти и вычислениям для дообучения в десятки раз по сравнению с полным файнтюнингом
• Базовая модель остаётся неизменной — обучаются только компактные дополнительные матрицы
• Позволяет хранить множество лёгких LoRA-адаптеров под разные задачи для одной базовой модели

Определение

LoRA (Low-Rank Adaptation) — это метод экономичного дообучения больших моделей, при котором вместо изменения всех миллиардов весов исходной модели добавляются небольшие обучаемые матрицы низкого ранга, которые «корректируют» поведение модели под новую задачу, в то время как основные веса остаются замороженными и неизменными.

Такой подход резко снижает требования к вычислительным ресурсам и объёму памяти, необходимым для дообучения: вместо хранения и обновления полной копии модели под каждую задачу, достаточно обучить и хранить компактный набор дополнительных параметров (адаптер), который можно «подключать» к базовой модели по необходимости.

На практике

LoRA особенно популярна среди разработчиков, которые не располагают ресурсами крупных лабораторий: она позволяет дообучить модель под узкую задачу (стиль, домен, язык) даже на относительно скромном оборудовании.