Донастройка готовой модели на специализированных данных, чтобы она лучше решала конкретную задачу или домен.
Файнтюнинг (fine-tuning, дообучение) — это продолжение обучения уже готовой предобученной модели на новом, обычно значительно меньшем наборе данных, специфичном для конкретной задачи. Базовая модель уже «знает» язык и общие закономерности мира, поэтому файнтюнинг лишь корректирует её поведение — например, под определённый стиль, домен знаний или формат ответа.
Полный файнтюнинг (обновление всех весов модели) требует значительных вычислительных ресурсов, поэтому на практике чаще применяют экономичные методы вроде LoRA, которые обновляют лишь небольшую долю параметров, сохраняя большую часть базовой модели неизменной — это ускоряет процесс и снижает требования к памяти в десятки раз.
Компании часто выбирают между файнтюнингом и RAG: если нужно изменить стиль или узкий навык модели — подходит файнтюнинг; если нужно дать модели доступ к актуальным или приватным фактам — эффективнее RAG, часто оба подхода комбинируют.
Промпт-инжиниринг меняет только входной запрос, не трогая саму модель. Файнтюнинг физически изменяет веса модели, закрепляя новое поведение постоянно, без необходимости повторять инструкции в каждом запросе.
Нет — в отличие от обучения с нуля, файнтюнингу обычно достаточно от сотен до нескольких десятков тысяч примеров, в зависимости от задачи.
Это метод файнтюнинга, при котором вместо изменения всех весов модели добавляются небольшие обучаемые «надстройки», что радикально снижает стоимость дообучения.