Дистилляция модели

Коротко

• Дистилляция — обучение компактной модели («ученика») имитировать поведение крупной модели («учителя»)
• Ученик обучается не только на правильных ответах, но и на распределении вероятностей ответов учителя
• Позволяет получить существенно меньшую модель, сохраняющую большую часть качества оригинала
• Популярный способ создания эффективных SLM на основе поведения топовых крупных LLM

Определение

Дистилляция модели — это метод обучения, при котором компактная модель («ученик») обучается воспроизводить поведение уже готовой, более крупной и мощной модели («учителя»), используя не только конечные правильные ответы, но и более тонкую информацию — распределение вероятностей, которое генерирует модель-учитель для разных вариантов ответа.

Такой подход часто даёт лучший результат, чем обучение компактной модели с нуля на тех же исходных данных, поскольку модель-учитель по сути передаёт «сжатое» представление своих усвоенных закономерностей, а не только сырые данные. Итоговая модель-ученик существенно меньше по размеру, но сохраняет значительную часть качества исходной крупной модели.

На практике

Дистилляция — один из основных способов, которыми компании создают компактные, быстрые и дешёвые в эксплуатации версии своих топовых моделей для массового использования, сохраняя лучшую (и дорогую) версию для наиболее сложных задач.