Дистилляция модели — это метод обучения, при котором компактная модель («ученик») обучается воспроизводить поведение уже готовой, более крупной и мощной модели («учителя»), используя не только конечные правильные ответы, но и более тонкую информацию — распределение вероятностей, которое генерирует модель-учитель для разных вариантов ответа.
Такой подход часто даёт лучший результат, чем обучение компактной модели с нуля на тех же исходных данных, поскольку модель-учитель по сути передаёт «сжатое» представление своих усвоенных закономерностей, а не только сырые данные. Итоговая модель-ученик существенно меньше по размеру, но сохраняет значительную часть качества исходной крупной модели.
Дистилляция — один из основных способов, которыми компании создают компактные, быстрые и дешёвые в эксплуатации версии своих топовых моделей для массового использования, сохраняя лучшую (и дорогую) версию для наиболее сложных задач.