Малая языковая модель (SLM)

Коротко

• SLM (Small Language Model) — компактная версия языковой модели, обычно от сотен миллионов до нескольких миллиардов параметров
• Работает быстрее и дешевле крупных LLM, может запускаться на обычном оборудовании или даже смартфоне
• Уступает большим моделям в сложных рассуждениях, но справляется с узкими, хорошо определёнными задачами
• Часто получают дистилляцией — «сжатием» знаний крупной модели в компактную

Определение

Малая языковая модель (SLM) — это компактная версия языковой модели, содержащая существенно меньше параметров, чем топовые LLM (сотни миллионов — единицы миллиардов против десятков и сотен миллиардов у крупных моделей). Такая модель требует меньше вычислительных ресурсов для работы, что снижает стоимость инференса и позволяет запускать её на менее мощном оборудовании — вплоть до мобильных устройств.

Компромисс за компактность — сниженные способности к сложным многошаговым рассуждениям и меньший объём «встроенных знаний» о мире. Поэтому SLM обычно применяют для узких, хорошо определённых задач (классификация, извлечение данных, простые диалоги), где не требуется универсальный интеллект крупной модели.

На практике

Компании часто используют SLM в качестве быстрого «первого фильтра» запросов — например, для определения намерения пользователя — с передачей сложных случаев более мощной и дорогой LLM только когда это действительно необходимо.