Смесь экспертов (Mixture of Experts, MoE)

Коротко

• MoE — архитектура нейросети, состоящая из множества специализированных «под-сетей» (экспертов) и «маршрутизатора»
• На каждый конкретный запрос маршрутизатор активирует лишь малую часть экспертов, а не всю сеть целиком
• Это позволяет наращивать общее число параметров модели, не увеличивая пропорционально вычислительные затраты на инференс
• Архитектура лежит в основе Mixtral, DeepSeek-V3 и ряда других топовых моделей

Определение

Mixture of Experts (MoE, «смесь экспертов») — это архитектура нейросети, в которой вместо одного плотного слоя используется набор из множества параллельных под-сетей («экспертов») и специального механизма-маршрутизатора (router), который для каждого входного токена решает, какие несколько экспертов из всех доступных должны его обработать.

Главное преимущество MoE — разделение общего числа параметров модели и числа параметров, реально задействованных при обработке одного запроса: модель может содержать сотни миллиардов параметров суммарно, но на практике активировать лишь несколько процентов из них для конкретного токена, что резко снижает вычислительные затраты по сравнению с плотной («dense») моделью того же масштаба.

На практике

MoE-архитектуру используют Mixtral от Mistral AI и DeepSeek-V3 — она позволяет им конкурировать по качеству с гораздо более крупными плотными моделями при заметно меньших затратах на инференс.