Архитектура, где вместо одной большой сети запрос обрабатывает лишь несколько специализированных «экспертов» из многих — это снижает вычислительные затраты при том же качестве.
Mixture of Experts (MoE, «смесь экспертов») — это архитектура нейросети, в которой вместо одного плотного слоя используется набор из множества параллельных под-сетей («экспертов») и специального механизма-маршрутизатора (router), который для каждого входного токена решает, какие несколько экспертов из всех доступных должны его обработать.
Главное преимущество MoE — разделение общего числа параметров модели и числа параметров, реально задействованных при обработке одного запроса: модель может содержать сотни миллиардов параметров суммарно, но на практике активировать лишь несколько процентов из них для конкретного токена, что резко снижает вычислительные затраты по сравнению с плотной («dense») моделью того же масштаба.
MoE-архитектуру используют Mixtral от Mistral AI и DeepSeek-V3 — она позволяет им конкурировать по качеству с гораздо более крупными плотными моделями при заметно меньших затратах на инференс.
В плотной модели каждый запрос проходит через все параметры сети. В MoE запрос проходит только через небольшое подмножество специализированных экспертов, выбранных маршрутизатором.
Да, на инференсе — поскольку активируется лишь часть параметров. При этом MoE-модель по-прежнему требует хранить в памяти все параметры всех экспертов.
Mixtral (Mistral AI), DeepSeek-V3, а также, по данным СМИ (без официального подтверждения), некоторые версии GPT-4.