MMLU

Коротко

• MMLU (Massive Multitask Language Understanding) — бенчмарк, проверяющий знания модели по 57 академическим дисциплинам
• Формат — вопросы с вариантами ответов, от математики и права до медицины и истории
• Один из самых часто цитируемых бенчмарков при сравнении топовых LLM
• Критикуется за то, что современные топовые модели уже показывают результаты, близкие к максимуму, что снижает различающую способность теста

Определение

MMLU (Massive Multitask Language Understanding) — это один из наиболее широко используемых международных бенчмарков для оценки языковых моделей, включающий тысячи вопросов с несколькими вариантами ответа из 57 разных предметных областей — от элементарной математики и физики до юриспруденции, медицины и истории искусств.

Широкий охват дисциплин делает MMLU удобным общим индикатором «энциклопедических знаний» модели, но у теста есть известные ограничения: по мере роста возможностей топовых моделей их результаты приближаются к теоретическому максимуму, из-за чего тест хуже различает качество между лучшими современными моделями, чем несколько лет назад.

На практике

MMLU часто упоминается в пресс-релизах о выходе новых моделей как один из ключевых показателей, но специалисты рекомендуют смотреть на него в сочетании с другими, более специализированными и сложными бенчмарками для полной картины.