Один из самых известных международных бенчмарков, измеряющий знания и логику модели по десяткам академических дисциплин.
MMLU (Massive Multitask Language Understanding) — это один из наиболее широко используемых международных бенчмарков для оценки языковых моделей, включающий тысячи вопросов с несколькими вариантами ответа из 57 разных предметных областей — от элементарной математики и физики до юриспруденции, медицины и истории искусств.
Широкий охват дисциплин делает MMLU удобным общим индикатором «энциклопедических знаний» модели, но у теста есть известные ограничения: по мере роста возможностей топовых моделей их результаты приближаются к теоретическому максимуму, из-за чего тест хуже различает качество между лучшими современными моделями, чем несколько лет назад.
MMLU часто упоминается в пресс-релизах о выходе новых моделей как один из ключевых показателей, но специалисты рекомендуют смотреть на него в сочетании с другими, более специализированными и сложными бенчмарками для полной картины.
Модель хорошо справляется с вопросами по широкому кругу академических дисциплин в формате выбора варианта ответа — это индикатор общих «знаний», но не гарантия качества в открытых, творческих или узкоспециализированных задачах.
Тест ориентирован преимущественно на английский язык, поэтому для оценки работы с русским языком лучше подходят специализированные бенчмарки вроде MERA.
Потому что современные лучшие модели уже близки к теоретическому максимуму теста, из-за чего он теряет различающую способность между ними — отсюда потребность в более сложных и новых бенчмарках.