MERA

Коротко

• MERA (Multimodal Evaluation for Russian-language Architectures) — открытый набор тестов для оценки LLM на русском языке
• Разработан консорциумом российских ИИ-компаний и исследовательских организаций
• Позволяет сравнивать разные модели по единой методологии на задачах, специфичных для русского языка
• Дополняет международные бенчмарки, которые часто слабо учитывают специфику русского языка и российского контекста

Определение

MERA — это набор стандартизированных тестов (бенчмарк), созданный для объективной оценки способностей языковых моделей работать с русским языком: от базового понимания грамматики до решения задач на логику, знание фактов и следование инструкциям на русском.

Необходимость в таком бенчмарке возникла потому, что большинство международных тестов для LLM ориентированы на английский язык, и модель, хорошо показывающая себя в этих тестах, не обязательно так же хорошо работает с русским языком, его грамматическими особенностями и культурным контекстом.

На практике

Результаты MERA публикуются в открытом лидерборде, что позволяет разработчикам, бизнесу и исследователям сравнивать российские и зарубежные модели по единой, воспроизводимой методологии, а не полагаться только на маркетинговые заявления вендоров.