Бенчмарк — это стандартизированный набор тестовых задач с заранее известными правильными ответами, по которому измеряется качество работы модели: точность ответов, скорость, устойчивость к провокационным запросам и другие параметры. Единая методология позволяет объективно сравнивать разные модели между собой, а не полагаться на субъективные впечатления или маркетинговые заявления разработчиков.
Существуют бенчмарки разного назначения: общие тесты знаний и логики (MMLU), специализированные для конкретного языка (MERA для русского), для безопасности (red teaming тесты), для конкретных прикладных задач. Важное ограничение любого бенчмарка — он измеряет то, что в него заложено, и высокий результат не гарантирует, что модель одинаково хорошо справится с реальными, часто более разнообразными задачами пользователей.
AI Радар проводит собственный Полярный тест (PT-1) — практико-ориентированный бенчмарк, дополняющий академические тесты вроде MMLU и MERA задачами, приближенными к реальному использованию моделей российским бизнесом.