Редакция AI Радар завершила первый раунд «Полярного теста» (PT-1) — собственной методики оценки ИИ-моделей, ориентированной не на абстрактные академические задачи, а на реальные потребности российского бизнеса. В отличие от западных бенчмарков вроде MMLU или Chatbot Arena, PT-1 учитывает специфику работы в России: доступность без VPN, рублёвые тарифы, соответствие 152-ФЗ и качество работы с российским деловым контекстом.
В первом раунде участвовали три модели: GigaChat от Сбера, YandexGPT Pro 5.1 от Яндекса и Claude Sonnet 4.6 от Anthropic. Каждая модель проходила испытание по шести блокам на общую сумму 115 баллов: русский язык (20 баллов), российский контекст (20), бизнес-задачи (25), скорость и стоимость (20), надёжность для России (15) и прикладная математика (15).
По итогам всех блоков первое место занял YandexGPT Pro 5.1 — 89 баллов из 115. Второе место у Claude Sonnet 4.6 — 84 балла. Замыкает тройку GigaChat — 67 баллов, заметно отставший от лидеров.
Блок «Прикладная математика» включал три бизнес-задачи: расчёт unit-экономики, интерпретацию данных и расчёт ROI. И YandexGPT Pro, и Claude Sonnet 4.6 набрали в этом блоке максимальные 5 из 5 баллов по каждой задаче — оба корректно определили точку окупаемости (T = 12,5 месяца, LTV/CAC = 6x), верно интерпретировали данные (отклонение +3,33%) и правильно рассчитали ROI на уровне 470% с окупаемостью 2,1 месяца.
GigaChat допустил реальную математическую ошибку: при расчёте ROI модель использовала неверную формулу и получила результат 569% вместо корректных 470%. Это не разночтение в методологии, а прямая вычислительная ошибка, которая в реальном бизнес-сценарии привела бы к завышенной оценке эффективности инвестиций почти на 100 процентных пунктов.
Отдельный тест на фактическую точность в блоке «Надёжность для России» касался объяснения различий между 152-ФЗ и европейским GDPR применительно к трансграничной передаче данных. Claude Sonnet 4.6 показал лучшую фактическую точность в этом задании, корректно указав, что действующим механизмом являются стандартные договорные условия (SCC).
GigaChat ошибочно заявил, что механизм Privacy Shield по-прежнему действует — хотя он был признан недействительным Судом ЕС ещё в 2020 году в решении по делу Schrems II. Для модели, которую компании используют для подготовки юридических и комплаенс-материалов, подобная ошибка в актуальном регуляторном статусе — не мелочь, а риск, способный привести к неверным выводам в реальных документах.
GigaChat оказался самым быстрым на коротких запросах — 0,5 секунды, полностью доступен в России без VPN и тарифицируется в рублях (0,065₽ за 1К входных токенов, 0,50₽ за 1К выходных). Это делает его практичным выбором для задач с высокой частотой простых запросов и для компаний, для которых критична локализация данных.
Claude Sonnet 4.6 в России требует VPN для доступа и тарифицируется в долларах ($3 за 1М входных токенов, $15 за 1М выходных — это около 270₽ и 1350₽ за 1К токенов при пересчёте по актуальному курсу), что усложняет использование для массового российского бизнеса, несмотря на лидерство по точности.
YandexGPT Pro 5.1 сочетает сильные стороны обеих моделей: доступен без VPN, работает в рублёвом биллинге и при этом показал лучший совокупный результат теста — именно сочетание точности, доступности и адаптации под российский деловой контекст обеспечило ему победу в PT-1.
По итогам первого раунда редакция AI Радар сформулировала практическую рекомендацию для российских компаний. YandexGPT Pro 5.1 — оптимальный выбор в качестве основной модели для большинства задач благодаря балансу точности, скорости и локальной доступности. Claude Sonnet 4.6 целесообразно использовать как модель-валидатор для проверки критически важных документов, где на первом месте фактическая точность, а стоимость и доступность вторичны. GigaChat оправдан там, где критична резидентность данных внутри России и требуется обработка большого объёма простых, однотипных запросов с минимальной задержкой.
Полную интерактивную версию сравнения со всеми баллами по каждому блоку можно посмотреть на странице «Полярный тест» на AI Радар.
Редакция уже готовит второй раунд теста, запланированный на октябрь 2026 года. В него войдут дополнительные модели — YandexGPT Lite, GigaChat Pro и DeepSeek R2, а блок прикладной математики будет расширен до 10 задач вместо трёх, чтобы точнее выявлять различия между моделями в количественных бизнес-расчётах.