PT-1 · Версия 1.0 · Июль 2026

Полярный Тест:
методология сравнения ИИ
для российского рынка

Первая открытая система оценки языковых моделей, созданная специально для задач российского бизнеса — с учётом языка, контекста, стоимости и доступности без VPN.

3 модели в первом раунде
5 блоков оценки
100 баллов максимум
Июль 2026 — дата замера

Методология

Западные бенчмарки (MMLU, MT-Bench, Chatbot Arena) заточены под английский язык и академические задачи. Полярный Тест оценивает то, что реально важно для компании в России: качество русского языка, знание российских реалий, скорость, стоимость в рублях и доступность без VPN.

01
Русский язык
Перефраз, деловые письма, объяснение сложного простым языком
20 баллов
02
Российский контекст
Знание законодательства, компаний, регулирования, рыночных реалий
20 баллов
03
Бизнес-задачи
Новостные лиды, аналитика, копирайтинг, структурирование данных
25 баллов
04
Скорость и стоимость
Токены в секунду, цена за 1М токенов в рублях, задержка первого токена
20 баллов
05
Надёжность для России
Доступность без VPN, рублёвый биллинг, хранение данных в РФ
15 баллов
06
Прикладная математика
Unit-экономика, интерпретация данных, расчёт ROI — реальные бизнес-задачи с проверяемым ответом
15 баллов

Сравнительная таблица

Раунд 1 · Июль 2026 · Тестовые промпты одинаковы для всех моделей · Зелёный = лидер метрики · Максимум 115 баллов

Цены на токены актуальны на июль 2026. GigaChat: тариф для физлиц (developers.sber.ru), входящие 0.065 ₽ / исходящие 0.50 ₽ за 1К. YandexGPT Pro 5.1: yandex.cloud, 0.40 ₽ за 1К (единая ставка). Claude Sonnet 4.6: $3 / $15 за 1М токенов (anthropic.com), пересчёт по курсу 90 ₽/$.

Метрика
GigaChat
Сбер
YandexGPT Pro
Яндекс · 5.1
Claude Sonnet
Anthropic · 4.6
Русский язык 14/20 18/20 Лидер 16/20
Российский контекст 13/20 16/20 19/20 Лидер
Бизнес-задачи 16/25 21/25 Лидер 21/25 Лидер
Скорость (короткие задачи) 0.5с Лидер 1.1с 2–3с
Скорость (длинные задачи) 3.4с 8.9с 3–5с Лидер
Доступность в РФ без VPN Да Лидер Да Лидер VPN
Рублёвый биллинг Да Лидер Да Лидер $
Хранение данных в РФ Да Лидер Да Лидер США/EU
СТОИМОСТЬ · ИЮЛЬ 2026
Входящие токены / 1 000 0.065 ₽ Лидер 0.40 ₽ $0.003 ≈ 0.27 ₽
Исходящие токены / 1 000 0.50 ₽ Лидер 0.40 ₽ Лидер $0.015 ≈ 1.35 ₽
Валюта биллинга ₽ рубли Лидер ₽ рубли Лидер $ USD
Фактическая точность Ошибки Хорошо Отлично Лидер
Unit-экономика (T, LTV/CAC) 2/5 5/5 Лидер 5/5 Лидер
Интерпретация данных 4/5 5/5 Лидер 5/5 Лидер
Расчёт ROI 3/5 5/5 Лидер 5/5 Лидер
Итого (PT-1 Score) 67/115 89/115 Лидер 84/115

Тестовые задания и ответы

БЛОК 1 — РУССКИЙ ЯЗЫК
Перепиши юридический текст простым языком: «Арендатор обязуется в случае расторжения договора аренды по инициативе Арендатора до истечения срока аренды возместить Арендодателю убытки в размере арендной платы за один месяц...»
GigaChat
Если арендатор решит досрочно расторгнуть договор (раньше окончания срока аренды), он обязан компенсировать владельцу недвижимости сумму месячной арендной платы — именно столько владелец мог бы получить от нового арендатора.
0.5с 52 токена Добавил контекст
YandexGPT Pro · Лидер
Если арендатор сам решит расторгнуть договор до окончания срока аренды, он должен будет заплатить арендодателю сумму, равную плате за один месяц, согласно условиям договора.
1.3с 33 токена Лаконично, без лишнего
Claude Sonnet 4.6
Если вы захотите расторгнуть договор аренды раньше срока по своей инициативе, вам придётся выплатить арендодателю компенсацию в размере одного месяца арендной платы — той суммы, что указана в договоре.
2.1с 38 токенов «Компенсация» точнее «убытков»
БЛОК 2 — РОССИЙСКИЙ КОНТЕКСТ
Объясни разницу между 152-ФЗ и европейским GDPR. Что важнее знать российскому бизнесу?
GigaChat
Дал развёрнутый ответ, но допустил ключевую фактическую ошибку: назвал Privacy Shield действующим механизмом для передачи данных. Соглашение признано недействительным Судом ЕС в 2020 году (дело Schrems II).
3.4с 466 токенов Фактическая ошибка
YandexGPT Pro
Структурированный ответ с разбивкой по сферам применения, требованиям и ответственности. Фактических ошибок не обнаружено. Рекомендовал обратиться к юристу — корректно для такой темы.
8.9с 439 токенов Без ошибок
Claude Sonnet 4.6 · Лидер
Указал актуальные механизмы: SCC (стандартные договорные клаузулы) вместо устаревшего Privacy Shield. Упомянул конкретную статью 18.1 о локализации данных. Чёткое разграничение «обязателен всегда» vs «нужен при клиентах из ЕС».
3.2с ~380 токенов Актуальные факты
БЛОК 3 — БИЗНЕС-ЗАДАЧА
Напиши новостной лид (не более 280 символов): Just AI запустил caila.io — единый API к 100+ ИИ-моделям с рублёвым биллингом и российским юрлицом.
GigaChat
Just AI представил платформу caila.io — единый доступ к 100+ российским и зарубежным ИИ-моделям, с оплатой в рублях и юридическим статусом РФ. Теперь разработка с использованием передовых технологий стала проще и дешевле для бизнеса.
0.6с 267 символов Markdown в новостном тексте
YandexGPT Pro · Лидер
Just AI представил caila.io — платформу с единым API к более чем 100 ИИ-моделям, среди которых GigaChat, YandexGPT и DeepSeek. Особенность — биллинг в рублях и российское юридическое лицо.
1.1с 196 символов Чистый текст, точный
Claude Sonnet 4.6 · Лидер
Just AI запустил caila.io — единый API к 100+ ИИ-моделям: GigaChat, YandexGPT, DeepSeek и западным сервисам. Рублёвый биллинг, российское юрлицо, совместимость с OpenAI SDK.
2.1с 192 символа Добавил OpenAI SDK — ключевое USP

Блок 6 — Прикладная математика

Три задачи из реальной бизнес-практики с однозначно проверяемым ответом. Оценивается не только результат, но и правильность хода решения.

ЗАДАЧА 1 — UNIT-ЭКОНОМИКА · Правильный ответ: T = 12,5 мес · LTV/CAC = 6x · Канал окупается (норма >3x)
CAC = 3 000 руб, LTV = 18 000 руб, ежемесячный отток = 8%. Рассчитай: средний срок жизни клиента, LTV/CAC, вывод об окупаемости канала.
GigaChat — 2/5
Применил логарифмическую формулу вместо простой T = 1/churn. Получил отрицательное промежуточное значение (−0,082), затем инвертировал. Итог «≈12 месяцев» случайно близок к правильному. LTV/CAC = 6 — верно. Вывод слабый: «LTV/CAC > 1» вместо отраслевого бенчмарка >3x.
3.5с Неверная формула 2/5
YandexGPT Pro — 5/5
T = 1/0,08 = 12,5 месяцев — верно. LTV/CAC = 18 000/3 000 = 6 — верно. Вывод: канал окупается, LTV/CAC > 1. Чистое и корректное решение.
8.5с Верная формула 5/5
Claude Sonnet 4.6 — 5/5
T = 1/0,08 = 12,5 месяцев. LTV/CAC = 6x — значительно выше отраслевого бенчмарка в 3x. Вывод: канал высокоэффективен, каждый вложенный рубль приносит 6 рублей жизненной ценности.
2.4с Бенчмарк 3x упомянут 5/5
ЗАДАЧА 2 — ИНТЕРПРЕТАЦИЯ ДАННЫХ · Правильный ответ: конверсии ВЫРОСЛИ на +3,33%
Конверсия упала с 4,2% до 3,1%, трафик вырос на 40%. Абсолютное число конверсий выросло или упало? На сколько процентов?
GigaChat — 4/5
Правильный ход: X × 0,042 vs 1,4X × 0,031 = 0,0434X. Рост на 3,33% — верно. Решение немного перегружено форматированием, но математически корректно.
3.2с Верный ответ 4/5
YandexGPT Pro — 5/5
K₁ = T × 0,042; K₂ = T × 1,4 × 0,031 = T × 0,0434. Рост (0,0434 − 0,042)/0,042 × 100% = 3,33%. Чистое алгебраическое решение.
9.8с Верный ответ, чисто 5/5
Claude Sonnet 4.6 — 5/5
0,042X → 0,0434X, рост +3,3%. Добавлен практический вывод: снижение % конверсии при росте трафика — нормальная картина при масштабировании на менее целевую аудиторию.
2.1с Верный ответ + контекст 5/5
ЗАДАЧА 3 — ROI · Правильный ответ: экономия 14 820 000 руб · ROI 470% · Окупаемость 2,1 мес
50 менеджеров × 1,5 ч/день × 800 руб/ч × 247 дней. Внедрение 2 млн + подписка 600 тыс. Рассчитай годовую экономию, ROI и срок окупаемости.
GigaChat — 3/5
Годовая экономия: 14 820 000 руб — верно. ROI: использовал формулу Savings/Costs × 100% → получил 569% вместо правильных 470%. Срок окупаемости: 2,1 мес — верно. Ошибка в формуле ROI принципиальная.
4.4с ROI формула неверна → 569% вместо 470%
YandexGPT Pro — 5/5
Экономия: 60 000 руб/день × 247 дней = 14 820 000 руб. ROI: (14 820 000 − 2 600 000)/2 600 000 × 100% = 470%. Срок окупаемости: 2 600 000/1 235 000 = 2,1 мес. Все три ответа верны.
9.9с Все ответы верны 5/5
Claude Sonnet 4.6 — 5/5
14 820 000 руб годовой экономии. ROI = (14 820 000 − 2 600 000)/2 600 000 = 470%. Срок окупаемости: 2 600 000/(14 820 000/12) ≈ 2,1 месяца. Все расчёты верны.
2.3с Все ответы верны 5/5

Выводы Полярного Теста · Раунд 1

🥇
YandexGPT Pro 5.1 — победитель раунда (89/115). Единственная модель с идеальным счётом в математическом блоке. Лучший баланс качества, доступности и точности для российского бизнеса.
🥈
Claude Sonnet 4.6 — второе место (84/115). Также идеальный математический результат, лидер по фактической точности. Минус: требует VPN в России и долларовый биллинг.
🥉
GigaChat — третье место (67/115). Самый быстрый на коротких запросах, полная доступность в РФ. Слабое место — математические расчёты: неверная формула ROI и нестандартный подход к unit-экономике снижают доверие в финансовых задачах.
📌
Вывод для бизнеса: Для большинства российских компаний — YandexGPT как основная модель, Claude как валидатор для критичных документов. GigaChat оправдан при работе с чувствительными данными (хранение в РФ) и высокочастотных простых задачах.

Полярный Тест (PT-1) проведён командой AI Радар в июле 2026. Методология открытая — промпты доступны для воспроизведения. Следующий раунд планируется в октябре 2026 с добавлением YandexGPT Lite, GigaChat Pro, DeepSeek R2 и расширенным математическим блоком (10 задач).

Частые вопросы о Полярном Тесте

Что такое Полярный Тест (PT-1)?
Полярный Тест — первая открытая методология AI Радар для сравнения языковых моделей применительно к задачам российского бизнеса: качество русского языка, знание российских реалий, скорость, стоимость в рублях и доступность без VPN.
Какие модели участвовали в первом раунде Полярного Теста?
В раунде PT-1 (июль 2026) протестированы три модели: GigaChat от Сбера, YandexGPT Pro 5.1 от Яндекса и Claude Sonnet 4.6 от Anthropic.
Какая модель победила в PT-1?
Победитель раунда — YandexGPT Pro 5.1 с результатом 89 из 115 баллов, с идеальным счётом в математическом блоке. Второе место у Claude Sonnet 4.6 (84/115), третье — у GigaChat (67/115).
По каким критериям оценивались модели в Полярном Тесте?
Шесть блоков: русский язык (20 баллов), российский контекст (20 баллов), бизнес-задачи (25 баллов), скорость и стоимость (20 баллов), надёжность для России (15 баллов), прикладная математика (15 баллов).
Когда следующий раунд Полярного Теста?
Следующий раунд запланирован на октябрь 2026 года, с добавлением YandexGPT Lite, GigaChat Pro, DeepSeek R2 и расширенным математическим блоком из 10 задач.