ruGPT / ruBERT

Коротко

• ruGPT и ruBERT — открытые модели, обученные преимущественно на русскоязычных текстах
• BERT-архитектура лучше подходит для понимания текста (классификация, поиск), GPT-архитектура — для генерации
• В отличие от GigaChat и YandexGPT, эти модели чаще распространяются как открытые веса для исследователей и разработчиков
• Использовались как база для многих последующих российских языковых моделей и исследовательских проектов

Определение

ruGPT и ruBERT — это семейства языковых моделей, адаптированных под русский язык на основе архитектур GPT и BERT соответственно. В отличие от современных мультимиллиардных LLM вроде GigaChat, это более ранние и часто существенно меньшие по размеру модели, сыгравшие важную роль в становлении русскоязычной NLP-экосистемы.

BERT-подобные модели (ruBERT) оптимизированы для задач понимания текста — классификации, извлечения сущностей, поиска — тогда как GPT-подобные модели (ruGPT) лучше подходят для генерации связного текста. Обе линейки часто распространяются с открытыми весами, что делает их удобной базой для исследователей и небольших компаний без ресурсов на обучение модели с нуля.

На практике

Открытые веса ruGPT и ruBERT активно используются в академических исследованиях и как основа для файнтюнинга под узкоспециализированные задачи, где нет необходимости в мощностях топовых закрытых моделей.