LLM (большая языковая модель)

Коротко

• LLM (Large Language Model) — нейросеть-трансформер, обученная предсказывать следующее слово на терабайтах текста
• Параметры LLM измеряются в миллиардах — чем их больше, тем богаче «память» модели о языке и фактах
• ChatGPT, GigaChat, YandexGPT, Claude — всё это LLM разных компаний с разной архитектурой и размером
• LLM не «понимает» текст как человек — она статистически предсказывает наиболее вероятное продолжение

Определение

Большая языковая модель — это нейросеть, которая обучена на огромном корпусе текстов (книги, статьи, код, диалоги) предсказывать, какое слово или часть слова должно идти следующим. В процессе такого обучения модель неявно усваивает грамматику, факты о мире, стили письма и логические связи — этого достаточно, чтобы отвечать на вопросы, писать тексты, переводить и рассуждать по цепочке.

Ключевое отличие LLM от более ранних языковых моделей — архитектура трансформер и масштаб: современные LLM обучены на сотнях миллиардов и триллионах токенов и содержат от нескольких миллиардов до триллиона параметров. Именно масштаб дал качественный скачок: способности вроде few-shot обучения и рассуждений появляются только у достаточно крупных моделей.

На практике

В России к LLM относятся GigaChat (Сбер) и YandexGPT (Яндекс) — обе участвуют в независимых замерах вроде Полярного теста AI Радар наравне с зарубежными моделями.