Трансформер

Коротко

• Трансформер — архитектура нейросети, представленная в статье Attention Is All You Need (2017, Google)
• Ключевая идея — механизм внимания: модель одновременно оценивает связи между всеми словами текста
• До трансформеров модели обрабатывали текст последовательно (слово за словом), что плохо масштабировалось
• Все современные LLM — GPT, GigaChat, YandexGPT, Claude — построены на трансформере или его модификациях

Определение

Трансформер — архитектура нейросети, которая обрабатывает весь входной текст параллельно, а не последовательно, как это делали более ранние рекуррентные сети (RNN, LSTM). Вместо того чтобы «читать» текст слово за словом, трансформер одновременно вычисляет, насколько каждое слово связано с каждым другим — это и есть механизм внимания (attention).

Такая параллельная обработка дала два преимущества: во-первых, обучение стало можно эффективно распараллелить на GPU-кластерах, что позволило растить модели до огромных размеров; во-вторых, модель лучше улавливает дальние смысловые связи в тексте — например, согласование подлежащего и сказуемого через несколько предложений.

На практике

Трансформер стал настолько универсальной архитектурой, что применяется не только для текста, но и для изображений (Vision Transformer), звука и даже белковых структур (AlphaFold).