Механизм внимания (attention)

Коротко

• Attention — механизм, позволяющий модели вычислять, насколько сильно каждое слово текста связано с каждым другим
• Именно этот механизм лежит в основе архитектуры трансформер и её способности учитывать дальние связи в тексте
• Позволяет модели «фокусироваться» на релевантных частях текста при генерации каждого следующего слова
• Self-attention — вариант, при котором модель сравнивает слова текста между собой (а не с отдельным внешним источником)

Определение

Механизм внимания (attention) — это вычислительный приём, позволяющий модели при обработке каждого слова текста оценивать степень его смысловой связи со всеми остальными словами того же текста, а не рассматривать его изолированно или только в связи с ближайшими соседями, как это делали более ранние архитектуры.

Именно attention лежит в основе трансформера — при генерации, например, местоимения модель может «обратить внимание» на существительное несколькими предложениями ранее, чтобы правильно определить его число и род, даже если между ними стоит длинный текст. Эта способность улавливать дальние зависимости стала ключевым прорывом, позволившим моделям качественно работать с длинными и сложными текстами.

На практике

Именно из-за квадратичной вычислительной сложности механизма внимания (относительно длины текста) расширение контекстного окна моделей требует значительных инженерных усилий и вычислительных ресурсов.