Контекстное окно

Коротко

• Контекстное окно — максимальный объём текста в токенах, который модель учитывает за один раз
• Всё, что выходит за пределы окна (начало длинного диалога), модель просто не «видит»
• Современные топовые модели имеют окно от 128 тысяч до нескольких миллионов токенов
• Большое окно не заменяет RAG — модель может «терять» важные детали в очень длинном контексте

Определение

Контекстное окно — это ограничение на объём текста (измеряемый в токенах), который языковая модель может одновременно обрабатывать при генерации ответа: сюда входит и системный промпт, и вся история диалога, и сам вопрос пользователя. Если разговор становится длиннее окна, самые старые сообщения «выпадают» из внимания модели.

Размер контекстного окна — техническое ограничение архитектуры трансформера: вычислительная сложность механизма внимания растёт квадратично с длиной последовательности, поэтому расширение окна требует значительных инженерных усилий. За последние годы окна выросли с нескольких тысяч токенов до сотен тысяч и даже миллионов у отдельных моделей.

На практике

Даже при огромном контекстном окне исследования показывают эффект «потерянного в середине» (lost in the middle) — модель хуже использует информацию, расположенную в центре очень длинного контекста, чем в начале или конце.