RAG (Retrieval-Augmented Generation)

Коротко

• RAG — архитектура, при которой модель сначала находит релевантные документы, а потом генерирует ответ на их основе
• Позволяет модели отвечать по данным, которых не было в обучающей выборке (например, внутренние документы компании)
• Снижает риск галлюцинаций, так как ответ опирается на найденные реальные фрагменты текста
• Требует векторную базу данных для быстрого поиска семантически похожих фрагментов

Определение

RAG (Retrieval-Augmented Generation, генерация с дополнением поиском) — подход, при котором перед тем как сгенерировать ответ, система сначала ищет релевантные фрагменты текста во внешней базе знаний (например, во внутренней документации компании или в базе статей), а затем передаёт эти фрагменты модели вместе с вопросом пользователя как дополнительный контекст.

Это решает две проблемы обычных LLM: во-первых, модель не может знать о событиях и документах, появившихся после её обучения — RAG даёт доступ к свежим данным без переобучения; во-вторых, снижается частота галлюцинаций, поскольку модель опирается на найденные фрагменты, а не только на «память», зашитую в весах.

На практике

RAG — основа большинства корпоративных чат-ботов и «умных поисковиков по документам»: пользователь задаёт вопрос, система находит релевантные страницы во внутренней базе знаний и просит LLM сформулировать ответ, ссылаясь на них.