Галлюцинация

Коротко

• Галлюцинация — уверенный, но фактически неверный или выдуманный ответ модели
• Возникает из-за того, что LLM генерирует статистически вероятный текст, а не проверяет факты
• Чаще случается с редкими фактами, датами, цитатами и специфическими цифрами
• RAG и явное указание источников — основные способы снизить частоту галлюцинаций

Определение

Галлюцинация — это ситуация, когда языковая модель генерирует информацию, которая звучит правдоподобно и уверенно, но не соответствует действительности: выдуманные цитаты, несуществующие исследования, неверные даты или факты. Это происходит потому, что LLM не имеет встроенного механизма проверки истинности — она лишь предсказывает наиболее вероятное с точки зрения обучающих данных продолжение текста.

Галлюцинации особенно часто возникают, когда модель отвечает на вопросы о редких, узкоспециализированных или недавних фактах, которых было мало в обучающих данных: в отсутствие достаточной «уверенности» модель всё равно генерирует связный ответ, а не признаётся в незнании — если явно не попросить её об этом или не дать доступ к внешним источникам через RAG.

На практике

Проверка фактов, полученных от модели, особенно важна в юридической, медицинской и финансовой сферах — для критичных задач рекомендуется использовать RAG с проверяемыми источниками или human-in-the-loop проверку.