Галлюцинация — это ситуация, когда языковая модель генерирует информацию, которая звучит правдоподобно и уверенно, но не соответствует действительности: выдуманные цитаты, несуществующие исследования, неверные даты или факты. Это происходит потому, что LLM не имеет встроенного механизма проверки истинности — она лишь предсказывает наиболее вероятное с точки зрения обучающих данных продолжение текста.
Галлюцинации особенно часто возникают, когда модель отвечает на вопросы о редких, узкоспециализированных или недавних фактах, которых было мало в обучающих данных: в отсутствие достаточной «уверенности» модель всё равно генерирует связный ответ, а не признаётся в незнании — если явно не попросить её об этом или не дать доступ к внешним источникам через RAG.
Проверка фактов, полученных от модели, особенно важна в юридической, медицинской и финансовой сферах — для критичных задач рекомендуется использовать RAG с проверяемыми источниками или human-in-the-loop проверку.