Эмбеддинг — это представление объекта (слова, предложения, изображения) в виде вектора чисел фиксированной длины, устроенного так, что семантически похожие объекты оказываются близко друг к другу в этом многомерном пространстве. Например, эмбеддинги слов «король» и «королева» будут расположены ближе друг к другу, чем эмбеддинги «король» и «яблоко».
Эмбеддинги вычисляются специальной моделью (encoder), обученной так, чтобы сохранять смысловые отношения между объектами в геометрии векторного пространства. Это позволяет заменить сравнение текстов по буквенному совпадению на сравнение по смыслу — ключевая техника для поиска, рекомендаций и RAG-систем.
В RAG-системах документы заранее превращают в эмбеддинги и сохраняют в векторной базе данных; когда приходит вопрос пользователя, его тоже превращают в эмбеддинг и находят ближайшие по смыслу сохранённые документы.