Числовое представление текста, изображения или другого объекта, по которому можно измерять смысловую похожесть.
Эмбеддинг — это представление объекта (слова, предложения, изображения) в виде вектора чисел фиксированной длины, устроенного так, что семантически похожие объекты оказываются близко друг к другу в этом многомерном пространстве. Например, эмбеддинги слов «король» и «королева» будут расположены ближе друг к другу, чем эмбеддинги «король» и «яблоко».
Эмбеддинги вычисляются специальной моделью (encoder), обученной так, чтобы сохранять смысловые отношения между объектами в геометрии векторного пространства. Это позволяет заменить сравнение текстов по буквенному совпадению на сравнение по смыслу — ключевая техника для поиска, рекомендаций и RAG-систем.
В RAG-системах документы заранее превращают в эмбеддинги и сохраняют в векторной базе данных; когда приходит вопрос пользователя, его тоже превращают в эмбеддинг и находят ближайшие по смыслу сохранённые документы.
Токен — единица текста при подаче в модель, эмбеддинг — числовое представление смысла целого фрагмента (слова, предложения, документа), полученное после обработки моделью.
В специализированных векторных базах данных, оптимизированных для быстрого поиска ближайших по смыслу векторов среди миллионов сохранённых записей.
Нет — есть эмбеддинги для изображений, аудио и других типов данных, а мультимодальные модели умеют сравнивать эмбеддинги разных типов между собой (например, текст с картинкой).