Les embeddings sont des représentations numériques qui capturent la signification d'une donnée (un mot, une phrase, un document ou une image) sous la forme d'un vecteur de centaines ou de milliers de dimensions. L'essentiel est que ces vecteurs sont construits de manière à ce que les éléments ayant des significations similaires soient proches dans l'espace vectoriel, tandis que les éléments très différents en sont éloignés. Ainsi, le modèle ne travaille pas avec du texte brut, mais avec des coordonnées qui encodent des relations sémantiques.
Leur importance réside dans le fait qu'ils permettent aux ordinateurs de comparer des significations de manière mathématique, en mesurant, par exemple, la distance ou le cosinus entre deux vecteurs. Cela permet de réaliser des tâches telles que :
- Recherche sémantique : trouver des résultats par le sens, et non par des mots exacts.
- Systèmes de recommandation et regroupement (clustering) de contenus similaires.
- RAG, où des fragments pertinents sont récupérés pour alimenter un modèle de langage.
Une nuance pratique : un même terme peut avoir des embeddings différents selon le modèle qui les génère, il convient donc d'utiliser toujours le même modèle pour l'indexation et la consultation, afin de garantir que les vecteurs soient comparables entre eux.