Emboîtement

Un embedding de texte est un vecteur numérique qui représente le texte afin qu'un système puisse comparer les modèles appris pour la recherche de similarité, le regroupement ou la récupération [1][2].

Cet article se concentre principalement sur les embeddings de texte utilisés pour la recherche et la génération augmentée par la récupération. Un embedding de texte transforme un mot, une phrase, un paragraphe ou un fragment de document en une liste de nombres. Cette liste est souvent appelée un vecteur. Les textes dont les vecteurs sont proches sont considérés comme similaires selon le modèle d'embedding.

La proximité vectorielle représente les modèles appris pour une tâche ; ce n'est pas une preuve de vérité, d'identité, d'intention ou d'équivalence factuelle. Deux passages peuvent être proches car ils utilisent un vocabulaire lié, discutent du même sujet ou s'inscrivent dans un modèle sémantique appris. Cela ne signifie pas qu'un passage prouve l'autre, qu'ils sont tous deux précis ou que le système a parfaitement compris l'objectif de l'utilisateur.

Les embossages sont une raison pour laquelle les outils d'IA modernes peuvent rechercher par sens au lieu seulement de mots exacts. Si un utilisateur demande « remboursement après une activation ratée », un système basé sur les mots-clés peut chercher uniquement ces mots. Un système de recherche basé sur les embossages peut également trouver des passages sur les retours, les erreurs de licence, les échecs d'activation ou les exceptions de support si le modèle place ces idées proches les unes des autres.

Cela est utile pour les systèmes RAG, la recherche dans les bases de connaissances, la détection de doublons, le regroupement, les recommandations et la récupération sémantique. Sentence-BERT a montré une méthode influente pour créer des embeddings de phrases pouvant être comparés avec la similarité cosinus, rendant la recherche de similarité et le regroupement plus pratiques que la comparaison de paires de phrases une par une avec les méthodes BERT antérieures [1].

Mais les embeddings ne sont pas magiques. MTEB a été créé car les embeddings de texte ont besoin d'une évaluation large sur de nombreuses tâches, ensembles de données et langues ; ses auteurs ont constaté qu'aucune méthode ne dominait sur toutes les tâches [2]. C'est l'enseignement pratique pour les développeurs : choisissez et testez les embeddings pour le travail réel, et non pour une affirmation générique selon laquelle un modèle est « le meilleur ».

Un workflow typique pour les embeddings de texte comporte quatre étapes. Premièrement, diviser le matériel source en morceaux tels que des paragraphes, des sections ou des enregistrements. Deuxièmement, envoyer chaque morceau à travers un modèle d'embeddings, qui retourne un vecteur. Troisièmement, stocker les vecteurs dans un index de recherche ou une base de données vectorielle avec les métadonnées du document. Quatrièmement, lorsqu'un utilisateur pose une question, embedder la question et chercher les vecteurs proches.

Les extraits récupérés peuvent ensuite être affichés directement en tant que résultats de recherche ou transmis à un système RAG en tant que contexte. Le modèle de langage peut utiliser ces extraits pour rédiger une réponse. L'embedding ne rédige pas la réponse. Il aide à décider quel matériel est susceptible d'être suffisamment pertinent pour être récupéré.

La similarité est généralement mesurée mathématiquement, souvent avec la similarité cosinus ou une mesure de distance liée. Ce score est utile pour classer les candidats, mais ce n'est pas un score de vérité calibré. Un passage à haute similarité peut encore être obsolète, incomplet, non autorisé ou seulement faiblement lié à la question exacte.

Imaginons qu'une entreprise ait un centre d'aide avec 2 000 pages de politiques et de résolution de problèmes. L'équipe découpe chaque page en sections, intègre chaque section et stocke les vecteurs avec des métadonnées telles que le produit, la région, la date et le niveau d'accès. Un utilisateur demande : « Puis-je obtenir un remboursement si l'activation a échoué après la fin de l'essai ? »

Le système intègre la question et recherche des extraits proches. Il peut récupérer des sections de la politique de remboursement, des notes sur le dépannage de l'activation et une page d'exception régionale. Une bonne interface afficherait ces passages et les dates. Si un assistant RAG rédige une réponse, l'utilisateur doit toujours vérifier si les passages récupérés soutiennent réellement l'affirmation, si la politique est à jour et si le client est autorisé à voir les informations.

La plus grande erreur est de penser que la similarité des embeddings signifie l'équivalence factuelle. Ce n'est pas le cas. « Comment annuler un abonnement » et « comment suspendre un abonnement » peuvent être proches dans un espace vectoriel, mais ils peuvent avoir des réponses de politique différentes. « Remboursement refusé » et « remboursement approuvé » peuvent partager de nombreux mots tout en ayant des significations opposées.

Une autre idée fausse est que les embeddings suppriment le besoin de conception de recherche. La taille des morceaux, les filtres de métadonnées, les règles d'accès, la reformulation des requêtes, le reranking, la fraîcheur et l'évaluation affectent tous les résultats. Une configuration de récupération faible peut fournir à un modèle linguistique des preuves erronées même si le modèle d'embeddings lui-même est raisonnable.

Les systèmes d'embossage peuvent récupérer du matériel plausible mais non soutenu. Ils peuvent manquer des exceptions rares, confondre des sujets proches, cacher un biais dans les représentations apprises, ou fonctionner de manière inégale entre les langues et les domaines. ALIGN-SIM a constaté que les encodeurs de phrases étudiés ne s'alignaient pas avec tous les critères de similarité sémantique testés, même lorsqu'ils se comportaient bien sur les benchmarks populaires [3]. Cela soutient une règle prudente : évaluez le comportement dont vous avez besoin, et non seulement le nombre de benchmark que vous aimez.

La sécurité et la vie privée comptent aussi. Si des embeddings sont construits à partir de documents privés, le système de récupération doit imposer des autorisations avant d'afficher ou d'utiliser des extraits récupérés. Le vecteur lui-même n'est pas une limite d'autorisation. Les données sensibles peuvent toujours être exposées par un mauvais indexage, des erreurs de métadonnées, des journaux ou des réponses générées à partir de documents non autorisés.

Avant de faire confiance à un résultat basé sur des embeddings, demandez-vous : Qu'est-ce qui a été intégré ? Comment a-t-il été découpé ? Quels filtres de métadonnées ont été utilisés ? Les passages récupérés sont-ils à jour et autorisés ? Le passage soutient-il exactement l'affirmation ? Un voisin proche pourrait-il avoir le sens opposé ? Le système a-t-il été testé sur des questions réelles des utilisateurs et des cas de défaillance connus ?

Pour les recherches à faible enjeu, les embeddings peuvent rendre la recherche plus tolérante et utile. Pour les décisions juridiques, médicales, financières, d'emploi, clients ou de sécurité, utilisez les embeddings uniquement comme support de recherche. La réponse finale a toujours besoin de vérification des sources, de contrôle d'accès et d'un propriétaire humain pour les utilisations à haut enjeu.