Modèle de langage à grande échelle

Un modèle de langage à grande échelle est un modèle d'apprentissage automatique entraîné sur de très grands ensembles de données textuelles pour prédire des tokens - des unités de texte petites - et générer du langage à partir du contexte qu'il reçoit [1].

Un modèle de langage (LLM) est le moteur derrière de nombreux chatbots, assistants d'écriture, assistants de codage et outils de documents. Vous lui donnez un prompt. Il utilise le prompt, la conversation et les modèles appris pendant l'entraînement pour prédire le prochain token ou la séquence de tokens. La réponse peut être utile, structurée et rapide, mais c'est un contenu généré, pas une connaissance vérifiée par défaut.

Le meilleur modèle mental est simple : un LLM est très bon pour produire un langage plausible à partir du contexte. Il peut expliquer, résumer, traduire, rédiger, classer, travailler à travers des exemples et produire des analyses structurées. Les LLM modernes sont fortement influencés par l'architecture Transformer [2]. Ils peuvent également manquer des faits, inventer des détails ou paraître certains alors que les preuves sont faibles. Le NIST considère les risques liés à l'IA générative comme quelque chose que les organisations doivent gérer à travers la conception, l'utilisation, la surveillance et l'évaluation, et non comme quelque chose qui peut être résolu uniquement par le choix du modèle [3].

Les LLM sont maintenant intégrés dans les outils de recherche, les suites de bureau, les éditeurs de code, les systèmes de support, les produits d'apprentissage et les flux de travail d'analyse. Si les utilisateurs ne comprennent pas quel type de système ils utilisent, ils peuvent traiter un brouillon comme une réponse vérifiée ou coller du matériel privé dans un outil sans réfléchir aux règles de données.

Comprendre les LLM aide également les gens à poser de meilleures questions. Une requête qui inclut la tâche, le public, les matériaux sources et les contraintes donne généralement au modèle un chemin plus clair. Cela ne garantit pas la précision, mais réduit l'ambiguïté. Cela aide également l'utilisateur à séparer le langage généré des faits qui nécessitent toujours une source.

Cela est important à la fois pour les équipes et les individus. Un enseignant peut utiliser un modèle de langage à grande échelle (LLM) pour créer des questions d'entraînement, un gestionnaire peut en utiliser un pour réécrire un résumé de politique, et un développeur peut en utiliser un pour rédiger du code. Dans chaque cas, la sortie du modèle peut économiser du temps, mais l'utilisateur reste responsable de la vérification de la pertinence, des preuves et des risques avant d'utiliser le modèle de manière responsable.

Au niveau supérieur, un modèle à grande échelle (LLM) transforme l'entrée en unités de texte plus petites, traite ces unités via un modèle et prédit ce qui devrait venir ensuite. Les LLM modernes sont fortement influencés par l'architecture Transformer, qui a introduit le modélage séquentiel basé sur l'attention dans le papier de 2017 intitulé « Attention Is All You Need » [2]. Ce papier est un point de départ important pour l'architecture des modèles d'aujourd'hui, mais il ne définit pas à lui seul chaque LLM moderne, produit, méthode d'entraînement ou système de sécurité.

Pendant l'entraînement, un modèle apprend les modèles statistiques à partir des données. Lors de l'utilisation, le modèle ne se réentraîne normalement pas sur votre prompt. Il utilise le prompt et le contexte disponible pour générer une sortie. L'introduction de Google sur les LLM est utile pour les mécanismes des modèles de langage tels que les tokens, le contexte, la prédiction et le texte généré, mais les pages d'éducation des fournisseurs ne doivent pas être traitées comme l'autorité unique pour les affirmations de risque ou de sécurité [1].

Beaucoup d'assistants déployés ajoutent des systèmes supplémentaires autour du modèle : instructions, récupération, filtres de sécurité, appels d'outils, journalisation, politiques de produit et choix d'interface utilisateur. Ces systèmes peuvent améliorer l'utilité, mais la réponse visible est toujours générée par du langage. La guidance utilisateur d'OpenAI indique que ses systèmes peuvent être inexactes et que les utilisateurs doivent vérifier les informations importantes ; cette guidance est utile en tant que conseil spécifique au fournisseur, et non comme garantie universelle sur tous les systèmes d'IA [4].

La différence entre l'entraînement et l'utilisation est particulièrement importante. L'entraînement façonne le modèle avant l'arrivée de l'utilisateur. Les prompts donnent au modèle un contexte spécifique à la tâche pendant une interaction. Les outils de récupération peuvent ajouter des documents externes. Les règles du produit peuvent bloquer certaines sorties. Lorsqu'un utilisateur voit une réponse, toutes ces couches peuvent être impliquées, donc il est trop simple de dire « le modèle savait » ou « le modèle l'a cherché » sans connaître la conception du système.

Imaginons qu’un manager collé une nouvelle politique de retour dans un assistant IA et demande : « Résumez-la pour le personnel de première ligne en cinq points. Utilisez uniquement la politique fournie. Signalez tout ce qui nécessite une revue juridique. » Le LLM lit la demande et la politique collée comme contexte, puis génère un résumé qui suit la structure demandée.

Le résultat peut être un premier brouillon solide. Le gestionnaire doit toutefois vérifier si chaque point est soutenu par la politique, si une condition a été omise, et si le drapeau de revue juridique est pertinent. Si la politique indique que les remboursements dépendent du pays, du type de produit et de la date d'achat, l'utilisateur doit vérifier ces détails dans le document source avant d'envoyer le résumé à une équipe.

La méconception la plus courante est qu'un LLM fonctionne comme une base de données. Une base de données stocke des enregistrements et renvoie les enregistrements correspondants. Un LLM génère un langage probable à partir du contexte et des modèles appris. Il peut produire un fait correct, mais le mécanisme n'est pas le même que l'ouverture d'un enregistrement fiable et la copie de la réponse.

Cette distinction est importante. Si vous demandez une définition, un brouillon d'e-mail ou une liste de questions à considérer, la génération peut être utile. Si vous demandez une citation juridique, un détail de compte spécifique au client, une dose médicale ou une date limite de politique actuelle, vous avez besoin d'une source autorisée et d'une étape de revue.

Les LLM peuvent avoir des hallucinations, refléter un biais dans les données ou les choix de conception, manquer d'informations en dehors de la fenêtre de contexte, et répondre différemment aux petites modifications de prompt. Ils peuvent également exposer des risques lorsqu'utilisateurs collent des informations personnelles, confidentielles, réglementées ou propriétaires dans un outil sans vérifier la politique de cet outil.

Une réponse plus longue n'est pas nécessairement une meilleure réponse. Une réponse confiante n'est pas nécessairement une réponse vérifiée. Une chaîne ressemblant à une citation n'est pas nécessairement une source réelle. Les instructions peuvent améliorer la forme de la sortie, mais ne garantissent pas la vérité. La vérification humaine peut détecter de nombreux problèmes, mais elle échoue aussi si le réviseur manque de temps, de contexte ou d'expertise.

Avant de faire confiance à une réponse d'un modèle à grande échelle, demandez : Quel matériel source a-t-il utilisé ? Quelles affirmations sont importantes ? Quelles affirmations sont des opinions, des résumés ou des suppositions ? Qu'arriverait-il si cette réponse était erronée ? Y a-t-il des données sensibles incluses ? Ai-je besoin d'un expert humain, d'une source primaire ou d'une vérification supplémentaire ?

Utilisez les LLM pour la rédaction, l'explication, la créativité, la synthèse du texte fourni et pour faciliter le début du travail. Ralentissez pour les décisions impliquant de l'argent, la santé, le droit, la sécurité, l'emploi, les données privées, la sécurité ou les affirmations publiques. Dans ces cas, traitez la sortie du LLM comme un brouillon qui doit être vérifié par rapport aux preuves réelles.

Un workflow pratique consiste à demander au modèle un brouillon structuré, puis à séparer la sortie en affirmations, recommandations et choix de style. Les choix de style n'ont peut-être besoin que d'une édition. Les recommandations nécessitent un jugement. Les affirmations nécessitent des sources. Cela maintient l'outil utile sans laisser le langage fluide remplacer la vérification.