En quelques années, ces outils sont passés des laboratoires au téléphone de tout le monde. Entre ceux qui y voient une conscience imminente et ceux qui y voient un tour de passe-passe, un fait plus simple se perd : l'idée centrale tient en un paragraphe — et la comprendre change la façon de s'en servir.
Un grand modèle de langage est un système entraîné sur une quantité énorme de texte pour faire une seule chose : prédire ce qui vient ensuite. Il répète l'opération, fragment après fragment, et il en sort des paragraphes cohérents. Il ne consulte aucune base de données et ne vérifie pas la véracité de ce qu'il dit — d'où des erreurs énoncées avec une parfaite assurance.
L'idée centrale : prédire la suite
Prenez une phrase inachevée : « Le café est une boisson préparée à partir de grains… ». La plupart des gens compléteraient par « torréfiés ». C'est exactement ce que fait le modèle, à deux différences près.
La première : il ne choisit pas un mot, il calcule une probabilité pour chaque suite possible, puis sélectionne parmi elles.
La seconde : il recommence. Il ajoute le fragment retenu au texte et repose la question : et après ? Et après ? Jusqu'à ce que la réponse soit complète.
C'est tout le mécanisme. Il n'y a pas de base de faits à l'intérieur, ni de moteur de raisonnement distinct. Les longs passages cohérents résultent de la répétition de cette petite étape des milliers de fois.
D'où vient « l'apprentissage »
Pendant l'entraînement, on présente au modèle d'immenses quantités de texte dont des parties sont masquées, et on lui demande de deviner ce qui manque. Au début il se trompe complètement, alors ses réglages internes sont légèrement corrigés dans la bonne direction. Puis on recommence, des milliards de fois.
Ces réglages — les poids — sont tout ce qui subsiste à la fin. Le modèle ne conserve pas une copie des textes d'entraînement, mais des régularités extraites : comment se construit une phrase, quels mots accompagnent quels autres, à quoi ressemble une explication, à quoi ressemble une réponse polie.
Et comme ces régularités proviennent de textes écrits par des humains, la justesse et les biais de ces écrits passent ensemble dans le modèle.
Pourquoi il se trompe avec assurance
C'est le point le plus important en pratique.
Quand vous l'interrogez sur ce qu'il ignore, aucun mécanisme interne ne le lui signale. Sa seule tâche est de produire du texte vraisemblable, et le texte le plus vraisemblable à cet endroit est une réponse ayant la bonne forme.
Il génère donc un livre jamais écrit, une référence juridique inexistante ou un chiffre d'apparence plausible. C'est ce qu'on appelle une hallucination.
Le plus dangereux est que le ton ne change jamais. Une information exacte et une information inventée s'écrivent avec la même assurance, car pour le modèle l'assurance est un trait de style, pas un signal de certitude.
Traitez chaque chiffre, nom, date et référence issu d'un modèle comme à vérifier. Il excelle à formuler, résumer, expliquer et restructurer. Il n'est pas fiable sur les faits précis, sauf s'il est relié à une source qu'il consulte réellement.
Ce qu'il fait bien et mal
| Il fait bien | Il fait mal |
|---|---|
| Reformuler et résumer | Les faits précis de mémoire |
| Expliquer à différents niveaux | Le calcul long et exact |
| Traduire et améliorer le style | Connaître l'actualité récente |
| Produire des idées et des brouillons | Admettre qu'il ne sait pas |
| Convertir un texte d'un format à l'autre | Juger si une source existe |
La règle qui unifie tout : plus la tâche consiste à transformer un texte que vous lui donnez, meilleur est le résultat. Plus elle consiste à retrouver un fait en mémoire, plus la vérification s'impose.
Les termes qui reviennent
Token. L'unité que lit le modèle, généralement un fragment de mot. D'où ses échecs sur des tâches apparemment triviales comme compter les lettres d'un mot : il ne voit jamais de lettres.
Fenêtre de contexte. La quantité maximale de texte qu'il peut prendre en compte d'un coup. Dans une longue conversation, ce qui en sort cesse d'entrer dans son raisonnement.
Date de connaissance. L'entraînement s'arrête à un instant donné. Ce qui suit lui est inconnu, sauf s'il dispose d'un outil de recherche au moment de la question.
Température. Un réglage qui contrôle la variété de la sélection. Basse, les réponses sont plus stables et prévisibles ; haute, plus variées et plus risquées.
Comment mieux demander
Comprendre le mécanisme conduit directement à un meilleur usage :
- Donnez-lui le texte plutôt que de lui demander de le retrouver. « Résume cet article » vaut infiniment mieux que « que disait cet article ».
- Précisez la forme attendue. Longueur, public, ton, format. Il ne devine pas votre intention.
- Demandez le raisonnement, pas seulement le résultat, sur tout ce qui comporte des étapes : cela réduit les erreurs.
- Corrigez au lieu de recommencer. Dire précisément ce qui cloche va plus vite que réécrire la question depuis zéro.
- Vérifiez ce qui compte. Tout chiffre, nom ou référence sur lequel vous fonderez une décision mérite une minute de contrôle.
En résumé
Un modèle de langage n'est ni un esprit ni un moteur de recherche. C'est une machine à régularités linguistiques extrêmement performante, qui produit du texte vraisemblable et non du texte vérifié.
Qui saisit cette distinction dispose d'un excellent outil. Qui la manque obtient, tôt ou tard, une information inventée écrite avec une assurance parfaite.
Questions fréquentes
Un modèle de langage comprend-il ce qu'il dit ?
Pas au sens où un être humain comprend. Il prédit la suite du texte à partir de régularités apprises sur une quantité énorme d'écrits. Le résultat peut être juste et utile, mais le processus qui l'a produit ne comporte ni compréhension ni vérification.
Pourquoi invente-t-il des informations fausses ?
Parce qu'il est conçu pour produire du texte vraisemblable, pas du texte vrai. Quand il n'a pas l'information, rien en lui ne l'arrête : il génère ce qui ressemble le plus à une bonne réponse. On appelle cela une hallucination.
Cherche-t-il sur Internet à chaque question ?
Non, sauf s'il dispose explicitement d'un outil de recherche. Seul, il s'appuie sur ce qu'il a appris pendant l'entraînement, qui est figé et possède une date limite.
Qu'est-ce qu'un token ?
L'unité de texte que le modèle manipule, généralement plus petite qu'un mot. Il ne lit ni lettres ni mots entiers mais ces fragments, ce qui explique ses échecs sur des tâches en apparence triviales comme compter des lettres.
Mes données servent-elles à l'entraîner ?
Cela dépend du service et de ses réglages, et diffère entre comptes personnels et professionnels. L'hypothèse prudente est de considérer que ce que vous écrivez peut être lu, et de n'y mettre ni secrets ni données personnelles sensibles.
Une erreur ? Écrivez-nous : nous corrigeons et signalons le changement en bas de cet article. Hello@daily-atlas.com
