C’est quoi le contexte d’un LLM ?
C’est quoi le contexte dans un LLM ? (Et pourquoi c’est important de ne pas parler de ta cousine au milieu d’un prompt)
Ah, le « contexte » ! Ce mot qu’on entend partout dès qu’on s’approche de près ou de loin d’un modèle de langage (ou LLM pour les intimes). Et non, on ne parle pas ici de « contexte historique » ou de « contexte familial tendu pendant les repas de Noël », mais bien du contexte d’un LLM. Pas de panique : on va tout t’expliquer, sans jargon et avec quelques blagues au passage.
🧠 Petit rappel : c’est quoi un LLM ?
Un LLM (Large Language Model, ou grand modèle de langage en français) est un robot qui adore lire des milliards de mots pour ensuite faire genre qu’il a tout compris et peut discuter avec toi comme un humain très cultivé (mais sans café).
En gros, tu lui donnes un prompt (une phrase, une question, un texte) et il te répond en se basant sur ce qu’il a appris. Mais pour bien répondre, il a besoin de contexte. Et c’est là que les choses deviennent intéressantes.
📦 Le contexte, c’est comme la mémoire à court terme du LLM
Imagine que tu parles à quelqu’un, mais qu’il oublie tout ce que tu dis après chaque phrase. Un peu relou, non ? C’est exactement ce qui se passe si un LLM n’a pas de contexte.
Le contexte, dans le langage des LLM, c’est l’ensemble des informations que tu lui donnes au moment de la requête : ton prompt, mais aussi parfois des instructions, des exemples, ou même la conversation en cours. Le LLM ne se souvient pas de toi, mais il peut tout comprendre tant que tu lui rappelles tout à chaque fois. Bref, il est un peu comme Dory dans Nemo, mais super fort en grammaire.
📏 Et combien de tokens peut comprendre une IA ?
Eh bien… non. Il ne comprend pas vraiment. Il ne pense pas, il ne ressent rien, il ne connaît pas votre tante Josette (du moins on l’espère). Il simule l’intelligence. Mais sa force, c’est de le faire très bien, au point qu’on peut discuter avec lui comme avec un humain — un humain un peu trop poli et parfois à côté de la plaque.
🧾 Contexte = texte en entrée
Techniquement, le contexte correspond à tout ce que tu envoies au modèle sous forme de texte. Et ça peut inclure :
La conversation précédente (si tu chattes avec lui)
Des documents que tu ajoutes (comme un extrait de contrat ou une recette de quiche)
Des instructions cachées que tu ne vois pas (coucou les développeurs)
Et bien sûr, ta dernière question !
Mais attention : le contexte a une limite. Un LLM ne peut pas tout retenir éternellement (il n’a pas de disque dur infini dans le crâne). Il peut lire l’équivalent de quelques milliers à quelques centaines de milliers de mots, selon le modèle. C’est ce qu’on appelle la fenêtre de contexte.
🪟 La fenêtre de contexte : pas trop grande, pas trop petite
Chaque LLM a une fenêtre de contexte : c’est comme une paille à travers laquelle il boit les infos. Trop de texte ? Il oublie le début. Pas assez ? Il ne comprend rien. Il faut donc être malin dans ce que tu mets dedans.
Certains modèles récents peuvent gérer l’équivalent d’un roman entier (100 000 tokens ou plus), d’autres sont vite dépassés après une longue recette de cassoulet.
🧙♂️ Pourquoi c’est magique… mais pas magique-magique
Le contexte permet de faire des trucs super forts : poser des questions sur un document, enchaîner une conversation fluide, écrire une chanson en se souvenant de la rime précédente…
Mais attention : le LLM n’a pas de mémoire à long terme (sauf si tu utilises une fonction spéciale pour ça). Il ne se « souvient » de rien entre deux sessions, sauf si tu le lui rappelles dans le contexte à chaque fois. C’est comme si tu devais lui redonner ton CV à chaque entretien. Fatigant, mais c’est comme ça.
⚠️ Piège à éviter : le contexte inutile
Si tu balances un pavé de 200 lignes avec des infos inutiles (« Ma cousine s’appelle Jocelyne et elle aime les hérissons »), le LLM va quand même essayer de les prendre en compte. Et parfois, ça embrouille tout. Moralité : mets dans le contexte uniquement ce qui est pertinent pour ta demande.
🧁 Résumé pour les gourmands
Le contexte dans un LLM, c’est :
Tout ce qu’on lui donne à lire pour qu’il puisse répondre intelligemment.
Sa mémoire temporaire pendant une session.
Une ressource limitée qu’il faut bien gérer.
Alors la prochaine fois que tu discutes avec un LLM, pense à lui comme à un pote très intelligent… mais avec une mémoire de poisson rouge. Si tu veux qu’il t’aide, rappelle-lui tout ce qu’il doit savoir, et évite les digressions sur Jocelyne 🐟.
💡 Des questions, des remarques, ou juste envie de papoter IA ? On ne mord pas (sauf les robots affamés). Rejoins-nous ici
Se connecter à Discord
