Votre personnage vient de vous appeler par le mauvais prénom. Le dragon que vous avez tué trois scènes plus tôt est soudain de nouveau vivant, et la taverne que vous avez incendiée sert de la bière. Rien n’est cassé, et le modèle n’est pas paresseux. Il a simplement manqué de place. Chaque modèle de langage lit et écrit dans une fenêtre de mémoire fixe, et une fois que votre conversation dépasse cette fenêtre, les éléments les plus anciens sortent discrètement du champ de vision.
Cet article explique le LLM context length en termes simples : ce qu’il mesure, sa taille sur les modèles gratuits populaires, les réglages qui modifient la quantité d’informations retenues par le modèle, et comment garder un long roleplay cohérent sans payer une fenêtre géante dont vous n’avez peut-être pas besoin.
💡 Réponse rapide : la longueur de contexte est le nombre total de tokens qu’un modèle peut examiner dans une seule requête. Ce total inclut vos instructions, l’historique de la conversation et la réponse que le modèle s’apprête à écrire. Quand ce total dépasse la limite, quelque chose est coupé.
Ce que signifie vraiment la longueur de contexte
Pensez à la fenêtre de contexte comme au bureau sur lequel travaille un modèle. Tout ce qu’il peut voir doit tenir sur ce bureau au même moment. Ce qui ne rentre pas n’existe plus, du point de vue du modèle. Il n’a pas de classeur caché, et il ne garde pas de souvenirs d’une requête à l’autre. Chaque réponse est générée à partir du seul texte que vous lui envoyez avec elle.

Des tokens, pas des mots
Les modèles ne comptent pas les mots. Ils comptent des tokens, c’est-à-dire des fragments de texte. En anglais, un token représente environ quatre caractères, soit à peu près les trois quarts d’un mot. Les mots courts et fréquents tiennent souvent en un seul token. Les noms rares, l’argot et les mots dans d’autres langues peuvent en occuper trois ou quatre chacun.
| Taille du contexte | Mots anglais environ | Équivalent approximatif |
|---|
| 4K (4 096 tokens) | 3 000 | Un long article de blog |
| 8K | 6 000 | Une nouvelle |
| 32K | 24 000 | Plusieurs chapitres de novella |
| 128K | 96 000 | Un roman complet |
| 1M | 750 000 | Une étagère de livres |
Ce sont des estimations. Le code, les emojis et les textes non anglais consomment les tokens plus vite. Une conversation en japonais ou en arabe remplit donc la même fenêtre plus rapidement qu’une conversation en anglais.
Ce qui remplit la fenêtre
Les débutants pensent que la fenêtre ne contient que la conversation. Elle contient bien davantage :
- Le prompt système, qui fixe les règles et le ton.
- La fiche personnage ou le persona, souvent 500 à 1 500 tokens à elle seule.
- Le lorebook ou les notes sur le monde, si votre application les injecte.
- Chaque message précédent, le vôtre comme celui du modèle.
- L’espace réservé à la prochaine réponse, défini par le réglage de sortie maximale.
Ce dernier point surprend souvent. Si votre fenêtre fait 8K et que vous réservez 1 000 tokens pour la réponse, il ne vous reste réellement que 7K pour tout le reste.
Tailles de contexte des modèles gratuits
« Gratuit » recouvre des réalités différentes. Cela peut désigner des poids ouverts que vous faites tourner sur votre propre ordinateur, une offre gratuite avec des limites quotidiennes, ou un modèle qui coûte très peu par requête. Dans tous les cas, le chiffre affiché sur la page du modèle est le maximum, et non une promesse de qualité.

Petites fenêtres : 4K à 8K
Les anciens modèles ouverts en sont l’exemple classique. Llama 2 7B Chat et les autres tailles de Llama 2, comme Llama 2 13B Chat et Llama 2 70B Chat, fonctionnent avec environ 4K tokens. C’est suffisant pour une question rapide et frustrant pour une histoire. Meta Llama 3 8B Instruct double cette capacité pour atteindre environ 8K, et Mistral 7B v0.1 se situe dans le même ordre de grandeur.
Les petites fenêtres ont encore leur utilité. Elles répondent vite, coûtent peu à faire tourner et vous obligent à garder des prompts concis, ce qui est de toute façon une bonne habitude.
Fenêtres moyennes et longues
Les nouvelles familles gratuites ou peu coûteuses sont bien plus généreuses. Granite 4.0 H Small est conçu spécifiquement pour les entrées longues, et Granite 4.1 8B est une option gratuite pour le chat et le code. Si votre travail concerne le code, Granite 8B Code Instruct 128K indique la taille de sa fenêtre dans son nom, et son pendant Granite 20B Code Instruct 8K montre ce que proposait la génération précédente.
D’autres familles valent la peine d’être testées pour les longues conversations, notamment DeepSeek V3, Kimi K2.6 et Qwen3.7 Plus. Vérifiez la page du modèle pour la fenêtre exacte de chacun, car les éditeurs modifient ces chiffres d’une version à l’autre.
Fenêtres géantes et leur piège
Llama 4 Scout Instruct annonce une fenêtre allant jusqu’à 10 millions de tokens, et Llama 4 Maverick Instruct annonce environ 1 million. Les modèles Gemini 3.5 Flash et Gemini 3.1 Pro de Google font également partie des modèles à longue fenêtre.

Voici le piège. À la fin de 2026, les fenêtres de 1 million de tokens sont courantes, et la médiane des modèles suivis serait, selon les données publiées, d’environ 256K. Mais la fenêtre annoncée et la fenêtre effective sont deux choses différentes. Des tests indépendants continuent de montrer que la précision baisse bien avant le maximum, surtout lorsque le détail dont vous avez besoin est enfoui au milieu d’une énorme masse de texte. Une fenêtre géante est une grande bibliothèque, pas un meilleur lecteur.
💡 Règle empirique : considérez environ la moitié de la fenêtre annoncée comme la zone de travail sûre. Au-delà, résumez ou récupérez les informations au lieu d’ajouter encore du texte brut.
La plupart des gens ne remarquent les limites de contexte que lorsqu’un problème étrange survient. Il existe deux grands schémas de défaillance, et ils se manifestent différemment.

La troncature silencieuse
Quand la conversation devient trop longue, la plupart des applications suppriment d’abord les messages les plus anciens. Votre scène d’ouverture, la fiche personnage (dans certaines applications) et les règles initiales peuvent disparaître sans avertissement. Le modèle improvise alors. C’est pourquoi un personnage change soudain de caractère : le texte qui le définissait n’est plus sur le bureau.
Signes de troncature :
- Le personnage oublie un prénom, une promesse ou un lieu.
- Le style d’écriture dérive vers des formulations génériques.
- Les règles du prompt système cessent d’être suivies.
- Les réponses répètent des formulations précédentes, car le modèle ne voit que ses sorties les plus récentes.
Perdu au milieu
Le second schéma survient même lorsque tout tient, techniquement, dans la fenêtre. Les modèles accordent le plus d’attention au début et à la fin de la fenêtre. Les faits situés au milieu reçoivent une attention plus faible. Si vous entassez 80 000 tokens dans une conversation et que vous enfouissez l’indice important au token 40 000, le modèle risque de le manquer.
La solution est simple : placez l’information la plus importante tout au début (prompt système, fiche personnage) ou répétez-la vers la fin, près de votre dernier message.
Les réglages qui comptent vraiment
Les applications de chat et les outils API exposent de nombreux curseurs. Seule une poignée modifie le comportement de la mémoire de façon perceptible.

Le curseur de taille de contexte
De nombreuses configurations locales ou auto-hébergées vous demandent de choisir vous-même une taille de contexte, et la valeur par défaut est souvent petite, comme 2K ou 4K, même lorsque le modèle prend en charge des tailles bien plus grandes. Si votre personnage oublie vite les choses, vérifiez ce réglage en premier. L’augmenter accroît la consommation de mémoire, donc il existe une limite fixée par votre matériel. Sur les modèles hébergés, l’éditeur le définit généralement à votre place.
Tokens de sortie maximum
Ce nombre correspond à la réponse la plus longue que le modèle peut écrire. Réglé trop bas, les réponses s’arrêtent au milieu d’une phrase. Réglé trop haut, vous gaspillez de la place dans la fenêtre pour un texte que vous ne verrez jamais. Pour le roleplay, 250 à 500 tokens conviennent à la plupart des scènes. Pour l’écriture longue, passez à 1 000 ou plus.
Température et pénalité de répétition
Ces deux réglages ne modifient pas la quantité d’informations que le modèle retient, mais ils changent la façon dont il utilise ce qu’il retient.
| Réglage | Valeur basse | Valeur haute | Bon point de départ pour le roleplay |
|---|
| Température | Prévisible, sûr | Créatif, risqué | 0,7 à 0,9 |
| Top P | Choix de mots restreints | Plus de variété | 0,9 |
| Pénalité de répétition | Autorise les boucles | Évite les répétitions, peut faire dérailler | 1,05 à 1,15 |
| Tokens de sortie maximum | Réponses courtes | Réponses longues | 300 à 500 |
💡 Surveillez la pénalité. Une pénalité de répétition trop forte éloigne le modèle des mots qu’il a déjà utilisés, y compris le nom de votre personnage. Si les noms commencent à se déformer, baissez-la.
Astuces de roleplay pour les longues histoires
Le roleplay est le test le plus exigeant pour la longueur de contexte, car l’histoire est à la fois longue et riche en détails. Vous pouvez écrire pendant des heures avec une fenêtre modeste si vous gérez ce qui se trouve sur le bureau.

Rédigez une fiche personnage courte
Une fiche personnage coûte des tokens à chaque requête. Une fiche de 2 000 tokens sur une fenêtre de 8K occupe en permanence un quart de votre mémoire. Visez 300 à 700 tokens : nom, âge, voix, trois traits, un objectif, une peur. Retirez le passé que le modèle n’a pas encore besoin de connaître.
Une fiche concise pourrait ressembler à ceci : « Mara, 34 ans, navigatrice de bord. Humour sec, phrases courtes, méfiance envers les officiers. Veut retrouver son frère disparu. N’avoue jamais qu’elle a peur. »
Faites le calcul pour votre fenêtre
Voici un exemple détaillé pour une fenêtre de 8K :
- Prompt système : 300 tokens
- Fiche personnage : 700 tokens
- Espace réservé à la réponse : 400 tokens
- Reste pour l’historique : environ 6 700 tokens
Si chaque échange (votre message plus la réponse) fait en moyenne 400 tokens, le modèle retient environ 16 échanges. Au-delà, les tours les plus anciens disparaissent. Connaître ce chiffre vous indique exactement quand résumer.
Résumez tous les 20 tours
Cette habitude fait plus que n’importe quel réglage. Tous les 15 à 20 échanges, rédigez (ou demandez au modèle de rédiger) un bref résumé de ce qui s’est passé. Collez-le en haut de la conversation, puis supprimez les anciens messages qu’il remplace.

Un bon résumé comprend :
- Qui est présent et ce qu’il ressent les uns envers les autres.
- Où se déroule la scène.
- Ce qui a changé (morts, promesses, blessures, objets gagnés ou perdus).
- Les fils narratifs ouverts que l’histoire doit encore résoudre.
Gardez-le sous 200 tokens. Une histoire résumée de cette façon peut se prolonger sur des centaines de tours dans une fenêtre qui n’en contiendrait autrement que 16.
Retenez les faits, supprimez le superflu
Tous les messages ne méritent pas une place sur le bureau. Les salutations, les descriptions répétées et les longs bavardages hors personnage consomment des tokens sans faire avancer l’histoire. Beaucoup d’applications vous permettent d’épingler ou de verrouiller certains messages, ou de stocker des faits dans un lorebook qui ne se charge que lorsqu’un mot déclencheur apparaît. Utilisez ces outils pour les prénoms, les règles et les relations. Laissez les échanges anodins sortir de la fenêtre.
💡 Répétez, n’espérez pas. Si un détail compte pour la scène suivante (la clé volée, le secret, la blessure), mentionnez-le à nouveau dans votre propre message. Une phrase coûte moins cher qu’une faille dans l’intrigue.
Choisir un modèle selon son besoin
Plus grand ne signifie pas toujours meilleur. Une fenêtre géante coûte plus cher, tourne plus lentement et peut enfouir vos détails. Adaptez le modèle à la tâche.

La taille de la fenêtre n’est qu’un facteur. La qualité d’écriture, le respect des consignes et la vitesse comptent tout autant. Testez donc deux ou trois modèles avec le même prompt d’ouverture avant de vous engager dans une longue histoire.
Solutions rapides aux problèmes courants
Le personnage oublie son nom
Vérifiez d’abord la fiche. Si elle est longue et placée tout en haut d’une conversation surchargée, votre application la tronque peut-être. Raccourcissez la fiche, épinglez-la ou répétez le nom dans votre dernier message. Ensuite, augmentez la taille du contexte si votre configuration le permet.
Les réponses sont coupées
C’est presque toujours le réglage tokens de sortie maximum. Augmentez-le à 500 ou plus. S’il est déjà élevé, la fenêtre est peut-être pleine et il ne reste plus de place pour écrire. Résumez les tours plus anciens pour libérer de l’espace.
Le modèle se répète
Baissez légèrement la pénalité de répétition, augmentez un peu la température et supprimez les anciens messages qui contiennent la formulation répétée. Les modèles adorent reproduire les schémas qu’ils voient dans leur propre historique.
Tout ralentit
Un contexte plus long signifie plus de calcul à chaque réponse. Si la vitesse baisse, vous envoyez probablement beaucoup plus de texte que nécessaire. Un résumé propre plus les dix derniers messages est souvent plus rapide et plus précis que la transcription complète.
Essayez-le dès aujourd’hui sur PicassoIA
Inutile de deviner quel modèle convient à votre histoire. Ouvrez la collection de grands modèles de langage sur PicassoIA, choisissez deux modèles dans le tableau ci-dessus et collez la même scène d’ouverture dans chacun. Observez combien de temps chacun reste cohérent, puis ajustez le maximum de sortie et la température et relancez le test.

Essayez une petite expérience : rédigez un résumé de 400 tokens de votre histoire en cours, ouvrez une nouvelle conversation avec ce résumé et voyez si les personnages tiennent mieux ensemble que dans le fil original de 100 messages. Pour beaucoup de gens, la réponse est oui. Puis poussez plus loin cette étincelle créative : créez les visuels de couverture, les portraits de personnages et les images de scènes de votre histoire avec les modèles d’image de PicassoIA. Commencez avec une conversation, un personnage et un résumé, et vous verrez la différence dès la scène suivante.