La fenêtre de contexte est la quantité maximale d'informations qu'un modèle de langage peut traiter simultanément, incluant aussi bien la saisie de l'utilisateur que la réponse qu'il génère. Elle se mesure en tokens, les unités minimales en lesquelles le modèle décompose le texte (un token équivaut approximativement aux trois quarts d'un mot en français). Par exemple, une fenêtre de 128 000 tokens permet de gérer l'équivalent d'un livre court en une seule interaction.
Sa taille est importante car elle détermine ce que le modèle « retient » au sein d'une conversation ou d'un document. Si l'échange dépasse la limite, le contenu le plus ancien est écarté ou tronqué, ce qui peut amener le modèle à « oublier » des instructions ou des détails fournis au début.
En pratique, il convient de garder à l'esprit que :
- Une fenêtre large ne garantit pas que le modèle utilise correctement toutes les informations ; il a tendance à accorder plus d'attention au début et à la fin.
- Le traitement d'un plus grand nombre de tokens augmente le coût et la latence de chaque requête.
C'est pourquoi il est recommandé de résumer ou de structurer le contexte plutôt que de le saturer.