La finestra de context és la quantitat màxima d'informació que un model de llenguatge pot processar de manera simultània, incloent-hi tant l'entrada de l'usuari com la resposta que genera. Es mesura en tokens, les unitats mínimes en què el model descompon el text (un token equival aproximadament a tres quarts d'una paraula en espanyol). Per exemple, una finestra de 128.000 tokens permet gestionar l'equivalent a un llibre curt en una sola interacció.
La seva mida importa perquè determina quant «recorda» el model dins d'una conversa o document. Si l'intercanvi supera el límit, el contingut més antic es descarta o es trunca, la qual cosa pot provocar que el model «oblidi» instruccions o detalls donats al principi.
A la pràctica convé tenir en compte que:
- Una finestra gran no garanteix que el model utilitzi bé tota la informació; sol prestar més atenció a l'inici i al final.
- Processar més tokens incrementa el cost i la latència de cada consulta.
Per això, és recomanable resumir o estructurar el context en lloc de saturar-lo.