Ikkunan konteksti on suurin määrä tietoa, jonka kielimalli voi käsitellä samanaikaisesti. Se sisältää sekä käyttäjän syötteen että mallin tuottaman vastauksen. Sitä mitataan tokeneina, eli pienimpinä yksikköinä, joihin malli pilkkoo tekstin (yksi token vastaa suunnilleen kolmea neljäsosaa espanjan kielen sanasta). Esimerkiksi 128 000 tokenin ikkuna mahdollistaa lyhyen kirjan vastaavan määrän käsittelyn yhdessä vuorovaikutuksessa.
Koko on tärkeä, koska se määrää, kuinka paljon malli "muistaa" keskustelun tai asiakirjan aikana. Jos vuorovaikutus ylittää rajan, vanhin sisältö hylätään tai katkaistaan, ja tämä voi saada mallin "unohtamaan" alussa annetut ohjeet tai yksityiskohdat.
Käytännössä kannattaa ottaa huomioon, että:
- Suuri ikkuna ei takaa, että malli hyödyntää kaiken tiedon hyvin. Malli kiinnittää yleensä enemmän huomiota alkuun ja loppuun.
- Enemmän tokeneita käsiteltäessä kunkin kyselyn kustannukset ja viive kasvavat.
Siksi kannattaa suosia kontekstin tiivistämistä tai jäsentämistä sen sijaan, että sitä täytettäisiin äärimmilleen.