Tokenmaxxing tarkoittaa kielimallin kontekstiikkunan hyödyntämistä mahdollisimman tehokkaasti, eli sitä, kuinka monta tokenia malli voi käsitellä yhdessä vuorovaikutuksessa yhteensä. Ajatuksena on sisällyttää pyyntöön mahdollisimman paljon oleellista tietoa, kuten asiakirjoja, esimerkkejä, yksityiskohtaisia ohjeita tai kokonaisia keskusteluhistorioita, jotta malli saa käyttöönsä kaiken tarvitsemansa aineiston ennen vastauksen luomista.
Tällä käytännöllä on merkitystä, koska vastausten laatu riippuu usein enemmän käytettävissä olevasta kontekstista kuin kehotteen (prompt) kekseliäisyydestä. Kontekstin täyttäminen asiaankuuluvalla tiedolla vähentää hallusinaatioita ja poistaa tarpeen jakaa monimutkaiset tehtävät useisiin kutsuihin. Se on erityisen hyödyllistä:
- Pitkien asiakirjojen tai kokonaisten koodikantojen analysoinnissa.
- Kehotteissa, joissa on paljon esimerkkejä (laaja few-shot).
- Keskusteluissa, jotka vaativat laajan historian säilyttämistä.
On kuitenkin syytä huomata yksi vivahde: enemmän tokeneita ei aina tarkoita parempia tuloksia. Mallit kärsivät lost in the middle -ilmiöstä, jolloin ne kiinnittävät vähemmän huomiota kontekstin keskelle sijoittuvaan tietoon. Siksi tehokas tokenmaxxing yhdistää määrän selkeään rakenteeseen, joka asettaa kriittiset tiedot alkuun tai loppuun.