Tokenmaxxing bedeutet, das Kontextfenster eines Sprachmodells maximal auszunutzen, also die Gesamtzahl der Tokens, die es in einer einzigen Interaktion verarbeiten kann. Die Idee dahinter ist, so viele relevante Informationen wie möglich einzugeben – Dokumente, Beispiele, detaillierte Anweisungen oder vollständige Verläufe –, damit dem Modell vor der Generierung der Antwort alle notwendigen Materialien zur Verfügung stehen.
Diese Praxis ist wichtig, da die Qualität der Antworten oft stärker vom verfügbaren Kontext abhängt als von der Raffinesse des Prompts. Das Anreichern des Kontextes mit relevanten Daten reduziert Halluzinationen und vermeidet die Notwendigkeit, komplexe Aufgaben in mehrere Aufrufe zu unterteilen. Dies ist besonders nützlich bei:
- Analysen langer Dokumente oder ganzer Codebasen.
- Prompts mit vielen Beispielen (umfangreiches Few-Shot-Verfahren).
- Konversationen, die die Beibehaltung eines umfangreichen Verlaufs erfordern.
Ein wichtiger Hinweis: Mehr Tokens führen nicht immer zu besseren Ergebnissen. Modelle leiden unter dem Phänomen Lost in the Middle, bei dem Informationen in der Mitte des Kontextes weniger Aufmerksamkeit erhalten. Daher kombiniert effektives Tokenmaxxing Quantität mit einer klaren Struktur, die kritische Daten am Anfang oder am Ende priorisiert.