Inference Time Compute (oder Rechenaufwand zur Inferenzzeit) bezieht sich auf die Strategie, im Moment der Antwortgenerierung durch das Modell mehr Rechenressourcen zuzuweisen, anstatt diese ausschließlich in die Trainingsphase zu investieren. Der Grundgedanke ist, dass ein Modell bei einer konkreten Anfrage „gründlicher nachdenken“ kann, indem es zusätzliche Zyklen aufwendet, um seine Ausgabe zu untersuchen, zu überprüfen oder zu verfeinern, bevor es diese ausgibt.
Dieser Ansatz ist von Bedeutung, da er es ermöglicht, die Qualität der Antworten zu verbessern, ohne das Modell neu trainieren oder dessen Größe erhöhen zu müssen. Bei Aufgaben, die komplexe Schlussfolgerungen erfordern – wie Mathematik, Logik oder Programmierung –, zahlt es sich meist mehr aus, das Modell länger schlussfolgern zu lassen, als seine Parameter zu skalieren. Einige gängige Techniken sind:
- Mehrere Lösungen generieren und die beste per Abstimmung auswählen (self-consistency).
- Umfangreiche Argumentationsketten Schritt für Schritt entfalten.
- Verifizierungs- und Selbstkorrekturschleifen nutzen.
Der praktische Aspekt dabei ist, dass dieser zusätzliche Rechenaufwand reale Kosten verursacht: eine höhere Latenz und ein größerer Aufwand pro Anfrage. Daher sollte er Problemen vorbehalten bleiben, die dies tatsächlich rechtfertigen.