L'inference time compute (o còmput en temps d'inferència) fa referència a l'estratègia d'assignar més recursos de càlcul en el moment en què el model genera la resposta, en lloc d'invertir-los únicament en la fase d'entrenament. La idea de fons és que un model pot "pensar més" davant d'una consulta concreta, dedicant cicles addicionals a explorar, verificar o refinar la seva sortida abans de lliurar-la.
Aquest enfocament és important perquè permet millorar la qualitat de les respostes sense necessitat de reentrenar el model ni augmentar-ne la mida. En tasques de raonament complex —matemàtiques, lògica o programació— sol compensar més deixar que el model raoni durant més temps que escalar-ne els paràmetres. Algunes tècniques habituals són:
- Generar diverses solucions i triar la millor per votació (self-consistency).
- Desplegar cadenes de raonament extenses pas a pas.
- Utilitzar bucles de verificació i autocorrecció.
El matís pràctic és que aquest còmput extra té un cost real: més latència i una despesa més gran per consulta, per la qual cosa convé reservar-lo per a problemes que realment ho justifiquin.