O inference time compute (ou computação em tempo de inferência) refere-se à estratégia de atribuir mais recursos de computação no momento em que o modelo gera a resposta, em vez de os investir unicamente na fase de treino. A ideia de fundo é que um modelo pode "pensar mais" perante uma consulta concreta, dedicando ciclos adicionais a explorar, verificar ou refinar a sua saída antes de a entregar.
Esta abordagem é importante porque permite melhorar a qualidade das respostas sem necessidade de retreinar o modelo nem aumentar o seu tamanho. Em tarefas de raciocínio complexo —matemática, lógica ou programação— costuma compensar mais deixar que o modelo raciocine durante mais tempo do que escalar os seus parâmetros. Algumas técnicas habituais são:
- Gerar várias soluções e escolher a melhor por votação (self-consistency).
- Implementar cadeias de raciocínio extensas passo a passo.
- Utilizar ciclos de verificação e autocorreção.
A nuance prática é que esta computação extra tem um custo real: mais latência e maior gasto por consulta, pelo que convém reservá-la para problemas que realmente o justifiquem.