Inference time compute (inferenssiajan laskenta) tarkoittaa strategiaa, jossa laskentatehoa kohdennetaan enemmän siihen hetkeen, jolloin malli tuottaa vastauksen, sen sijaan että sitä käytettäisiin pelkästään koulutusvaiheessa. Taustalla on ajatus, että malli voi "ajatella pidempään" tiettyyn kyselyyn: se käyttää lisäaikaa vaihtoehtojen tutkimiseen, tarkistamiseen tai tulosteensa hiomiseen ennen vastauksen antamista.
Tämä on tärkeää, koska sen avulla vastausten laatua voidaan parantaa ilman mallin uudelleenkouluttamista tai kasvattamista. Monimutkaisessa päättelyssä, kuten matematiikassa, logiikassa tai ohjelmoinnissa, pidempi päättelyaika kannattaa usein enemmän kuin parametrien määrän kasvattaminen. Yleisiä tekniikoita ovat:
- Useiden ratkaisujen tuottaminen ja parhaan valitseminen äänestämällä (self-consistency).
- Pitkien, askel askeleelta etenevien päättelyketjujen käyttäminen.
- Tarkistus- ja itsekorjaussilmukat.
Käytännön näkökulmasta tällä ylimääräisellä laskennalla on todellinen hinta: viive kasvaa ja jokaisesta kyselystä syntyy suurempia kustannuksia. Se kannattaa siksi varata ongelmiin, jotka todella perustelevat sen.