Lämpötila on numeerinen parametri, joka säätelee kielimallin vastausten satunnaisuuden astetta. Teknisesti se muokkaa todennäköisyysjakaumaa seuraavina mahdollisina sanoina: matalat arvot saavat mallin valitsemaan lähes aina todennäköisimmät vaihtoehdot, kun taas korkeat arvot jakavat todennäköisyyden tasaisemmin ja sallivat vähemmän ennustettavat tulokset.
Se liikkuu yleensä alueella 0–2, ja sopiva arvo riippuu tehtävästä:
- Matalat arvot (0–0,3): deterministiset ja tarkat vastaukset, ihanteelliset tietojen poimintaan, koodiin tai faktapohjaisiin tiivistelmiin.
- Keskitason arvot (0,5–0,8): tasapaino johdonmukaisuuden ja vaihtelevuuden välillä, hyödyllinen yleiseen avustamiseen.
- Korkeat arvot (1–2): suurempi luovuus ja monimuotoisuus, sopivat kaunokirjalliseen kirjoittamiseen tai aivoriihiin.
Käytännössä on hyvä muistaa, että korkea lämpötila ei paranna mallin ”tietämystä”, vaan ainoastaan sen vaihtelevuutta. Se voi lisätä sekä alkuperäisyyttä että riskiä epäjohdonmukaisista tai keksityistä vastauksista. Toistettavuuden vuoksi arvoksi asetetaan yleensä 0 tai sen hyvin lähellä oleva arvo.