La température est un paramètre numérique qui régule le degré d'aléatoirité dans les réponses d'un modèle de langage. Techniquement, elle ajuste la distribution de probabilité sur les mots suivants possibles : des valeurs basses font que le modèle choisit presque toujours les options les plus probables, tandis que des valeurs élevées répartissent la probabilité de manière plus uniforme, laissant place à des sorties moins prévisibles.
Elle varie généralement dans une plage de 0 à 2, et son choix dépend de la tâche :
- Valeurs basses (0–0,3) : réponses déterministes et précises, idéales pour l'extraction de données, le code ou les résumés factuels.
- Valeurs moyennes (0,5–0,8) : équilibre entre cohérence et variété, utile pour l'assistance générale.
- Valeurs élevées (1–2) : plus grande créativité et diversité, adaptées à l'écriture littéraire ou au remue-méninges.
En pratique, il convient de rappeler qu'une température élevée n'améliore pas la « connaissance » du modèle, seulement sa variabilité : elle peut augmenter tant l'originalité que le risque de réponses incohérentes ou inventées. Pour la reproductibilité, elle est généralement fixée à 0 ou à une valeur très proche.