Les Small Language Models sont des modèles de langage dotés d'un nombre réduit de paramètres, généralement compris entre quelques centaines de millions et quelques milliards, contre des centaines de milliards pour les grands modèles (LLM). Cette échelle réduite les rend légers, rapides et efficaces, capables de s'exécuter localement sur des ordinateurs portables, des mobiles ou des appareils de bordure sans dépendre de serveurs dans le cloud.
Leur pertinence repose sur plusieurs facteurs pratiques :
- Confidentialité : les données peuvent être traitées sur l'appareil lui-même, sans être envoyées à des tiers.
- Coût et latence : ils nécessitent moins de ressources de calcul et répondent plus rapidement.
- Durabilité : ils consomment moins d'énergie lors de l'entraînement et de l'inférence.
En contrepartie, ils offrent généralement des performances plus limitées pour les tâches complexes ou de connaissances étendues. C'est pourquoi de nombreux SLM sont spécialisés ou affinés pour des domaines concrets, où ils égalent ou surpassent des modèles plus importants. Des exemples connus incluent les familles Phi de Microsoft, Gemma de Google ou Llama dans leurs versions les plus réduites.