Small Language Models sind Sprachmodelle mit einer reduzierten Anzahl an Parametern, normalerweise zwischen einigen hundert Millionen und einigen Milliarden, im Vergleich zu den hunderten Milliarden der großen Modelle (LLM). Dieser geringere Umfang macht sie leichtgewichtig, schnell und effizient sowie fähig, lokal auf Laptops, Mobilgeräten oder Edge-Geräten ausgeführt zu werden, ohne auf Cloud-Server angewiesen zu sein.
Ihre Relevanz beruht auf mehreren praktischen Faktoren:
- Datenschutz: Die Daten können auf dem eigenen Gerät verarbeitet werden, ohne an Dritte gesendet zu werden.
- Kosten und Latenz: Sie benötigen weniger Rechenressourcen und antworten schneller.
- Nachhaltigkeit: Sie verbrauchen weniger Energie während des Trainings und der Inferenz.
Im Gegenzug bieten sie meist eine begrenztere Leistung bei komplexen Aufgaben oder breitem Wissen. Daher werden viele SLM spezialisiert oder für konkrete Fachbereiche optimiert, in denen sie größere Modelle erreichen oder übertreffen. Bekannte Beispiele sind die Phi-Familien von Microsoft, Gemma von Google oder Llama in ihren kleinsten Versionen.