Los Small Language Models son modelos de lenguaje con un número reducido de parámetros, normalmente entre unos pocos cientos de millones y unos pocos miles de millones, frente a los cientos de miles de millones de los grandes modelos (LLM). Esta menor escala los hace ligeros, rápidos y eficientes, capaces de ejecutarse en local sobre portátiles, móviles o dispositivos de borde sin depender de servidores en la nube.
Su relevancia radica en varios factores prácticos:
- Privacidad: los datos pueden procesarse en el propio dispositivo, sin enviarse a terceros.
- Coste y latencia: requieren menos recursos de cómputo y responden con mayor rapidez.
- Sostenibilidad: consumen menos energía durante el entrenamiento y la inferencia.
A cambio, suelen ofrecer un rendimiento más limitado en tareas complejas o de conocimiento amplio. Por ello, muchos SLM se especializan o se afinan para dominios concretos, donde igualan o superan a modelos mayores. Ejemplos conocidos incluyen las familias Phi de Microsoft, Gemma de Google o Llama en sus versiones más pequeñas.