La destil·lació de models és una tècnica d'entrenament que transfereix el coneixement d'un model gran i costós (el professor) a un de més petit i eficient (l'estudiant). En lloc d'entrenar el model petit únicament amb les etiquetes originals, aquest aprèn a imitar les sortides del professor, incloent-hi les seves distribucions de probabilitat (les anomenades soft labels), que contenen informació més rica sobre la relació entre classes.
Aquesta tècnica és important perquè permet desplegar models en entorns amb recursos limitats —mòbils, navegadors o dispositius edge— sense sacrificar massa qualitat. Els seus principals avantatges són:
- Menor cost d'inferència i consum energètic.
- Major velocitat de resposta.
- Models més lleugers i fàcils de distribuir.
Un exemple pràctic és DistilBERT, una versió reduïda de BERT que manté al voltant del 97 % del seu rendiment amb aproximadament un 40 % menys de paràmetres. Convé matisar que la destil·lació rarament conserva el 100 % de la qualitat: hi ha un compromís entre mida i precisió que s'ha d'ajustar segons el cas d'ús.