Mallin tislaus on koulutustekniikka, jossa tietoa siirretään suuresta ja kalliista mallista (opettaja) pienempään ja tehokkaampaan malliin (oppilas). Sen sijaan, että pienempää mallia koulutettaisiin pelkillä alkuperäisillä tunnisteilla, se oppii jäljittelemään opettajan tuloksia, mukaan lukien sen todennäköisyysjakaumat (ns. soft labels). Nämä sisältävät rikkaampaa tietoa luokkien välisistä suhteista.
Tekniikka on tärkeä, koska sen avulla mallit voidaan ottaa käyttöön ympäristöissä, joissa resurssit ovat rajallisia, kuten mobiililaitteissa, selaimissa tai edge-laitteissa, ilman että laatu heikkenee liikaa. Sen tärkeimmät edut ovat:
- Pienemmät kustannukset päättelyssä ja energiankulutuksessa.
- Nopeampi vastausaika.
- Kevyemmät mallit, joita on helppo jakaa.
Käytännön esimerkki on DistilBERT, supistettu versio BERT-mallista, joka säilyttää noin 97 % suorituskyvystään noin 40 % vähemmillä parametreilla. On syytä huomata, ettei tislaus harvoin säilytä 100 % laadusta. Koon ja tarkkuuden välinen kompromissi on säädettävä käyttötapauksen mukaan.