El Transformer on neuroverkkoarkkitehtuuri, joka esiteltiin vuonna 2017 artikkelissa "Attention Is All You Need". Sen tunnusomainen piirre on huomiomekanismi (self-attention), jonka avulla malli voi punnita, kuinka tärkeä jokainen sanan on suhteessa kaikkiin muihin sekvenssin sanoihin. Näin se tavoittaa pitkän matkan riippuvuuksia käsittelemättä tekstiä tiukasti peräkkäin.
Sen merkitys perustuu siihen, että se korvasi aiemmat arkkitehtuurit, kuten toistuvat neuroverkot (RNN, LSTM), jotka olivat hitaita ja kamppailivat pitkien tekstien kanssa. Koska Transformer mahdollistaa rinnakkaiskäsittelyn, mallien kouluttaminen massiivisessa mittakaavassa tuli käytännössä mahdolliseksi. Tämä synnytti nykyisen kielimallien sukupolven:
- GPT ja sen variantit (vain dekooderi).
- BERT (vain enkooderi).
- Käännös- ja multimodaaliset mallit (enkooderi-dekooderi).
Käytännön kannalta tärkeä seikka on, että huomion laskennallinen kustannus kasvaa neliöllisesti sekvenssin pituuden suhteen. Tämä tekee hyvin pitkien tekstien käsittelystä kalliimpaa. Siksi on olemassa lukuisia optimoituja variantteja, jotka pyrkivät vähentämään tätä muistin ja laskennan kulutusta.