Tokenisointi on tekstinkäsittelyn esivaihe kielimallissa: se tarkoittaa merkkijonon jakamista erillisiksi yksiköiksi, joita kutsutaan tokeneiksi ja jotka malli muuntaa sen jälkeen numeerisiksi arvoiksi. Token ei välttämättä vastaa sanaa; se voi olla kokonainen sana, sanan osa (osasana), välimerkki tai jopa yksittäinen merkki käytetystä algoritmista riippuen.
Sillä on merkitystä, koska se vaikuttaa sekä suorituskykyyn että kustannuksiin. Malleilla on konteksti-ikkunan raja, joka mitataan tokeneina, ja monet palvelut laskuttavat tämän yksikön mukaan. Lisäksi hyvä tokenisointistrategia mahdollistaa tuntemattomien sanojen käsittelyn hylkäämättä niitä. Yleisimmät menetelmät ovat:
- BPE (Byte Pair Encoding), jota käytetään GPT-perheessä.
- WordPiece, jota BERT käyttää.
- SentencePiece, joka on yleinen monikielisissä malleissa.
Käytännön huomio: espanjaksi pitkät tai harvinaiset sanat voivat jakautua useiksi tokeneiksi, joten sama teksti kuluttaa yleensä enemmän tokeneita kuin englanninkielinen vastineensa, mikä vaikuttaa kustannuksiin ja kontekstissa käytettävissä olevaan tilaan.