La tokenització és el pas previ al processament de text en un model de llenguatge: consisteix a dividir una seqüència de caràcters en unitats discretes anomenades tokens, que el model converteix després en valors numèrics. Un token no equival necessàriament a una paraula; pot ser una paraula completa, un fragment de paraula (subparaula), un signe de puntuació o fins i tot un sol caràcter, segons l'algoritme emprat.
Importa perquè condiciona tant el rendiment com el cost. Els models tenen un límit de finestra de context mesurat en tokens, i molts serveis facturen per aquesta unitat. A més, una bona estratègia de tokenització permet gestionar paraules desconegudes sense descartar-les. Els mètodes més habituals són:
- BPE (Byte Pair Encoding), usat en la família GPT.
- WordPiece, emprat per BERT.
- SentencePiece, freqüent en models multilingües.
Un matís pràctic: en espanyol, paraules llargues o poc comunes poden fragmentar-se en diversos tokens, per la qual cosa un mateix text sol consumir més tokens que el seu equivalent en anglès, afectant el cost i l'espai disponible en el context.