A tokenização é o passo prévio ao processamento de texto num modelo de linguagem: consiste em dividir uma sequência de caracteres em unidades discretas chamadas tokens, que o modelo converte depois em valores numéricos. Um token não equivale necessariamente a uma palavra; pode ser uma palavra completa, um fragmento de palavra (subpalavra), um sinal de pontuação ou até um único carácter, segundo o algoritmo utilizado.
Importa porque condiciona tanto o desempenho como o custo. Os modelos têm um limite de janela de contexto medido em tokens, e muitos serviços faturam por esta unidade. Além disso, uma boa estratégia de tokenização permite gerir palavras desconhecidas sem as descartar. Os métodos mais habituais são:
- BPE (Byte Pair Encoding), usado na família GPT.
- WordPiece, utilizado pelo BERT.
- SentencePiece, frequente em modelos multilingues.
Uma nuance prática: em espanhol, palavras longas ou pouco comuns podem fragmentar-se em vários tokens, pelo que um mesmo texto costuma consumir mais tokens do que o seu equivalente em inglês, afetando o custo e o espaço disponível no contexto.