Wat is een token (bij AI)?

Een token is het kleinste stukje tekst waarmee een AI-taalmodel rekent.

Dat kan een heel woord zijn, maar meestal een stukje van een woord. Gemiddeld komt één token neer op ongeveer driekwart woord.

Waarom werkt AI met tokens, niet met hele woorden?

Door tekst op te knippen in kleine, vaste stukjes kan een AI-model met vrijwel elke taal, elk typefoutje en zelfs verzonnen woorden overweg. Een onbekend woord kan het model gewoon opbouwen uit bekende kleinere stukjes, in plaats van vast te lopen omdat het woord niet in zijn ‘woordenboek’ staat.

Waarom tokens ertoe doen

Tokens spelen om twee redenen een praktische rol:

• Kosten: veel AI-diensten rekenen af per token. Hoe langer je vraag en het antwoord, hoe meer tokens er gebruikt worden.
• Geheugengrens: een AI-model kan maar een beperkt aantal tokens tegelijk ‘onthouden’ binnen één gesprek. Bij een heel lang gesprek kan het model daardoor het begin van je gesprek ‘vergeten’.

Een simpel voorbeeld

De zin “AI is geweldig” bestaat uit ongeveer vier tokens: het model knipt de zin op in kleine stukjes tekst, niet per se precies per woord. Bij langere of ongebruikelijke woorden kan één woord zelfs uit meerdere tokens bestaan.