Une IA ne lit pas des mots entiers : elle découpe le texte en petits morceaux appelés « tokens ». Écris quelque chose et regarde !
Essaie :
0tokens
0caractères
0mots
À retenir : l'IA transforme tout en tokens avant de « réfléchir ». Les mots courants restent en un seul morceau, mais les mots longs ou rares sont coupés en plusieurs tokens. C'est pour ça qu'un texte se mesure en tokens, et pas en mots : c'est l'unité que l'IA compte (et facture). Une vraie IA découpe d'une façon un peu différente, mais le principe est exactement celui-ci.