Qu’est-ce qu’un token en IA ?
Unités fondamentales de texte que les modèles IA traitent, représentant des morceaux de mots ou caractères.
En bref
- 1 token ≈ 4 caractères ou 0.75 mots
- Unité de mesure pour les LLMs
- Déterminent les limites de contexte
Les tokens sont les unités fondamentales de texte que les modèles IA traitent, représentant des morceaux de mots, des mots entiers ou des caractères spéciaux.
En moyenne, 1 token = environ 4 caractères ou 0.75 mots en anglais. Les tokens sont utilisés pour mesurer la longueur des prompts et réponses.
Questions fréquentes
Combien de mots fait un token ?
En anglais, un token correspond en moyenne à environ quatre caractères, soit trois quarts de mot, selon OpenAI. En français, il faut en général un peu plus de tokens pour le même texte. Le découpage exact dépend du modèle.
Pourquoi les tokens comptent-ils ?
Ils servent d’unité pour la taille de la fenêtre de contexte, la longueur maximale des réponses et la facturation des API. Un texte long coûte plus cher à traiter et peut être tronqué.
Faut-il écrire court pour les IA ?
Il faut surtout écrire clair. Une réponse placée tôt dans la page, sans remplissage, a plus de chances d’être lue en entier par une IA qui ne garde que des extraits.