text token en français
jeton textuel locution nominale masculine
Donnée élémentaire d’un grand modèle de langage, qui est constituée d’une suite de caractères obtenue par la segmentation automatique d’un texte.
1. La segmentation en jetons textuels est utilisée aussi bien dans la phase d’apprentissage automatique que dans la phase de traitement d’une instruction générative.
2. Le nombre de jetons textuels sert à mesurer la taille d’un grand modèle de langage ; il permet aussi d’estimer et de facturer le coût de fonctionnement des grands modèles de langage commerciaux.
En anglais : text token, token.
Voir aussi : apprentissage automatique, grand modèle de langage, instruction générative
Journal officiel du 6 septembre 2024
D'après FranceTerme, la base des termes publiés au Journal officiel par la Commission d'enrichissement de la langue française (ministère de la Culture, licence ouverte). Ces termes s'imposent aux administrations de l'État ; pour les autres, ils sont une recommandation.