JETON TEXTUEL, n. m.

Domaine : informatique.

Définition : donnée élémentaire d’un grand modèle de langage, qui est constituée d’une suite de caractères obtenue par la segmentation automatique d’un texte.

Note 1 : la segmentation en jetons textuels est utilisée aussi bien dans la phase d’apprentissage automatique que dans la phase de traitement d’une instruction générative.

Note 2 : le nombre de jetons textuels sert à mesurer la taille d’un grand modèle de langage ; il permet aussi d’estimer et de facturer le coût de fonctionnement des grands modèles de langage commerciaux.

Voir aussi : apprentissage automatique, grand modèle de langage et instruction générative.

Anglais : text token, token.

Source : liste officielle publiée au J.O. du 6 septembre 2024