Tokens & Tokenisation: la science derrière les coûts, la qualité et la production de LLM

Tokens & Tokenisation: la science derrière les coûts, la qualité et la production de LLM

Lorsque vous interagissez avec Chatgpt, Llama ou d'autres modèles de grande langue (LLM), chaque mot que vous tapez a un coût caché - littéralement. C'est parce que ces modèles ne "lisent" pas le texte comme nous le faisons. Ils le décomposent en jetons - les unités atomiques qui déterminent comment votre invite est traitée, combien cela coûte et à quel point la réponse sera bonne.

Dans cet article, nous explorerons la science des jetons, le fonctionnement de la tokenisation et comment l'utiliser à votre avantage.

Que sont exactement des jetons et des intégres?

• Tokens: petits morceaux de texte (mots, sous-mots ou même caractères) que le modèle traite.
• Incorporation: représentations vectorielles à haute dimension de ces jetons qui capturent le sens et le contexte.

Avant que les intégres donnent un sens à jeton, le modèle doit d'abord décider ce qui compte comme un jeton - et c'est là que la t...
[Courte citation de 8% de l'article original]