Jetons vs morceaux

DEV - 14/09
Tokens vs Chunks En lisant des articles ou des documentations, vous verrez que parfois,...

Jetons vs morceaux

En lisant des articles ou des documentations, vous verrez que parfois, les « jetons » et les « morceaux » sont traités comme des synonymes, mais ils représentent généralement des niveaux de granularité différents. Démonstration par définitions :

Jetons

  • Un jeton est la plus petite unité de données traitée par le modèle NLP, comm...
    [Courte citation de 8% de l'article original]