Microsoft et NVIDIA misent sur les petits modèles. Les grands modèles n'ont-ils plus la cote ?

Chaque journaliste Wen Qiao Journaliste stagiaire Yue Chupeng Chaque rédacteur Gao Han

Sur la voie du développement de l'intelligence artificielle, les géants de la technologie rivalisaient autrefois pour développer des modèles de langage à grande échelle, mais une nouvelle tendance est désormais apparue : les petits modèles de langage (SLM) émergent progressivement, remettant en question le concept passé selon lequel « plus c'est gros, mieux c'est ». .

Le 21 août, heure locale, Microsoft et NVIDIA ont publié successivement les derniers modèles de petits langages-Phi-3.5-mini-instruct et Mistral-NeMo-Minitron8B. Le principal argument de vente des deux modèles est qu’ils offrent un bon équilibre entre l’utilisation des ressources informatiques et les performances fonctionnelles. À certains égards, leurs performances peuvent même rivaliser avec des modèles plus grands.

Clem Delangue, PDG de la startup d'intelligence artificielle Hugging Face, a souligné que jusqu'à 99 % des scénarios d'utilisation peuvent être résolus par le SLM et a prédit que 2024 sera l'année du SLM. Selon des statistiques incomplètes, les géants de la technologie, dont Meta, Microsoft et Google, ont lancé 9 petits modèles cette année.

Les coûts de formation des grands modèles augmentent

L’essor du SLM n’est pas accidentel, mais est étroitement lié aux enjeux des grands modèles (LLM) en termes d’amélioration des performances et de conso...
[Courte citation de 8% de l'article original]