Maintenant que presque tout le monde a réfléchi ou intègre activement les workflows d’IA dans ses projets, certains pourraient se demander si tout cela en vaut le coût ? Beaucoup pensent que l’économie actuelle du secteur de l’IA n’est pas évolutive et qu’il y aura une hausse des prix. D’autres pourraient encore ne pas être à l’aise avec l’envoi de leurs données à des services distants pour traitement. Ensuite, il y a ceux qui souhaitent déployer des modèles dans de petits espaces avec un calcul limité.

Existe-t-il des moyens de déployer de petits modèles localement et de les exécuter à moindre coût ? Oui, avec la distillation des connaissances. La distillation des connaissances peut avoir une mauvaise réputation en raison de son utilisation discutable dans la formation de certains grands modèles linguistiques (LLM). Mais c'est un moyen parfaitement valable de transférer les performances d'un modèle plus grand vers un modèle plus petit. Surtout lorsque les deux modèles sont à vous et/ou ouverts.

Cet article explorera la distillation progressive, une technique permettant de transférer progressivement les connaissances d'une série de modèles d'enseignants plus grands vers un élève plus petit.

Installer les dépendances

Installertxtaiet toutes les dépendances.

Configurer le pipeline de formation

La première étape que nous devons faire est de configurer...
[Courte citation de 8% de l'article original]