Combien cela coûte-t-il de démarrer une entreprise d'IA?
La réponse est de moins en moins chaque jour car des modèles de gros langues sont créés pour des sommes de plus en plus petites.
Le coût de l'informatique de l'IA baisse. De plus, une technique appelée distillation pour fabriquer des LLM décents à des prix de réduction se propage. Cela a envoyé une étincelle à travers des parties de l'écosystème de l'IA et un refroidissement à travers les autres.
La distillation est un ancien concept gagnant une nouvelle signification. Pour la plupart, c'est une bonne nouvelle. Pour quelques privilégiés, c'est compliqué. Et pour l'avenir de l'IA, c'est important.
Les développeurs et les experts de l'IA affirment que la distillation est, à la base, utilise un modèle pour en améliorer un autre. Un modèle plus grand "professeur" est invité à générer des réponses et des chemins de raisonnement et un modèle "étudiant" plus petit imite son comportement.
La société chinoise Deepseek a provoqué un sens avec des modèles compétitifs OpenAI qui se sont entraînés pour environ 5 millions de dollars. Il a envoyé le marché boursier en panique, punissant NVIDIA avec une perte de 600 milliards de dollars de capitalisation boursière pour le rétrogradation potentielle de la demande de puces. (Un tel déclin n'a pas encore matérialisé.)
Une équipe de chercheurs de l'UC Berkeley, volant plus loin sous le radar, a formé deux nouveaux modèles pour moins de 1000 $ en coûts informatiques, selon les recherches publiées en janvier.
Début février, des chercheurs de l'Université de Stanford, de l'Université de Washington et de l'Institut Allen pour l'IA ont pu former un modèle de raisonnement utilisable pour une fraction de cela.
La distillation était un déverrouillage pour tous ces développements.
Il s'agit d'un outil dans les boîtes à outils des développeurs, aux côtés du réglage fin, pour améliorer les modèles dans la phase de formation, mais à un coût beaucoup plus faible que les autres méthodes. Les deux techniques sont utilisées par les développeurs pour donner aux modèles une expertise ou des compétences spécifique.
Cela pourrait signifier prendre un modèle de fondation générique comme Meta's Llama et utiliser un autre modèle pour le distiller en un expert en droit fiscal américain, par exemple.
Il pourrait également sembler utiliser le modèle de raisonnement R1 de Deepseek pour distiller Llama pour avoir plus de capacités de raisonnement - ce qui signifie que l'IA prend plus de temps pour générer une réponse afin de remettre en question sa propre logique et de disposer le processus d'atteindre une réponse étape par étape.
"Peut-être que la partie la plus intéressante du document R1 a peut-être été de transformer des modèles plus petits non-relaxants en raison de ceux qui les ont affinés avec des sorties d'un modèle de raisonnement", a écrit les analystes en semi-analyse en janvier.
En plus de l'étiquette de prix de bonne affaire - au moins pour AI - Deepseek a libéré des versions distillées d'autres modèles open source en utilisant le modèle de raisonnem...
[Courte citation de 8% de l'article original]