- Les entreprises d’IA sont confrontées à des retards et à des défis dans la formation de nouveaux grands modèles de langage
- Certains chercheurs se concentrent sur plus de temps pour l'inférence dans les nouveaux modèles
- Ce changement pourrait avoir un impact sur la course aux armements de l’IA pour des ressources telles que les puces et l’énergie
11 novembre (Reuters) - Les sociétés d'intelligence artificielle comme OpenAI cherchent à surmonter les retards et les défis inattendus dans la recherche de modèles de langage toujours plus vastes en développant des techniques de formation qui utilisent des méthodes de « pensée » plus humaines pour les algorithmes.
Une douzaine de scientifiques, chercheurs et investisseurs en IA ont déclaré à Reuters qu'ils pensaient que ces techniques, qui sont à l'origine du modèle o1 récemment publié par OpenAI, pourraient remodeler la course aux armements en matière d'IA et avoir des implications sur les types de ressources pour lesquelles les entreprises d'IA ont une demande insatiable, notamment l'énergie. aux types de chips.
OpenAI a refusé de commenter cette histoire. Après la sortie du chatbot viral ChatGPT il y a deux ans, les entreprises technologiques, dont les valorisations ont grandement bénéficié du boom de l’IA, ont publiquement soutenu que « l’augmentation » des modèles actuels en ajoutant davantage de données et de puissance de calcul conduirait systématiquement à des modèles d’IA améliorés.
Mais aujourd’hui, certains des plus éminents scientifiques en IA s’expriment sur les limites de cette philosophie selon laquelle « plus c’est gros, mieux c’est ».
Ilya Sutskever, co-fondateur des laboratoires d'IA Safe Superintelligence (SSI) et OpenAI, a récemment déclaré à Reuters que cela résulte de l'intensification de la pré-formation - la phase de formation d'un modèle d'IA qui utilise une grande quantité de données non étiquetées pour comprendre les modèles et les structures linguistiques. - ont atteint un plateau.
Sutskever est largement reconnu comme l'un des premiers défenseurs de la réalisation de progrès massifs dans l'avancement de l'IA générative grâce à l'utilisation de davantage de données et de puissance de calcul lors de la pré-formation, ce qui a finalement donné naissance à ChatGPT. Sutskever a quitté OpenAI plus tôt cette année pour fonder SSI.
« Les années 2010 étaient l'ère de la mise à l'échelle, maintenant nous sommes de retour à l'ère de l'émerveillement et de la découverte. Tout le monde cherche la prochaine chose », a déclaré Sutskever. « Il est plus que jamais important de mettre à l’échelle la bonne chose. »
Sutskever a refusé de partager plus de détails sur la façon dont son équip...
[Courte citation de 8% de l'article original]