Les dirigeants de la Silicon Valley qui s’investissent pleinement dans le boom de l’intelligence artificielle ont un message à adresser aux critiques : leur technologie n’a pas heurté un mur.
Un débat acharné sur la question de savoir si les améliorations des modèles d’IA ont atteint leurs limites a éclaté ces dernières semaines, obligeant plusieurs PDG à réagir. Le patron d'OpenAI, Sam Altman, a été parmi les premiers à s'exprimer, publiant sur X ce mois-ci qu'« il n'y a pas de mur ».
Dario Amodei, PDG de la société rivale Anthropic, et Jensen Huang, PDG de Nvidia, ont également contesté les informations selon lesquelles les progrès de l'IA auraient ralenti. D'autres, dont Marc Andreessen, affirment que les modèles d'IA ne s'améliorent pas sensiblement et convergent tous pour fonctionner à des niveaux à peu près similaires.
C’est une question qui coûte des milliards de dollars pour l’industrie technologique. Si les méthodes éprouvées de formation de modèles d’IA fournissent des rendements décroissants, cela pourrait saper la raison principale d’un cycle d’investissement sans précédent qui finance de nouvelles startups, de nouveaux produits et centres de données – et même la relance de centrales nucléaires inutilisées.
Business Insider s'est entretenu avec 12 personnes à l'avant-garde du secteur de l'IA, dont des fondateurs de startups, des investisseurs et des initiés actuels et anciens de Google DeepMind et OpenAI, sur les défis et les opportunités à venir dans la quête d'une IA superintelligente.
Ensemble, ils ont déclaré qu’exploiter de nouveaux types de données, intégrer le raisonnement dans les systèmes et créer des modèles plus petits mais plus spécialisés sont quelques-uns des moyens de faire tourner les rouages du progrès de l’IA.
Les chercheurs soulignent deux obstacles clés que les entreprises peuvent rencontrer dans une première phase du développement de l’IA, connue sous le nom de pré-formation. Le premier est l’accès à la puissance de calcul. Plus précisément, cela signifie se procurer des puces spécialisées appelées GPU. Il s'agit d'un marché dominé par le géant des puces Nvidia, basé à Santa Clara, qui a dû faire face à des contraintes d'approvisionnement face à une demande ininterrompue.
"Si vous avez 50 millions de dollars à dépenser en GPU mais que vous êtes en bas de la liste de Nvidia, nous n'avons pas assez de kimchi pour y parvenir, et cela prendra du temps", a déclaré Henri Tilloy, associé de la société française de capital-risque Singular. .
Il existe également un autre problème d’approvisionnement : les données de formation. Les entreprises d’IA se sont heurtées à des limites quant à la quantité de données publiques qu’elles peuvent sécuriser pour alimenter leurs grands modèles de langage, ou LLM, en pré-formation.
Cette phase consiste à former un LLM sur un vaste corpus de données, généralement récupérées sur Internet, puis traitées par des GPU. Ces informations sont ensuite décomposées en « jetons », qui constituent les unités fondamentales de données traitées par un modèle.
Même si l’ajout de plus de données et de GPU sur un modèle a produit de manière fiable des modèles plus intelligents année après année, les entreprises ont épuisé l’offre de données accessibles au public sur Internet. La société de recherche Epoch AI prédit que les données textuelles utilisables pourraient être éliminées d’ici 2028.
"L'Internet n'a qu'une étendue limitée", a déclaré à BI Matthew Zeiler, fondateur et PDG de Clarifai.
Eric Landau, cofondateur et PDG de la startup de données Encord, a déclaré que c'est là que d'autres sources de données offriront une voie à suivre dans la lutte pour surmonter le goulot d'étranglement des données publiques.
Un exemple est celui des données multimodales, qui impliquent d’alimenter les systèmes d’IA en sources d’informations visuelles et audio, telles que des photos ou des enregistrements de podcast. "C'est une partie du tableau", a déclaré Landau. "J'ajoute simplement plus de modalités de données." Les laboratoires d'IA ont déjà commencé à utiliser les données multimodales comme outil, mais Landau affirme qu'elles restent « très sous-utilisées ».
Sharon Zhou, cofondatrice et PDG de la plateforme LLM Lamini, voit un autre domaine largement inexploité : les données privées. Les entreprises ont conclu des accords de licence avec des éditeurs ...
[Courte citation de 8% de l'article original]