Le 12 décembre, Google a annoncé le lancement officiel de son TPU (processeur tenseur) de sixième génération, Trillium.
Mark Lohmeyer, vice-président et directeur général de l'infrastructure informatique et d'intelligence artificielle de Google, a déclaré que le grand modèle Gemini 2.0 de Google utilise Trillium pour la formation. Le TPU est un composant clé du supercalculateur Google Cloud AI (AI Hypercomputer). des logiciels ouverts, des cadres d'apprentissage automatique de pointe et des modèles de consommation flexibles.
Barak Lenz, directeur technique de la société israélienne d'intelligence artificielle AI21 Labs, a déclaré qu'AI21 Labs est un utilisateur de longue date de TPU v4 et que Trillium a réalisé des progrès significatifs en termes d'échelle, de rapidité et de rentabilité.
À l’ère de l’intelligence artificielle où le GPU accélère tout, le TPU est comme une espèce extraterrestre. Après tout, si vous saisissez le mot-clé « TPU » dans les principaux logiciels de recherche, les premiers résultats affichés sont le polyuréthane dans la discipline des matériaux.
Le TPU a émergé grâce à Google et le marché du TPU a prospéré grâce à Google. L'histoire qui explique pourquoi le TPU a été développé et comment les ingénieurs de l'équipe TPU ont poussé l'industrie vers la prospérité après avoir quitté Google mérite d'être racontée.
Google est "obligé" de développer le TPU
En 2009, Geoffrey Hinton a appliqué les réseaux neuronaux profonds à la modélisation de la parole et a obtenu les meilleurs résultats de l'époque sur TIMIT (Acoustic-Phoneme Continu Speech Corpus). La technologie des réseaux neuronaux d'apprentissage profond a commencé à briller dans le domaine de la reconnaissance vocale.
Si ChatGPT est le point de départ de la vague actuelle d’intelligence artificielle, alors l’émergence de l’architecture de réseau neuronal AlexNet est l’étape précédente.
En 2012, l'architecture AlexNet proposée par Alex Krizhesky, Ilya Sutskever et Hinton a utilisé le GPU pour construire un modèle d'apprentissage profond, battant le record mondial de reconnaissance d'image de l'époque, avec une précision de 85 %, et a remporté le concours ImageNet cette année-là.
L'application de l'intelligence artificielle dans les domaines de la reconnaissance vocale et d'images a attiré l'attention de Google. Après tout, ces deux domaines sont étroitement liés aux activités principales de Google telles que la recherche, les cartes, les photos et la traduction. Alors que Google envisage de lancer une fonctionnalité mondiale de reconnaissance vocale, l’équipe de recherche a découvert que la quantité de calculs d’intelligence artificielle à traiter dépasserait sa puissance de calcul existante.
Jeff Dean, scientifique en chef de Google, a déclaré dans une interview : « À cette époque, nous avions estimé approximativement la quantité de puissance de calcul qui serait gé...
[Courte citation de 8% de l'article original]