NVIDIA et Apple ont résolu le problème matériel. Voici ce qu'il reste à construire.

Après le GTC 2026, une chose est fondamentalement réglée : la couche matérielle pour l’IA sur l’appareil n’est plus le goulot d’étranglement.

Le RTX Spark de NVIDIA intègre un GPU Blackwell + un processeur Grace + 128 Go de mémoire unifiée dans un format de bureau. Les puces de la série M d'Apple avec une architecture de mémoire unifiée et une conception axée sur l'efficacité permettent aux modèles de paramètres 4B et même 7B de fonctionner sans problème sur un MacBook. Deux approches différentes, même destination : le matériel grand public dispose désormais de la base de calcul pour exécuter des agents d'IA sur l'appareil.

Les vendeurs de chips ont fait leur part. La question suivante est : combien de couches manquent encore entre « une puce peut exécuter un modèle d’IA » et « un agent sur l’appareil peut réellement accomplir des tâches utiles » ?

Cet article présente la pile technologique complète pour les agents d'IA sur appareil, en examinant la maturité de chaque couche, en identifiant les lacunes et en suivant ce que la communauté open source a construit jusqu'à présent.

Couche 1 : Silicium (Prêt)

L’inférence IA sur appareil a des exigences en matière de puce différentes de celles des charges de travail de calcul traditionnelles. Le principal goulot d'étranglement n'est pas le pic de FLOPS, mais la bande passante mémoire et la capacité de mémoire unifiée. L'inférence LLM nécessite des poids de modèle entièrement chargés en mémoire, avec un mouvement de données à haute fréquence entre les matrices de poids et des activations pendant le calcul. Si la bande passante mémoire ne peut pas suivre, la puissance de calcul brute reste inactive en attendant les données.

Il existe aujourd’hui trois voies principales du sili...
[Courte citation de 8% de l'article original]