Une machine âgée utilisait Llama2 il y a 26 ans, avec 39 jetons par seconde : un PC AI peut aussi être Windows 98

Rapport sur le cœur de la machine

Editeur : Chen Chen, Sauce aux œufs

Laissez Llama 2 fonctionner sur une machine Windows 98 Pentium 2 (Pentium II). Non seulement cela a réussi, mais le rendement a atteint 39,31 tok/seconde.

Ce PC est probablement plus âgé que vous, étant donné qu'il a 26 ans et qu'il dispose d'un processeur Intel Pentium 2 et de 128 Mo de RAM.

Le projet était une tentative audacieuse d'un groupe appelé EXO Labs pour prouver que si le modèle Llama fonctionnait sur du matériel vieux de 26 ans, il pourrait fonctionner n'importe où.

Pour prouver que cela se produit réellement, EXO Labs a également publié une vidéo. La vidéo montre un ancien ordinateur Elonex Pentium 2 à 350 MHz démarrant sous Windows 98, puis lançant un moteur d'inférence C pur personnalisé basé sur Llama2.c développé par Andrej Karpathy, et demandant à LLM de générer une histoire sur Sleepy Joe.

Étonnamment, cela a fonctionné et l’histoire a été générée très rapidement.

Lien vidéo : https://mp.weixin.qq.com/s/TRR5yZz5we1ezNuwfIMGjA?token=654253964&lang=zh_CN

Cependant, l’exploit révélateur mentionné ci-dessus est loin d’être l’objectif ultime d’EXO Labs. Cette organisation quelque peu mystérieuse a été officiellement créée en septembre, avec pour mission de « rendre l’intelligence artificielle accessible au plus grand nombre ». L'organisation est composée de chercheurs et d'ingénieurs de l'Université d'Oxford. En bref, EXO estime que le contrôle de l’intelligence artificielle par quelques grandes entreprises est une très mauvaise chose pour la culture, la vérité et d’autres aspects fondamentaux de notre société. Par conséquent, EXO souhaite construire une infrastructure ouverte pour former des modèles de poi...
[Courte citation de 8% de l'article original]