J'ai construit un ensemble de données GPU pour l'inférence LLM - Voici ce que j'ai appris

TL;DR : La plupart des conseils GPU pour les LLM sont soit obsolètes, soit trop génériques. J'ai commencé à collecter des données du monde réel (VRAM, ajustement du modèle, jetons/sec) et les modèles sont étonnamment cohérents.

Pourquoi j'ai construit ça

Si vous avez essayé d'exécuter des LLM localement (Ollama, llama.cpp, vLLM), vous avez probablement rencontré ce problème :

• « Mon GPU peut-il exécuter ce modèle ? »
• « Pourquoi le 13B rentre-t-il à peine mais fonctionne-t-il si lentement ? »
• « Ai-je vraiment besoin de 24 Go de VRAM ? »

Les réponses en ligne sont partout.

J'ai donc commencé à constituer un petit ensemble de données basé sur :

• repères communautaires
• contraintes ...
  [Courte citation de 8% de l'article original]