Exécuter un serveur vLLM sur des tâches HF en une seule commande

Vous pouvez créer un point de terminaison LLM privé et compatible OpenAI sur l'infrastructure Hugging Face avec une seule commande : pas de serveurs à provisionner, pas de Kubernetes, paiement à la seconde. Une fois terminé, vous pouvez l'interroger depuis votre ordinateur portable, un ordinateur portable ou n'importe où ailleurs.

C'est le moyen le plus rapide de mettre en place un modèle pour des tests, des évaluations ou la génération de lots. (Si vous recherchez plutôt un service géré et prêt pour la production, c'est à cela que servent les points de terminaison d'inférence - plus d'informations sur le moment de choisir lequel à la fin.)

Voici le tout bout à bout.

Conditions préalables

• Un mode de paiement ou un solde créditeur prépayé positif (les tâches sont facturées à la minute en fonction de l'utilisation du matériel).
• câlinface_hub >= 1.20.0:pip install -U "huggingface_hub>=1.20.0".
• Connecté localement :connexion d'authentification hf.

Lancez le serveur

les travaux hf sont exécutésestexécution du dockerpour les infrastructures HF. Nous utilisons le fonctionnairevllm/vllm-openaiimage, demandez un GPU avec--saveur, et exposez le port de vLLM avec--exposer:

les tâches hf sont exécutées --flavor a10g-large --expose 8000 --timeout 2h \ vllm/vllm-openai:latest \ vllm serve Qwen/Qwen3-4B --host 0.0.0.0 --port 8000

--exposer 8000achemine le port du conteneur via le proxy de tâches publiques de HF (voir le guide Serve Models pour la référence complète). La commande imprime l'URL à laquelle votre serveur est accessible :

✓ ID du travail démarré : 6a381ca1953ed90bfb947332 URL : https://huggingface.co/jobs/qgallouedec/6a381ca1953ed90bfb947332 Indice : les ports exposés sont accessibles à (nécessite un jeton HF avec accès en lecture au travail) : https://6a381ca1953ed90bfb947332--...
[Courte citation de 8% de l'article original]