Exécution de modèles AI avec Docker Compose

Docker Compose a complètement changé le jeu dans la façon dont nous exécutons et connectons une application multi-services. Exécutez simplement une seule ligne de commande, et tout est opérationnel, et tous les services sont bien interconnectés.

Lorsque Docker a présenté le Docker Model Runner (ou DMR, nous l'appelons en interne dans Docker), il y avait une pièce manquante (au moins pour moi). Pour utiliser un modèle AI avec une application Compose, nous devons séparément exécuter le modèle avec DMR, puis connecter notre service d'application Compose en passant la configuration de ce modèle en cours d'exécution.

Mais Docker le savait, et cela l'a réglé en ajoutant la capacité de décrire un modèle d'IA dans YAML,compose.ymlPour courir et détruire le modèle d'IA à la demande. Comme nous écrivons et faisons la configuration pourservices,réseaux, etvolumes. Nous pouvons faire de même pour les modèles d'IA avecmodèles.

Condition préalable

• Docker et Docker Compose sont installés
• Compréhension de l'IA et des LLM

Commencer

Commençons. Pour avoir une meilleure compréhension du concept et du travail, j'ai créé un projet GitHub: Pradnasaraf / Saraf-ai (oui, c'est mon nom de famille «Saraf» et je l'ai ajouté «AI» :)). Il s'agit d'une application de...
[Courte citation de 8% de l'article original]