LLM-Manager : Orchestration d'Ollama et Llama.cpp avec Pure Bash

LLM-Manager est une suite Bash légère et modulaire avec une double interface JSON/Interactive conçue pour gérer les moteurs d'inférence locaux et distants sous Linux et WSL2.

Lorsque j'ai commencé à expérimenter les grands modèles linguistiques (LLM) pour créer une application RAG (Retrieval-Augmented Generation) sur site, je me suis heurté à un énorme obstacle : la fragmentation de l'environnement.

La gestion de plusieurs moteurs d'inférence comme Ollama et Llama.cpp impliquait la mémorisation de différents indicateurs de ligne de commande, variables d'environnement et configurations. Une fois mes prototypes frontend et backend prêts pour les tests, j'ai réalisé que je passais trop de temps à démarrer, arrêter, charger et décharger manuellement les modèles.

J'ai cherché des solutions en ligne. La plupart des gens ont suggéré des scripts Python complexes, des configurations Docker lourdes, des flux de travail n8n ou des tableaux de bord Web compliqués.

Je ne voulais pas de ballonnement. Je voulais quelque chose de léger qui exécute les commandes comme si je les faisais manuellement, mais sans charge cognitive.

C'est pourquoi j'ai construit LLM-Manager : une suite d'orchestration modulaire entièrement écrite en pur Bash.

Pourquoi Bash ?

Choisir Bash n’était pas une question de vieille école ; c'était une décisi...
[Courte citation de 8% de l'article original]