TL;DR : Charger des modèles d'IA dans et hors de la mémoire semble simple mais nécessite des milliers de lignes de code en production. Ce référentiel présente cinq modèles d'orchestration de base (chargement/déchargement dynamique, persistant, basé sur un délai d'attente, échange factice) pour différents cas d'utilisation (jeux, développement, travail créatif). Chaque modèle est simple individuellement, mais les implémentations réelles nécessitent une optimisation approfondie pour la diversité matérielle (NVIDIA, AMD, Intel, ARM NPU), plusieurs environnements d'exécution (ONNX, PyTorch, TensorFlow, lama.cpp) et l'équilibre sécurité-performance. Même les distributions « minimales » nécessitent des milliers de lignes, car la rigueur de la confidentialité transforme un simple chargement en systèmes complexes préservant la confidentialité. Il s'agit de la conception fondamentale de NeuroShellOS, un modèle ouvert (CC BY-SA 4.0) pour les systèmes d'exploitation intégrés à l'IA.
Lorsque vous interagissez avec un assistant IA sur votre ordinateur, vous ne pensez probablement pas à ce qui se passe en coulisses lorsque le modèle est chargé en mémoire. Vous cliquez, vous attendez quelques secondes et l'IA commence à répondre. Simple, non ?
Même pas proche.
J'ai récemment créé un ensemble de conceptions d'orchestration de base qui démontrent différentes approches de chargement et de déchargement de modèles d'IA en mémoire. Celles-ci sont intentionnellement minimes : il s’agit simplement des modèles fondamentaux sur la manière dont un système d’exploitation peut gérer les modèles d’IA. Pourtant, même ces conceptions « de base » révèlent une vérité profonde : le simple fait de charger et de décharger efficacement des modèles est extraordinairement complexe.
Soyons clairs dès le début : ce référentiel concerne uniquement les conceptions de systèmes de chargement et de déchargement. Il ne discute pas des modèles à utiliser, du fonctionnement de l'inférence, de la logique de sélection des modèles ou de l'une des centaines d'autres problèmes liés à un système d'IA complet. Il s’agit exclusivement d’une seule question : comment faire entrer et sortir efficacement des modèles de la mémoire ?
Cela peut paraître étroit. Ce n'est pas le cas.
Le référentiel présente cinq modes d'orchestration différents, chacun optimisé pour différents scénarios du monde réel :
Mode 1 : Chargement/Déchargement dynamique - Chargez le modèle, traitez une demande, déchargez immédiatemen...
[Courte citation de 8% de l'article original]