Comment utiliser un modèle IA utilisant GPU dans Magalu Cloud

Auteur : Cleverson Gallego - Chef de produit technique principal

Les modèles de langage (LLM et SLM) sont tous les plus accessibles, mais configurés dans les environnements optimisés du GPU et l'armement peuvent être un défi.

Avec Magalu Cloud, il est possible de créer en quelques minutes une instance avec GPU, d'ajouter des volumes NVMe via Block Storage et d'exécuter des déductions avec de hautes performances et une faible latence, tout cela avec la confidentialité et la prévisibilité des clients.

Dans ce guide, nous allons vous démontrer étape par étape comment configurer une ambiance pour déterminer les modèles comme Gemma 3 27B, Mistral 7B, entre autres.

Pré-requis

Avant de démarrer, il sera nécessaire :

• Un locataire actif sur Magalu Cloud ;
• CLI installée et authentique ;
• Connaissances de base sur Linux, Ansible et Ollama.

Escolhendo o modelo certo

C'est une relation essentielle pour dimensionner correctement l'environnement, en évitant les dépenses nécessaires et en garantissant la consommation maximale du GPU.

Avant de sélectionner une machine virtuelle et un GPU que nous pouvons utiliser, c'est important en pensant à certains points :

• Qu'est-ce qui sera le cas d'utilisation pour le modèle ?
• Quel modèle utiliser ?
• Quelle est la quantité idéale de paramètres pour mon cas d'utilisation ?

Les paramètres d'un modèle (par exemple, 27 billets de Gemma 3, de Google) ont des valeurs numériques apprises pendant la formation du modèle et définissent le comportement interne du réseau neuronal du modèle.

Ils incluent :

• Pesos (poids) : coefficients qui déterminent la force entre les neurones artificiels ;
• Biais : ajuste les paramètres supplémentaires utilisés pour localiser les paramètres activés.

Pour simplifier : « Les paramètres sont la « connaissance condensée » que le modèle apprend à être form...
[Courte citation de 8% de l'article original]