Exécutez LangTrace - Outil d'observabilité Open Source pour les applications LLM

Langtrace est un outil d'observabilité open source sous licence AGPL-3.0 et disponible gratuitement pour les utilisateurs et la communauté. Il capture, débogue et analyse les traces et les métriques de toutes vos applications en tirant parti des API LLM, des bases de données vectorielles et des frameworks basés sur LLM.

Langtrace permet un traçage transparent avec la prise en charge d'Open Telemetry, une surveillance en temps réel, des informations sur les performances, des analyses détaillées et des outils de débogage efficaces. Il offre également une option d'auto-hébergement pour un contrôle total sur le déploiement.

Conditions préalables

• Une machine virtuelle (telle que celles fournies par NodeShift) avec au moins :
  • 8 processeurs virtuels
  • 16 Go de RAM
  • SSD de 150 Go (au moins)
• Machine virtuelle Ubuntu 22.04
• Accès à votre serveur via SSH

Processus étape par étape pour installer l'outil LangTrace localement

Pour les besoins de ce didacticiel, nous utiliserons une machine virtuelle alimentée par CPU proposée par NodeShift ; cependant, vous pouvez reproduire les mêmes étapes avec n'importe quel autre fournisseur de cloud de votre choix. NodeShift fournit les machines virtuelles les plus abordables à une échelle qui répond aux exigences RGPD, SOC2 et ISO27001.

Cependant, si vous préférez utiliser une machine virtuelle alimentée par GPU, vous pouvez toujours suivre ce guide. LangTrace fonctionne également sur les machines virtuelles basées sur GPU, les performances sont meilleures et plus rapides que celles des machines virtuelles CPU sur les machines virtuelles GPU. Le processus d'installation reste en grande partie le même, vous permettant d'obtenir des fonctionnalités similaires sur une machine alimentée par GPU. L'infrastructure de NodeShift est polyvalente, vous permettant de choisir entre des configurations GPU ou CPU en fonction de vos besoins spécifiques et de votre budget.

Passons aux étapes de configuration et d'installation pour que Screenshot to Code fonctionne efficacement sur la machine virtuelle de votre choix.

Étape 1 : Inscrivez-vous et configurez un compte Cloud NodeShift

• Visitez la plateforme NodeShift et créez un compte.
• Une fois inscrit, connectez-vous à votre compte.
• Suivez le processus de configuration du compte et fournissez les détails et informations nécessaires.

Étape 2 : Créer un nœud de calcul (machine virtuelle CPU)

NodeShift Compute Nodes offre des ressources à la demande flexibles et évolutives telles que les machines virtuelles NodeShift qui sont facilement déployées et sont livrées avec des nœuds à usage général, alimentés par CPU ou optimisés pour le stockage.

• Accédez au menu sur le côté gauche.
• Sélectionnez l'option Nœuds de calcul.
• Cliquez sur le bouton Créer des nœuds de calcul dans le tableau de bord pour créer votre premier déploiement.

Étape 3 : Sélectionnez la garantie de disponibilité de la machine virtuelle

• Choisissez l’option Garantie de disponibilité de la machine virtuelle en fonction de vos besoins. NodeShift offre un SLA de disponibilité de 99,99 % pour une fiabilité élevée.
• Cliquez sur « Afficher les informations sur la fiabilité » pour consulter les options détaillées du SLA et de la fiabilité.

Étape 4 : Sélectionnez une région...
[Courte citation de 8% de l'article original]