Construire un sizer Azure VM pour LLMS - avec Codex faisant 90% du travail

Introduction

Dernièrement, j'ai envisagé d'héberger des modèles ouverts sur des machines virtuelles Azure dédiées et de penser: à quel point peut-il être difficile de choisir la bonne machine virtuelle et combien de coûts pouvez-vous réellement économiser en choisissant un modèle plus petit? Bien sûr, les options sans serveur de Microsoft sont moins chères et beaucoup plus faciles à déployer. Mais j'aime savoir comment les choses fonctionnent et gérer mon propre calcul, en partie par curiosité technique, en partie pour la conformité et la vie privée. Faire fonctionner sur des machines virtuelles dédiées vous donne plus de contrôle sur les deux fronts.

Je n'ai pas pu trouver de guide clair et pratique pour dimensionner une machine virtuelle en fonction du modèle que vous choisissez, donc j'en ai construit un: une application Web rapide à une page. Essayez-le ici → Live Azure LLM Sizer (Code: GitHub). Pour se déplacer rapidement (et éviter d'écrire plus de code que nécessaire), j'ai utilisé Codex pour environ 90% des travaux. Dans cet article, je couvrirai la façon dont j'ai construit le site avec Codex, où il est utile et où il atteint ses limites, et je partagerai ce que j'ai appris en cours de route, plus la prochaine.

Comment je le construis avec Codex

J'ai commencé avec une définition de problème simple, un objectif approximatif pour l'application et quelques grandes exigences. J'ai délibérément gardé les choses ouvertes à la fin pour voir quels frameworks il choisirait. J'ai nourri la de...
[Courte citation de 8% de l'article original]