PRX Partie 3 — Formation d'un modèle texte-image en 24h !

Introduction

Bon retour 👋

Dans les deux derniers articles (Partie 1 et Partie 2), nous avons exploré un large éventail d'astuces architecturales et de formation pour les modèles de diffusion. Nous avons essayé d'évaluer chaque idée isolément, en mesurant le débit, la vitesse de convergence et la qualité de l'image finale, et avons essayé de comprendre ce qui faisait réellement bouger l'aiguille.

Dans cet article, nous souhaitons répondre à une question beaucoup plus pratique :

Que se passe-t-il lorsque nous combinons toutes les astuces qui ont fonctionné ?

Au lieu d’optimiser une dimension à la fois, nous regrouperons les ingrédients les plus prometteurs et verrons jusqu’où nous pouvons pousser les performances avec un budget de calcul strict.

Pour rendre les choses concrètes, nous faisons un speedrun de 24 heures :

• 32H200
• Budget de calcul total d'environ 1 500 $ (2 $/heure/GPU)

Nous sommes très loin des débuts de la diffusion, où la formation de modèles compétitifs pouvait coûter des millions de dollars. L’objectif ici est de démontrer à quel point le domaine a évolué et jusqu’où une ingénierie minutieuse peut vous mener en une seule journée de formation.

Ce speedrun n’est pas seulement une expérience amusante. Il servira probablement de base à notre recette de formation à grande échelle à l’avenir.

Parallèlement aux résultats, nous rendons également open source notre code (Github), qui contient :

• Le code d'entraînement utilisé pour ce speedrun
• Le cadre expérimental du billet de blog précédent

Vous pouvez donc tout reproduire, modifier et étendre vous-même.

La recette de formation

Passons maintenant en revue le déroulement de cette course de 24 heures.

Prédiction X et entraînement dans l'espace pixel

Nous utilisons la formulation de prédiction x de Back to Basi...
[Courte citation de 8% de l'article original]