vLLM V0 à V1 : exactitude avant corrections dans RL

PipelineRL utilise vLLM comme moteur d'inférence pour la génération de déploiement. Le moteur d'inférence échantillonne les jetons et renvoie les journaux de jetons ; le formateur utilise ces logprobs pour calculer les ratios de politique, KL, le taux de clip, l'entropie et la récompense. Toute divergence dans la façon dont ces logprobs sont calculés peut modifier la dynamique de la formation. Il s'agit de l'inadéquation train-inférence que nous devions éliminer lors de la migration de vLLM V0 vers V1.

TL;DR. vLLM V1 correspondait à notre référence vLLM V0 après avoir corrigé quatre éléments : les problèmes de journalisation de déploiement traités, les paramètres d'exécution par défaut spécifiques à la V1, le chemin de mise à jour du poids en vol et le fp32.lm_headutilisé pour la projection finale. Nous avons corrigé le comportement du backend avant de modifier l'objectif RL.

L'exécution de référence a utilisé vLLM0.8.5; les exécutions V1 utilisaient vLLM0.18.1. La figure 1 montre le résultat final. L'exécution rouge est la tentative initiale de la V1 et l'exécution verte est la dernière exécution de la V1 après les correctifs décrits ci-dessous.

Figure 1. Métriques côté formateur pour la référence vLLM V0 (bleu), la tentative initiale de vLLM V1 (rouge) et l'exécution finale de vLLM V1 après nos correctifs (vert), y compris le fp32lm_head. L'exécution finale du V1 revient proche de la trajectoire du V0 en termes de taux de clip, de KL, d'entropie et de récompense.

Objectif de migration

vLLM V1 est une réécriture substantielle du moteur V0. Notre objectif de migration était donc volontairement étroit :

1. vérifier que la V1 a renvoyé les logprobs de déploiement sous la forme attendue par le formateur
2. réexécutez la même charge de travail par rapport à la référence V0
3. évaluer les changements au niveau des objectifs uniquement après le rétablissement de la parité backend

Les premiers symptômes visibles sont apparus dans :

• clamp_log_ratio_new_old_i...
[Courte citation de 8% de l'article original]