LLM-en tant que juge n'est pas d'accord avec lui-même entre les courses

Le rabat

J'avais une porte de fidélité lors de la fusion : le juge note chaque cas, la moyenne doit être de 0,80. Un mardi, il a échoué à 0,79. J'ai réexécuté le travail identique, sans changement de code, sans changement d'invite, et il est passé à 0,82. Je l'ai répété une troisième fois : 0,80 exactement. Rien dans le dépôt n'avait bougé. Le juge n'était pas d'accord avec lui-même.

Une porte qui renvoie un verdict différent sur les mêmes entrées est pire que pas de porte. Les gens arrêtent de croire au rouge, ils recommencent jusqu'à ce qu'il devienne vert, et maintenant le chèque est une machine à sous que vous tirez jusqu'à ce qu'il soit payé. La régression qu’il était censé attraper pourrait passer par un coup de chance. Donc, avant de faire à nouveau confiance à cette porte, j'ai dû rendre le juge suffisamment reproductible pour pouvoir y tenir debout.

D'où vient la gigue

Quatre sources, dans l'ordre où elles m'ont mordu.

Température d'échantillonnage. Un appel de juge est une génération. Si la température est supérieure à zéro, le modèle échantillonne et un cas limite atterrit sur...
[Courte citation de 8% de l'article original]