Gemini 1.5 Pro dérive également : modèles de régression connus et comment les surveiller

DEV - 13/03
Modèles de dérive comportementale documentés pour Gemini 1.5 Pro en production : régressions de préambule JSON, wrappers de blocs de code, répartition suivant les instructions. Comment les surveiller et les attraper.

Tout le monde s'est concentré sur les changements de comportement de GPT-4o et de Claude. On en parle moins : Gemini dérive également – ​​et la cadence de mise à jour de Google est encore moins prévisible que celle d'OpenAI.

Cet article explique à quoi ressemble la dérive comportementale sur Gemini, quels sont les modèles de régression connus (basés sur les rapports de la communauté et l'historique des mises à jour documenté de Google) et comment la surveiller en production.

Le problème de la dérive des Gémeaux

Google publie les mises à jour du modèle Gemini plus discrètement qu'OpenAI ou Anthropic. Il n'y a pas d'équivalent à la page des notes de version du modèle d'OpenAI : les modifications arrivent souvent dans l'API sans une entrée correspondante dans le journal des modifications.

Pour les développeurs créant des applications de production sur Gemini, cela signifie que...
[Courte citation de 8% de l'article original]