Claude 3.5 Sonnet modifié. Mon invite système a cessé de fonctionner. Voici ce que j'ai appris.

Je construis avec les API Claude depuis début 2025. Le mois dernier, j'ai remarqué quelque chose d'étrange : mon invite système soigneusement réglée a cessé de produire les résultats que j'attendais. Le format était légèrement décalé. Le ton changea. Mon analyse en aval a commencé à échouer par intermittence.

Anthropic n'avait annoncé aucun changement concernantclaude-3-5-sonnet-20241022. Mon code était identique. Mais le modèle se comportait différemment.

Cet article est ce que j'ai appris de cette expérience - et ce que je fais maintenant pour détecter automatiquement ce type de dérive.

Ce qui s'est passé

J'utilisais Claude pour une tâche d'extraction de données structurée. Mon invite système a demandé au modèle de :

• Renvoie JSON uniquement, pas de préambule
• Utilisez des noms de champs spécifiques (entité,confiance,source)
• N'incluez jamais de texte d'explication

Pendant des mois, cela a parfaitement fonctionné. Puis, au cours d'environ 3 jours, les sorties ont commencé, y compris le texte du préambule : "Voici les données extraites :" suivi du JSON. Monjson.loads()les appels ont commencé à être lancésJSONDecodeErreurà cause du texte principal.

Ce n'était pas toutes les réponses. Cela représe...
[Courte citation de 8% de l'article original]