Les agents de codage IA écrivent toujours l'ancienne API de votre SDK. J'ai donc construit un vérificateur de type pour le mesurer

Voici un bug que j'ai continué à rencontrer. Je demanderais à un assistant IA d'écrire du code sur une bibliothèque - Prisma, le SDK Vercel AI, Zod - et le code semblerait tout à fait correct. Propre, idiomatique, exactement la forme à laquelle je m'attendais. Ensuite, je l'exécuterais et il ne serait pas compilé.

La raison était toujours la même : la bibliothèque avait livré une nouvelle version majeure et le modèle écrivait l'API de la version majeure précédente à partir de la mémoire.paramètresau lieu deschéma d'entrée.erreur_requiseau lieu deerreur. UNnouveau PrismaClient ({ sources de données })appel qui n'existe plus. De petites choses, mais suffisantes pour casser la construction du premier coup.

Les modèles sont figés à leur date limite de formation. Les bibliothèques ne le sont pas. Il existe donc un écart entre « l’API recherchée par le modèle » et « l’API que vous avez réellement installée » – et cet écart est le plus grand juste après qu’une bibliothèque ait apporté une modification radicale.

Je voulais savoir : quelle est exactement l’ampleur de cet écart – et puis-je le mesurer objectivement ? J'ai donc construit SDKProof.

La méthode : laisser le compilateur juger

L'astuce pour mesurer ...
[Courte citation de 8% de l'article original]