Lorsque code-gen suggère des API Pandas obsolètes – une dérive subtile qui a rompu un pipeline

DEV - 01/01
Je faisais équipe avec un collègue pour accélérer une tâche de nettoyage de données et je m'appuyais sur une génération de code...

Je faisais équipe avec un collègue pour accélérer une tâche de nettoyage des données et je m'appuyais sur un assistant de génération de code pour échafauder les transformations. Il a produit un code concis qui semblait correct à première vue : quelques appels enchaînés, un groupby et une conversion en un tableau NumPy. L'extrait a été exécuté localement, les tests sont verts et nous sommes passés au ticket suivant. Une semaine plus tard, une tâche de nuit a commencé à échouer sur un service en aval. La trace d'erreur indiquait un type inattendu et des colonnes manquantes dans un fichier Parquet. L'échafaudage généré avait utilisé DataFrame.as_matrix() et une ancienne API continue qui modifiait silencieusement le comportement entre les versions de Pandas ; sur n...
[Courte citation de 8% de l'article original]

Loading...