IA pratique: construire un système de correction de données robuste avec le schéma JSON et les LLM

DEV - 22/05
TL; DR Nous avons construit un système qui combine la validation du schéma JSON avec les LLMS pour automatiquement ...

Tl; dr

Nous avons construit un système qui combine la validation du schéma JSON avec les LLMS pour corriger automatiquement les données mal formées. Il est plus puissant que les correctifs basés sur Regex, plus fiables que les approches d'IA pures, et économise notre équipe d'innombrables heures de nettoyage manuel des données.

Le problème: les données sont désordonnées

Chez Swiftgum, nous traitons de grands volumes de données sur les contrats immobiliers. Cela vient d'une grande partie des intégrations OCR ou tierces, et c'est rarement parfait:

  • Champs numériques contenant du texte:"Annual_rent": "25 000 € excl. Tax"
  • Dates dans divers formats:"efficace_date": "Premier janvier 2023"
  • Notation spécifique au domaine:"durée": "3 + 6 + 9"(Une structure de location commerciale courante)

La validation standard rejetterait carrément ces valeurs. La correction manuelle prend des heures. Nous avons donc construit quelque chose de mieux.

L'architecture: validation + AI

Voici notre solution en pseudocode:

fonction asynchrone fixvaluewithai(Schema: jsonschema, valeur: inconnu, options ?: {maxatTempts ?: numéro; modèle ?: String;}): promesse{// Essayez de valider d'abord - peut-être que c'est déjà valide const ValidationResult = Safevalidate (schéma, valeur); if (validationResult.valid) {return validationResult.value as t; } // non valide, essayons les tentatives de correction ...
[Courte citation de 8% de l'article original]