Obtenir JSON structuré de LLMS en C #

Dernièrement, nous avons essayé de faire plus de main avec l'IA et avons commencé à travailler sur un projet qui utilise un modèle de langage grand (LLM) pour extraire des informations spécifiques des documents. Afin d'utiliser la sortie de l'invite dans notre code, nous avions besoin du modèle pour retourner JSON et désérialiser en un type structuré.

Bien que cela ait bien fonctionné dans de nombreux cas, nous avons rencontré des problèmes où le JSON généré ne correspondait pas à notre structure attendue et n'a pas réussi à désérialiser. Dans ce blog, nous examinerons notre mise en œuvre initiale et certaines solutions possibles que nous avons trouvées pour empêcher les problèmes de désérialisation.

Nous avons commencé par avoir les informations d'extrait LLM et les retourner à utiliser comme chaîne JSON. Cette chaîne a ensuite été désérialisée en un objet C # pour une utilisation ultérieure. Pour la plupart des documents, cette approche a très bien fonctionné. Cependant, nous avons remarqué que dans certains cas, le modèle hallucinerait et générerait l'une ou l'autre propriété qui n'existait pas ou les types que nous ne nous attendions pas. Cela a conduit à des problèmes de désérialisation qui nous ont fait n'avoir aucune donnée pour ce document spécifique. Malheureusement, peaufiner le paramètre de température n'a pas empêché cela de se produire.

Mode JSON

Notre première approche a été d'utiliser le mode JSON. Ce paramètre indique au LLM de renvoyer un objet JSON valide, mais il n'applique pas la structure a...
[Courte citation de 8% de l'article original]