Cécité de télémétrie asynchrone dans les clients de streaming IA : un PoC où le texte est rendu, la facturation reste à zéro

Avertissement : il s'agit d'une expérience personnelle et locale uniquement, et non d'un résultat de production testé ni d'une affirmation concernant un fournisseur ou un produit d'IA spécifique. Tout ici fonctionne sur ma propre machine sur un petit serveur que j'ai écrit moi-même. Considérez-le comme une idée approximative sur laquelle j'ai travaillé avec du temps libre et un budget symbolique, qui mérite d'être discutée, et non comme un verdict sur quoi que ce soit en production.

Imaginez l’écran de commande au-dessus du comptoir d’un café très fréquenté. Votre nom s'illumine dès que le barista commence votre commande : « Sam, en cours ». Mais la caisse n'enregistre la vente qu'une fois l'imprimante de reçus terminée, et si cette imprimante se bloque juste après la remise de votre boisson, vous vous retrouvez là avec un café fini alors que les livres disent que rien n'a jamais été vendu.

J'ai trouvé la même lacune dans le streaming de chat AI, j'ai donc construit un petit laboratoire pour le vérifier. Un client IA peut fournir une réponse complète et convaincante à l’utilisateur alors que son propre pipeline de facturation n’enregistre absolument rien. Pas de crash. Parfois même pas de message d'erreur.

TL;DR : dans un client d'IA en streaming où une partie restitue le texte et une partie distincte enregistre la facturation, une trame supprimée ou corrompue entre le dernier morceau de texte et la trame d'utilisation peut laisser à l'utilisateur une réponse complète tandis que la facturation enregistre zéro. Pas de crash, pas d'exception dans certains cas. Preuve de concept, trois conditions de déclenchement et un correctif, le tout local et reproductible : github.com/glatinone/streamblind-poc

Pourquoi cela serait important si cela apparaissait quelque part réel

Je veux être prudent ici : je n’ai vu cela da...
[Courte citation de 8% de l'article original]