Ce que la création de mon propre robot IA m'a appris sur l'IA générative

J'ai construit un bot formé sur mes propres favoris et likes X. Environ 50 000 d'entre eux, accumulés au fil des années à se cacher, à se disputer et à cliquer sur le bouton Enregistrer sur des choses qui m'ont fait arrêter de faire défiler.

La partie technique n'est pas compliquée en principe. Vous extrayez votre exportation, intégrez le texte, créez un pipeline RAG, ajoutez une invite de style dérivée de vos propres modèles d'écriture et vous obtenez quelque chose qui répond aux invites en récupérant votre contenu enregistré le plus pertinent et en riffant à partir de là. Je l'ai appelé Bookmark Brain, ce qui est soit intelligent, soit embarrassant – je n'ai pas décidé.

Ce à quoi je ne m'attendais pas, c'est à quel point cela clarifierait ma réflexion sur ce qu'est réellement l'IA générative.

Le bot fonctionne trop bien. C'est le problème.

Lorsque je lui demande des avis sur la conception d'API ou que je m'attaque au cycle actuel de battage médiatique de l'IA, il renvoie quelque chose qui me ressemble - spécifique, légèrement ennuyé, fondé sur un ensemble particulier de préoccupations - mieux que la plupart des LLM à usage général lorsque je leur demande « écrivez avec ma voix ». La différence n'est pas le modèle. C'est la couche de récupération. Le modèle dans les deux cas fait approximativement la même chose. Ce qui change, c'est ce qu'il récupère avant de commencer à générer.

Cette prise de conscience a été plus difficile que prévu : une part importante de ce que nous appelons « l’intelligence ...
[Courte citation de 8% de l'article original]