Les modèles de grands langues se sentent intelligents dans la conversation, mais leur comportement est fondamentalement étranger à la cognition humaine. Ils ne pensent pas comme nous, des raisons comme nous ou comprenons le contexte comme nous. Pourtant, nous continuons d'interagir avec eux comme s'ils étaient des collaborateurs humains.
Ce décalage conduit à une ingénierie rapide fragile, déroutante et souvent trop confiante. Nous écrivons des invites qui fonctionnent parfois, échouent mystérieusement et nous laissons nous gratter la tête sur ce qui a mal tourné.
La solution n'est pas de meilleurs modèles invités ou des techniques plus sophistiquées. Il réfléchit plus clairement à ce que les LLM sont réellement et à la façon dont ils fonctionnent réellement.
Ce message parcourra des modèles mentaux qui décrivent avec précision comment les LLM se comportent dans la pratique, les pièges cognitifs qui déforment notre raisonnement lors de l'écriture d'invites et des cadres pratiques pour construire des systèmes d'IA plus fiables.
Que vous construisiez des fonctionnalités d'IA dans vos produits ou que vous essayiez simplement de mieux comprendre ces systèmes, ce guide vous aidera à éviter les pièges qui conduisent à une ingénierie rapide fragile, déroutante ou trop confiante.
Le problème fondamental est que nous anthropomorphiser les LLMS. Nous les traitons comme s'ils avaient des intentions, une compréhension ou une agence. Mais ils ne le font pas.
Un LLM est un correspondant à motif statistique formé sur de grandes quantités de texte. Il prédit le jeton suivant en fonction de ce qui a précédé, rien de plus. Pourtant, nous continuons d'essayer de les raisonner comme s'il s'agissait d'un collaborateur humain. Ce malentendu fondamental est ce que Emily Bender et ses collègues ont appelé le problème du "perroquet stochastique" dans leur article influent.
Cette inadéquation crée des invites fragiles qui fonctionnent dans certains contextes mais échouent dans d'autres, confondant les interactions où le modèle semble comprendre mais se comporte ensuite de façon inattendue, la confiance excessive dans les capacités du modèle et les cycles de développement inefficaces dépensés de débogage "imprévisible".
La solution consiste à développer des modèles mentaux précis de la façon dont les LLM fonctionnent réelleme...
[Courte citation de 8% de l'article original]