La pile de contrôle LLM : des mots aux poids

La plupart des gens pensent qu’ils contrôlent les LLM.

Ils modifient les invites. Ils ajoutent des exemples. Ils jouent avec la température.

Ça marche. Jusqu'au jour où ce n'est plus le cas.

C’est alors que la confusion commence.

"La même invite a fonctionné hier. Pourquoi le modèle m'ignore-t-il maintenant ?"

Réponse courte : vous n’avez jamais contrôlé le modèle. Vous négociiez avec lui.

Ce blog vise à comprendre l’ampleur des différentes méthodes de contrôle et pourquoi certaines battent toujours les autres.

L'idée centrale

Le contrôle du comportement LLM n’est pas un interrupteur. C'est une échelle de profondeur.

Chaque technique touche une partie différente du modèle :

• quelques mots touchants,
• quelques probabilités de contact,
• certains touchent à la pensée cachée,
• certains touchent des poids.

Plus vous allez en profondeur, plus le contrôle est fort. Aussi plus difficile à défaire.

Deux seaux durs (c'est important)

Tout tombe dans l’un d’entre eux. Aucune exception.

Contrôle du temps de formation

• Flux de dégradés
• Le modèle apprend réellement
• Le comportement persiste au fil des sessions

Contrôle du temps d'inférence

• Pas de dégradés
• Le modèle interprète uniquement les instructions
• Le comportement disparaît à la fin du conte...
  [Courte citation de 8% de l'article original]