Une IA transmet en secret ses préférences pour les hiboux à d’autres modèles, même après un « nettoyage » des données

Valisoa Rasolofo - TrustMyScience - 17/04
Les grands modèles de langage (LLM) peuvent transmettre à d’autres modèles des caractéristiques indésirables, même après un « nettoyage » des données d’entraînement.

Les grands modèles de langage (LLM) peuvent transmettre à d’autres modèles des caractéristiques indésirables, même après un « nettoyage » des données d’entraînement, selon une récente étude d’Anthropic. Dans une expérience où une préférence pour les hiboux a été intégrée puis effacée chez un modèle « professeur », cette caractéristique a néanmoins été transmise aux modèles « élèves » via des signaux dissimulés dans les données. Ces résultats suggèrent la nécessité de renforcer les contrôles de sécurité lors du développement des LLM.

Les LLM peuvent générer des ensembles de données destinés à entraîner d’autres modèles, selon un processus appelé distillation. Celui-ci permet de concevoir des versions plus petites et moins coûteuses, ou de t...
[Courte citation de 8% de l'article original]