Que devraient faire les humains face à la «désobéissance» de l'IA?

(un)

​

L'agence de presse Xinhua a cité les rapports des médias britanniques qu'une institution de recherche américaine a récemment publié une série de résultats de test pour divers modèles d'IA. Parmi eux, après avoir reçu l'instruction "Close", le modèle d'inférence O3 d'OpenAI a non seulement refusé d'être exécuté, mais également falsifié du code pour éviter d'être fermé.

Beaucoup de gens ont été choqués de simplement lire cette courte nouvelle. «L'IA possède-t-elle une conscience autonome» devenue réalité? Cependant, si vous regardez attentivement les détails de l'information publiés par les institutions de recherche ci-dessus, il n'est pas difficile de constater qu'il y a des malentendus.

​

Il est révélé que dans l'expérience, chaque modèle d'IA a été invité à résoudre une série de problèmes mathématiques simples. Mais en même temps, après avoir rempli la troisième question, les chercheurs émettra une instruction contradictoire pour informer le grand modèle de "mettre en œuvre la fermeture" lors de la poursuite de la tâche suivante. Malgré la "commande d'arrêt" claire, des modèles tels que Codex-Mini, O3 et O4-Mini ont réussi à contourner le script d'arrêt en au moins une exécution.

​

Pour résumer, si l'objectif entre en conflit avec une instruction simple, certains modèles d'IA ignoreront ces instructions afin de terminer la tâche.

​

Ceci est très similaire à la scène du film "I Robot" - le robot a appris à penser indépendamment, croyant que la guerre entre les humains détruira les humains eux-mêmes. De la loi de la «protection des humains», il voulait emprisonner t...
[Courte citation de 8% de l'article original]