Rapport Xin Zhiyuan
Éditeur: kinghz
[New Zhiyuan Introduction] Derrière l'incident de "Licking" de Chatgpt, il est exposé que l'IA est toujours une "boîte noire". Une différence de ligne sur «l'interprétabilité du mécanisme» déchire le consensus de valeur la plus fondamentale dans la recherche sur l'IA. Google admet la défaite, anthropique se bat à mort - l'IA peut-elle encore être "comprise"?
Cependant, personne ne sait ce que c'est.
Cela expose simplement les lacunes mortelles de l'IA actuelle: le manque d'explicabilité.
Les discussions entre les experts sur la valeur de recherche de l'interprétabilité de l'IA sont devenues plus intenses récemment.
Plus précisément, c'est le débat entre les géants de l'IA Google et l'anthropique sur "l'interprétabilité mécaniste":
En mars, Google Deepmind a annoncé qu'il ne se concentrerait plus sur "l'interprétabilité des mécanismes".
En avril, le PDG anthropique Dario Amodei a préconisé qu'une plus grande attention devrait être accordée à l'étude de la "interprétabilité du mécanisme" et a exprimé son optimisme quant à la réalisation de "l'IRM de l'IA" (c'est-à-dire une compréhension plus approfondie des mécanismes internes de l'IA) dans les 5 à 10 prochaines années.
Le soi-disant objectif d'interprétabilité du mécanisme est de «rétro-ingénierie» du système d'IA.
Mais plus d'une décennie de résultats de recherche montre que cette approche peut être difficile à mettre en œuvre, et tout cela est induit en erreur par des hypothèses de base imparfaites.
Le danger de l'ignorance humaine,
Genai Sword du haut
De nombreux risques et préoccupations liés au Genai sont essentiellement causés par les caractéristiques de la "boîte noire" des mécanismes internes de ces algorithmes.
Ces problèmes sont plus faciles à résoudre si le modèle est interprétable.
Mais l'interprétabilité L'IA est très difficile à étudier.
En 2018, dans une interview, Geoffrey Hinton croyait que l'interprétabilité AI était comparable à "Chicken Egg vs Egg Chicken". À ce moment-là, il a dit ceci:
La plupart du temps, les humains ne peuvent pas expliquer comment ils prennent des décisions. ...
Les réseaux de neurones ont des problèmes similaires. Si vous entrez une image pour cela, il sortira un jugement raisonnable, comme juger s'il s'agit d'un piéton.
Mais si vous le demandez "Pourquoi jugez-vous cela?", Le problème est: s'il y a vraiment un simple ensemble de règles pour juger si une image contient des piétons, ce problème sera résolu il y a longtemps.
"L'explication incite les apprenants à rechercher des modèles communs, mais cela peut également les amener à ignorer les exceptions. En conséquence, les explications peuvent avoir des effets négatifs dans les domaines où les exceptions se produisent fréquemment."
La co-fondatrice anthropique Chris Olah dit souvent que le Genai ressemble plus à «cultivé» que «construit»
—— Ils mécanismes internes sont «émergence» plutôt que conçus artificiellement.
C'est un peu comme cultiver des légum...
[Courte citation de 8% de l'article original]