Comme l’ont montré ces dernières années, nous avons déjà réalisé des progrès considérables vers la reproduction des capacités du néocortex. Les derniers déficits de l’IA peuvent être divisés en plusieurs grandes catégories, notamment : la mémoire contextuelle, la connaissance du monde et l’interaction sociale.
La mémoire contextuelle stocke la manière dont toutes les idées exprimées dans une conversation ou un travail écrit s'articulent de manière dynamique. À mesure que la portée du contexte pertinent augmente, le nombre de relations entre les idées individuelles augmente également de façon exponentielle. L'extension de la fenêtre contextuelle qu'un grand modèle de langage peut gérer nécessite beaucoup plus de puissance de traitement. Si une phrase contient dix idées (ou jetons) semblables à des mots, le nombre de relations possibles entre les sous-ensembles est de 2 à la puissance 10 moins 1, soit l'équivalent de 1 023. Si 50 de ces idées apparaissent dans un paragraphe, cela fait 1,12. quadrillions de relations contextuelles possibles !
Bien que la grande majorité de ces relations ne soient pas pertinentes, les exigences imposées à un système pour mémoriser le contexte d'un chapitre ou d'un livre entier augmentent rapidement. Pour cette raison, le système d'IA GPT-4 oublie les choses qui lui ont été dites plus tôt au cours d'une conversation, et c'est pourquoi il ne peut pas écrire un roman avec une intrigue cohérente et logique.
Dans ce contexte, il y a deux bonnes nouvelles : la recherche fait de grands progrès dans le développement d’une IA capable de se concentrer plus efficacement sur des données contextuelles pertinentes, et des améliorations exponentielles des rapports prix-performance devraient rendre la puissance de calcul plus efficace au cours de la prochaine décennie. devenir plus de 99 pour cent moins cher. De nouveaux développements dans les algorithmes et le matériel spécifique à l'IA signifieront que le rapport qualité-prix des grands modèles de langage (LLM) devrait s'améliorer beaucoup plus rapidement. A titre de comparaison : entre août 2022 et mars 2023, le...
[Courte citation de 8% de l'article original]