La technologie GenAI justifiera-t-elle un jour les lourds investissements réalisés ?

Alan Turing, le mathématicien britannique qui a déchiffré le code de cryptage allemand Enigma pendant la Seconde Guerre mondiale, a conçu ce qui est désormais connu sous le nom de test de Turing pour déterminer si une machine est capable d'imiter l'intelligence humaine. Récemment, un comité sénatorial du gouvernement australien a utilisé son test légendaire pour évaluer si un grand modèle de langage d'intelligence artificielle générative (GenAI LLM) pouvait égaler, voire surpasser, la qualité du travail effectué par son propre personnel.

En collaboration avec une équipe de consultants d'Amazon, le comité a mené un essai exploratoire de cinq semaines au cours duquel les soumissions publiques à une enquête parlementaire ont été résumées à la fois par un LLM choisi et par des humains. Les résumés résultants ont ensuite été testés individuellement à l’aveugle et évalués par cinq représentants d’entreprises. Ces évaluateurs n’ont pas été informés de l’implication de GenAI.

À la suite de leur travail, les évaluateurs ont été informés de la véritable nature du procès et ont demandé pourquoi ils avaient noté chaque résumé comme ils l'avaient fait. Ce n’est qu’à ce moment-là que les évaluateurs ont été informés de l’utilisation de résumés automatisés, même si trois des cinq ont fait remarquer qu’ils soupçonnaient un essai GenAI.

Les résultats ont montré que les résumés GenAI avaient des résultats inférieurs sur tous les critères par rapport aux résumés humains (au total, 47 pour cent contre 81 pour cent), échouant ainsi au test de Turing.