Chatbot avec noyau sémantique - Partie 4 : Whisper 👂

Dans les chapitres précédents, nous avons construit un agent Librarian de base, enrichi de quelques compétences spécifiques via l'appel de fonctions, et un outil pour inspecter en temps réel les interactions de notre agent avec les plugins.

Dans ce chapitre, nous allons ajouter quelques fonctionnalités audio à notre agent Librarian. Une fois terminé, notre bibliothécaire commencera son voyage multimodal, nous pourrons communiquer avec lui en utilisant notre voix.

Chuchoter

Notre objectif est de rendre l'Agent capable de nous écouter. Nous utiliserons le microphone de l'ordinateur pour récupérer une réponse du modèle. Le processus devrait fonctionner comme si nous avions écrit le texte.

Pour y parvenir, nous utiliserons un système de reconnaissance automatique de la parole (ASR), dans notre cas, Whisper d'OpenAI. Bien que ce modèle utilise une architecture similaire à un Large Langange Model, il ne doit pas être défini comme un LLM, comme le précise Yann LeCun dans ce message. Whisper,...
[Courte citation de 8% de l'article original]