La course à l’IA continue. Des alternatives comme Ollama nous aident à interagir avec les modèles d'IA sur nos machines. Cependant, les équipes Chrome et Google font un pas en avant en activant Chrome avec Gemini Nano exécuté dans nos navigateurs.
Notez que cette API est expérimentale et fonctionne dans Chrome Canary
L'équipe Chrome travaille pour avoir un petit LLM dans notre navigateur pour effectuer des tâches courantes et simples sans avoir besoin d'une API externe comme OpenAI ou d'exécuter Ollama pour créer et interagir avec un LLM. L'API nous aide dans des tâches telles que résumer, classer et reformuler. Nous pouvons lire des informations sur l'API, mais un scénario est le meilleur moyen d'apprendre et de la voir en action.
Scénario Nous travaillons dans une entreprise qui souhaite créer une preuve de concept (POC) pour interagir avec des tâches courantes dans un modèle LLM. Notre objectif est d'avoir un chat où les utilisateurs peuvent poser des questions ou choisir parmi une liste de questions courantes.
Comment pouvons-nous le faire?
Utilisez Angular 18 et Kendo AI Prompt pour créer une interface propre.
Utilisez Gemini Nano dans l'interaction Chrome Canary LLM.
Commençons!
Activer Gemini Nano dans Chrome Canary Tout d'abord, téléchargez et installez Chrome Canary https://www.google.com/chrome/canary/, puis activez l'API Prompt pour Gemini Nano.
Ensuite, activez Gemini Nano dans le navigateur avec les drapeaux suivants.
chrome://flags/#prompt-api-for-gemini-nano
chrome://flags/#optimization-guide-on-device-model
Après avoir activé ces options, pensez à redémarrer Chrome.
Le téléchargement du Gemini Nano prend du temps. Pour confirmer, ouvrez Chrome Canary et accédez à chrome://components. Vérifiez si le guide d'optimisation sur le modèle d'appareil a la version 2024.6.5.2205.
Remarque : Grâce aux retours de Bezael Pérez, assurez-vous d'avoir au moins 2 Go d'espace libre sur votre machine.
Après cela, nous sommes prêts à commencer à coder ! Allons-y!
Tout d’abord, configurez votre application Angular avec la commandeng nouveau gemini-nano-angulaire
ng nouveau cd gemini-nano-angular installation npm gemini-nano-angular