Newsletter des vues filtrées Voxel51 - 12 juillet 2024

Auteur : Harpreet Sahota (Hacker en résidence chez Voxel51)

Bienvenue dans le résumé bihebdomadaire de Voxel51 des dernières actualités, événements et ressources sur l’IA, l’apprentissage automatique et la vision par ordinateur ! Abonnez-vous à la version email.

📰 Le pouls de l'industrie

OMG-LLaVA : relier le raisonnement et la compréhension au niveau de l'image, de l'objet et du pixel

OMG-LLaVA combine une solide compréhension de la vision au niveau des pixels avec des capacités de raisonnement dans un seul modèle entraîné de bout en bout. Il utilise une méthode de segmentation universelle comme encodeur visuel pour intégrer les informations d'image, les priorités de perception et les invites visuelles dans des jetons visuels fournis à un grand modèle de langage (LLM).

Le LLM est chargé de comprendre les instructions textuelles de l'utilisateur et de fournir des réponses textuelles et des résultats de segmentation au niveau des pixels basés sur les informations visuelles. Cela permet à OMG-LLaVA de parvenir à un raisonnement et à une compréhension au niveau de l'image, de l'objet et du pixel, en égalant ou en surpassant les performances de méthodes spécialisées sur plusieurs benchmarks.

Que souhaitez-vous savoir:

• Formation élégante de bout en bout d'un encodeur, d'un décodeur et d'un LLM plutôt que d'utiliser un LLM pour connecter plusieurs modèles spécialisés
• Capacité à accepter diverses invites visuelles et textuelles pour une interaction utilisateur flexible
• Fortes performances sur les tâches de raisonnement au niveau des images, des objets et des pixels par rapport aux modèles spécialisés

Les instructions pour exécuter le modèle sont ici, et vous pouvez exécuter la démo sur Hugging Face Spaces ici.

Les robots arrivent pour nos emplois !

Source

Agility Robotics a signé un accord pluriannuel avec GXO Logistics pour déployer ses robots humanoïdes Digit dans diverses opérations logistiques. Le premier déploiement officiel est déjà en cours dans une installation de Spanx dans le Connecticut, où une petite flotte de robots Digit est utilisée selon un modèle de robotique en tant que service (RaaS).

Les robots à chiffres récupèrent les bacs des 6 robots mobiles autonomes (AMR) Chuck de River Systems et les placent sur des convoyeurs dans les installations de Spanx. Digit peut gérer des bacs vides et pleins et les récupérer sur l'étagère inférieure ou supérieure d'un AMR. Les robots sont orchestrés via Agility Arc, la plateforme d'automatisation cloud de l'entreprise.

GXO Logistics teste également d'autres robots humanoïdes, comme Apollo d'Apptronik. Il n’existe actuellement aucune norme de sécurité spécifiquement pour les humanoïdes. La plupart des fabricants et des intégrateurs s'appuient sur les normes existantes en matière de robots industriels comme référence, et Digit ne travaille pas avec ou à proximité d'humains dans les installations de Spanx.

Les robots vont nous aider avec le TDAH !

Source

CARMEN (Cognitively Assistive Robot for Motivation and Ne...
[Courte citation de 8% de l'article original]