Déplacez-vous sur lama: le nouveau LLM Open de Tencent est prêt à s'auto-hoster

Tencent vient de publier un nouveau modèle open source appelé Hunyuan-A13B-Istruct. Il a des poids ouverts (pas sûr du code), et il s'exécute localement (eh bien si vous avez un GPU B200). Si vous êtes curieux de savoir comment il fonctionne et que vous voulez l'essayer vous-même, voici comment le configurer sur un GPU loué en quelques minutes.

Qu'est-ce que Hunyuan-A13B?

Hunyuan-a13b est un modèle de mélange de réseaux (MOE) avec 80 milliards de paramètres totaux, mais seulement 13 milliards actifs à la fois. Cela signifie que l'inférence est beaucoup moins chère qu'un modèle complet dense.

Le mélange des experts (MOE) est une architecture de réseau neuronal où seul un sous-ensemble de sous-réseaux "experts" spécialisés est activé pour chaque entrée, réduisant le calcul tout en augmentant la capacité du modèle. Un mécanisme de déclenchement sélectionne dynamiquement les experts à utiliser en fonction de l'entrée, permettant au modèle d'échec efficacement sans toujours utiliser tous les paramètres.

Quelques points forts:

• Prend en charge le contexte de 256k hors de la boîte
• Modes de pensée rapide et lente
• Attention à l...
  [Courte citation de 8% de l'article original]