Présentation du modèle Kimi K3 : paramètres 2,8T, quantification MXFP4 et signification des poids ouverts pour la communauté

HuggingFace - 18/07
Un article de blog de Viddi AI sur Hugging Face
Retour aux articles

Présentation du modèle Kimi K3 : paramètres 2,8T, quantification MXFP4 et signification des poids ouverts pour la communauté

Article communautaire
Publié le 17 juillet 2026

Un aperçu structuré pour les chercheurs et les praticiens MLOps

Moonshot AI a publié publiquement Kimi K3 le 16 juillet 2026, avec des pondérations open source complètes promises d'ici le 27 juillet. Avec 2 800 milliards de paramètres, il s'agit du premier modèle open source à atteindre la classe des 3 000 milliards de paramètres. Cet article fournit un aperçu structuré du modèle pour la communauté de recherche et MLOps.

Résumé de la carte modèle

ChampValeur
PromoteurIA Moonshot
Type de modèleTransformateur autorégressif de mélange d'experts (MoE) avec vision native
Paramètres totaux2,8 mille milliards
Paramètres actifsÉquivalent ~ 50 milliards (16/896 experts par jeton)
Longueur du contexte1 000 000 de jetons
Précision de l'entraînementMixte (poids MXFP4, activations MXFP8)
ModalitésText + Vision (natif, non basé sur un adaptateur)
RaisonnementMode réflexion permanent
LicencePoids ouverts (licence à déterminer avec libération de poids)
Date de sortie16 juillet 2026 (API) ; 27 juillet 2026 (poids)

Architecture

Kimi K3 introduit plusieurs innovations architecturales qui, collectivement, améliorent l'efficacité de mise à l'échelle d'environ 2,5 fois par rapport à son prédécesseur K2.

Kimi Delta Attention (KDA)

Un mécanisme d'attention linéaire hybride qui remplace l'attention quadratique standard dans un sous-ensemble de couches. KDA conserve une expressivité totale pour les couches critiques ...
[Courte citation de 8% de l'article original]