Dans certains scénarios où une réflexion lente est nécessaire, comme la résolution de problèmes mathématiques ou la recherche scientifique, les grands modèles d'inférence (LRM) nécessitent un raisonnement analytique et réfléchi avant de donner la réponse finale.
Cependant, le processus de raisonnement bien pensé de LRM conduit à sa consommation de ressources extrêmement élevée, ce qui apporte une série de défis tels que la grande consommation de jetons, les frais généraux élevés de mémoire et le temps d'inférence accru, ce qui augmente non seulement le coût d'inférence des sociétés de service, mais réduit également l'expérience de l'utilisateur.
Des recherches antérieures sur l'efficacité de l'inférence LLM, telles que la compression du modèle, la conception efficace du modèle et l'optimisation au niveau du système, peuvent atténuer les problèmes de surcharge de mémoire élevée et d'augmentation de l'inférence, mais n'est pas conçu spécifiquement pour le LRM et ne peut pas résoudre efficacement le problème de l'inefficacité de la LRM.
À cette fin, une équipe de l'Université nationale de Singapour et de ses collaborateurs a effectué un examen des méthodes d'inférence efficaces spécifiquement pour le LRM, en se concentrant sur l'attention de l'inefficacité des jetons tout en conservant la qualité du raisonnement. Les principales contributions sont les suivantes:
Figure ｜ Cadre de résumé
Figure ｜ Classification des méthodes d'inférence des grands modèles d'inférence
Documents de recherche connexes
En tant que titre, il a été publié sur le site Web de préparation Arxiv.
Deux grandes caté...
[Courte citation de 8% de l'article original]