Supersonic GPU MelSpectrogram pour vos applications temps réel

Chez Simli, nous nous soucions le plus de la latence. Après tout, c'est ce qui compte pour nous : une vidéo à faible latence. D’un autre côté, certains des algorithmes les plus utilisés dans l’Audio Machine Learning ont des implémentations vraiment très lentes. Pour être clair, ces implémentations conviennent généralement à la création des modèles eux-mêmes ou à l'inférence par lots. Mais pour nous chez Simli, quelques millisecondes pourraient faire la différence entre un désordre saccadé ou une vidéo fluide. Heureusement pour moi (et par procuration pour vous le lecteur), ce guide ne nécessite pas beaucoup de connaissances en mathématiques, des personnes beaucoup plus intelligentes ont déjà compris comment obtenir la bonne réponse, nous rendons simplement le calcul plus efficace. Si vous avez besoin de plus d'informations pour comprendre ce qu'est le MelSpectrogram, vous pouvez lire cet article. Il existe plusieurs façons de calculer le spectrogramme, cela dépend fortement de votre application. Nous nous concentrons donc sur les éléments requis pour exécuter nos modèles internes pour des raisons de commodité pour l'auteur.

La sol...
[Courte citation de 8% de l'article original]