Arabe TTS Arena : classement des modèles vocaux de la même manière que les échecs classent les grands maîtres

Il y a une belle ironie à emprunter un système de classement à un jeu de société pour juger de la qualité d’un discours artificiel. L'indice Elo – inventé par Arpad Elo dans les années 1960 pour mesurer la force relative des joueurs d'échecs – s'avère être l'un des outils les plus élégants pour comparer les modèles de synthèse vocale. Nous l'avons utilisé pour créer l'Arabic TTS Arena, le premier classement ouvert et communautaire dédié à la synthèse vocale arabe.

Cet article explique comment fonctionne l'arène, ce que nous avons appris en la construisant et pourquoi nous pensons que le TTS arabe a besoin d'une philosophie de conception fondamentalement différente de celle qui existe aujourd'hui.

Comment fonctionne l'arène

Le concept est simple. Un utilisateur saisit du texte arabe. Deux modèles TTS – sélectionnés au hasard, identités cachées – synthétisent la même phrase. L'utilisateur écoute les deux et vote pour celui qui sonne le mieux (ou les marque comme étant à égalité). Ce vote unique devient un point de données. Des milliers de ces votes deviennent un classement.

Nous hébergeons actuellement 13 modèles couvrant à la fois des systèmes open source et basés sur des API, notamment Arabic F5-TTS, Arabic Spark TTS, Multilingual Chatterbox, Fish Speech (S1-mini et S2 Pro), Habibi TTS, KaniTTS Arabic, Lahgtna, MOSS-TTS, OuteTTS 1.0, SpeechT5 Arabic et XTTS v2. L'ajout d'un nouveau modèle ne nécessite rien de plus que l'implémentation d'une seule classe Python : l'arène la découvre automatiquement.

Le backend est entièrement open source. Les contributeurs individuels et les entreprises qui souhaitent ajouter leurs modèles à l'a...
[Courte citation de 8% de l'article original]