Le grand corpus de textes persans a été mis à la disposition des chercheurs dans le domaine du traitement du langage naturel

Un grand corpus de texte est l'un des besoins les plus importants de la formation de modèles de réseaux neuronaux profonds, en particulier les réseaux basés sur des transformateurs. La nécessité de ce problème se fait surtout sentir pour les langues disposant de moins de ressources comme le farsi.

À cette fin, un groupe professionnel du Laboratoire de traitement du langage naturel et de la parole de l'Université de technologie de Sharif, dirigé par le Dr Hossein Samati, ainsi que les chercheurs du Centre d'innovation de la société Danesh-Banyan Asrgawish Pardaz, ont présenté la solution à ce problème. .

Mohammad Reza Hosseinian, le PDG de ce centre d'innovation, a annoncé : Ce corps est une collection nettoyée qui peut être directement utilisée par les chercheurs dans le domaine du traitement du langage naturel en farsi. Cette collection contient environ 130 gigaoctets de données textuelles dont 250 millions de paragraphes et 15 milliards de mots.

Il a déclaré: De plus, la version brute du corps de Nab ainsi que le script de prétraitement (utilisé pour le nettoyage des données) ont été mis à la disposition du public afin qu'ils puissent l'utiliser pour créer une version nettoyée de leur corps.

Le PDG du centre d'innovation de la société basée sur la connaissance, Asrgowish Pardaz, a annoncé : Le centre d'innovation de cette société basée sur la connaissance...
[Courte citation de 8% de l'article original]