Pratique à grande échelle du framework Ray de superinformatique de nouvelle génération dans l'IA Computing

1. Contexte

L'informatique IA est largement utilisée dans divers scénarios tels que la distribution du trafic, les opérations de produits et la création de contenu. Les demandes en matière d'informatique IA impliquent la génération de fonctionnalités de base pour la recherche, les publicités et les recommandations, ainsi que les tâches liées au contenu généré par l'IA (AIGC), telles que la conversion texte-image, la génération d'images et les effets IA. Cependant, l’infrastructure existante est confrontée aux défis suivants lorsqu’elle est appliquée à l’informatique IA :

1. Problèmes de ressources : les applications d'IA nécessitent beaucoup de calcul et l'utilisation de ressources en ligne entraîne directement des coûts élevés.
2. Problèmes de déploiement : les applications d'IA doivent s'adapter à une grande quantité de matériel hétérogène, ce qui rend le déploiement complexe.
3. Orchestration des applications : les dépendances de fonctionnalités complexes et les processus asynchrones entraînent une faible efficacité de développement et des risques élevés lors des modifications.
4. Problèmes de plate-forme : le manque de prise en charge de la plate-forme entraîne une itération lente des algorithmes et des obstacles élevés à l'utilisation des capacités du modèle.

Par exemple, l'OCR, une fonctionnalité essentielle pour la recommandation et la recherche, nécessite des ressources considérables (plus d'un million de cœurs de processeur) et présente des exigences élevées en matière de temps réel et de fiabilité. Cependant, l’infrastructure existante ne peut pas répondre efficacement à une telle demande. Ainsi, une plate-forme informatique d’IA peu coûteuse, hautement efficace et facile à utiliser est nécessaire.

2. Pourquoi introduire Ray dans l'IA Computing ?

Ray est un moteur informatique distribué à usage général largement adopté par de nombreuses grandes entreprises. Ses avantages incluent :

1. Programmation distribuée simple et intuitive : grâce à l'API simple de Ray, les développeurs n'ont pas besoin de comprendre en profondeur les détails de la communication et de la planification. En ajoutant simplement des décorateurs Python, des fonctions ou des classes peuvent être transformées en tâches distribuées, simplifiant grandement le développement d'applications distribuées.

Exemple : l'inférence OCR nécessite localement de diviser le modèle en plusieurs modules. En utilisant Ray, nous pouvons simplement ajouter le@ray.remotedécorateur à chaque fon...
[Courte citation de 8% de l'article original]