Streaming vectoriel avec EmbedAnything

Dans mon article précédent Présentation d'EmbedAnything, j'ai discuté de l'idée derrière EmbedAnything et de la façon dont cela facilite la création d'intégrations à partir de plusieurs modalités. Dans cet article, je souhaite présenter une nouvelle fonctionnalité d'EmbedAnything appelée streaming vectoriel et voir comment elle fonctionne avec Weaviate Vector Database.

Quel est le problème ?

Tout d'abord, examinons le problème actuel lié à la création d'intégrations, en particulier dans les documents à grande échelle. Les frameworks d'intégration actuels fonctionnent selon un processus en deux étapes : le découpage et l'intégration. Tout d’abord, le texte est extrait de tous les fichiers et des morceaux/nœuds sont créés. Ensuite, ces morceaux sont transmis à un modèle d'intégration avec une taille de lot spécifique pour traiter les intégrations. Pendant que cela est fait, les morceaux et les intégrations restent dans la mémoire système. Ce n'est pas un problème lorsque les fichiers sont petits et que les dimensions d'intégration sont petites. Mais cela devient un problème lorsqu'il y a beaucoup de fichiers et...
[Courte citation de 8% de l'article original]