Comment créer un index avec des incorporations de texte

Dans ce blog, nous créerons un index avec des intégres de texte et l'interrogerons avec un langage naturel. Nous essayons de le garder minimaliste et de nous concentrer sur l'essentiel du flux d'indexation.

Cela signifierait beaucoup pour nous si vous pouviez laisser tomber une étoile à Cocoindex sur GitHub, si ce tutoriel est utile.

🚀 Vous pouvez trouver le code complet de ce projet ici ou le jouer sur Colab.

Condition préalable

• Installez Postgres. Cocoindex utilise Postgres pour garder une trace de la lignée des données pour le traitement incrémentiel.

Définir le flux d'indexation

Conception de flux

Le diagramme de flux illustre comment nous traiterons notre base de code:

1. Lire les fichiers texte du système de fichiers local
2. Chunk chaque document
3. Pour chaque morceau, intégrez-le avec un modèle de texte en texte
4. Stockez les intégres dans une base de données vectorielle pour la récupération

1. Ingérer les fichiers