Utilisation de Postgresql pg_vector pour AI: Partie 2, Utilisation de vecteurs pour le traitement des langues naturelles

Introduction

Dans le post précédent, nous avons appris comment utiliser pg_vector dans SQL pour rechercher des similitudes. Dans ce suivi, nous utiliserons OpenAI pour créer des cartes vectorielles d'une liste de repas, puis créer un script court qui utilise le traitement de langue naturelle pour demander cette liste.

Utiliser OpenAI pour créer des vecteurs

Lors de la création de vecteurs multidimensionnels pour votre contenu source, nous avons précédemment dit que la partie dure créait les dimensions et les populait avec de bonnes valeurs. Et s'il y avait un moyen de créer automatiquement des données vectorielles génériques pour tout ensemble arbitraire de choses qui étaient assez bonnes pour effectuer toutes sortes de recherches de similitude? Eh bien, vous avez de la chance parce que c'est exactement ce que Open AIs embedding API peut faire!

Je ne vais pas couvrir comment aller sur le site internet open AI, créer un compte et obtenir une clé API puisque c'est bien couvert par beaucoup d'autres ressources (et son trivial pour comprendre même sans l'aide de Chat GPT). Juste un avertissement que cette API d'intégration n'est pas libre donc vous aurez besoin de configurer un compte de facturation, mais c'est assez bon marché et le coût de reproduction complète de ce tutoriel devrait être négligeable. Supposons simplement que pour le moment vous avez fait cela et que vous avez également une clé API. Supposons également que nous construisons à partir de l'exemple précédent, ce qui signifie que vous avez un DB Postgresql avec pg_vector installé. Je vais ajouter une autre hypothèse, qu...
[Courte citation de 8% de l'article original]