pg_auto_embeddings — intégrations de texte directement dans Postgres, sans extensions

Aperçu

Vous disposez d'une base de données PostgreSQL qui stocke de nombreuses données texte. Vous souhaitez utiliser des représentations vectorielles (embeddings), par exemple d'OpenAI, pour créer un système de recommandation, une recherche améliorée ou implémenter RAG pour travailler avec des LLM. Mais vous ne voulez pas installer d’extensions (ou peut-être que vous ne pouvez pas). Par exemple, sur PostgreSQL géré dans le cloud, vous ne disposez souvent pas des autorisations requises.

pg_auto_embeddings est une solution open source légère qui vous permet de calculer des intégrations via des modèles OpenAI directement dans PostgreSQL sans installer d'extensions externes. Il utilise le mécanisme Foreign Data Wrappers (FDW) « sous le capot » pour envoyer des requêtes à l’API OpenAI, et il fonctionne de manière synchrone et atomique. Dans cet article, nous verrons commentpg_auto_embeddingspeut vous aider, comment l'installer (spoiler : très facilement) et quelles sont les principales caractéristiques du projet.

Qu'est-ce que pg_auto_embeddings et quel problème résout-il ?

pg_auto_embeddings est un projet open source sous licence MIT qui résout le problème clé :

Comment calculer des représentations vectorielles de texte (embeddings) directement à partir de PostgreSQL, sans complications supplémentaires et...
[Courte citation de 8% de l'article original]