Txtai est une base de données intégrée tout-en-un pour la recherche sémantique, l'orchestration LLM et les workflows de modèle de langue.
txtaia depuis longtemps pu héberger un service basé sur Fastapi. Il y a des clients pour Python, Javascript, Java, Rust, Go.
Le service API prend également en charge l'hébergement des points de terminaison API compatibles OpenAI. Un client OpenAI standard peut ensuite être utilisé pour se connecter à untxtaiservice. Cela permet d'essayer rapidementtxtaiavec un client familier. C'est également un moyen de faire des tests de développement locaux / hors ligne à l'aide du client OpenAI.
Cet article parcourra des exemples complets.
Pour cet article, nous courironstxtaià travers Docker.
Enregistrer ce qui suit/tmp/config/config.yml.
# Activer Openai Compat Endpoint Openai: True # Load Wikipedia Embeddings Index Cloud: Provider: HuggingFace-Hub Container: Neuml / txtai-wikipedia # llm instance llm: Path: llava-hf / llava-interleave-qwen-0.5b-hf # Configuration de pipeline de rag: Path: Path: Étreindre les quarts / méta-llama-3.1-8b-instruct-awq-Int4 Sortie: Système aplati: Vous êtes un assistant amical. Vous répondez aux questions des utilisateurs. modèle: | Répondez à la question suivante en utilisant uniquement le contexte ci-dessous. Inclure uniquement des informations spécifiquement discutées. Question: {Question} Contexte: {Context} # Texte à la parole TextTospeech: Chemin: Neuml / Kokoro-fp16 -onnx # Transcription Transcription: Chemin: Distil-Whisper / Distil-Large-V3Démarrer le service Docker.
docker run -it -p 8000: 8000 -v / tmp / config: / config -e config = / config.yml \ --entrypoint uvicorn neuml / txtai-gpu - host 0.0.0.0 txtai.api: appAlternativement, Txtai peut être installé directement et s'exécuter comme suit:
pip install txtai [all] AutoAWQ AutoAWQ-Kernels config = / tmp / config / config.yml uvicorn "txtai.api: app"L'API a une autorisation basée sur des jetons intégrée. En savoir plus là-dessus ici.
Le premier exemple exécutera une réalisation de chat texte. Le modèle est un pipeline de chiffons - c'est plus sophistiqué qu'un simple appel LLM!
Les agents, les pipelines et les workflows peuvent tous être ...
[Courte citation de 8% de l'article original]