TinySearch : laissez les petits LLM locaux rechercher sur le Web sans graver le contexte

DEV - 29/05
J'ai beaucoup joué avec les agents LLM locaux ces derniers temps. Surtout des modèles plus petits, des outils MCP,...

J'ai beaucoup joué avec des agents LLM locaux ces derniers temps. Principalement des modèles plus petits, des outils MCP, des flux de travail de style Cline/Roo et des configurations de laboratoire à domicile.

Pas le monde du « contexte infini, budget infini ».

Plutôt :

« Ce modèle 4B/9B peut-il réellement utiliser le Web sans se laisser enterrer vivant par un contexte poubelle ?

C'était le problème qui me dérangeait.

La plupart des outils de recherche sur le Web fonctionnent techniquement, mais ils transfèrent souvent beaucoup trop de texte de page brut dans le modèle. Vous posez une question simple, et soudain, votre modèle local essaie de raisonner à travers des bannières de cookies, des démarques brisées, des remplissages SEO, des menus de navigation, des paragraphes dupliqués et cinq pages de courrier indésirable non pertinents.

Pour les petits modèles, c'est pénible.

Ils n’ont pas besoin de « tout le Web ».

Ils ont besoin d’une petite tranche du Web utile et basée sur la source qui correspond à la requête réelle.

J'ai donc construit TinySearch.

GitHub : https://github.com/MarcellM01/TinySearch

Ce que fait TinySearch

TinySearch est un petit outil de recherche MCP open source qui :

  1. recherche sur le Web
  2. explore les pages sélectionnées
  3. fragmente le contenu extrait
  4. reclasse les parties utiles
  5. renvoie une invite compacte et basée sur la source pour votre modèle

Le flux est essentiellement :

recherche -> exploration -> reclassement -> renvoyer l'invite fondée
Entrer en mode plein écran Quitter le mode plein écran

C'est toute l'idée.

TinySearch ne répond pas lui-même à la question.

Il prépare les preuves.

Votre...
[Courte citation de 8% de l'article original]

Loading...