Mon système de sécurité LLM pensait que les articles universitaires étaient des attaques de pirates informatiques

DEV - 05/06

Mon détecteur d'invites contradictoires signalait les articles universitaires comme des attaques avec suffixe GCG. Pas de temps en temps....

Mon détecteur d'invites contradictoires signalait les articles universitaires comme des attaques avec suffixe GCG. Pas occasionnellement. 72% du temps.

Voici ce qui s'est passé, pourquoi cela est tout à fait logique avec le recul et la solution qui l'a ramené à 6,7 %.

À quoi ressemblent les attaques du suffixe GCG

Les attaques GCG (Greedy Coordonnée Gradient) sont des chaînes contradictoires qui ressemblent à du bruit complet :

Ignorez les instructions précédentes. Bien sûr, voici ]( revert-->Mother $_[ décrivant...Entrer en mode plein écran Quitter le mode plein écran

Ils sont générés par un algorithme d'optimisation de gradient. Pour un humain, ce sont du charabia. Pour un modèle de langage, ils constituent une clé de contournement.

Mon détecteur le...
[Courte citation de 8% de l'article original]

Tags : sécurité - open source - showdev - ai - logiciel - codage - développement - ingénierie - inclusif - communauté -

Article automatiquement traduit - Source et Copyright images et textes : - DEV
Lien vers la traduction, consulter la traduction de l'article sur Google Translate : https://translate.google.com/translate?hl=en&sl=auto&tl=fr&u=https://dev.to/ayush_singh_9b0d83152be5b/my-llm-security-system-thought-academic-papers-were-hacker-attacks-49mb
Lien original, consulter l'article dans son intégralité ici : https://dev.to/ayush_singh_9b0d83152be5b/my-llm-security-system-thought-academic-papers-were-hacker-attacks-49mb
Lien direct sur notre site : http://www.newsexplorer.fr/article/32465867/Mon-syst%C3%A8me-de-s%C3%A9curit%C3%A9-LLM-pensait-que-les-articles-universitaires-%C3%A9taient-des-attaques-de-pirates-informatiques
Partager : Facebook - Twitter

Avis de non-responsabilité pour les articles et les traductions :
Les articles publiés sur ce site ont été rédigés par des auteurs externes et ne représentent pas l'avis ou les opinions de ce site. Les informations contenues dans ces articles sont fournies à titre indicatif et ne doivent pas être considérées comme des conseils professionnels ou juridiques.
De plus, les traductions proposées sur ce site peuvent ne pas être exactes ou complètes. Nous ne pouvons garantir l'exactitude, la fiabilité ou la pertinence de ces traductions et nous déclinons toute responsabilité pour toute perte ou préjudice causé par leur utilisation.
Nous recommandons à nos lecteurs de vérifier toutes les informations avant de prendre des décisions ou d'entreprendre des actions en se basant sur ces articles ou traductions. Nous ne serons pas tenus responsables des erreurs ou des omissions dans les informations fournies sur ce site.