Llama Guard : ce qu'il fait réellement (et ne fait pas)

DEV - 24/01
Vous avez entendu dire que vous devriez utiliser Llama Guard pour la sécurité de l'IA. Tous les guides le mentionnent. Chaque sécurité...

Vous avez entendu dire que vous devriez utiliser Llama Guard pour la sécurité de l'IA. Tous les guides le mentionnent. Chaque liste de contrôle de sécurité l’inclut. C'est la réponse par défaut à la question « Comment sécuriser mon LLM ? »

Mais voici le problème : la plupart des gens ne comprennent pas réellement ce que fait Llama Guard.

Ils pensent que c'est une solution de sécurité magique qui stoppe toutes les attaques. Ce n'est pas le cas. Il s'agit d'un classificateur de contenu qui vérifie les violations des règles.

Cette distinction est importante. Beaucoup.

Laissez-moi vous montrer ce que fait réellement Llama Guard, ce qu'il ne fait pas et quand vous devriez (et ne devriez pas) l'utiliser.

Qu'est-ce que Llama Guard est réellement

Llama Guard est un LLM (basé sur Llama 3.1) affiné pour classer le texte comme « sûr » ou « dangereux » en fonction d'une politique de sécurité spécifique.

Version simple : vous lui donnez du texte. Il vous indique si ce texte viole l'une des 14 catégories prédéfinies.

Comment ça marche :

Entrée : « Comment fabriquer une bombe ? » Garde lama : « dangereux\nS9 » (Catégorie S9 : Armes aveugles) Entrée : « Quel temps fait-il aujourd'hui ? » Garde Lama : "en sécurité"
Entrer en mode plein écran Quitter le mode plein écran

Il s'agit essentiellement d'un classificateur spécialisé. Considérez-le comme un filtre anti-spam, mais pour le contenu nuisible plutôt que pour le spam.

Les 14 catégories de sécurité

Llama Guard utilise la taxonomie MLCommons AI Safety :

  1. S1 : Crimes violents – Meurtre, agression, enlèvement, terrorisme
  2. S2 : Crimes non violents – Fraude, vol, activités illégales
  3. S3 : Crimes liés au sexe – Agression sexuelle, trafic
  4. S4 : Exploitation sexuelle des enfants – Tout ce qui implique des mineurs
  5. S5 : Diffamation – Diffamation, calomnie
  6. S6 : Conseils spécialisés – Conseils médicaux/juridiques/financiers sans réserve
  7. S7 : Confidentialité – Partage de données personnelles, doxxing
  8. S8 : Propriété intellectuelle – Violation du droit d'auteur, piratage
  9. S9 : Armes aveugles – CBRNE (chimiques, biologiques, radiologiques, nucléaires, explosifs)
  10. S10 : Haine – Contenu ciblant des caractéristiques protégées
  11. S11 : Suicide et automutilation – Encourager ou permettre l'automutilation
  12. S12 : Contenu à caractère sexuel – Contenu à caractère sexuel explicite
  13. S13 : Élections – Désinformation électorale
  14. S14 : Abus d'interpréteur de code – Exécution de code malveillant

Ces catégories sont fixes. Vous ne pouvez pas en ajouter des personnalisés sans recycler le modèle.

Ce qu'il fait bien

1. Détecte les violations évidentes des politiques

Llama Guard est efficace pour détecter les violations claires :

à partir des transformateurs importent AutoTokenizer, AutoModelForCausalLM model_id = "meta-llama/Llama-Guard-3-8B" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id) def check_safety(text): chat = [{"role": "user", "content": text}] input_ids = tokenizer.apply_chat_template(chat, return_tensors="pt") output = model.generate(input_ids, max_new_tokens=100) result = tokenizer.decode(output[0], skip_special_tokens=True) # Résultat de l'analyse : "safe" ou "unsafe\nS1,S3" is_safe = result.strip().startswith("safe") violé = [] if is_...
[Courte citation de 8% de l'article original]