Dans le monde d'aujourd'hui, la confidentialité des données est très importante, en particulier lorsque l'on travaille avec des modèles de langage étendus (LLM) et des informations sensibles. Les entreprises et les particuliers doivent souvent utiliser des données privées, telles que des informations personnelles identifiables (PII), dans leurs applications LLM. Cependant, le risque de fuites de données et d’atteintes à la vie privée constitue une menace constante, rendant nécessaire la mise en œuvre de mesures de protection des données.
Dans cet article de blog, nous explorerons une solution pour protéger les données privées lors de la création de systèmes de questions-réponses à l'aide de LLM. Nous aborderons le concept d'anonymisation des données, qui consiste à remplacer les informations sensibles par des données synthétiques ou des espaces réservés avant de les transmettre au LLM. En utilisant LangChain et la bibliothèque Presidio de Microsoft, nous pouvons créer un pipeline d'anonymisation sécurisé et personnalisable pour nos applications LLM.
Les informations personnelles identifiables (PII) font référence à toutes les données qui peuvent être utilisées pour identifier, contacter ou localiser un individu. Les informations personnelles peuvent être classées en deux types :
Informations liées : cela inclut des identifiants directs tels que des adresses e-mail, des numéros de téléphone, des numéros de sécurité sociale et des numéros de passeport.
Informations pouvant être liées : il s'agit d'informations indirectes qui peuvent être combinées avec d'autres données pour identifier un individu. Par exemple, une combinaison d’âge, de profession et de lieu peut identifier une personne de manière unique.
Il est crucial de protéger les informations personnelles contre d'éventuelles violations de données ou accès non autorisés, car les conséquences peuvent être graves, notamment le vol d'identité, la fraude financière et les implications juridiques.
Lors de l'utilisation d'API externes comme OpenAI ou Anthropic, nos données risquent d'être divulguées ou stockées pendant une certaine période (par exemple 30 jours). Même si nous hébergeons notre propre instance LLM, il existe toujours un risque de fuite de données ou de mémorisation d'informations sensibles par le modèle pendant la formation.
Pour éviter ces risques, nous avons deux options principales :
Héberger notre propre LLM : cela nous permet de conserver les données sur site, mais cela peut être coûteux et les modèles disponibles peuvent ne pas correspondre aux performances de GPT-4o ou d'autres LLM de pointe.
Anonymiser les données avant de les transmettre au LLM : en remplaçant les informations sensibles par des espaces réservés ou des données synthétiques, nous pouvons protéger nos données privées tout en continuant à utiliser des LLM ou des API externes.
Dans cet article de blog, nous nous concentrerons sur la deuxième option : l'anonymisation des données à l'aide de LangChain et Presidio.
Presidio est une bibliothèque open source de Microsoft qui fournit des outils robustes et personnalisables pour anonymiser les données textuelles. Il se compose de deux éléments principaux :
Analyseur : ce composant reconnaît et identifie les entités PII dans le texte à l'aide de modèles intégrés, d'expressions régulières et de modèles de reconnaissance d'entités nommées.
Anonymiseur : ce composant remplace les entités PII identifiées par des espaces réservés, des marqueurs ou des données synthétiques.
Presidio offre une grande personnalisation, nous permettant d'ajouter des outils de reconnaissance et des opérateurs personnalisés pour gérer des formats de données ou des exigences spécifiques.
Plongeons dans le code et explorons comment nous pouvons intégrer Presidio à LangChain pour créer un système de questions-réponses sécurisé avec anonymisation des données.
Tout d'abord, nous devons initialiser lePresidioRéversibleAnonymiseurde LangChain, qui offre la possibilité de restaurer les données originales après anonymisation.
à partir de langchain_experimental.data_anonymizer import PresidioReversibleAnonymizer import re anonymizer = PresidioReversibleAnonymizer( add_default_faker_operators=False, )D...
[Courte citation de 8% de l'article original]