Dans un petit appartement à l’extérieur de Madrid, le 11 janvier 2022, une dispute au sujet des tâches ménagères est devenue violente lorsque le mari de Lobna Hemid a brisé une étagère à chaussures en bois et a utilisé l’un des morceaux cassés pour la battre. Ses cris ont été entendus par les voisins. Leurs quatre enfants, âgés de 6 à 12 ans, étaient également à la maison.

Le mari de Mme Hemid depuis plus d’une décennie, Bouthaer el Banaisati, lui donnait régulièrement des coups de poing et des coups de pied, a-t-elle déclaré plus tard à la police. Il l'a également qualifiée de « pute », de « dégoûtante » et de « sans valeur », selon le rapport de police.

Avant que Mme Hemid ne quitte le commissariat cette nuit-là, la police a dû déterminer si elle risquait d'être à nouveau attaquée et si elle avait besoin de soutien. Un policier a répondu à 35 questions par oui ou par non : une arme a-t-elle été utilisée ? Y a-t-il eu des problèmes économiques ? L’agresseur a-t-il fait preuve de comportements contrôlants ? – pour alimenter un algorithme appelé VioGén qui aiderait à générer une réponse.

VioGén a produit une partition :

La police a accepté le jugement du logiciel et Mme Hemid est rentrée chez elle sans autre protection. M. el Banaisati, emprisonné cette nuit-là, a été libéré le lendemain. Sept semaines plus tard, il a mortellement poignardé Mme Hemid à plusieurs reprises à la poitrine et à l'abdomen avant de se suicider. Elle avait 32 ans.

L’Espagne est devenue dépendante d’un algorithme pour lutter contre la violence sexiste, le logiciel étant tellement intégré aux forces de l’ordre qu’il est difficile de savoir où s’arrêtent ses recommandations et où commence la prise de décision humaine. Au mieux, le système a aidé la police à protéger les femmes vulnérables et, dans l’ensemble, a réduit le nombre d’attaques répétées dans les affaires de violence domestique. Mais le recours à VioGén a également conduit des victimes, dont les niveaux de risque ont été mal calculés, à être à nouveau attaquées, ce qui a parfois des conséquences fatales.

L'Espagne compte désormais 92 000 cas actifs de victimes de violences de genre qui ont été évalués par VioGén, la plupart d'entre elles (83 %) étant classées comme présentant peu de risques d'être à nouveau blessées par leur agresseur. Pourtant, environ 8 % des femmes que l’algorithme a jugées à risque négligeable et 14 % à faible risque ont déclaré avoir de nouveau été blessées, selon le ministère espagnol de l’Intérieur, qui supervise le système.

Au moins 247 femmes ont également été tuées par leur partenaire actuel ou ancien depuis 2007 après avoir été évaluées par VioGén, selon les chiffres du gouvernement. Bien qu’il ne s’agisse que d’une infime fraction des cas de violence sexiste, cela met en évidence les défauts de l’algorithme. Le New York Times a constaté que, lors d'un examen judiciaire de 98 de ces homicides, 55 des femmes assassinées ont été classées par VioGén comme présentant un risque négligeable ou faible de violences répétées.

La police espagnole est formée pour ignorer les recommandations de VioGén en fonction des preuves, mais accepte les scores de risque environ 95 % du temps, ont indiqué les responsables. Les juges peuvent également utiliser les résultats lors de l’examen des demandes d’ordonnances de non-communication et d’autres mesures de protection.

« Les femmes passent entre les mailles du filet », a déclaré Susana Pavlou, directrice de l'Institut méditerranéen d'études sur le genre, co-auteur d'un rapport de l'Union européenne sur VioGén et d'autres efforts de la police pour lutter contre la violence à l'égard des femmes. L’algorithme « exonère en quelque sorte la police de toute responsabilité dans l’évaluation de la situation et de ce dont la victime pourrait avoir besoin ».

L’Espagne illustre la manière dont les gouvernements se tournent vers les algorithmes pour prendre des décisions sociétales, une tendance mondiale qui devrait s’accentuer avec l’essor de l’intelligence artificielle. Aux États-Unis, les algorithmes aident à déterminer les peines de prison, à organiser des patrouilles de police et à identifier les enfants susceptibles d'être maltraités. Aux Pays-Bas et en Grande-Bretagne, les autorités ont expérimenté des algorithmes pour prédire qui pourrait devenir des criminels et identifier les personnes susceptibles de commettre une fraude sociale.

Peu de programmes ont des con...
[Courte citation de 8% de l'article original]