Conférence Algorithmes INHESJ

Compte-rendu de la conférence « Sécurité et justice. Le défi de l’algorithme » - 27 juin 2017 - INHESJ

• Programme de la journée
• Captation vidéo

Introduction (Hélène Cazaux-Charles, directrice de l’INHESJ)

Art. 59 loi Répu Num : CNIL doit conduire réflex° sur éthique / numérique.

Prospective pour rapport au gouvernement.

On parle ici d’algo pour la justice pénale : réflexion largement entamée dans la justice civile et commerciale, notamment pour utiliser les algos pour automatiser certaines tâches de justice, suppléer, interpréter, etc. En pénal on est dans la prospective, enjeux forts de préservation des libertés.

4 sujets :

• Q° de la preuve à l’heure de l’algo. Pour pouvoir mettre qqun en GàV ou en prison, il faut des raisons plausibles. Si ces raisons ne participent plus d’un débat et du contradictoire : problème, si ces raisons sont agrégation de données. Terrain de la preuve glisse vers l’équation algo ;
• Q° de la peine. Peine et risque de récidive. Différence entre sociologique et algo. Attention à l’essentialisation ;

Algo d’aide à la décision, d’anticipation ? Est-ce un indice ou une preuve ? Risque de scientisme ;

• Équilibres institutionnels et constitutionnels. Si on ne peut pas auditer les algos du ministère de l’Intérieur par ex. pour les réquisitions de contrôle d’identité ;
• Humain = aggrégat de comportements, de données ?

Si la société n’est qu’une grande machine aux comportements personnels prévisibles, alors on est dans le système du management. Mathématiser l’anticipation du comportement humain.

Gouvernance des lois < gouvernance par les nombres.

Vérité ne procède plus du débat imparfait : dérive à appréhender.

Manuel Palacio

notion de prédictivité importante importance du contrôle démocratique.

Bilel Benbouzid

nouvel intérêt pour l’algo.

socio des sciences : comment des enjeux sociaux et politiques se logent dans la science / les objets techniques.

INNOX projet ANR d’enquête sur l’usage des modèles de la simulation et analyse de données dans l’action publique.

Confronter toxicologie, transition énergétique, et criminologie (police).

Comment change l’action publique avec usage des algos.

Difficile d’enquêter en France, moins aux US.

== Eloi Buat Ménard ==  Magistrat, adjoint de la sous-directrice de l’organisation judiciaire et de l’innovation au ministère de la Justice.

Enjeux de la justice prédictive pour l’institution judiciaire.

Art 20-21 de la loi Répu Num.

Décisions de justice administrative et judiciaire doivent être ouvertes. Open Data sur la décision de justice, remplies de données personnelles.

Principe d’open data à préciser par règlement.

Rencontre open data / données de justice = justice prédictive.

Exploitation du passé. Impact de cette exploitation sur la prise de décision en justice pénale.

Est prédictif ce qui permet de prévoir un fait selon des éléments donnés. Est-ce qu’on pense probabilité ? Se rapproche de la médecine prédictive. Mais en FR, une prédiction n’est pas une prévision. Attention aux anglicismes. On n’annonce pas à l’avance une décision judiciaire. Mais on essaie de prévoir les chances de réussite d’une enquête sur la base des cas antérieurs.

Jurisprudence n’est pas un système clos. Pour que l’algo soit pertinent il devrait embrasser l’ensemble des causalités d’une décision. Contexte législatif, réglementaire, social, médiatique, affectif, climatique, alimentaire.

Difficile de considérer que la jurisprudence n’a pas d’influence sur la décision : justice rendue par les pairs.

Suis-je en marge ou dans la norme de ce que pratiquent mes pairs ? Trames de décision. Quand on arrive dans un domaine qu’on ne connaît pas on commence par chercher ce que font les autres.

Auj. les outils de justice prédictive restituent ce que pratiquent les autres juges = a donc de l’influence.

Entraîne harmonisation des pratiques jurisprudentielles. Juristes rarement révolutionnaires, interprètent le texte mais ne vont pas trop loin.

Plus grande prévisibilité de la décision, au service d’une certaine sécurité juridique ?

Écueils possibles : performativité. Énoncer une réalité favorise sa répétition.

Risque d’une jurisprudence prisonnière du passé (même proche), ne favorise pas l’évolution de la jurisprudence (côté réformiste doux mais présent).

Est-ce que la sécurité juridique est forcément bien ? Si elle est absolue, il n’y a plus de justice : toute justice comporte une casuistique, une interprétation, qui sont difficiles à percevoir et apprécier. Subversion de la qualité par la quantité.

On est dans le domaine de la corrélation algorithmique, pas dans le prédictif.

Est-ce qu’on risque d’évaluer le risque juridique en fonction de l’analyse coût-avantage si les décisions de justice sont trop automatisées, si la justice devient trop prévisible ?

Justice pénale : en fonction de la donnée dispo, des traitements différents sont possibles (avec ou sans garde fous). Si les noms des professionnels figurent (nom du juge), on peut croiser et trouver l’influence spécifique de chacun des juges sur la décision définitive. Personnalisation de la justice : en France secret des délibérés et non élection du juge fait que le juge doit s’effacer devant l’institution. Personnaliser la jurisprudence de chaque juge pose la question du système de désignation du juge.

Gardes fous ?

• bon usage de l’open data, équilibre entre harmonisation et individualisation, ne pas passer en mode aide à la décision et encore moins substitution ;
• effort de motivation des juges à chaque fois qu’ils s’écartent de la norme, à préserver ;
• question de l’outil et de son objectivité, de son ouverture. Transparence des algos. Pbl avec les start-up pour qui l’algo est la plus-value. Peuvent pas passer en open source. Rôle de l’INRIA en reverse engineering ? Deep learning pose des pbl pour contrôle de l’algo = évolue en permanence ;
• anonymat des décisions de justice.

responsabilisation du juge va augmenter : pas forcément négatif. On peut en espérer un évitement vertueux du procès : empowerment du justiciable.

Amélioration des écritures : quand les décisions se retrouvent à la vue de tous, effort d’intelligibilité pour le public. Mais juge doit garder sa part d’ombre, notamment pour le doute et pour le délibéré.

Louis Larret-Chahine (commercial Predictice)

Veut “dépassionner” le débat.

Incompréhension due à pbl de langage.

Justice prédictive = justice analytique.

Programme info qui auto-exécute des étapes pré définies par des humains.

Évolution techno indéniable, notamment par l’utilisation de l’analyse du langage naturel / analyse sémantique. Permet d’aller collecter de l’info sur les décisions de justice.

Bouleversement quantitatif dans les capacités de traitement, permet des choses impossibles jusqu’à présent (lire 70 000 décisions de justice en 1 ms).

Loi Rép Num, manque décrets d’applications. Progression de la data : gestion des flux de données, analyse (mails, mémo, conclusions, décisions de justice etc). Croiser les informations.

Pourquoi ? But des outils n’est pas de prédire, mais de fournir un outil d’aide à la décision. Données brutes trop nombreuses, donc PRedictice fournit de la data visualisation et des capacités d’extraction d’information au milieu de la masse de décisions.

Outil prévu au départ pour les avocats. Intéresse aussi les assureurs de risque juridique. Utilité autre pour les magistrats. Cour de Cassation peut étudier le rendu de la justice, en croisant avec des données socio-économiques.

Pour un magistrat lambda, bénéficier des rendus des pairs, aide à la décision.

Volonté de contrôle : détecter ceux qui refusent l’harmonisation. + aide à la décision.

Nouveaux usages : prévoir quand arrêter qqun pour maximiser les chances de condamnation ?

Comité éthique juridique justice prédictive : il y a qui dedans ? Quelle gouvernance ?

Décisions pas assez motivées : outil fonctionne mal sur le pénal.

Anonymisation. Justice rendue au nom de la Rép FR, pas par 1 juge.

Ne pas ré-identifier les parties au procès + juges. Mais si on caviarde toutes les décisions, on ne peut plus exploiter.

Remplacer les noms des magistrats par un n° dont seuls le ministère et la cour de cassation ont les tables de concordance.

Danger de ne pas assez réglementer, besoin de mettre des garde-fous. Mais ne pas trop réglementer risque de faire perdre l’opportunité de développer (son business).

“Développer le soft power juridique FR”.

Angèle Christin

Sociologue ethnographe.

Approche qualitative des big data et algos.

Médias très critiques sur les “machines” prédictives dans la justice US.

Accusation des biais de la justice préd.

Inquiétudes sur la prédiction : est-il légitime de prendre en compte le risque de crimes futurs dans des décisions jud. actuelles ? Risque de Minority Report

sur la discrimination, très important aux US, notamment dans le système pénal des 50 dernières années.

Peur du remplacement des humains par les machines, avec absence de recours.

Inquiétudes en partie fondées, mais la réalité de l’utilisation est + complexe.

État des lieux des algos de prédiction de la récidive :

• risk assessment tools se multiplient dans les dernières années. Ça remonte aux années 30, idée de prédiction du crime futur.

Dans les années 70, criminologues et psy développent outils d’estimation du risque à partir des connaissances en criminologie. Base de données sur des cas jugés assez basiques : jugements, profils, peines, récidive. Analyses stats pour comprendre les variables prédictives des taux de récidives : quelles caractéristiques des profils de récidive, puis renversement pour pouvoir prévoir le risque de récidive. Auj. les modèles ont changé pour faire émerger des structures de bases de données + massives, mais la structure reste la même : régression linéaire en partant de bases de données. Crachent des scores de risques de 1 à 10.

Peu de machine learning, bases pas assez fournies.

Environ 60 outils dans la justice US. Certains sont assez fournis (sexuel), agissent à différents endroits de la justice pénale.

• Virginia pretrial risk assessment tool : outil développé par l’état de Virginie. Au moment des poursuites, décider de mettre ou pas le prévenu en détention avant son procès. Chargé sur les ordis des travailleurs sociaux et des procureurs. Variables sur l’histoire pénale du prévenu, socio démographiques (emploi, situation familiale);

• COMPAS (correctional offender Management Profiling for Alternative Sanctions) :

Jugé discriminatoire envers les noirs. Questionnaire intrusif administré aux prévenus / incarcérés. Utilisé partout aux US et au Canada. Questions sur les amis, s’ils ont eu des problèmes, si vos parents aiment vos amis, pourquoi, où on voit les amis (réseaux de sociabilité) : 100 questions très précises pour calculer le risque, divisé en plusieurs types de risque. C’est ajouté au dossier et consulté par les magistrats.

==> Qu’est ce qui se passe si un magistrat s’écarte du calcul de risque et que le prévenu disparaît ou récidive ?

Critiques : sur les modèles de construction des algos

• opacité à plusieurs niveaux. Code et bases de données jamais rendus public, construits par des compagnies privées pour qui le code de l’algo est propriété intellectuelle. Mais même quand les codes sont rendus publics (construits par les juridictions), reste opaque par incapacité à lire le code, les prévenus ne sont pas au courant des résultats sur eux-mêmes, pas de recours ni de contestation, score reste attaché au dos du prévenu sans qu’il ne puisse rien y faire ;
• discrimination : chercheurs, analystes, informaticiens montrent les biais contre des groupes sociaux, notamment les afro-américains

variables utilisées dans les modèles corrèlent de façon significative avec les races : codes postaux notamment, grande importance dans une géographie ségrégée. Idem sur les taux d’emploi. Soupçon d’inconstitutionnalité. Données historiques utilisées pour bâtir les scores sont porteuses des biais ségrégants : renforce et reproduit les dynamiques raciales au lieu d’objectiver ;

• système à 2 vitesses : algos concernent la justice pénale de masse : violences urbaines, drogue, petits délits. Et la délinquance financière ? Justice de classe supérieure gérée par les humains, automatisée pour les pauvres ;
• justice auto-réalisatrice : on incarcère les gens à risque, mais le passage par la prison a des chances de nous rendre à haut risque ;

• Étudier les usages :
  • A étudié les comparutions immédiates en France, où les juges prennent des discussions très rapides, ce qui les entraîne à poser des jugements biaisés. Quid de la justice prédictive là-dedans ?
  • Enquête dans les tribunaux US, pour savoir comment le personnel judiciaire utilise les algos prédictifs :
    • manque de confiance des pros de la justice sur les outils prédictifs : pourquoi se servir de ces outils, alors que qualité professionnelle éprouvée. Pas de confiance dans la boîte noire + que dans légitimité du juge ;
    • outils pas très utilisés. Résultats mis dans le dossier mais pas très utilisés. Parfois les procureurs se servent de ces risques pour négocier avec les avocats. Argument de justification ;
    • manipulation des instruments. Il faut renseigner les variables, ce sont les travailleurs sociaux qui le font le + souvent. Discrétion bouge des magistrats vers les travailleurs sociaux. Ils savent comment manipuler s’ils le souhaitent pour que le score change ;

– écarts entre usages souhaités et usages réels. Objectivité poursuivie n’est pas atteinte.

Améliorer ou se débarrasser des modèles ? Q° sur l’imbrication de ces modèles dans des systèmes judiciaires complexes.

Nature absolument politique des big data, pas de solution magique grâce à la techno : quel est le modèle de justice futur ? En quoi cela implique les algos et tout le reste de la chaîne pénale ?

David Forest (avocat)

régulation des algos en périphérie du droit positif (= la loi).

Arrêt Costeja : on a cru qu’on pourrait effacer le passé, que Google allait se conformer au droit UE, alors que Google = entité transnationale souveraine.

Revenir à J. Bodin et C. Schmitt.

Google a pris une décision stratégique de mettre en place une pratique de désindexation qui lui convient, c’est tout. N’applique pas une loi, la contourne avec ses propres processus .

Régulation / normativité de l’algo de Google hors des lois.

Forme de soft power par Google : concept de puissance en mutation. Concept de norme l’est aussi, évolue vers le soft power, enjeu de maîtrise, compréhension, réduction => concept de gouvernementalité algorithmique, trop souvent employé, pas assez questionné Gouvernementalité pas gouvernement = gouvernement des conduites qui permet contrôle et surveillance des populations

Normativité créée par les GAFAM : Rejet du droit.

À ne pas vouloir connaître le fonctionnement normatif des GAFA, la régulation ne peut être qu’un dialogue de sourds.

Tout repose sur l’éthique, alpha et oméga de la régulation (depuis J. P Barlow). Promu par les GAFA notamment, pour inciter le gvt US à ne pas réglementer : Critique le fourre-tout de l’éthique.

Bertrand Warusfel (avocat)

Aucun outil n’est neutre, le maîtriser n’est pas inné.

L’outil a une logique intrinsèque qui entraîne forcément dans un sens.

Logique de performance repose sur la calculabilité.

Confronté à la justice = pas la même chose.

La loi de la machine l’emporte sur la loi des hommes (code is law).

Loi des hommes toujours imparfaite. Si nous mettons dans la machine une bonne loi, aurons-nous une meilleure justice ? (non)

Numérisation de la justice encore très modeste dans ses process (pour les praticiens).

Le travail de l’avocat arrive en pdf (pas image), mais n’est pas encore préformaté pour les magistrats

Ne pas utiliser le prédictif pour sauter l’étape de la numérisation des processus.

Si la justice fait humblement son chemin de numérisation, elle sera mieux armée pour apprécier l’algo, en saisir les enjeux, etc.

Qu’est-ce qui est irréductible à la fonction de juger ? Le privilège des forces et faiblesses de l’humain ?

Question de l'évitement du juge.

Yves Gallot (Police nationale)

Predvol (Oise) travaille sur 1 semaine avec 5 ans d’historique.

Types de vols.

Visualisation de la délinquance réelle constatée.

géolocalisation et changement dans le temps.

évaluation du modèle prédictif match entre ce qui avait été prédit et ce qui est effectivement constaté.

utilisation conjointe en zones police et gendarmerie.

lancé en septembre 2016, 1er bilan fin février 2017.

Opérateurs techniques publics ST(SI) 2 et Etalab.

Modélisation processus de Hawkes (séismes).

données exogènes : 600 variables externes brassées. Questionnement sur les biais.

Basé sur les découpages territoriaux IRIS (Insee), bien parce que utilisé dans bcp de jeux open data = pour comparer c’est bien.

Pose d’autres soucis pour la police = périmètres trop grands.

Évolution à Toulouse : travail sur les cambriolages et les vols avec violence, en retirant les données exogènes.

modèles prédictifs pas utilisables sur toutes les infractions (atteintes aux personnes).

Expérience du terrain remonte : proximité avec les concepteurs.

Redécoupage par tronçons.

Contrairement à la Gendarmerie, ce n’est pas un outil distant d’état-major.

Utilisé par les agents sur le terrain : vont sur les zones à surveiller.

Jean-Luc Besson, Géostatisticien observatoire de la délinquance

Anticiper le lieu d'un délit ?

Peut-on prévoir le déplacement géographique d’un fait criminel ?

Modélisation Risk Terrain Modeling sur les vols avec violence sans arme sur les femmes sur la voie publique à Paris.

Mise en évidence des vulnérabilités.

outil universitaire, pas vendu, domaine public.

Facteurs aggravants de risques à identifier, pour comprendre les vulnérabilités, et donc anticiper sur d’autres territoires aux mêmes vulnérabilités.

Lieu étudié = cellule de 100m de côté.

Modéliser le lieu avec les caractères du monde réel, chemin, bosquet, arbres, rivière, etc. Explique passages ou non passage des gens par ex (présence d’une route).

Est-ce que ces éléments sont proches du lieu des délits ?

Mesurer la distance d’influence des objets géographiques par rapport au délit.

Différentes couches de facteurs de risque, ensuite on ajoute les couches = donne la modélisation du risque.

Comparaison entre années pour vérifier l’efficacité de la modélisation.

Travail sur les données de la préf de police, très précises (adresse précise) : plaintes pour vol avec violence, mais aussi lieux d’interpellation pour racolage et trafic de stup = rentre dans les modèles de risque.

2014 = 4173 faits géocodés à Paris (localisés à l’adresse). Données sont encore très sales, manque de précision, un des freins au développement.

19% des cellules concernent 1 fait ou plus.

temporalité heure / jour : le jour n’est pas à la même heure toute l’année.

Concept de hotspot. Si le hotspot reste le même tout le temps, pose Q° sur l’efficacité de la police.

Identifient des facteurs de risque (présence de restauration rapide, DAB, cafés-bars, abribus etc) Se nourrissent de l’open date.

Processus statistiques totalement ouverts pour la modélisation = pas de boîte noire.

Parfois la carto modélise des facteurs de risque là où il n’y a actuellement pas de hotspot => anticipation du risque ?

Prédiction ou prévision ?

Comment prouver qu’un événement n’a pas eu lieu parce qu’on l’a prévu et qu'on a agi ?

Normalement le modèle va aider la police donc être plus efficace et devrait faire augmenter confiance dans la police.

Mais données partielles : ne travaille que sur partie connue de la criminalité + modèle pas entièrement scientifique.

Limites sur les droits des personnes : peut entraîner des règles hors du droit commun, programmes de police discriminatoires attentatoires aux droits fondamentaux = rupture d’égalité, liberté d’aller et venir.

Services ne veulent pas forcément qu’une machine se substitue à leur expertise : doit rester un outil d’assistance.

3 nécessités :

• s’assurer de la performance des outils prédictifs ;
• poser la Q° de la vitesse d’adaptation du système répressif ;
• réflexion et débat sur les effets de ces outils en matière de libertés publiques.

Jeremy Heffner - Data scientist Azavea

HunchLab - N’aime pas parler de prédiction, mais de “minimisation du risque”.

Est-ce que les institutions police / justice seraient d’accord pour faire auditer leurs produits ? Comment adapter ça à la lutte antiterroriste ? Ne pas livrer les sélecteurs pour ne pas donner les clés d’analyse.

Bilel Benbouzid, maître de conférences en sociologie

Police prédictive = pour lutter contre le crime, pas seulement attraper les criminels après.

Notion de police préventive = patrouille de police, pas innée aux US.

Effet boite noire des algos = lieu commun. Pbl c’est que le processus d’apprentissage en machine learning : on ne sait pas comment on en arrive à tel ou tel résultat.

Opacité : pas pbl insurmontable, assez classique en socio des sciences = tous les objets techniques sont opaques.

Enjeu c’est de prendre le pli des techniques pour révéler leur somptueuse opacité (Latour).

Difficile d’enquêter dans les labos.

Predpol : calcul statistique assez classique sur intensité et contagion du risque.

S’inspirent des modèles de sismologie.

modèles non stationnaires = mêmes causes font pas mêmes effets dans le temps, grande évolution (contrairement au sismo).

Pondérer l’algo en allant interroger les gens dans un quartier ? Résistance de la police.

Exactitude ou précision ?

Régulation des machines : que fait le droit ? Quasi rien aux US. Régime spécial quand ça concerne le terro notamment.

Débat divisé autour de 3 positions des débats juridiques des profs de droit

Que fait la police avec l’optimisation algo ?

• augmenter l’offre de sécurité publique = aller + patrouiller pour faire baisser délinquance ;
• suspicion raisonnable et cause probable. Principe de proportionnalité. Si suspicion forte on peut ê plus intrusif, si suspicion faible on est moins intrusif ;
• est-ce que l’algo est un indic comme un autre ? Non car l’indic raisonne de façon individualisée ;
• principe très fort de l’individualisation dans la justice = soupçon individuel du policier vs. soupçon général de l’algo.

Importance de minimiser le taux de tracas de l’algo.

l’algo pour l'antiterro = ne marchera pas, et cause beaucoup de tracas pour pas bcp de terro.

une manière juste d’utiliser l’algo serait de s’en servir pour minimiser l’intrusion de la police chez les individus.

un chien renifleur fonctionne comme un algo = principe de reconnaissance.

puissance du machine learning c’est de nous obliger à lui répondre soit par du machine learning soit par des principes pratiques forts.