Le contrôle des décisions publiques prises à l'aide d'algorithmes

Partie I – Des techniques et des règles

1. Prédictions, recommandations et décisions¶

En vertu du droit commun, les décisions publiques et administratives prises au moyen d'algorithmes sont soumises au contrôle de leur légalité, notamment dans le cadre du contentieux de l'annulation devant le Conseil d'État, et sont susceptibles d'engager la responsabilité de l'administration devant les juridictions judiciaires. Ce contrôle recouvre mais ne se limite pas au respect des règles spéciales en matière de traitement des données à caractère personnel et de protection de la vie privée. Il faut également vérifier que ces décisions reposent sur une base légale, qu'elles n'ajoutent pas et ne modifient pas les conditions fixées par la loi, qu'elles respectent l'égalité et ne soient pas discriminatoires, que les mesures prises lorsqu'elles portent atteinte aux droits apparaissent nécessaires et proportionnées, qu'elles soient publiques et transparentes et que les décisions apparaissent raisonnables et correctement motivées.¹

Or, dans l'état actuel des choses, nombre de décisions prises à l'aide d'algorithmes apparaissent critiquables par rapport à ces exigences de l'État de droit. Le droit commun offre des moyens solides d'attaquer les décisions contraires aux droits ou aux intérêts légitimes de leurs destinataires et même plus largement la validité du dispositif algorithmique lui-même. Nous mettrons en évidence dans ce chapitre une série de moyens sérieux qui ont été opposés avec succès ou le seront demain aux décisions prises à l'aide d'algorithme qui ne satisfont pas les exigences de l'État de droit.

Outre le droit commun administratif, cet exercice peut s'appuyer sur quelques décisions jurisprudentielles prometteuses, émanant notamment d'autres États membres de l'Union européenne proches de notre pays comme la France et les Pays-Bas. De plus, la doctrine continentale récente a désormais dépassé le stade de la discussion de principe sur la gouvernance algorithmique pour examiner de manière juridiquement plus précise les modalités du contrôle de l'administration.²

Le développement d'un tel contentieux apparaît comme la ligne de front actuelle de la lutte pour l'État de droit et le respect des libertés face à un nouveau mode de gouvernance puissant, mais dangereux car à la fois très invasif et difficile à contrôler. Ce contentieux ne concerne pas que les spécialistes de la protection des données ou les défenseurs des droits humains. Vu l'empire que les dispositifs algorithmiques sont en train de prendre dans l'ensemble des champs de l'action publique (et d'ailleurs aussi du secteur privé), ceux-ci concernent également à part entière les entreprises et les acteurs économiques en général et la vie des affaires de sorte qu'il serait imprudent pour les praticiens du droit privé et du droit économique en général de ne pas s'en préoccuper.

La fonction attribuée à l'algorithme par l'administration influe de manière déterminante sur les recours et moyens qui pourront être invoqués en cas de contestation. Une même intelligence artificielle peut remplir des fonctions différentes de prédiction, de recommandation ou de décision. Prenons par exemple un logiciel de navigation de type Waze. Il peut servir à des planificateurs urbains ou des compagnies de transport pour prédire les conditions de circulation ou bien aux automobilistes afin de leur recommander le meilleur itinéraire ou encore déterminer la voie à suivre par un véhicule autonome.³ Dans les trois cas, l'opération intellectuelle, c'est-à-dire le programme de calcul, est le même bien que les applications varient. Du point de vue juridique, le régime sera néanmoins très différent. L'outil de prédiction s'ajoute à l'appareil statistique de plus en plus perfectionné, conçu et mis en œuvre par les autorités publiques et les entreprises privées qui les assistent afin de lui fournir les connaissances utiles à l'action gouvernementale. Ces instruments ne sont pas soumis aux règles relatives à la protection de la vie privée et des données à caractère personnel dès lors qu'ils agrègent les données individuelles pour en tirer des enseignements généraux. Il en va tout autrement des décisions prises automatiquement par un algorithme. Tel est le cas dans certains pays où l'enregistrement par un radar d'un excès de vitesse entraîne l'envoi automatique au propriétaire du véhicule identifié d'une invitation à s'acquitter d'une amende. De telles décisions ouvrent à leurs destinataires les recours administratifs et judiciaires prévus par le droit commun.

L'article 22, § 2, du Règlement général sur la protection des données (RGPD) conditionne la validité des dispositifs de décision automatique à une habilitation par le droit de l'État membre, sauf s'il s'agit de l'exécution d'un contrat ou que le destinataire a donné son accord. Cette clause n'offre cependant qu'une protection limitée. Une loi française de 2018 a ainsi autorisé de manière générale l'usage de ces dispositifs par l'administration, renversant l'interdiction décrétée jusqu'alors par une loi précoce de 1978.⁴ En Belgique, une loi de 2016 a de même validé rétrospectivement le dispositif OASIS (Organisation Anti-fraude des Services de l'Inspection Sociale) en matière de lutte contre la fraude sociale, dont l'origine remonte à 2005, de même que les dispositifs de détection de la fraude fiscale.⁵ En outre, il n'est pas requis que l'habilitation émane du pouvoir législatif. Le même article 22, § 3, prévoit encore le « droit de la personne concernée d'obtenir une intervention humaine de la part du responsable de traitement, d'exprimer son point de vue et de contester la décision »⁶, mais ce droit ne s'applique pas lorsque le dispositif est autorisé par le droit de l'État membre.

Dans la plupart des cas pourtant, le système ne prévoit pas de décision automatique. L'algorithme opère des recommandations. Tel est le cas des dispositifs belges de détection de la fraude sociale et fiscale qui signalent aux agents une probabilité de fraude, déclenchant un contrôle à l'issue duquel l'inspection sociale ou fiscale prendra ou non une décision de redressement ou de sanction.⁷ Dans un rapport très complet et particulièrement intéressant réalisé par Élise Degrave et son équipe, celle-ci avance que de tels signalements algorithmiques pourraient être considérés comme des « décisions intermédiaires », ouvrant la voie à des recours.⁸here is, in our view, an intermediate administrative decision that is adopted : the decision to carry out an on-site check ».] L'idée est ingénieuse, mais il n'est pas certain qu'elle convainque les juges. Dans d'autres situations, l'algorithme proposera directement une décision à l'agent administratif. Le processus managérial incitera l'agent à entériner celle-ci eu égard au grand nombre des dossiers qu'il aura à traiter, au temps à investir pour proposer une solution alternative, au risque d'engager sa responsabilité dans ce cas et à un certain « biais d'automatisation » qui tend à accorder une confiance excessive aux solutions proposées par une machine.⁹ Ces circonstances rendent en pratique assez floue et poreuse la distinction entre recommandation et décision.¹⁰ La recommandation algorithmique n'étant pas en elle-même susceptible de recours, il faudra attaquer la décision administrative, quitte à trouver le moyen de mettre en cause le calcul algorithmique qui la sous-tend.¹¹

2. Explication et motivation¶

Lorsque la décision administrative est fondée sur la recommandation d'un algorithme, la question de la motivation ou de l'explication de la décision et de la transparence du dispositif se trouve très souvent soulevée. Cette question suscite un débat d'autant plus aigu que les autorités publiques rechignent beaucoup à communiquer le fonctionnement des algorithmes et le « raisonnement » qu'ils mettent en œuvre.

En France, la loi pour une République numérique du 7 octobre 2016 prévoit qu'« une décision individuelle prise sur le fondement d'un traitement algorithmique comporte une mention explicite en informant l'intéressé. Les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre sont communiquées par l'administration à l'intéressé s'il en fait la demande ».¹² Le décret d'application du 14 mars 2017 précise que l'administration doit indiquer la finalité du traitement algorithmique et le droit de l'administré d'obtenir à sa demande la communication des règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre.¹³ L'administration doit ainsi communiquer de manière intelligible au destinataire de la décision, sauf secret protégé par la loi, les informations suivantes : « 1° le degré et le mode de contribution du traitement algorithmique à la prise de décision ; 2° les données traitées et leurs sources ; 3° les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé ; 4° les opérations effectuées par le traitement ».¹⁴

Il n'existe aucune législation de ce type en Belgique. Une proposition de loi, très proche de la loi française jusque dans le choix des termes, a été introduite par l'opposition à la Chambre des représentants en avril 2021.¹⁵ L'administration a depuis longtemps fait preuve de réticences très fortes à communiquer en particulier sur le dispositif OASIS en dépit d'efforts consentis depuis plusieurs années par certains académiques pour obtenir ces informations.¹⁶ Bien entendu, en l'absence de dispositions spécifiques, le droit commun s'applique, en particulier les règles relatives à la transparence administrative et à la motivation des décisions de l'administration.

Les premiers combats ont souvent porté sur la communication par l'administration des codes sources des programmes qu'elle utilise. Dès 2001, le Conseil d'État belge a tranché un contentieux relatif au vote électronique et au dépouillement automatisé en annulant le refus par le ministre fédéral de l'Intérieur de communiquer le code source et les algorithmes, qui avait été sollicité par un citoyen soucieux de s'assurer de l'intégrité du scrutin.¹⁷ De même en France, dans l'affaire de l'algorithme APB (Admission Post-Bac) qui règle l'inscription des étudiants dans les différentes filières de l'enseignement supérieur, la Commission nationale de l'informatique et des libertés (CNIL) a mis l'État en demeure de donner suite à la demande formulée par l'association Droits des lycéens de recevoir communication du code source de l'algorithme de la plateforme. L'association a ensuite fait appel à des ingénieurs pour l'aider à déchiffrer le code. Elle a réussi à montrer que certains critères utilisés ne correspondaient pas à ceux fixés par la réglementation, ce qui a conduit en 2018 au remplacement de APB par une nouvelle version nommée « Parcoursup ».

Le code source apparaît cependant comme un document abscons pour le non-initié qui est en droit d'obtenir une explication intelligible comme le soulignent en France la CNIL et le Vice-président du Conseil d'État Jean-Marc Sauvé dans un discours important sur « le juge et l'intelligence artificielle ».¹⁸ Notons que le Conseil d'État belge avait, dès 2004, suspendu pour illégalité manifeste une décision administrative d'évincement d'un soumissionnaire à un marché public fondée sur l'algorithme mystérieux « Decision Lab ».¹⁹ Dans un considérant savoureux, « le Conseil d'État ne peut que s'interroger sur la légalité d'une motivation formelle qui se réfère à un document à caractère nettement ésotérique, rédigé en un jargon anglicisant, mettant en avant des notions étrangères à tout honnête homme, telles que des "types de courbe : III (VSHAPE) ou V (linear)" ou que des seuils d'indifférence "q" et des seuils de préférence stricts "p", pour se réfugier plus sûrement derrière l'utilisation du logiciel DÉCISION LAB ou l'application de la pondération PROMÉTHÉE ».

De manière plus générale, les justiciables trouvent dans la jurisprudence du Conseil d'État qui interprète la loi du 29 juillet 1991 relative à la motivation formelle des actes administratifs²⁰ les moyens d'exiger des explications circonstanciées des décisions prises à l'aide d'algorithmes ou non.²¹ Rappelons ainsi que la motivation doit permettre au destinataire de comprendre les raisons de fait et de droit qui ont conduit à adopter la décision et à lui permettre d'en apprécier la légalité et la pertinence et donc aussi l'opportunité de la contester en justice. L'administration doit « démontrer que les éléments invoqués sont exacts, pertinents et admissibles ».²² La motivation doit être adaptée au cas d'espèce et ne peut donc être stéréotypée.²³ Bien plus, il faut selon le Conseil d'État que le raisonnement conduisant à la décision soit formalisé dans l'acte.²⁴ Cette jurisprudence place la barre particulièrement haut pour l'administration lorsqu'elle est amenée à justifier auprès du destinataire une décision recommandée par un algorithme.

3. Le culte du secret¶

Les autorités publiques tentent néanmoins de conserver jalousement leurs recettes algorithmiques et ont développé plusieurs contre-arguments pour opposer des refus aux demandes d'explication et de justification. Un premier argument qui vient comme une sorte de réflexe est celui du secret. La loi française le réserve d'ailleurs explicitement en renvoyant cependant à une liste précise des cas ainsi couverts. L'administration belge semble le cultiver particulièrement. Dans l'affaire déjà évoquée du logiciel de vote et de dépouillement automatique, le ministre invoqua sans succès le secret du vote et aussi celui des affaires. L'article 61 de la loi du 5 septembre 2018 instituant le Comité de sécurité de l'information²⁵ (loi CSI) déroge au RGPD en permettant de retarder, limiter ou exclure le droit à l'information de personnes qui font l'objet de traitement de données à caractère personnel dans des enquêtes pour fraude sociale. Ce secret ne s'étend pas à la décision bien entendu.²⁶ De même, la police de Durham en Grande-Bretagne a refusé de communiquer l'algorithme Hart et son code source, qui sélectionne les condamnés susceptibles de bénéficier d'un programme de réinsertion car cela aurait pu nuire au fonctionnement du système.²⁷ C'est sans doute ici le moment de rappeler que, depuis les Lumières et le droit nouveau issu des révolutions libérales, la publicité est l'axiome fondamental de la légalité. Les actes secrets de l'autorité publique sont en principe illégaux sur leur face. Les exceptions sont bien entendu de stricte interprétation et l'invocation du secret appelle le contrôle judiciaire le plus scrupuleux.²⁸

Un deuxième argument fréquent consiste à invoquer les droits de propriété intellectuelle ou le secret des affaires du propriétaire de l'algorithme pour s'opposer à sa divulgation. Cet argument a notamment été invoqué avec succès dans l'une des plus célèbres affaires du contentieux algorithmique jusqu'à présent, l'affaire State of Wisconsin v. Loomis²⁹ qui concerne l'algorithme Compas développé par la société Northpointe.³⁰ Cet algorithme évalue le risque de récidive de condamnés sur la base de plus de 137 critères. Il est consulté, parfois de manière obligatoire, soit en vue de prendre une décision de libération conditionnelle, soit pour déterminer la peine du condamné. Loomis, qui s'était vu imposer une peine particulièrement sévère par un juge qui avait suivi la recommandation de Compas estimant son risque de récidive particulièrement élevé, demanda au nom des règles du procès équitable (due process) que les règles de fonctionnement de l'algorithme lui soient communiquées pour qu'il puisse contester le cas échéant en appel la légalité de sa condamnation. La Cour suprême du Wisconsin rejeta sa demande au motif notamment que l'algorithme constituait seulement une recommandation pour le juge qui avait motivé sa décision à suffisance dans le jugement et au regard des droits de la société Northpointe qui refuse de divulguer publiquement, pour des raisons commerciales, les secrets de son algorithme. Notons que cette décision n'est pas nécessairement représentative de l'état de la jurisprudence aux États-Unis. Dans une autre affaire, qui mettait en cause un système administratif d'évaluation des enseignants par un algorithme développé par une entreprise privée, le juge fédéral de Houston au Texas a décidé que le secret des affaires ne pouvait être opposé aux droits fondamentaux des enseignants dont l'évaluation avait conduit dans certains cas au non-renouvellement de leur contrat.³¹ En tout état de cause, dans notre droit, il est clair que l'administration ne saurait invoquer ses obligations contractuelles pour prétendre se soustraire en tout ou en partie à son obligation légale de motiver ses décisions. Il faudra également veiller dans ces contrats que l'administration n'accorde pas au fournisseur ou au gestionnaire privé de l'algorithme un droit d'accès et d'exploitation des données, qu'il réclame souvent et qui serait contraire aux dispositions du RGPD.

Un troisième argument, soulevé principalement par la doctrine notamment anglophone, consiste à exempter la décision prise à l'aide d'un algorithme de l'obligation de motiver celle-ci dès lors que, en raison de la « boîte noire » de l'algorithme, une telle motivation serait de fait impossible.³² À l'ère de l'intelligence artificielle, les motifs des décisions ou recommandations des algorithmes nous demeurant en tout ou en partie inconnues, il nous faudrait donc collectivement renoncer à une telle exigence. C'est selon nous à l'évidence la conclusion inverse qui s'impose : faute de connaître les motifs de la décision ou recommandation d'un algorithme et donc de pouvoir en rendre compte et en contrôler la légalité, le recours à ce type d'outil devra être exclu ou sera jugé non conforme aux exigences légales de motivation. En d'autres termes, on ne peut fonder une décision administrative sur un algorithme dont on ne peut ouvrir et disséquer la « boîte noire ».

Le Conseil constitutionnel français l'a clairement affirmé dans sa décision du 12 juin 2018³³ déclarant, en termes de principe, inconstitutionnel le recours à des « algorithmes "auto-apprenant" susceptibles de réviser eux-mêmes les règles qu'ils appliquent ». L'autorisation par le législateur de tels algorithmes porterait atteinte « aux principes de valeur constitutionnelle régissant le pouvoir réglementaire dans la mesure où, d'une part, il ne serait pas garanti que les règles appliquées par les algorithmes seront conformes au droit et, d'autre part, l'administration aurait abandonné son pouvoir réglementaire aux algorithmes définissant leurs propres règles ».³⁴ Cette décision, que l'on ne peut qu'approuver, a un impact considérable dès lors qu'elle revient purement et simplement à interdire l'usage par l'administration aux fins de décision des algorithmes qui recourent à des techniques d'apprentissage profond (deep learning) ou dont on ne peut connaître exactement les règles ou les profils au moyen desquelles ils prononcent leurs oracles.

Les promoteurs de la gouvernance algorithmique ont cependant trouvé dans la théorie du droit un contre-argument ingénieux. De même que le réalisme juridique a établi que le cheminement du juge qui le conduit à la solution du cas diffère des motifs par lesquels il en rend compte légalement dans son jugement³⁵, de même il faut distinguer la faculté de justifier le choix opéré par l'algorithme du fonctionnement même de l'algorithme, des catégories qu'il crée et des calculs qu'ils opèrent pour arriver à celui-ci. Certains proposent dès lors de recourir parallèlement à un second algorithme qui aura pour fonction de produire une motivation de nature à justifier la décision et à la rendre intelligible.³⁶ Cet argument de type anthropomorphique nous ramène au mythe du « juge-robot », à une intelligence artificielle qui aurait été créée à l'image de l'homme. Il ne tient pas car, comme l'exprime très bien le Conseil constitutionnel français, l'obligation de motiver n'est pas seule en cause, mais bien les modalités d'exercice des pouvoirs publics. Chaque autorité publique doit exercer effectivement et conserver la maîtrise des pouvoirs de décision et d'exécution qui lui sont attribués, en telle sorte que la conformité au droit de ses actes puisse être contrôlée et sanctionnée le cas échéant.

4. Décision individualisée, vie privée et discriminations¶

Le contrôle d'une décision ou prise par ou sur le fondement d'un algorithme impliquera souvent ou nécessitera même le contrôle de la légalité de l'algorithme lui-même. Certes celui-ci ne peut faire directement l'objet d'un recours ou d'une annulation, bien que la justice puisse en ordonner la suspension ou l'abandon. En outre, un défaut rédhibitoire de l'algorithme peut constituer le moyen de faire annuler la décision qui en procède.

En cas de compétence liée, il faut vérifier que l'algorithme n'ajoute ni ne retranche rien aux conditions fixées par la loi ou le règlement.³⁷ Lorsque l'administration jouit d'un pouvoir d'appréciation discrétionnaire, le juge vérifiera que la décision respecte les objectifs fixés par la loi, qu'elle ne procède pas d'une erreur manifeste d'appréciation, qu'elle est proportionnée et raisonnable et que, dès lors que le dispositif implique un traitement de données à caractère personnel voire une ingérence dans la vie privée, que celle-ci apparaît nécessaire pour atteindre l'objectif fixé. De plus, lorsque l'administration se voit attribuer un pouvoir d'appréciation, un principe général du droit de valeur constitutionnelle l'oblige à exercer effectivement cette appréciation, ce qui interdit les « décisions globales » de même que l'application automatique de directives indicatives.³⁸

Le 5 février 2020, un tribunal de La Haye, saisi à l'initiative du Comité néerlandais des juristes pour les droits de l'homme, a ainsi déclaré que la législation mettant en place l'algorithme Syri de lutte contre la fraude sociale et fiscale viole l'article 8 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales garantissant le droit à la vie privée. Le tribunal estime que si le dispositif poursuit un objectif légitime d'intérêt général, les moyens qu'il met en œuvre n'apportent pas suffisamment de protection aux libertés individuelles notamment au niveau de la précision des finalités du traitement des données et de la minimisation des informations à traiter. Le tribunal stigmatise surtout le manque de transparence de l'algorithme. Celui-ci fonctionne par l'attribution de « scores » par « facteurs de risque » (de fraude) selon un « arbre de décision » (IA symbolique donc), mais dont le tribunal constate qu'il est totalement inaccessible et donc incompréhensible et invérifiable par le justiciable comme par le juge. Élise Degrave estime qu'un recours pourrait être introduit sur les mêmes bases en Belgique contre l'algorithme d'OASIS.³⁹

Sur le fond, la discussion a porté jusqu'à présent principalement, tant du côté des juristes que des ingénieurs, sur la question des discriminations.⁴⁰ Ainsi, la question de savoir si l'algorithme Compas est discriminatoire à l'égard des Noirs, confirmant en quelque sorte les biais racistes du système américain ou de ses acteurs, a fait couler beaucoup d'encre.⁴¹ Il est apparu à l'examen que les algorithmes ne sont étonnamment pas immunisés contre les préjugés susceptibles d'affecter le jugement du commun des mortels comme des décideurs. Les algorithmes peuvent produire des discriminations directes notamment en construisant, spontanément ou non, des catégories interdites ou sensibles, comme l'âge, le genre ou l'origine ethnique, auxquelles ils appliquent des différences de traitement illicites. Des discriminations indirectes ont également été mises en évidence comme la prise en compte du code postal, non prévue par la réglementation, pour déterminer l'inscription dans les études supérieures, ayant pour effet de discriminer potentiellement certaines populations défavorisées. Ou encore, comme dans le cas de Compas et beaucoup d'autres, on pourra juger de l'effet discriminatoire de l'algorithme en faisant « tourner » un jeu de données (dataset) sur une application pour en observer les effets éventuellement discriminants sur différentes catégories. Certains informaticiens ont d'ailleurs apporté des éléments nouveaux, notamment mathématiques, à la discussion tendant à montrer qu'il serait toujours possible de démontrer une forme de discrimination dans n'importe quelle série de décisions, qu'elles soient prises par un humain ou un algorithme, ou encore qu'il existe plusieurs dimensions de la discrimination et que l'on ne peut réduire l'une qu'en augmentant l'autre. On aperçoit ici l'apport que l'hybridation des logiques juridique et mathématique pourra apporter notamment quant à la définition de la discrimination et à sa preuve.

5. Contrôle interne du dispositif¶

Pour autant, l'égalité de traitement des destinataires ne constitue certainement pas la seule dimension dont le contrôle s'impose pour apprécier la validité juridique d'une décision automatisée. Il est nécessaire d'examiner tous les éléments qui déterminent effectivement la décision proposée par l'algorithme soit notamment les données qui le nourrissent, les proxies utilisés, les critères de choix qu'il opère et les performances qu'il permet d'obtenir.⁴²

1° Les données utilisées par l'algorithme ne peuvent être illicites ou obtenues illégalement. Tel est le cas lorsque la police fédérale belge recourt dans ses missions au logiciel Clearview, illégal en Europe, qui permet la reconnaissance faciale de milliards d'individus sur la base de leurs photos postées notamment sur des réseaux sociaux.⁴³ Les données utilisées doivent également être correctes et adéquates. Par exemple, pour déterminer si un migrant peut bénéficier du statut de mineur non accompagné, les autorités publiques recourent à des standards relatifs à la taille des poignets qui détermine l'âge probable des personnes.⁴⁴ Or il semble que certains standards utilisés ont été établis à partir d'un échantillon d'adolescents et de jeunes adultes vivant aux États-Unis dans les années 1950, de sorte que l'on peut légitimement s'interroger sur leur pertinence pour assigner un âge à des jeunes des années 2020 issus d'Afrique ou d'Asie.

2° Ceci nous conduit à la question importante des proxies. Dans l'univers des statistiques, un proxy est une donnée qui vaut pour une autre. Ainsi, dans l'exemple précédent, la taille des poignets vaut pour l'âge de la personne. Le choix de ces proxies ne peut être abandonné à la discrétion de l'opérateur car il a des conséquences déterminantes sur le résultat du traitement. Ainsi, la mesure de la « sécurité » dans un indicateur international ne produira pas le même résultat ni le même classement selon que le proxy choisi est le nombre d'homicides annuels rapportés au nombre d'habitants, la population carcérale rapportée au nombre d'habitants ou encore l'importance que les juridictions de l'État accordent dans leurs décisions à la force obligatoire des contrats, telle que mesurée sur une échelle graduée de 1 à 5 par un panel d'experts.⁴⁵ Il est donc indispensable, comme l'a bien dit le juge de La Haye dans l'affaire Syri, que le destinataire de la décision et amené à en apprécier la validité puisse connaître, comprendre et vérifier les proxies choisis pour établir les différents facteurs de risque de fraude, de même d'ailleurs que la pondération des critères qui influe sur la décision, ainsi que le prévoit d'ailleurs la réglementation française.

3° Il faudra encore examiner le critère de choix ou de distribution programmés, ce qu'on qualifie également d'algorithme au sens étroit du terme. Ainsi, les plateformes APB et Parcoursup recourent pour l'inscription des étudiants dans les établissements d'études supérieures à l'algorithme de Gale-Shapley, publié en 1962, pour résoudre la question dite des « mariages stables ». Selon cet algorithme itératif, à chaque étape les hommes choisissent des femmes auxquelles ils se proposent, y compris celles qui sont déjà en couple, qui choisissent à leur tour de conserver leur conjoint ou d'accepter une nouvelle proposition. Comme l'explique très bien Hugues Bersini, cet algorithme est élitiste au sens où, à la fin, les plus belles femmes se marient avec les plus beaux hommes ou, pour le dire autrement, les étudiants les plus brillants ont seuls accès aux établissements scolaires les plus prestigieux. Encore faut-il vérifier que ce choix politique correspond bien à l'objectif défini ou annoncé, ce qui n'est pas évident dans le cas de Parcoursup qui inclut également des mesures visant à améliorer la mixité sociale.⁴⁶ Selon Hugues Bersini, c'est le critère utilitariste de la maximisation de la somme des bénéfices et des coûts qui s'imposera de manière incontournable dans la plupart des cas.⁴⁷ Il faut cependant bien mesurer la portée politique d'une telle règle générale qui est loin de correspondre à la pratique législative actuelle et aux règles juridiques relatives au respect des droits individuels et à la protection des plus démunis.⁴⁸ 1997).]

4° Enfin, il faut vérifier le niveau de performance de l'algorithme pour déterminer si celui-ci constitue un moyen efficace, adéquat, fiable et raisonnable pour atteindre l'objectif poursuivi. Les informaticiens disposent de méthodes éprouvées pour mesurer les taux d'erreurs de l'algorithme. L'outil Compas de prédiction de la récidive a fait l'objet de nombreuses études publiées qui comparent la prédiction algorithmique et les récidives effectivement constatées. Ces études repèrent à la fois les « faux positifs », à savoir les personnes évaluées comme à haut risque, mais qui n'ont pas récidivé, et les « faux négatifs », à savoir les personnes évaluées à faible risque, mais qui ont récidivé dans une période donnée. En 2012, une étude menée par l'État de New-York indiqua une fiabilité globale de 71 % pour cet État, ce qui fut jugé suffisamment fiable pour l'utilisation du logiciel.⁴⁹ En 2018, J. Dressel et H. Farid⁵⁰, tout en révisant ce taux à 65,2 %, ont montré que des humains utilisant seulement 7 critères (comparé aux 137 variables de Compas) avaient obtenu un résultat légèrement supérieur, de 67 %.⁵¹ Quoi qu'il en soit, on peut s'étonner qu'un niveau de fiabilité de 70 % soit jugé satisfaisant pour recourir à un algorithme amené à se prononcer sur une question aussi grave que la libération d'un condamné ou son maintien en détention.

Les exemples abondent d'algorithmes défectueux qui ont provoqué des conséquences catastrophiques. La poste anglaise a utilisé à partir de 1999 le logiciel Horizon, conçu par la firme japonaise Fujitsu, sur la base duquel 736 de ses employés ont été condamnés entre 2000 et 2014 pour détournements de fonds, dont certains à des peines de prison. Une enquête a démontré que le logiciel était dès le début affecté de bugs importants, que la poste le savait et qu'elle a néanmoins continué à utiliser le logiciel. Cette affaire est à l'origine de l'un des plus grands scandales judiciaires au Royaume-Uni. Dans une série d'arrêts, rendus entre 2019 et 2021, la cour d'appel a renversé plus de 50 condamnations pénales, tandis que la poste transigeait avec plus de 550 agents injustement sanctionnés. La poste anglaise a annoncé qu'elle allait remplacer le logiciel Horizon par un autre plus perfectionné…⁵² EWCA Crim 1443.]

Aux Pays-Bas, un rapport d'Amnesty International a révélé qu'un « algorithme xénophobe », introduit en 2013, destiné à traquer la fraude en matière d'allocations familiales, avait conduit à supprimer à tort les allocations perçues par des dizaines de milliers de familles dont un nombre disproportionné d'origines étrangères et de pauvres, privés de leurs droits et contraints de rembourser les sommes déjà perçues.⁵³ Cette affaire a conduit à la démission du gouvernement néerlandais en janvier 2021.

Là où l'ingénieur s'estime satisfait, sur la base d'une interprétation plus qu'audacieuse du principe de Pareto⁵⁴, avec un taux d'efficacité de 80 %, le juriste s'étrangle avec des taux d'erreur de 20 % qui, affectant des milliers voire des millions de décisions, peuvent provoquer de véritables catastrophes et sont totalement incompatibles avec l'idée même de l'État de droit. On ne peut que s'inquiéter de la précipitation et de l'imprudence avec laquelle certaines autorités publiques mettent en place des dispositifs algorithmiques peu éprouvés et peu fiables. Le taux d'erreurs, multiplié par le nombre massif de cas traités par les algorithmes, aboutira à des centaines voire des dizaines de milliers de condamnations ou de suppressions illicites de droits. Dans de tels cas, il semble évident que la responsabilité tant politique que juridique des autorités puisse être engagée.

6. Conclusion¶

Les administrations des États développés, comme la Belgique, sont en train de mettre en place de matière accélérée des dispositifs de décision automatisés ou semi-automatisés, reposant sur des algorithmes, qui impliquent l'usage de technologies dites d'intelligence artificielle. Le recours à ces dispositifs, qui ne sont pas toujours mûrs ni performants, s'opère souvent de manière précipitée voire imprudente et dans une certaine clandestinité qui tend à échapper aux autorités de contrôle.

Ces procédés inquiètent légitimement dès lors qu'ils affectent, d'une part, les droits, les intérêts et les libertés des citoyens qui en sont les destinataires et, d'autre part, les règles et les principes de fonctionnement de l'État de droit. Tant les dispositifs eux-mêmes que les décisions qui en sont le produit reposent sur des bases juridiques fragiles et sont en conséquence très exposés à un contrôle judiciaire de leur validité. Parmi les moyens susceptibles de leur être opposés, nous avons noté l'illégalité des dispositifs de deep learning voire des algorithmes connexionnistes en général, le défaut de transparence des systèmes et de motivation des décisions, le caractère disproportionné et non nécessaire des ingérences dans les droits et libertés, le fait que l'algorithme repose sur des données inadéquates ou illicites, qu'il recoure à des proxies contestables ou à des catégories interdites, qu'il applique des critères de choix qui ne correspondent pas à l'objectif annoncé ou assigné, qu'il engendre des discriminations ou des taux d'erreur socialement inacceptables.

Dans l'état actuel de la lutte pour le droit, il est nécessaire que les citoyens actifs et les juristes praticiens s'emparent de ces questions et n'hésitent pas à contester les dispositifs algorithmiques devant les juges et à demander réparation des préjudices causés. Plusieurs exemples, émanant notamment d'États voisins, illustrent à la fois l'importance de ces combats et la possibilité de les gagner. C'est le devoir des juristes de les mener pour sauvegarder les droits et les intérêts de leurs clients, l'État de droit et les libertés publiques.