Sur le droit à une bonne administration numérique : la « réserve d’humanité »

Jean-Bernard Auby

Un élément-clef de l’analyse que tu fais réside dans l’idée selon laquelle il faut imposer, dans le fonctionnement numérique de l’administration, une « réserve d’humanité ». Qu’est-ce que tu entends par là ?

Julio Ponce

La "réserve d'humanité" fait référence à l'idée que certaines décisions administratives, en particulier celles qui impliquent un jugement discrétionnaire avec une appréciation subjective, doivent être réservées aux êtres humains et ne peuvent être entièrement automatisées par des systèmes d'intelligence artificielle (IA).

L'automatisation totale des décisions pourrait violer le droit à une bonne administration tel qu’il est reconnu à l'article 41 de la Charte des droits fondamentaux de l'Union européenne et par une abondante jurisprudence de la Cour de justice de l'Union européenne, ainsi que dans divers systèmes juridiques et jurisprudences des États membres (par exemple, à l'article 97 de la Constitution italienne ou implicitement dans la Constitution espagnole comme l’admet la jurisprudence de la Cour suprême espagnole).

Cette « réserve d’humanité » est motivée par plusieurs facteurs, notamment la nécessité de prendre en compte des éléments non quantifiables, comme l'empathie et le sens commun, dont l'intelligence artificielle est dépourvue, dans les décisions. De plus, l'IA ne peut pas effectuer des raisonnements abductifs comme les humains, ni prendre en compte toutes les nuances d'une situation. L'automatisation totale des décisions pourrait également violer le due process, qui implique la possibilité pour les citoyens d'être entendus et de recevoir une réponse motivée à leurs demandes. En substance, la réserve d'humanité cherche à garantir que la technologie reste au service des citoyens et non l'inverse.

Les systèmes juridiques allemand ou catalan, par exemple, ont déjà introduit une réserve d'humanité fondée sur la distinction entre les pouvoirs administratifs réglementés et discrétionnaires. Dans le cas du règlement européen, cela est très clair en ce qui concerne l'exercice de la fonction juridictionnelle, à propos de laquelle il est précisé que l'utilisation de systèmes d'IA à haut risque doit être limitée à l'aide à la décision du juge, la fonction juridictionnelle devant être réservée à l'homme (annexe III et considérants y afférents). En revanche, en ce qui concerne l'exercice des fonctions administratives, le règlement européen est beaucoup plus ambigu .

‍

Jean-Bernard Auby

Comment doit se traduire concrètement cette « réserve d’humanité » ? Par quel genre d’impératif procéduraux ? Comment peut-elle s’accommoder de l’existence de décisions administratives semi-automatiques, éventuellement complètement automatiques ?

Julio Ponce

La "réserve d'humanité" doit se traduire par des impératifs procéduraux stricts liées au droit à une bonne administration, notamment :

• Une interdiction de l'automatisation totale des décisions discrétionnaires : Les décisions qui exigent une appréciation subjective ou un jugement de valeur ne peuvent être adoptées de manière entièrement automatisée par une IA. Cela inclut les décisions qui nécessitent une analyse de l'intérêt général au cas par cas. En particulier, l'utilisation d'une IA symbolique basée sur des règles préprogrammées est proscrite pour de telles décisions parce qu'il en résulterait une élimination du pouvoir discrétionnaire ou, comme l’exprime le droit anglo-américain, un cas interdit de fettering.

• Une supervision humaine obligatoire : L'IA peut être utilisée comme outil d'aide à la décision, mais la décision finale doit être prise par un être humain formé et compétent. Cette personne doit être en mesure de comprendre le fonctionnement du système d'IA, d'évaluer les informations qu'il fournit et de tenir compte des éléments non quantifiables. Cette supervision doit être réelle et ne pas constituer un simple geste symbolique. Dans le cas de risques élevés liés à l'utilisation de l'IA, l'article 14 du règlement de l'UE sur l'intelligence artificielle énonce les exigences nécessaires à cette surveillance, tandis que l'article 27, lettre e) dispose que l'évaluation de l'impact sur les droits humains doit inclure une description des mesures de surveillance humaine appliquées.

• Un droit à l'interaction humaine : Les citoyens doivent avoir le droit d'interagir avec une personne en cas de décisions automatisées, afin de demander des explications, de contester la décision ou de faire valoir leurs arguments.

• Un contrôle préalable et continu du système d'IA : Un processus rigoureux d'approbation et d'évaluation des systèmes d'IA doit être mis en place, avec une analyse des impacts potentiels sur les droits fondamentaux. Ce processus doit inclure une évaluation de la nécessité, de l'adéquation et de l'efficacité de l'utilisation de l'IA, ainsi qu'une analyse des risques, des coûts et des bénéfices. En outre, le système doit être révisé périodiquement pour garantir qu'il continue à fonctionner correctement et à respecter les droits des citoyens.

• Une obligation de motivation : Les décisions administratives, y compris celles qui utilisent des systèmes d'IA, doivent être motivées de manière claire et compréhensible, en expliquant le rôle de l'IA dans le processus décisionnel et en démontrant l'absence de biais. Si la motivation n'est pas techniquement possible (black box) l'administration ne peut utiliser l'IA. L'article 86 du règlement de l'UE exige désormais l'inclusion d'une explication sur le fonctionnement du système en cas d'utilisation à haut risque.

Ces impératifs procéduraux sont indispensables pour concilier l'utilisation de l'IA avec le respect des droits fondamentaux et des principes d'un État de droit. Les décisions semi-automatiques, où l'IA sert d'outil d'aide à la décision, sont acceptables si elles respectent ces exigences. Les décisions entièrement automatiques, quant à elles, doivent être limitées à des pouvoirs administratifs réglementés conformément à la réserve d'humanité évoquée et celles qui touchent aux droits des citoyens doivent être soumises à une analyse très rigoureuse.

‍

Jean-Bernard Auby

Sous l’égide du principe de bonne administration, l’intelligence artificielle te semble ne pas pouvoir se concilier avec la discrétionnarité administrative. Peux-tu nous expliquer cette position ?

Julio Ponce

Le principe de bonne administration implique que les décisions administratives doivent être prises avec la diligence et le soin nécessaires (due diligence ou due care), en tenant compte de tous les éléments pertinents et en écartant les éléments non pertinents. La discrétionnarité administrative, qui permet à l'administration de choisir parmi plusieurs options légales, ne doit pas être comprise comme une liberté absolue, mais comme une obligation d'exercer une diligence raisonnable pour choisir la meilleure option pour l'intérêt général.

L'automatisation totale des décisions violerait le droit à une bonne administration pour diverses raisons que j’ai évoquées, et notamment le fait qu’elle empêcherait de prendre en compte tous les éléments pertinents, de faire preuve d'empathie et d'exercer la compétence discrétionnaire de manière appropriée.

Jean-Bernard Auby

Les lecteurs de « Chemins Publics » seraient certainement intéressés de savoir où en est la législation espagnole sur les sujets que tu abordes. Peux-tu en indiquer les éléments essentiels ?

Julio Ponce

Dans mon livre, je ne traite pas seulement de la réserve d'humanité et de la relation entre l'IA et l'exercice de pouvoirs discrétionnaires, mais j'élargis mon analyse à l'étude du nouveau règlement de l'UE sur l'IA dans son ensemble et j'essaie de soulever la nécessité d'améliorer le règlement espagnol sur l'IA en général, avec des propositions concrètes.

La législation espagnole sur l'utilisation de l'IA dans l'administration est encore en développement, mais certains éléments essentiels peuvent être dégagés.

a)     En tant que réglementation nationale applicable à l'ensemble de l'Espagne (qui, comme on le sait, est décentralisée) :

·       L'article 41 de la loi 40/2015 sur le régime juridique du secteur public est une base légale pour la prise de décisions automatisées, dans la mesure où il  admet que des décisions automatisées soient adoptées si la loi le permet, mais il ne précise  pas les limites et garanties nécessaires.

·       La Charte des droits numériques (Carta de Derechos Digitales de l´année 2021) est un document de soft law qui contient des principes importants, notamment le droit à ce que les décisions discrétionnaires soient réservées aux personnes (sauf si une norme prévoit des décisions automatisées avec des garanties).

·       La loi 15/2022 sur l'égalité de traitement et la non-discrimination établit des règles en matière de traitement de données à caractère personnel et sur l'obligation de minimiser les biais discriminatoires.

b)    En ce qui concerne la législation des Communautés autonomes, nous pouvons mentionner les exemples suivants :

·       La loi 14/2022, du 22 décembre, sur le système basque de garantie des revenus et d'inclusion dispose, dans son article 86, que les systèmes d'intelligence artificielle peuvent être utilisés dans l'exercice des pouvoirs de contrôle, sans pouvoir s'étendre à l'évaluation de la nature essentielle des erreurs ou des irrégularités, à l'analyse et à la détermination de l'existence de causes qui pourraient les justifier ou à toute autre procédure qui impliquerait une décision discrétionnaire ou basée sur une analyse et une évaluation des circonstances, lequelles doivent être réservées aux personnes physiques.

·       Le Décret-loi 2/2023 de la région d'Extremadura est un exemple de réglementation régionale qui intègre la Charte des droits numériques, qu’elle transforme en droit positif (hard law). Cette loi prévoit notamment des garanties pour l'utilisation de l'IA dans les procédures administratives et une obligation d'information sur les décisions automatisées.

·       La loi 1/2022 de la région de Valence sur la transparence et la bonne gouvernance impose la publication des systèmes algorithmiques utilisés dans les procédures administratives et les services publics. La loi 6/2024 de la même région, du 5 décembre, introduit des mesures en faveur de l’automatisation administrative, y compris la promotion d’actions automatisées sans intervention humaine directe, la robotisation des tâches répétitives et l’incorporation de solutions basées sur l’intelligence artificielle pour améliorer l’efficacité et le service aux citoyens. La loi prévoit (art. 42) que la robotisation sera encouragée dans toutes les tâches, formalités et procédures administratives qui peuvent être effectuées sans intervention humaine, en raison de leur caractère répétitif, routinier, mécanique, de révision ou de vérification des données, en particulier dans le cas des procédures de traitement de masse, afin d'optimiser le travail en réduisant les temps de réponse, les erreurs, les coûts et les charges administratives.

On constate l'insuffisance et la dispersion des réglementations actuelles, ce qui rend nécessaire une refonte du système pour prendre en compte les défis posés par l'IA.

Jean-Bernard Auby

Et où en est la jurisprudence espagnole ?

Julio Ponce

La jurisprudence espagnole sur l'utilisation de l'IA dans l'administration est encore limitée, mais certaines décisions importantes ont été rendues.

Ainsi, par exemple, un arrêt de la Cour suprême du 30 septembre 2020 fait référence au fonctionnement du système Viogen, utilisé par la police pour détecter le risque de récidive des agresseurs dans les cas de violence sexiste. L'arrêt reconnaît la responsabilité patrimoniale de l'État pour mauvaise administration en raison du manque de « diligence raisonnable » de la Garde civile dans l'évaluation des risques, que le système Viogen a considéré comme faibles dans une affaire concernant 'une femme qui a finalement été assassinée par son mari un mois après avoir porté plainte.

‍Les arrêts du Tribunal Central Contentieux-Administratif n°8 du 30 décembre 2021 et de l'Audience Nationale du 30 avril 2024 concernant le système BOSCO sont aussi pertinents. Ces arrêts ont été rendues dans le cadre d'un litige sur l'accès au code source du programme BOSCO, utilisé pour l'octroi du bonus social pour l'énergie. Les tribunaux ont refusé l'accès au code source pour des raisons de propriété intellectuelle et de sécurité. L’affaire est déférée à la Cour suprême et une nouvelle décision est attendue en 2025, qui, nous l'espérons, sera en faveur de l'accès au code source.

‍