À des fins d’amélioration de la prestation de services, les organisations se tournent de plus en plus vers des systèmes décisionnels automatisés capables de traiter un vaste ensemble de dossiers et de demandes. Tel que défini par le gouvernement canadien, un système décisionnel automatisé est défini comme un système algorithmique qui aide ou remplace la décision. Ces systèmes sont envisagés comme un moyen prometteur pour renforcer l’efficience des processus administratifs. N’empêche, le logiciel de traitement de demandes de permis d’études déployé par le ministère fédéral de l’Immigration a soulevé récemment de vives préoccupations dans l’espace public en raison d’une hausse notée du taux de refus de permis d’études d’étudiants étrangers francophones depuis l’implantation de ce système en 2018. Ces systèmes décisionnels sont introduits dans une variété de contextes, que ce soit dans les services de police, en éducation, en assurance ou en justice pour faire des prédictions, dégager des recommandations et prendre des décisions. L’utilisation de ces systèmes est donc susceptible de générer des effets considérables dans la vie quotidienne de la population, notamment en ce qui a trait à l’accès aux services. En plus des refus de permis d’études, on note des refus de prêts bancaires, de demandes d’immigration, etc., un ensemble de conséquences sociales qui soulèvent d’importants enjeux en matière de respect des droits et libertés de la personne.
En quoi l’automatisation des prises de décision diffère-t-elle de celles effectuées par des humains? Quels risques les systèmes automatisés de traitement de demande comportent-ils? Comment peut-on les prévenir? Dans cet Éthique hebdo, nous vous proposons une brève présentation du fonctionnement des systèmes décisionnels automatisés et des principaux enjeux éthiques qu’ils soulèvent.
Le traitement algorithmique des systèmes qui viennent soutenir ou automatiser la prise de décision se traduit plus précisément par une série de règles programmées sur ordinateur qui organisent et analysent les données collectées pour résoudre des problèmes humains. Par cette suite d’instructions, ces données sont converties en résultats au regard de certains objectifs assignés au départ. Ces algorithmes génèrent de nouvelles informations ou procèdent à l’automatisation partielle ou complète de certaines tâches attribuées traditionnellement aux agents d’une organisation. Diverses tâches peuvent être effectuées par les systèmes algorithmiques, notamment celles-ci:
En raison de leur capacité d’automatisation, ces systèmes peuvent engendrer des gains de rapidité et alléger ainsi le travail des agents de première ligne. Ils peuvent traiter en continu une immense quantité de données ou opérer rapidement des calculs. Cela dit, une limite avec les systèmes décisionnels automatisés réside dans le fait qu’ils sont moins adaptés à la résolution de problèmes émergents ou complexes sollicitant la pensée critique. Leur fait également défaut le jugement expérientiel ou ce sens commun qui permet de discerner ce qui est moralement souhaitable dans des situations particulières. Ils ne peuvent, par exemple, prévenir les injustices sociales en déterminant ce qui est juste ou non. Dans le cas du système décisionnel Chinook déployé au sein du gouvernement fédéral, on lui reproche l’émission massive de « refus préformatés ». En dépit de la solidité des preuves fournies attestant un séjour temporaire à des fins d’études uniquement, des candidats se sont vu refuser en vrac un permis d’études par des communiqués génériques accusant des preuves peu convaincantes. Le système évalue qu’il est peu probable que ces étudiants retournent chez eux après leurs études au Canada. Ce traitement automatisé est d’autant plus préoccupant que les refus touchent, de manière disproportionnée, les étudiants provenant d’Afrique francophone. De plus, un manque de transparence des critères de refus et l’absence d’explication des décisions prises ont été relevés.
Si le système automatisé permet de traiter rapidement des dossiers, cela ne signifie pas qu’ils soient fiables. Une technologie est fiable si les résultats qu’elle génère comportent peu ou ne comportent pas d’erreurs. Par exemple, les opérations conduites par les algorithmes peuvent s’effectuer en écartant une série de données pertinentes, comme des éléments de contexte qui permettent de nuancer et d’adapter les prises de décision aux cas particuliers. La fiabilité et la validité de ces systèmes dépendent notamment de la qualité des données traitées. Elles sont donc « compromises lorsque [les systèmes] sont fondés sur des ensembles de données incomplets ou décontextualisés ». La validité peut aussi être mise à mal si l’arbre décisionnel des algorithmes reflète un raisonnement fallacieux, dans lequel sont corrélées à tort certaines variables et produites des inférences invalides sur les individus. Par exemple, un système peut identifier les employés susceptibles de quitter leur emploi. Les algorithmes apprennent des données passées et, dans ce cas de figure, catégorisent ces individus à partir des comportements ou traits de personnalité des employés ayant quitté leur emploi dans le passé. Inférer une propension au départ chez les nouveaux employés dont les comportements s’apparentent à ceux des travailleurs ayant démissionné auparavant, c’est supposer que les régularités passées sont garantes de celles du futur. Lorsqu’intégrées dans les algorithmes, de telles hypothèses peuvent conduire à des catégorisations douteuses et culminer vers des décisions infondées qui auront des effets négatifs pour les individus concernés.
Le problème de la fiabilité et de la validité est lié aux enjeux de discrimination et de pratiques inéquitables. Plusieurs outils automatisés d’aide à la décision, lorsqu’examinés de près, se sont révélés discriminatoires pour les groupes minoritaires et les personnes racisées. C’est notamment ce que font ressortir des chercheurs à propos du dispositif d’attribution d’une cote de risque de criminalité d’individus fichés utilisé par le Service de police de Chicago : « Plus de la moitié des individus affichant un score élevé étaient de jeunes hommes afro-américains. Cette surreprésentation des personnes noires parmi les individus présentant un haut niveau de risque a pour conséquence de reconduire des pratiques discriminatoires et de profilage de la part des forces de l’ordre ».
Les systèmes décisionnels automatisés sont donc loin d’être impartiaux puisqu’ils peuvent reproduire dans le futur des biais et des injustices sociales du passé et du présent. Ces biais peuvent découler de données biaisées ou refléter les biais des concepteurs du système et se manifester dans l’entraînement des algorithmes. Il est possible que les données elles-mêmes soient biaisées, entre autres parce que les données collectées peuvent donner une vision réduite du monde et ne pas représenter différentes perspectives de celui-ci. Les données collectées peuvent aussi représenter des biais actuels d’un groupe d’individus, c’est-à-dire qu’elles représentent fidèlement une réalité comportant elle-même des injustices. Si les décisions prises par des humains sont également empreintes de biais, un enjeu avec les systèmes décisionnels automatisés est l’amplification de ces biais à grande échelle, d’où l’importance de la vigilance et de la mise en place d’audits pour évaluer leur niveau d’impacts et assurer leur utilisation responsable et juste.
Or, un problème souvent relevé à propos de ces systèmes, comme c’est le cas pour le système Chinook, réside dans leur opacité et le manque de transparence entourant leur utilisation. Pour pallier cet écueil, le Royaume-Uni a instauré de nouvelles normes en matière d’utilisation de ces systèmes dans le secteur public. Les organisations publiques sont maintenant tenues de fournir de l’information sur les finalités poursuivies par l’usage d’algorithmes, les contextes d’utilisation et l’atteinte ou non des objectifs de départ. Une mise au jour des algorithmes (données utilisées, notamment) et du fonctionnement du système est également visée par les nouvelles exigences. Cette initiative sera-t-elle suffisante pour prémunir les individus contre les griefs potentiels des décisions automatisées? De son côté, le Canada a adopté, depuis quelques années, une directive sur l’utilisation des systèmes décisionnels automatisés pour « veiller à ce que les systèmes décisionnels automatisés soient déployés d’une manière qui permet de réduire les risques pour les Canadiens et les institutions fédérales ». Il n’en demeure pas moins que logiciel Chinook est maintenant remis en cause pour avoir généré des décisions discriminatoires. Une évaluation rigoureuse des systèmes décisionnels automatisés s’impose. Trop souvent, ces derniers sont introduits sans que soient mis en place des mécanismes suffisamment robustes pour prévenir leurs effets indésirables en matière d’équité, de discrimination ou de vie privée. Il faut ainsi inverser la réflexion éthique pour que celle-ci soit réalisée en amont de l’implantation des technologies et non après les dommages qu'elle cause.
Si l’enregistrement des fichiers de témoins est activé sur votre navigateur, la visite de ce site placera un fichier de témoins sur votre ordinateur, ou un fichier de témoins sera lu si vous avez déjà visité ce site auparavant. Notre utilisation des fichiers de témoins vise uniquement à améliorer votre expérience comme utilisatrice ou utilisateur sur le site Web de la Commission.