Cet article a été rédigé par Gideon Christian PhD, est un spécialiste de la race critique et un professeur adjoint d’intelligence artificielle et de droit (AI and Law) à la faculté de droit de l’université de Calgary. Ses recherches visent à mettre en évidence les préjugés raciaux dans les technologies d’intelligence artificielle.
L’adoption rapide de la technologie de l’intelligence artificielle (IA) imprègne le secteur public canadien, qu’il s’agisse de l’application du droit pénal ou du droit de l’immigration. L’IA est aujourd’hui de plus en plus déployée et utilisée dans divers aspects du système d’immigration canadien. Des informations récentes provenant d’un litige devant la Cour fédérale sur l’utilisation de la technologie de reconnaissance faciale de l’IA dans l’application du droit de l’immigration, en particulier dans la révocation du statut de réfugié, ont choqué de nombreux membres de la communauté du droit de l’immigration, ce qui a donné lieu à des appels à l’ouverture et à la transparence dans l’utilisation de la technologie par le gouvernement. Cet article examine les développements récents de l’utilisation de la TFR dans le système d’immigration du Canada, en particulier son impact sur les membres individuels de la société canadienne caractérisée par la race.
Technologie de reconnaissance faciale et préjugés raciaux
La technologie de reconnaissance faciale (FRT) est une technologie biométrique basée sur l’IA qui utilise la vision par ordinateur pour analyser et identifier les individus sur la base de leurs caractéristiques faciales uniques. Elle utilise des algorithmes sophistiqués pour traiter les images et identifier des caractéristiques uniques dans les images. Ces caractéristiques uniques sont ensuite utilisées pour comparer l’image à d’autres images dans une base de données afin d’identifier des images similaires ou identiques. Cette caractéristique unique du FRT en fait un outil approprié pour la vérification de l’identité. Par exemple, dans le contexte de l’immigration, il peut être utilisé pour comparer les voyageurs aux photos figurant sur leurs documents de voyage. Dans le contexte des réfugiés, des faits tirés d’un récent litige devant la Cour fédérale tendent à suggérer que la technologie est désormais utilisée par les autorités d’immigration pour comparer les photos des demandeurs d’asile dont la demande a été acceptée avec les photos figurant dans la base de données de l’immigration, afin de vérifier l’identité des personnes.
L’utilisation du TRS dans le secteur public a suscité de vives inquiétudes quant à sa propension à perpétuer les préjugés raciaux et la discrimination. Le TRS a un taux de précision presque parfait pour la reconnaissance des visages masculins blancs, avec un taux de précision d’environ 99,2 %. Cependant, lorsqu’il s’agit de reconnaître des visages noirs et des visages de couleur, le taux de précision chute de façon spectaculaire, le taux d’erreur le plus élevé étant enregistré dans la reconnaissance des visages féminins plus sombres, en particulier ceux des femmes noires. La tendance des résultats d’outils alimentés par l’IA, tels que le FRT, à être biaisés au détriment des personnes de couleur a été qualifiée de racisme algorithmique.
Le racisme algorithmique découlant de l’utilisation de l’IA-FRT peut provenir de données disproportionnées de personnes de couleur ou de personnes à la peau plus foncée utilisées dans l’entraînement de l’algorithme de l’IA-FRT, ce qui entraîne une erreur d’identification. Ce problème a été attribué au fait que le secteur de l’IA FRT est dominé par les hommes blancs et que les données d’entraînement utilisées pour développer l’algorithme sont principalement des images d’hommes blancs. Cela explique le taux élevé de précision dans l’identification des Blancs par rapport aux personnes à la peau plus foncée. Aux États-Unis, cette situation a donné lieu à des arrestations injustifiées résultant d’une fausse identification par l’IA FRT. Il n’est pas surprenant que tous les cas documentés d’arrestation injustifiée résultant d’une fausse identification aux États-Unis concernent des Noirs, le cas le plus récent étant celui d’une femme noire enceinte de huit mois.
Le TFR dans la révocation du statut de réfugié
L’un des scandales les plus controversés liés à l’utilisation de l’IRF dans le secteur public au Canada concernait l’utilisation clandestine de l’IRF Clearview AI par certains services de police au Canada, y compris la GRC. Outre cette controverse bien documentée, un domaine dans lequel l’utilisation de la technologie suscite aujourd’hui de vives inquiétudes au Canada est celui de son utilisation par les autorités canadiennes de l’immigration pour révoquer le statut de réfugié de certains demandeurs d’asile canadiens ayant obtenu gain de cause. À ce jour, cinq personnes ont contesté la révocation de leur statut de réfugié sur la base d’informations provenant de l’utilisation du TFR. Toutes ces affaires concernent des personnes de race noire, dont quatre sont des femmes de race noire – le groupe racial et sexuel pour lequel la technologie a démontré le taux de précision le plus faible. L’examen de ces affaires devant la Cour fédérale révèle non seulement un manque d’ouverture et de transparence de la part d’Immigration, Réfugiés et Citoyenneté Canada (IRCC) et de l’Agence des services frontaliers du Canada (ASFC), mais aussi des tentatives délibérées de la part de ces ministères de maintenir les Canadiens, le tribunal et les personnes concernées dans l’ignorance de l’utilisation de la technologie par les ministères. Les cas ci-dessous illustrent ce fait.
Barre c. Canada (Citoyenneté et Immigration), 2022 FC 1078 est l’affaire qui a attiré l’attention de la communauté du droit de l’immigration sur l’utilisation du TFR par l’IRCC et l’ASFC dans le cadre de la révocation du statut de réfugié. Cette affaire concernait deux femmes noires somaliennes qui avaient demandé le statut de réfugié au Canada avec succès. À la suite de leur demande acceptée, le ministre de la Sécurité publique et de la Protection civile a introduit avec succès une demande auprès de la Section de la protection des réfugiés pour annuler leur statut de réfugié au motif qu’elles avaient fait une fausse déclaration sur leur identité en tant que citoyennes somaliennes alors qu’elles étaient en fait des ressortissantes kenyanes. Il semble que l’IRCC ait fait correspondre les photos de ces femmes avec celles de deux autres personnes qui étaient entrées au Canada en tant qu’étudiantes internationales en provenance du Kenya. Bien que la SPR ait accepté la preuve de la comparaison des photos, elle a refusé la demande des femmes d’obliger le ministre à divulguer la source de la comparaison des photos.
Devant la Cour fédérale, les femmes ont affirmé que le ministre avait utilisé l’IA FRT controversé de Clairview. Par conséquent, l’une des principales questions soulevées lors de la procédure de contrôle judiciaire devant la Cour fédérale était de savoir si le ministre avait utilisé le TRS lors de la comparaison des photos. Le ministre a tenté avec tact (mais sans succès) d’éluder la question en invoquant l’article 22(2) de la loi sur la protection de la vie privée, arguant que cette disposition “permet aux organismes chargés de l’application de la loi de protéger les détails de leur enquête”. Les femmes ont produit des données empiriques et des recherches qui montrent le taux d’erreur élevé du TFR dans l’identification des femmes à la peau plus foncée. Le juge Go a estimé que le ministre ne pouvait pas invoquer l’article 22, paragraphe 2, de la loi sur la protection de la vie privée pour se soustraire à la divulgation d’informations relatives à la technologie utilisée pour la comparaison des photos. Acceptant comme un fait que le FRT a été utilisé dans la comparaison de photos, le juge Go a accepté la référence des requérants à la technologie comme une pseudo-science peu fiable qui “a toujours eu du mal à obtenir des résultats exacts, en particulier en ce qui concerne les femmes noires et d’autres femmes de couleur“.
Si l’affaire Barre est la première dans laquelle IRCC et l’ASFC ont tenté de révoquer le statut de réfugié d’un demandeur d’asile canadien ayant obtenu gain de cause sur la base d’éléments de preuve relatifs au TFR, elle n’allait certainement pas être la dernière. Peu de temps après l’affaire Barre, une autre affaire aux faits similaires mais à l’issue différente a vu le jour. L’affaire Abdulle c. Canada (Citoyenneté et Immigration) 2023 FC 162 concernait également une femme noire somalienne. Le ministre de la Sécurité publique a cherché à faire révoquer son statut de réfugiée à la Section de la protection des réfugiés parce que sa photo correspondait à celle d’une autre personne de nationalité kenyane figurant dans leur base de données. Contrairement à l’affaire Barre, où les demandeurs ont tenté (en vain) auprès de la SPR d’obtenir la divulgation de la technologie utilisée pour la comparaison des photos, il semble que cela n’ait pas été le cas dans l’affaire Abdulle. Lors du contrôle judiciaire par la Cour fédérale de la décision de révocation de la SPR, la requérante a fait valoir que le ministre avait dû utiliser Clearview AI FRT pour comparer son visage avec des millions d’autres personnes dans la base de données. La requérante n’a fait aucune demande de divulgation à la SPR ou lors du contrôle à la Section d’appel des réfugiés (SAR).
Poursuivant apparemment sa tradition de secret et de manque de transparence dans son utilisation de la technologie, le ministre a nié avoir utilisé Clairview FRT et a insisté sur le fait qu’il utilisait des “techniques d’enquête traditionnelles“. Tout en notant que “les faiblesses des logiciels de reconnaissance faciale sont connues de tous”, le juge Mosley a relevé la faiblesse de la procédure de contrôle judiciaire de la révocation du requérant, qui, selon lui, reposait sur des spéculations sans fondement probant quant à l’utilisation du TFR dans la comparaison des photos. Selon le juge Mosley, l’affirmation de la requérante concernant l’utilisation du TFR par le ministre est “minée par le fait qu’elle n’a pas demandé à la SAR de divulguer les méthodes ou les processus utilisés, mais qu’elle a présenté son appel en se fondant sur l’hypothèse, sans fondement probant, qu’un tel logiciel avait été utilisé”. Il a noté que l’argument “n’était que spéculation, en particulier face à l’affirmation incontestée du défendeur selon laquelle une recherche exhaustive avait été menée en utilisant des “techniques d’enquête traditionnelles”. Quelles que soient ces techniques, on ne peut en déduire qu’elles incluaient un logiciel de reconnaissance faciale en l’absence de preuves à l’appui”.
Tout en notant la critique du juge Mosley à l’égard de la procédure de contrôle judiciaire du requérant, on ne peut s’empêcher de s’inquiéter du niveau élevé de secret et du manque de transparence de la part du ministre. Contrairement à l’affaire Barre, où le ministre a tenté en vain d’invoquer le paragraphe 22(2) de la loi sur la protection de la vie privée, dans l’affaire Abdulle, la tradition du secret est allée jusqu’à l’invention d’un terme de code extraordinaire, “techniques d’enquête traditionnelles”, pour dissimuler l’utilisation des TFR par le ministre.
L’affaire AB c. Canada (Citoyenneté et Immigration), 2023 FC 29, est encore plus troublante à bien des égards. Cette affaire met en évidence non seulement le problème de l’utilisation du TFR, mais aussi l’absence de divulgation de son utilisation aux personnes concernées, et le transfert de renseignements personnels obtenus grâce à l’utilisation de la technologie par un ministère à un autre sans que la personne concernée en soit informée ou y consente. En AB, une femme noire originaire du Cameroun a déposé avec succès une demande d’asile au Canada. Plusieurs années après avoir obtenu gain de cause, elle s’est rendue au bureau des permis du ministère des Transports de l’Ontario (MTO) pour se faire photographier en vue de l’obtention de son permis de conduire de l’Ontario. À son insu, le MTO a utilisé l’IRF pour comparer sa photo à d’autres photos contenues dans la base de données du MTO. Le FRT a fait correspondre son visage à celui d’une autre femme. Le MTO a secrètement transmis cette information à l’IRCC, qui a déposé avec succès une demande de révocation du statut de réfugié auprès de la SPR. Au cours de la procédure devant la SPR, la requérante a demandé une ordonnance pour obliger l’agent du MTO à témoigner au sujet des preuves utilisées pour faire correspondre son visage à celui d’une autre personne. Comme on pouvait s’y attendre, le ministre s’est fermement opposé à cette ordonnance et la SPR a refusé de la rendre.
La tradition du secret dans l’utilisation de la technologie s’est poursuivie dans l’affaire Ali c. Canada (Citoyenneté et Immigration), 2023 FC 671. La vieille astuce du ministre consistant à invoquer la Loi sur la protection des renseignements personnels a été couronnée de succès au stade du tribunal. Mais lorsque l’affaire a été portée devant la Cour fédérale dans le cadre d’un contrôle judiciaire, le ministre a cherché à produire de nouvelles preuves par affidavit, sentant apparemment que la défense fondée sur la loi sur la protection de la vie privée n’offrirait aucun bouclier, comme le montre la décision rendue dans l’affaire Barre. Le requérant s’est opposé à cette démarche, qui a été rejetée par le tribunal, et la preuve par affidavit a été jugée irrecevable.
Conclusion
Si le Canada dispose d’un système de gouvernement qualifié d’ouvert et de transparent, on peut se demander pourquoi l’utilisation par les ministères de cette technologie de boîte noire continue d’être marquée par le secret et le manque de transparence – même dans les litiges judiciaires. L’IA FRT est une technologie “boîte noire” ; l’utilisation de cette technologie par IRCC et l’ASFC reste entourée de secret et d’un manque de transparence. Cela est tout à fait contraire au principe d’ouverture et de transparence qui devrait guider l’utilisation de la technologie par le secteur public.
Les avocats spécialisés dans l’immigration et le droit des réfugiés, qui semblent manquer d’expertise en matière de TFR, seront de plus en plus souvent confrontés à des preuves de l’utilisation de cette technologie Blackbox dans le cadre de leurs litiges. Pour commencer à remédier au manque de transparence du gouvernement, il faudrait peut-être déposer une demande de divulgation auprès du tribunal de première instance, à laquelle le gouvernement s’opposera, ce qui n’est pas surprenant. Même si la demande est rejetée par le tribunal de première instance, il sera consigné dans le dossier que la demande a été faite, ce qui pourrait faire la différence lors du contrôle judiciaire par la Cour fédérale. À tout le moins, cela a fait la différence à Barre.
Post-scriptum: Le 22 août 2023, j’ai publié un article d’opinion dans le Toronto Star, en m’appuyant sur des recherches préliminaires pour cet article. Cet article critique l’utilisation du TFR par l’ASFC et IRCC dans les procédures de révocation du statut de réfugié. Après la publication, l’ASFC m’a contacté. L’Agence a nié utiliser le TFR dans le cadre de l’application de la législation sur l’immigration. Cette affirmation semble toutefois contraire aux faits de l’affaire Barre.
