L’algorithme de protection de l’enfance fait l’objet d’un examen minutieux par le ministère de la Justice

Par Sally Ho et Garance Burke | Presse associée

PITTSBURGH – Le ministère de la Justice a examiné un outil d’intelligence artificielle controversé utilisé par une agence de services de protection de l’enfance de la région de Pittsburgh, craignant que l’outil ne conduise à une discrimination contre les familles handicapées, a appris l’Associated Press.

L’intérêt des avocats fédéraux des droits civiques survient après qu’une enquête de l’AP a révélé des problèmes potentiels de biais et de transparence entourant l’utilisation croissante d’algorithmes au sein du système de protection de l’enfance en difficulté aux États-Unis. Alors que certains voient ces outils opaques comme un moyen prometteur d’aider les travailleurs sociaux débordés à prédire quel les enfants peuvent subir des préjudices, d’autres disent que leur confiance dans les données historiques risque d’automatiser les inégalités passées.

Plusieurs plaintes relatives aux droits civiques ont été déposées à l’automne concernant l’outil de dépistage familial Allegheny, qui est utilisé pour aider les travailleurs sociaux à décider sur quelles familles enquêter, a appris AP. Le programme pionnier d’IA est conçu pour évaluer le niveau de risque d’une famille lorsqu’elle est signalée pour des problèmes de protection de l’enfance dans le comté d’Allegheny.

Deux sources ont déclaré que les avocats de la division des droits civils du ministère de la Justice ont cité l’enquête de l’AP lorsqu’ils les ont exhortés à déposer des plaintes officielles détaillant leurs préoccupations quant à la façon dont l’algorithme pourrait renforcer les préjugés contre les personnes handicapées, y compris les familles ayant des problèmes de santé mentale.

Une troisième personne a déclaré à AP que le même groupe d’avocats fédéraux des droits civiques s’était également entretenu avec eux en novembre dans le cadre d’une large conversation sur la façon dont les outils algorithmiques pourraient potentiellement exacerber les disparités, y compris pour les personnes handicapées. Cette conversation a exploré la conception et la construction de l’algorithme influent d’Allegheny, bien que toute l’étendue de l’intérêt du ministère de la Justice soit inconnue.

Les trois sources ont parlé à AP sous couvert d’anonymat, affirmant que le ministère de la Justice leur avait demandé de ne pas discuter des conversations confidentielles. Deux ont dit qu’ils craignaient également des représailles professionnelles.

Wyn Hornbuckle, porte-parole du ministère de la Justice, a refusé de commenter.

Les algorithmes utilisent des pools d’informations pour transformer les points de données en prévisions, que ce soit pour les achats en ligne, l’identification des points chauds de la criminalité ou l’embauche de travailleurs. De nombreux organismes aux États-Unis envisagent d’adopter de tels outils dans le cadre de leur travail avec les enfants et les familles.

Bien qu’il y ait eu un large débat sur les conséquences morales de l’utilisation de l’intelligence artificielle dans les services de protection de l’enfance, l’intérêt du ministère de la Justice pour l’algorithme d’Allegheny marque un tournant significatif vers d’éventuelles implications juridiques.

Robin Frank, avocate chevronnée en droit de la famille à Pittsburgh et critique virulente de l’algorithme d’Allegheny, a déclaré qu’elle avait également déposé une plainte auprès du ministère de la Justice en octobre au nom d’un client ayant une déficience intellectuelle qui se bat pour récupérer sa fille de famille d’accueil. . L’AP a obtenu une copie de la plainte, qui a soulevé des inquiétudes quant à la façon dont l’outil de dépistage familial Allegheny évalue le risque d’une famille.

“Je pense qu’il est important que les gens sachent quels sont leurs droits et dans la mesure où nous n’avons pas beaucoup d’informations alors qu’il y a apparemment des questions valables sur l’algorithme, il est important d’avoir une certaine surveillance”, a déclaré Frank.

Mark Bertolet, porte-parole du département des services sociaux du comté d’Allegheny, a déclaré par e-mail que l’agence n’avait pas eu de nouvelles du ministère de la Justice et avait refusé les demandes d’entretien.

“Nous n’avons connaissance d’aucune inquiétude concernant l’inclusion de ces variables dans l’évaluation antérieure des groupes de recherche ou les commentaires de la communauté sur (l’outil de dépistage familial d’Allegheny)”, a déclaré le comté, décrivant les études précédentes et la sensibilisation concernant l’outil.

Les travailleurs des services de protection de l’enfance peuvent faire face à des critiques de toutes parts. Ils sont blâmés à la fois pour la sur-surveillance et pour le fait de ne pas soutenir suffisamment les familles qui débarquent à leurs yeux. Le système a longtemps été critiqué pour avoir séparé de manière disproportionnée les familles noires, pauvres, handicapées et marginalisées et pour avoir insuffisamment traité – et encore moins éradiqué – la maltraitance et les décès d’enfants.

Les partisans considèrent les algorithmes comme une solution basée sur les données pour rendre le système à la fois plus complet et plus efficace, affirmant que les responsables de la protection de l’enfance devraient utiliser tous les outils à leur disposition pour s’assurer que les enfants ne sont pas maltraités.

Les critiques craignent que la délégation d’une partie de ce travail critique à des outils d’IA alimentés par des données collectées en grande partie auprès de personnes pauvres puisse entraîner une discrimination à l’encontre des familles en raison de la race, du revenu, des handicaps ou d’autres caractéristiques externes.

L’histoire précédente de l’AP a mis en évidence les points de données utilisés par l’algorithme qui peuvent être interprétés comme des proxys pour la race. Maintenant, les avocats fédéraux des droits civiques ont examiné les impacts potentiels de l’outil sur les personnes handicapées.

L’outil de dépistage familial d’Allegheny a été spécialement conçu pour prédire le risque qu’un enfant soit placé en famille d’accueil dans les deux ans suivant l’enquête sur la famille. Le comté a déclaré que son algorithme a utilisé des points de données liés aux handicaps chez les enfants, les parents et les autres membres des ménages locaux, car ils peuvent aider à prédire le risque qu’un enfant soit retiré de son domicile après un rapport de maltraitance. Le comté a ajouté qu’il avait mis à jour son algorithme à plusieurs reprises et avait parfois supprimé des points de données liés aux handicaps.

À l’aide d’une mine de données personnelles détaillées et de dossiers de naissance, de Medicaid, de toxicomanie, de santé mentale, de prison et de probation, entre autres ensembles de données gouvernementales, les calculs statistiques de l’outil Allegheny aident les travailleurs sociaux à décider quelles familles devraient faire l’objet d’une enquête pour négligence – un terme nuancé qui peut inclure tout, du logement inadéquat à une mauvaise hygiène, mais il s’agit d’une catégorie différente de la violence physique ou sexuelle, qui fait l’objet d’une enquête distincte en Pennsylvanie et n’est pas soumise à l’algorithme.

Le score de risque généré par l’algorithme ne détermine pas à lui seul ce qui se passe dans le cas. Une enquête sur la protection de l’enfance peut permettre aux familles vulnérables de recevoir plus de soutien et de services, mais elle peut également entraîner le retrait des enfants pour les placer en famille d’accueil et, en fin de compte, la résiliation des droits parentaux.

Le comté a déclaré que les algorithmes fournissent une vérification scientifique des préjugés personnels des travailleurs des centres d’appels. Les responsables du comté ont en outre souligné que les travailleurs de la hotline déterminent ce qui se passe avec le cas d’une famille et peuvent toujours passer outre les recommandations de l’outil. L’outil n’est également appliqué qu’au début de l’implication potentielle d’une famille dans le processus de protection de l’enfance ; un autre travailleur social mène les enquêtes par la suite.

L’Americans with Disabilities Act interdit la discrimination fondée sur le handicap, qui peut inclure un large éventail de conditions, du diabète, du cancer et de la perte auditive aux déficiences intellectuelles et aux diagnostics de santé mentale et comportementale comme le TDAH, la dépression et la schizophrénie.

Le Conseil national sur le handicap a noté qu’un taux élevé de parents handicapés reçoivent des prestations publiques, notamment des bons d’alimentation, Medicaid et un revenu de sécurité supplémentaire, un programme de l’administration de la sécurité sociale qui verse des paiements mensuels aux adultes et aux enfants handicapés.

L’algorithme d’Allegheny, utilisé depuis 2016, s’est parfois inspiré de données liées au revenu de sécurité supplémentaire ainsi que de diagnostics de troubles mentaux, comportementaux et neurodéveloppementaux, y compris la schizophrénie ou les troubles de l’humeur, a constaté AP.

Le comté a déclaré que lorsque les données sur les handicaps sont incluses, elles « sont prédictives des résultats » et « il ne faut pas s’étonner que les parents handicapés… puissent également avoir besoin de soutiens et de services supplémentaires ». Le comté a ajouté qu’il existe d’autres programmes d’évaluation des risques qui utilisent des données sur la santé mentale et d’autres conditions qui peuvent affecter la capacité d’un parent à s’occuper d’un enfant.

Emily Putnam-Hornstein et Rhema Vaithianathan, les deux développeurs de l’algorithme d’Allegheny et d’autres outils similaires, se sont reportées aux réponses du comté d’Allegheny sur le fonctionnement interne de l’algorithme. Ils ont déclaré dans un e-mail qu’ils n’étaient au courant d’aucun examen minutieux du ministère de la Justice concernant l’algorithme.

L’AP a obtenu des enregistrements montrant des centaines de variables spécifiques qui sont utilisées pour calculer les scores de risque pour les familles qui sont signalées aux services de protection de l’enfance, y compris les données publiques qui alimentent l’algorithme Allegheny et des outils similaires déployés dans les systèmes de protection de l’enfance ailleurs aux États-Unis.

L’analyse par l’AP de l’algorithme d’Allegheny et de ceux qui s’en inspirent dans le comté de Los Angeles, en Californie, dans le comté de Douglas, au Colorado et dans l’Oregon, révèle une série de points de données controversés qui ont mesuré les personnes à faible revenu et d’autres groupes démographiques défavorisés, mesurant parfois les familles sur la race, le code postal, les handicaps et leur utilisation des prestations sociales.

Depuis la publication de l’enquête de l’AP, l’Oregon a abandonné son algorithme en raison de problèmes d’équité raciale et le Bureau de la politique scientifique et technologique de la Maison Blanche a souligné que les parents et les travailleurs sociaux avaient besoin de plus de transparence sur la manière dont les agences gouvernementales déployaient les algorithmes dans le cadre du premier «AI Bill» du pays. des droits.

Le ministère de la Justice a montré un large intérêt pour les enquêtes sur les algorithmes ces dernières années, a déclaré Christy Lopez, professeur de droit à l’Université de Georgetown qui a précédemment dirigé certains des litiges et enquêtes de la division des droits civils du ministère de la Justice.

Dans un discours liminaire il y a environ un an, la procureure générale adjointe Kristen Clarke a averti que les technologies de l’IA avaient «de graves implications pour les droits des personnes handicapées», et sa division a plus récemment publié des conseils aux employeurs disant que l’utilisation d’outils d’IA dans l’embauche pourrait violer les Américains avec Loi sur les personnes handicapées.