L'IA en médecine doit contrer les biais, et non les enraciner davantage : Shots

Depuis

Par

Ryan Lévi

Dan Gorenstein

L'IA dans les soins de santé n'en est encore qu'à ses débuts, mais des préjugés raciaux ont déjà été découverts dans certains des outils. Ici, des professionnels de la santé d'un hôpital de Californie protestent contre l'injustice raciale après le meurtre de George Floyd. MARK RALSTON/AFP via Getty Images masquer la légende

Les médecins, les scientifiques des données et les dirigeants d'hôpitaux pensent que l'intelligence artificielle peut aider à résoudre ce qui était jusqu'à présent des problèmes insolubles. L'IA est déjà prometteuse pour aider les cliniciens à diagnostiquer le cancer du sein, à lire les radiographies et à prédire quels patients ont besoin de plus de soins. Mais à mesure que l'excitation grandit, il y a aussi un risque : ces nouveaux outils puissants peuvent perpétuer des inégalités raciales de longue date dans la façon dont les soins sont dispensés.

"Si vous gâchez cela, vous pouvez vraiment, vraiment nuire aux gens en enracinant davantage le racisme systémique dans le système de santé", a déclaré le Dr Mark Sendak, scientifique principal des données au Duke Institute for Health Innovation.

Ces nouveaux outils de soins de santé sont souvent construits à l'aide de l'apprentissage automatique, un sous-ensemble de l'IA où les algorithmes sont formés pour trouver des modèles dans de grands ensembles de données comme les informations de facturation et les résultats des tests. Ces modèles peuvent prédire les résultats futurs, comme la possibilité qu'un patient développe une septicémie. Ces algorithmes peuvent surveiller en permanence chaque patient d'un hôpital à la fois, alertant les cliniciens des risques potentiels que le personnel surmené pourrait autrement manquer.

Cependant, les données sur lesquelles reposent ces algorithmes reflètent souvent des inégalités et des biais qui ont longtemps tourmenté les soins de santé aux États-Unis. La recherche montre que les cliniciens fournissent souvent des soins différents aux patients blancs et aux patients de couleur. Ces différences dans la façon dont les patients sont traités sont immortalisées dans les données, qui sont ensuite utilisées pour former des algorithmes. Les personnes de couleur sont également souvent sous-représentées dans ces ensembles de données de formation.

"Lorsque vous apprenez du passé, vous reproduisez le passé. Vous enracinez davantage le passé", a déclaré Sendak. "Parce que vous prenez les inégalités existantes et que vous les traitez comme l'aspiration à la manière dont les soins de santé devraient être dispensés."

Une étude historique de 2019 publiée dans la revue Science a révélé qu'un algorithme utilisé pour prédire les besoins en soins de santé de plus de 100 millions de personnes était biaisé contre les patients noirs. L'algorithme s'appuyait sur les dépenses de santé pour prédire les besoins futurs en matière de santé. Mais avec moins d'accès aux soins historiquement, les patients noirs ont souvent dépensé moins. En conséquence, les patients noirs devaient être beaucoup plus malades pour être recommandés pour des soins supplémentaires dans le cadre de l'algorithme.

"Vous marchez essentiellement là où il y a des mines terrestres", a déclaré Sendak à propos d'essayer de créer des outils d'IA clinique en utilisant des données qui peuvent contenir des biais, "et [si vous ne faites pas attention] vos affaires vont exploser et ça va blesser les gens."

À l'automne 2019, Sendak s'est associé au médecin urgentiste pédiatrique, le Dr Emily Sterrett, pour développer un algorithme permettant de prédire la septicémie infantile au service des urgences de l'hôpital universitaire Duke.

La septicémie survient lorsque le corps réagit de manière excessive à une infection et attaque ses propres organes. Bien que rare chez les enfants - environ 75 000 cas annuels aux États-Unis - cette maladie évitable est mortelle pour près de 10 % des enfants. S'ils sont pris rapidement, les antibiotiques traitent efficacement la septicémie. Mais le diagnostic est difficile car les premiers symptômes typiques - fièvre, fréquence cardiaque élevée et nombre élevé de globules blancs - imitent d'autres maladies, y compris le rhume.

Un algorithme qui pourrait prédire la menace de septicémie chez les enfants changerait la donne pour les médecins de tout le pays. "Lorsque la vie d'un enfant est en jeu, disposer d'un système de secours que l'IA pourrait offrir pour renforcer une partie de cette faillibilité humaine est vraiment, vraiment important", a déclaré Sterrett.

Mais l'étude révolutionnaire de Science sur les biais a renforcé Sendak et Sterrett, ils voulaient être prudents dans leur conception. L'équipe a passé un mois à enseigner l'algorithme pour identifier la septicémie sur la base des signes vitaux et des tests de laboratoire au lieu de données de facturation facilement accessibles mais souvent incomplètes. Toute modification du programme au cours des 18 premiers mois de développement a déclenché des tests de contrôle de la qualité pour s'assurer que l'algorithme détectait également bien la septicémie, quelle que soit la race ou l'origine ethnique.

Mais près de trois ans après le début de leurs efforts intentionnels et méthodiques, l'équipe a découvert qu'un éventuel biais parvenait toujours à se glisser. Le Dr Ganga Moorthy, spécialiste de la santé mondiale au sein du programme de maladies infectieuses pédiatriques de Duke, a montré aux développeurs de la recherche que les médecins de Duke mettaient plus de temps à commander des tests sanguins pour les enfants hispaniques finalement diagnostiqués avec une septicémie que pour les enfants blancs.

"L'une de mes principales hypothèses était que les médecins prenaient peut-être plus au sérieux les maladies des enfants blancs que celles des enfants hispaniques", a déclaré Moorthy. Elle se demande également si le besoin d'interprètes ralentit le processus.

"J'étais en colère contre moi-même. Comment pourrions-nous ne pas voir cela?" dit Sendak. "Nous avons totalement manqué toutes ces choses subtiles qui, si l'une d'entre elles était toujours vraie, pourraient introduire un biais dans l'algorithme."

Sendak a déclaré que l'équipe avait négligé ce retard, enseignant potentiellement à leur IA de manière inexacte que les enfants hispaniques développent une septicémie plus lentement que les autres enfants, une différence de temps qui pourrait être fatale.

Au cours des dernières années, les hôpitaux et les chercheurs ont formé des coalitions nationales pour partager les meilleures pratiques et développer des « manuels » pour lutter contre les préjugés. Mais les signes suggèrent que peu d'hôpitaux tiennent compte de la menace sur l'équité que cette nouvelle technologie pose.

La chercheuse Paige Nong a interviewé des responsables de 13 centres médicaux universitaires l'année dernière, et seuls quatre ont déclaré avoir pris en compte les préjugés raciaux lors du développement ou de la vérification des algorithmes d'apprentissage automatique.

"Si un dirigeant particulier d'un hôpital ou d'un système de santé était personnellement préoccupé par l'inégalité raciale, cela éclairerait sa façon de penser à l'IA", a déclaré Nong. "Mais il n'y avait rien de structurel, il n'y avait rien au niveau réglementaire ou politique qui les obligeait à penser ou à agir de cette façon."

Plusieurs experts disent que le manque de réglementation laisse ce coin de l'IA un peu comme le « Far West ». Des enquêtes distinctes de 2021 ont révélé que les politiques de la Food and Drug Administration sur les préjugés raciaux dans l'IA étaient inégales, avec seulement une fraction des algorithmes incluant même des informations raciales dans les applications publiques.

Au cours des 10 derniers mois, l'administration Biden a publié une multitude de propositions pour concevoir des garde-corps pour cette technologie émergente. La FDA dit qu'elle demande maintenant aux développeurs de décrire toutes les mesures prises pour atténuer les biais et la source des données qui sous-tendent les nouveaux algorithmes.

Le Bureau du coordonnateur national des technologies de l'information sur la santé a proposé en avril de nouvelles réglementations qui obligeraient les développeurs à partager avec les cliniciens une image plus complète des données utilisées pour créer des algorithmes. Kathryn Marchesini, responsable de la protection de la vie privée de l'agence, a décrit la nouvelle réglementation comme une "étiquette nutritionnelle" qui aide les médecins à connaître "les ingrédients utilisés pour fabriquer l'algorithme". L'espoir est que plus de transparence aidera les prestataires à déterminer si un algorithme est suffisamment impartial pour être utilisé en toute sécurité sur les patients.

L'été dernier, le Bureau des droits civils du ministère américain de la Santé et des Services sociaux a proposé une réglementation mise à jour interdisant explicitement aux cliniciens, aux hôpitaux et aux assureurs de faire de la discrimination "par l'utilisation d'algorithmes cliniques dans [leur] prise de décision". La directrice de l'agence, Melanie Fontes Rainer, a déclaré que bien que les lois fédérales anti-discrimination interdisent déjà cette activité, son bureau voulait "s'assurer que [les fournisseurs et les assureurs] sont conscients qu'il ne s'agit pas seulement d'acheter un produit dans le commerce, de fermer les yeux et de l'utiliser".

De nombreux experts en IA et en biais se félicitent de cette nouvelle attention, mais il y a des inquiétudes. Plusieurs universitaires et chefs de file de l'industrie ont déclaré qu'ils souhaitaient voir la FDA préciser dans les directives publiques exactement ce que les développeurs doivent faire pour prouver que leurs outils d'IA sont impartiaux. D'autres veulent que l'ONC oblige les développeurs à partager publiquement leur "liste d'ingrédients" d'algorithme, permettant à des chercheurs indépendants d'évaluer le code pour les problèmes.

Certains hôpitaux et universitaires craignent que ces propositions – en particulier l'interdiction explicite du HHS d'utiliser une IA discriminatoire – ne se retournent contre eux. "Ce que nous ne voulons pas, c'est que la règle soit si effrayante que les médecins disent:" OK, je n'utiliserai tout simplement pas d'IA dans ma pratique. Je ne veux tout simplement pas courir le risque "", a déclaré Carmel Shachar, directeur exécutif du Petrie-Flom Center for Health Law Policy à la Harvard Law School. Shachar et plusieurs leaders de l'industrie ont déclaré que sans directives claires, les hôpitaux disposant de moins de ressources pourraient avoir du mal à rester du bon côté de la loi.

Mark Sendak de Duke salue les nouvelles réglementations visant à éliminer les biais des algorithmes, "mais ce que nous n'entendons pas dire par les régulateurs, c'est:" Nous comprenons les ressources nécessaires pour identifier ces choses, pour surveiller ces choses. Et nous allons faire des investissements pour nous assurer que nous résolvons ce problème. ""

Le gouvernement fédéral a investi 35 milliards de dollars pour inciter et aider les médecins et les hôpitaux à adopter les dossiers de santé électroniques au début du siècle. Aucune des propositions réglementaires concernant l'IA et les préjugés n'inclut d'incitations ou de soutien financiers.

Un manque de financement supplémentaire et d'orientations réglementaires claires laisse les développeurs d'IA résoudre leurs propres problèmes pour l'instant.

Chez Duke, l'équipe a immédiatement commencé une nouvelle série de tests après avoir découvert que leur algorithme pour aider à prédire la septicémie infantile pourrait être biaisé contre les patients hispaniques. Il a fallu huit semaines pour déterminer de manière concluante que l'algorithme prédisait la septicémie à la même vitesse pour tous les patients. Sendak émet l'hypothèse qu'il y avait trop peu de cas de septicémie pour que les enfants hispaniques aient le temps d'être intégrés à l'algorithme.

Sendak a déclaré que la conclusion donnait plus à réfléchir qu'un soulagement. "Je ne trouve pas réconfortant que dans un cas rare et spécifique, nous n'ayons pas eu à intervenir pour éviter les préjugés", a-t-il déclaré. "Chaque fois que vous prenez conscience d'un défaut potentiel, il y a cette responsabilité de [demander], 'Où cela se passe-t-il d'autre?'"

Sendak prévoit de constituer une équipe plus diversifiée, avec des anthropologues, des sociologues, des membres de la communauté et des patients travaillant ensemble pour éliminer les biais dans les algorithmes de Duke. Mais pour que cette nouvelle classe d'outils fasse plus de bien que de mal, Sendak pense que l'ensemble du secteur des soins de santé doit s'attaquer à son iniquité raciale sous-jacente.

"Il faut se regarder dans le miroir", a-t-il dit. "Cela vous oblige à vous poser des questions difficiles à vous-même, aux personnes avec lesquelles vous travaillez, aux organisations dont vous faites partie. Parce que si vous recherchez réellement des biais dans les algorithmes, la cause première d'une grande partie des biais est les inégalités dans les soins. "

Cette histoire provient du podcast sur la politique de santé Compromis. Dan Gorenstein est le rédacteur en chef de Tradeoffs et Ryan Levi est le producteur principal de l'émission. La couverture de l'excellence diagnostique par Tradeoffs est soutenue en partie par la Fondation Gordon et Betty Moore.