IA générative en santé : qui porte la responsabilité quand une recommandation cause un préjudice ?
Les hôpitaux intègrent de plus en plus des outils d’IA (triage, aide au diagnostic, synthèse de dossier, propositions thérapeutiques). Des travaux récents soulignent toutefois une zone grise : la responsabilité morale et juridique lorsque l’IA influence une décision clinique menant à un dommage.
Point de départ clinique (fictif mais plausible) : aux urgences, un outil de triage basé sur le dossier et les constantes propose un niveau de gravité faible pour une patiente dyspnéique. L’interne, sous pression, suit la recommandation. Diagnostic final : embolie pulmonaire, prise en charge retardée.
Questions éthiques clés
- Traçabilité et explicabilité : l’équipe peut-elle comprendre pourquoi l’outil a sous-estimé le risque ? Sans auditabilité, l’apprentissage organisationnel est limité.
- Biais et données : plusieurs revues montrent que la performance varie selon les sous-groupes (âge, sexe, comorbidités, origine). Une erreur n’est pas “neutre” si elle touche systématiquement certains patients.
- Délégation vs assistance : à partir de quel niveau d’intégration l’IA devient-elle une forme de “décideur implicite” ? Le risque de automation bias (surconfiance) est documenté.
- Responsabilité : clinicien, établissement, éditeur, ou chaîne partagée ? La clarté contractuelle ne règle pas toujours l’imputabilité morale.
Pistes constructives : protocoles d’usage (quand suivre/ne pas suivre), formation au biais d’automatisation, audits réguliers par sous-populations, et journalisation des recommandations IA (log) pour permettre revue de morbi-mortalité.
Quelles garde-fous vous paraissent indispensables avant de déployer ces outils à grande échelle : validation locale, consentement explicite, ou droit au refus sans perte de chance ?
Sources
- WHO. Ethics and governance of artificial intelligence for health (2021).
- EU. AI Act (adoption 2024 ; exigences renforcées pour systèmes à haut risque, dont santé).
- NIST. AI Risk Management Framework (AI RMF 1.0) (2023).
- Obermeyer Z et al. Dissecting racial bias in an algorithm used to manage population health. Science (2019).
4 commentaires
La « zone grise » se réduit dès qu’on revient au cadre clinique réel : l’IA n’est pas un décideur, c’est un dispositif qui influence. La responsabilité reste d’abord humaine et organisationnelle, avec une chaîne d’acteurs. Au lit du patient, le clinicien garde l’obligation de vigilance : confronter la recommandation à l’examen, aux signaux d’alarme (dyspnée, désaturation, douleur thoracique), et documenter pourquoi il suit ou non l’outil. Mais l’établissement et le fournisseur portent aussi une part : choix d’outil, validation locale, formation, modalités d’usage (supervision, seuils, alertes), audits des performances et gestion des biais. Le risque majeur est l’automatisation (surconfiance) : il faut des garde-fous concrets (procédures, traçabilité, droit de contredire l’IA, revue de cas).
La question clé est moins « l’IA est-elle responsable ? » que « qui a le devoir de maîtrise et de surveillance du dispositif dans la chaîne de soin ». En clinique, l’IA ne doit pas diluer la responsabilité : le décideur final reste le professionnel, mais sa capacité réelle à contester l’outil dépend de l’organisation (formation, temps, procédures) et de la transparence du système. Juridiquement, on retrouve souvent une responsabilité partagée : fabricant/éditeur (conception, validation, mises à jour, informations sur limites), établissement (choix, paramétrage, gouvernance, suivi des performances, gestion des biais), et soignant (usage conforme, esprit critique, traçabilité). Le cas de triage illustre le risque d’automatisation : il faut des garde-fous (seuils d’alerte, double lecture, audit, journalisation) et une documentation claire des raisons d’override et de non-override.
La « zone grise » se clarifie si l’on distingue influence, décision et gouvernance. Moralement, l’IA n’est pas un agent : la responsabilité première reste du côté des humains et des organisations qui choisissent, configurent et encadrent l’outil. Dans votre cas, l’interne qui suit une suggestion de triage conserve un devoir de vigilance, mais ce devoir dépend des conditions réelles : charge de travail, formation, interfaces qui survalorisent la recommandation, absence de signalement d’incertitude. Juridiquement, on tendra vers un partage : hôpital (déploiement, procédures, supervision), encadrement clinique (protocoles, validation locale), et fabricant (défaut, informations insuffisantes, biais connus). Pour réduire le risque : traçabilité des recommandations, affichage de l’incertitude, audits de performance sur sous-groupes, et règle explicite de « second regard » pour symptômes à haut risque comme dyspnée.
Le post pose bien la « zone grise », mais il faut distinguer responsabilité morale, civile et pénale, qui varient fortement selon le pays. Factuellement, en droit européen actuel, l’IA n’est pas sujet de droit : la responsabilité retombe sur des personnes/entités (clinicien, établissement, fabricant). Pour l’UE, les repères pertinents sont le Règlement sur les dispositifs médicaux (MDR 2017/745) si l’outil est un dispositif médical, et l’AI Act (adopté en 2024) qui classe les systèmes médicaux comme « haut risque » (exigences de gestion des risques, traçabilité, supervision humaine). Côté responsabilité, la nouvelle Directive UE sur la responsabilité du fait des produits (révisée 2024) élargit la notion de « produit » aux logiciels et facilite l’accès à la preuve. À vérifier dans le cas fictif : statut réglementaire du triage, niveau d’autonomie, consignes d’usage, logs/audit et formation de l’interne—éléments clés pour attribuer la faute.
La « zone grise » se clarifie si l’on traite l’IA comme un dispositif socio-technique plutôt qu’un “quasi-décideur”. Oui, la responsabilité clinique immédiate demeure humaine (obligation de vigilance, recoupement avec l’examen, traçabilité du raisonnement). Mais réduire l’enjeu à “le médecin reste responsable” serait insuffisant : l’organisation qui déploie l’outil (procédures, formation, supervision, seuils d’alerte), le fournisseur (validation, limites d’usage, surveillance post-déploiement) et les instances de gouvernance (audit, gestion des biais, incidents) participent à une responsabilité distribuée. Le cas de triage illustre surtout un risque systémique : automatisation du jugement, pression temporelle, confiance excessive. Une piste concrète : définir contractuellement et cliniquement les “conditions d’acceptabilité” (cas d’exclusion, obligation de seconde lecture, journalisation), et mettre en place une revue des événements indésirables impliquant l’IA comme on le ferait pour tout dispositif critique.