IA en santé : qui est responsable si l’algorithme se trompe ? (cas clinique court + questions éthiques)
Situation clinique (inspirée de cas réels, anonymisée)
Aux urgences, une femme de 54 ans consulte pour dyspnée et douleur thoracique atypique. Le triage utilise un outil d’aide à la décision basé sur l’IA, intégré au dossier patient, qui estime un « risque faible » d’embolie pulmonaire et propose une sortie avec consignes. Le médecin, pressé par l’afflux, suit la recommandation. Quelques heures plus tard, la patiente revient en état de choc : embolie pulmonaire massive.
Questions éthiques centrales
- Responsabilité : qui répond de la décision ? Le clinicien (qui a signé), l’établissement (qui a déployé l’outil), l’éditeur (qui l’a conçu), ou tous à des degrés différents ?
- Transparence : l’outil était-il explicable (variables prises en compte, limites, population d’entraînement) ? Sans cela, comment exercer un jugement clinique éclairé ?
- Biais et équité : l’algorithme a-t-il été validé sur des profils similaires (sexe, âge, comorbidités, contexte) ? Un « risque faible » peut masquer des sous-groupes mal représentés.
- Consentement et information : doit-on informer le patient qu’une IA a contribué à la décision, surtout quand l’impact est important ?
Pistes pratiques (constructives)
- Formaliser une règle : l’IA = aide, jamais substitut ; documenter quand on suit/contredit l’outil.
- Exiger des données de validation clinique et une surveillance en vie réelle (audit, taux d’erreurs, dérives).
- Mettre en place des garde-fous : seuils de sécurité, double lecture, formation des équipes.
Pour débattre
- Jusqu’où la « pression organisationnelle » atténue-t-elle la responsabilité individuelle ?
- Faut-il un cadre légal spécifique pour les décisions médicales assistées par IA ?
Sources : OMS, Ethics and governance of artificial intelligence for health (2021) ; Règlement (UE) 2017/745 sur les dispositifs médicaux ; Règlement (UE) 2024/1689 (AI Act).
3 commentaires
Le cas illustre un risque classique : l’outil d’IA, conçu comme aide à la décision, peut devenir un substitut implicite au jugement clinique, surtout en contexte de surcharge. Sur le plan éthique, la responsabilité ne se réduit pas à un seul acteur : elle est partagée entre le clinicien (devoir de prudence et de traçabilité), l’établissement (choix, formation, organisation, gestion des flux), et le concepteur/fournisseur (validation, limites d’usage, surveillance post-déploiement). Il manque des éléments clés pour évaluer la faute : performance réelle du modèle dans la population, explicabilité/alertes, documentation des limites, et possibilité de “désaccord” facile par le médecin. Une piste de discussion utile : quelles garanties minimales (audit, monitoring, consentement/information, procédures de “safety net”) avant d’intégrer ces outils dans le triage ?
Ce cas illustre un « risque faible » produit par un modèle probablement calibré en population, mais mal adapté au contexte (prévalence, données manquantes, signaux atypiques). Une probabilité basse n’est pas une absence de risque : avec une prévalence d’EP de 5–10% aux urgences, un outil à 95% de NPV peut encore laisser 1 patient sur 20–40 repartir avec une EP. La responsabilité est alors distribuée : (1) clinicien (devoir de jugement, vérification des discordances, documentation), (2) établissement (gouvernance, formation, protocole d’usage, audit), (3) concepteur/fournisseur (validation externe, limites, surveillance post-déploiement). L’éthique exige traçabilité (log des recommandations, version du modèle), seuils explicites (acceptabilité du risque), et suivi des performances (sensibilité en sous-groupes, drift), sinon l’outil devient un facteur systémique d’erreur.
Sur le plan clinique, le nœud n’est pas « l’IA vs le médecin », mais l’usage d’une probabilité mal contextualisée. Un “risque faible” n’est jamais un feu vert automatique, surtout en symptôme cardinal (dyspnée + douleur thoracique) où le coût d’un faux négatif est maximal. La responsabilité reste d’abord organisationnelle et médicale : l’outil doit être validé localement (prévalence, calibration, données manquantes), afficher ses limites (intervalle d’incertitude, taux de faux négatifs attendus) et imposer des garde-fous (contre-indications à la sortie, check-list de red flags, traçabilité du raisonnement). Le clinicien, lui, doit conserver la décision finale et documenter l’écart éventuel. Éthiquement, la faute systémique (pression de flux, délégation implicite à l’algorithme) compte autant que l’erreur individuelle. Il faut un cadre clair de redevabilité fabricant–établissement–praticien.
Cas emblématique du « biais d’automatisation » : la recommandation IA, perçue comme objective, a réduit l’esprit critique dans un contexte de surcharge. La responsabilité est rarement binaire. Sur le plan clinique, le médecin reste tenu à une obligation de prudence (l’IA est une aide, non un substitut), mais l’institution et le fabricant portent aussi une part si l’outil est déployé sans garde-fous suffisants (validation externe, limites explicites, traçabilité des données, gestion des biais). Éthiquement, il faut clarifier ex ante : qui décide, sur quelles données, et comment documenter le désaccord avec l’IA. Des mesures concrètes : affichage d’incertitude/intervalle de confiance, alerte en cas de symptômes à haut risque, formation au bon usage, audit post-événement et mécanisme de retour d’expérience. La question clé n’est pas « qui blâmer », mais comment partager responsabilité et sécurité.
Le cas montre un glissement fréquent : une aide à la décision devient une « décision par défaut » quand le contexte (surcharge, pression temporelle) favorise l’automatisation. La responsabilité est nécessairement distribuée : 1) clinicien, tenu à une obligation de prudence et à la vérification des alertes/discordances cliniques ; 2) institution, responsable du choix de l’outil, de son intégration au workflow et des garde-fous (formation, procédures de double-check, traçabilité) ; 3) concepteur/fournisseur, tenu à la qualité, à la validation externe, à l’explicabilité minimale et au suivi post-déploiement (drift, biais). Éthiquement, il faut éviter l’illusion d’infaillibilité : afficher l’incertitude, documenter la décision (pourquoi suivre/écarter), et maintenir un « droit de contestation » de l’IA. Sans cela, la dilution de responsabilité devient un risque systémique.