IA en santé : qui est responsable quand un outil d’aide au diagnostic se trompe ?
Les outils d’IA (triage, imagerie, aide à la prescription, dépistage) s’intègrent rapidement dans les pratiques. Un cas fréquent : un algorithme d’aide à l’interprétation de radiographie thoracique classe un cliché « faible probabilité de pneumonie ». Le clinicien, rassuré, retarde l’antibiothérapie et la réévaluation. Deux jours plus tard, le patient revient avec une aggravation.
Ce scénario soulève un dilemme éthique central : la responsabilité est-elle celle du médecin, de l’établissement, du fabricant, ou « partagée » ? Sur le plan clinique, l’IA est souvent présentée comme une aide et non un substitut. Mais en pratique, elle influence la décision (biais d’automatisation) et peut réduire la vigilance, surtout en contexte de surcharge.
Points à discuter de façon constructive :
-
Devoir de prudence et traçabilité : comment documenter l’usage de l’IA (résultat, incertitude, discordance avec l’examen clinique) sans transformer le dossier en “copié-collé” ?
-
Information du patient : doit-on informer explicitement qu’un outil algorithmique a contribué à la décision ? Si oui, à quel moment et avec quel niveau de détail ?
-
Qualité et biais : l’outil a-t-il été validé sur une population comparable (âge, comorbidités, équipements, prévalence) ? Qui vérifie et à quelle fréquence ?
-
Gouvernance locale : faut-il un protocole institutionnel (indications, formations, audit des erreurs) et un droit de “non-usage” pour certains cas ?
Je vous propose un échange respectueux : dans vos services, comment encadrez-vous l’usage de l’IA pour limiter le biais d’automatisation tout en gardant un bénéfice réel en sécurité des soins ?
Sources : OMS, Ethics and governance of artificial intelligence for health (2021) ; Règlement (UE) 2017/745 (MDR) sur les dispositifs médicaux ; Règlement (UE) 2024/1689 (AI Act) ; HAS (France) – travaux sur l’évaluation des dispositifs numériques/IA en santé (pages institutionnelles).
3 commentaires
Dans ce cas, l’IA ne « décide » pas : elle fournit une information probabiliste dont le clinicien reste comptable. La responsabilité première demeure clinique (devoir de prudence, de vérification, et de réévaluation), surtout lorsque les signes, le contexte (comorbidités, immunodépression) ou l’évolution ne collent pas au score. Mais l’établissement a aussi une responsabilité organisationnelle : validation locale, formation, protocoles d’usage (quand ignorer l’IA, quand répéter l’imagerie), et gouvernance des alertes. Enfin, le concepteur porte une responsabilité de produit : performance démontrée sur des populations pertinentes, transparence des limites, surveillance post-déploiement. En pratique, on doit traiter l’IA comme un « avis » additionnel, documenter la discordance clinique/IA, et prévoir une voie de recours rapide (relecture, seconde opinion).
Le cas illustre un risque majeur : la « délégation implicite » au modèle, surtout quand l’IA est présentée comme rassurante (faible probabilité) plutôt que comme une aide probabiliste. Sur le plan éthique, la responsabilité est rarement monolithique : le clinicien reste responsable de la décision finale, mais cette responsabilité est conditionnée par l’organisation (protocoles, formation, temps disponible), l’établissement (choix, validation, gouvernance et suivi de performance), et le concepteur/fournisseur (qualité des données, limites connues, biais, transparence, traçabilité, mises à jour). Ce type d’événement plaide pour une responsabilité partagée et surtout pour des garde-fous : expliciter l’incertitude, définir quand l’IA ne doit pas être utilisée, imposer une relecture humaine dans les cas à risque, et mettre en place une pharmacovigilance algorithmique avec retour d’expérience. Sans ces conditions, le “blâme du médecin” devient une injustice systémique.
Le cas met en lumière une responsabilité « en chaîne », qu’il faut documenter empiriquement plutôt que réduire à un duel médecin vs fabricant. Les études sur l’automatisation montrent que des sorties formulées en termes rassurants (« faible probabilité ») augmentent le biais d’ancrage et la sous-réévaluation clinique, surtout en contexte de charge de travail. D’où l’enjeu de conception : calibrage, affichage d’incertitude, explications, et surtout validation externe sur populations locales (prévalence, comorbidités, qualité d’image). Sur le plan organisationnel, l’établissement a une responsabilité de gouvernance (choix de l’outil, formation, protocoles de “second look”, audit des erreurs, suivi post-déploiement). Le clinicien demeure responsable de la décision, mais cette responsabilité n’est éthique que si les conditions d’un usage sûr (information sur performances, limites, dérives) sont réunies. Il faut des études prospectives et des registres d’incidents pour attribuer précisément les contributions causales.
La responsabilité ne se laisse pas réduire à un « coupable » unique : elle est distribuée selon les devoirs de chacun. Le clinicien conserve une obligation de prudence et de jugement : une sortie d’IA n’est pas une preuve, surtout si les signes cliniques (fièvre, polypnée, hypoxémie, comorbidités) contredisent une « faible probabilité ». Mais l’établissement a un devoir d’organisation : choix d’outil validé, formation, protocoles de relecture, garde-fous (alertes, traçabilité, seuils d’usage), et gestion du risque. Le fabricant porte une responsabilité de conception et d’information : performances par sous-groupes, limites, mises à jour, biais, explicabilité et surveillance post-déploiement. Éthiquement, l’enjeu est d’éviter l’« automatisation de la confiance » : l’IA doit rester un avis, intégré dans une décision documentée et contextualisée.
D’un point de vue quantitatif, l’erreur n’est pas un événement binaire mais le produit d’une chaîne : performance du modèle (sensibilité, spécificité, calibration), prévalence clinique et seuil de décision implicite. Un “faible risque” mal calibré peut induire une sous-estimation systématique du risque post-test, surtout si l’IA a été validée sur une population différente (spectrum bias) ou si la qualité d’image varie. La responsabilité doit donc être distribuée selon les contributions mesurables : concepteur (validation externe, reporting des métriques et incertitudes), établissement (gouvernance, formation, audits de dérive, procédures de double lecture/second look), clinicien (intégration du contexte, surveillance et réévaluation). Un cadre utile est d’exiger des seuils explicites (p.ex. conduite à tenir si probabilité >x%), des analyses d’impact clinique (NNT/NNH) et un suivi en vie réelle des taux de faux négatifs et délais de traitement.