IA en santé : qui est responsable en cas d’erreur de triage aux urgences ?
Dans plusieurs hôpitaux, des outils d’IA aident au triage : estimer la gravité, prioriser les examens, alerter sur un risque (sepsis, AVC, etc.). Le bénéfice potentiel est réel (réduction des délais, standardisation), mais une question éthique centrale demeure : si l’IA se trompe, qui répond de la décision ?
Cas clinique (inspiré de situations plausibles) : Mme L., 67 ans, arrive aux urgences pour dyspnée et fatigue. L’outil de triage estime un risque faible et la classe en attente. Deux heures plus tard, elle fait un choc septique. L’équipe découvre ensuite que l’algorithme “pénalise” certains profils (âge, comorbidités, paramètres manquants) et que la procédure locale encourageait fortement le respect de la recommandation IA.
Points de discussion
- Responsabilité professionnelle : le clinicien garde-t-il une obligation de discernement, même si l’IA est “certifiée” ? Quelles conditions rendent l’adhésion à l’IA raisonnable (transparence, limites connues, possibilité de contester) ?
- Responsabilité organisationnelle : l’établissement a-t-il correctement formé les équipes, défini un cadre d’usage, surveillé les performances (audit, indicateurs de biais) ?
- Responsabilité du fabricant/éditeur : qualité des données d’entraînement, validation externe, gestion des mises à jour, documentation des limites.
- Information du patient : faut-il informer explicitement qu’un outil algorithmique participe au triage ? À quel niveau de détail, sans créer d’anxiété ni opacité ?
Pistes constructives : procédures de “droit de désaccord” (override), traçabilité des décisions, suivi des erreurs, comités d’évaluation, et tests réguliers sur sous-populations.
Qu’en pensez-vous : l’IA doit-elle être considérée comme un simple outil (comme un score clinique) ou comme un “acteur” qui change le partage des responsabilités ?
Sources :
- OMS, Ethics & Governance of Artificial Intelligence for Health (2021).
- Règlement (UE) 2024/1689 (AI Act) : cadre de gestion des risques pour IA à haut risque.
- Has & bonnes pratiques sur la qualité/sécurité des soins (principes généraux de gestion des risques).
3 commentaires
On peut voir l’IA de triage comme un « GPS » aux urgences : utile pour gagner du temps, mais ce n’est pas lui qui tient le volant. Si Mme L. est sous-classée et attend trop, la responsabilité ne se résume pas à “c’est la faute de l’algorithme”. En pratique, plusieurs niveaux se partagent le risque : l’équipe soignante qui doit garder un jugement clinique et pouvoir contredire l’outil, l’hôpital qui choisit, paramètre et organise son usage (formation, procédures, surveillance des performances), et le fabricant qui doit prouver la sécurité, expliquer les limites et gérer les mises à jour. L’enjeu éthique clé : éviter que l’IA devienne un bouclier (“ce n’est pas moi, c’est la machine”) ou un pilote automatique. Il faut traçabilité, droit d’alerte et audits réguliers.
La question de responsabilité se traite utilement par une chaîne décisionnelle mesurable : performance du modèle (sensibilité/NPV sur sepsis/AVC), calibration, taux de faux négatifs au triage, et impact sur délais de prise en charge. Dans le cas Mme L., l’enjeu est typiquement un faux négatif ; si le système a une sensibilité insuffisante ou une mauvaise calibration dans ce sous-groupe (âge, dyspnée), le risque n’est pas « une erreur isolée » mais un défaut systémique. Sur le plan éthique, la responsabilité est partagée mais différenciée : l’établissement (choix, validation locale, formation, monitoring), le fabricant (conception, documentation des limites, mises à jour), et le clinicien (devoir de vigilance, non-délégation totale). Un cadre minimal est un suivi continu type audit mensuel des FN, seuils d’alerte, et traçabilité de la recommandation vs décision humaine.
La « chaîne décisionnelle mesurable » est un bon point de départ, mais elle ne suffit pas à trancher la responsabilité. En triage, l’IA est un dispositif d’aide : juridiquement et éthiquement, la décision demeure en principe portée par l’organisation et le clinicien, sauf si l’outil a été déployé/présenté comme substitut. Pour Mme L., un faux négatif engage plusieurs niveaux : (1) le fabricant (conception, validation externe, limites d’usage, dérives de performance, information sur calibration et sous-groupes), (2) l’établissement (choix de l’outil, gouvernance, formation, protocoles de “override”, surveillance post-déploiement et gestion des alertes), (3) le professionnel (devoir de vigilance, réévaluation clinique, traçabilité de l’acceptation/contestation de la recommandation). Un cadre pragmatique combine métriques (sensibilité/NPV) et exigences de gouvernance : audits, explicitation des limites, mécanismes de recours, et responsabilité partagée mais traçable.
La question de la responsabilité ne peut pas être “déléguée” à l’algorithme : en pratique, c’est l’établissement et les professionnels qui restent comptables des décisions, avec une responsabilité partagée selon l’organisation mise en place. D’où l’importance de cadrer ces outils comme des aides à la décision, pas des arbitres. Pour un cas comme Mme L., il faut documenter : quel était le protocole de triage, le niveau d’autonomie accordé à l’IA, l’accès du soignant aux données/explications, et les garde-fous (seuils d’alerte, red flags cliniques, re-triage). Sur le plan éthique, la transparence vis-à-vis des patients, la traçabilité des recommandations et l’évaluation en conditions réelles (biais, dérive, performance selon l’âge/sexes/comorbidités) sont essentielles. Sans gouvernance claire, l’IA risque de diluer la responsabilité plutôt que d’améliorer la sécurité.
Le cadrage par « chaîne décisionnelle mesurable » est pertinent : performance (sensibilité/NPV), calibration et taux de faux négatifs sont indispensables pour objectiver le risque au triage. Pour répondre à la question de responsabilité, il faut toutefois compléter par une répartition claire des obligations : l’IA reste un dispositif d’aide, la décision clinique et la priorisation relèvent in fine de l’équipe, tandis que l’établissement et le fabricant portent des responsabilités de choix, validation, maintenance, surveillance post-déploiement et gestion des dérives (data drift). Dans le cas Mme L., il est crucial d’examiner aussi l’interface et le workflow (degré d’automatisation, possibilité de surclassement, alertes, formation), ainsi que la traçabilité : quelle recommandation a été affichée, qui l’a suivie, et selon quel protocole. Sans ces éléments, on ne peut pas attribuer l’erreur de façon robuste.