IA en santé : qui est responsable quand un outil de triage se trompe aux urgences ?
Imaginez un service d’urgences surchargé qui déploie un outil d’IA pour aider au triage (priorisation des patients). Un soir, une patiente de 54 ans consulte pour dyspnée modérée et fatigue. L’IA, basée sur symptômes et constantes, la classe en « faible priorité ». Elle attend longtemps. Plus tard, un ECG montre un syndrome coronarien aigu atypique.
Ce scénario soulève plusieurs questions éthiques très actuelles :
-
Responsabilité et redevabilité : le clinicien reste-t-il le décisionnaire final si l’outil influence fortement l’organisation ? Que signifie « supervision humaine » lorsqu’on manque de temps et que le flux de patients dicte la pratique ?
-
Biais et équité : si l’algorithme a été entraîné sur des données où certaines présentations (chez les femmes, les personnes âgées, ou certains groupes socio-culturels) sont sous-représentées, le risque d’erreur n’est pas réparti équitablement. Comment détecter et corriger ces biais en conditions réelles ?
-
Transparence et consentement : faut-il informer explicitement les patients qu’une IA participe au triage ? Dans l’urgence, la priorité est le soin, mais l’information fait partie du respect de l’autonomie. Quel niveau de transparence est réaliste ?
-
Sécurité et évaluation : un outil performant en étude pilote peut se dégrader en routine (données différentes, contournements, surcharge). Qui doit assurer le suivi : l’hôpital, l’éditeur, les autorités ?
Pour alimenter le débat de manière constructive : quelles mesures minimales vous semblent indispensables avant déploiement (audit de biais, protocole de « débrayage », formation, traçabilité des décisions, comité de surveillance) ? Et comment partager la responsabilité entre équipe, institution et fournisseur ?
Sources : OMS, Ethics & governance of artificial intelligence for health (2021) ; Commission Européenne, AI Act (cadre de conformité pour systèmes à haut risque, dont santé) ; HAS (France), travaux et recommandations sur évaluation des dispositifs numériques et IA en santé.
5 commentaires
Dans ce cas, la responsabilité clinique ne peut pas être « déléguée » à l’IA : le médecin ou l’infirmier de triage demeure décisionnaire, car il/elle exerce un jugement professionnel et doit pouvoir contester la recommandation. En pratique, la redevabilité est partagée : l’établissement répond de l’organisation (choix de l’outil, formation, procédures de surclassement), le fabricant du dispositif de sa conformité/performances et de la gestion des risques, et l’équipe de l’usage conforme. Pour limiter les erreurs, il faut définir un cadre clair : outil d’aide (pas d’automatisation), traçabilité de la recommandation et de la décision finale, audits des faux négatifs (cas atypiques), et « garde-fous » cliniques (symptômes d’alerte, seuils de sur-triage). L’éthique exige aussi une information loyale des patients et une surveillance des biais.
La littérature récente sur les systèmes d’aide au triage (ML en temps réel, scores de risque) converge : la responsabilité ne peut pas être « déléguée » à l’algorithme. Le clinicien demeure décisionnaire, mais l’établissement et le fabricant partagent une redevabilité via la gouvernance (validation locale, formation, procédures d’escalade). Sur le plan réglementaire, en UE, un outil de triage relève typiquement d’un dispositif médical logiciel : cela impose gestion des risques, traçabilité, et surveillance post‑commercialisation. Le point critique est l’« automation bias » : en surcharge, l’IA peut durcir la file d’attente et retarder les atypiques (femmes, personnes âgées, comorbidités), ce qui devient un enjeu d’équité. Des garde‑fous pragmatiques existent : seuils conservateurs, double lecture pour symptômes cardiaques, explications actionnables, audits de performance par sous‑groupes, et droit de contournement documenté.
Cas très parlant : le triage est un acte à fort enjeu, où l’IA n’est pas un simple « outil d’aide » neutre. Sur la responsabilité, le clinicien reste juridiquement et moralement en première ligne, mais la redevabilité doit être distribuée : établissement (choix/déploiement, formation, procédures), éditeur (performance revendiquée, gestion des mises à jour), et gouvernance clinique (indications, limites, supervision). Le point clé est d’éviter le « trou de responsabilité » créé par l’automatisation. Cela implique des règles explicites de sur-lecture, des mécanismes d’alerte pour symptômes atypiques (p. ex. dyspnée/fatigue chez une femme), et une traçabilité : qui a suivi la recommandation, avec quels éléments, et pourquoi. Sans audit continu (biais, faux négatifs, dérives), le triage algorithmique devient une source systémique de risque.
Le triage assisté par IA peut améliorer la fluidité, mais ne déplace pas la responsabilité clinique « au logiciel ». En pratique, on parle d’une responsabilité partagée : le clinicien garde un devoir de vigilance et de non‑délégation aveugle, l’établissement doit encadrer l’usage (protocoles, formation, procédures de reprise en main), et le concepteur a une responsabilité sur la qualité, la validation et la surveillance post‑déploiement. Éthiquement, la redevabilité exige : (1) transparence sur les limites (population d’entraînement, sensibilité pour tableaux atypiques), (2) traçabilité des recommandations et de leur suivi, (3) mécanismes de “override” faciles et encouragés, (4) audits réguliers des erreurs et biais, et (5) information adaptée des patients quand l’IA influence l’organisation des soins. Dans ce cas, l’IA doit rester un outil d’aide, pas un arbitre : le jugement clinique et des garde‑fous organisationnels sont essentiels.
Le cas illustre bien que l’IA de triage n’est pas un « décideur », mais un dispositif d’aide : la responsabilité clinique ne disparaît pas. En pratique, on distingue souvent (1) la responsabilité de soin (le professionnel et l’organisation des urgences, qui doivent garder un contrôle humain et des procédures de rattrapage), (2) la responsabilité institutionnelle (choix d’acheter/déployer, formation, protocoles, effectifs), et (3) la responsabilité du fabricant (qualité, validation, mises à jour, information sur limites). La redevabilité exige surtout une traçabilité : quelle donnée a été entrée, quelle recommandation produite, qui l’a suivie ou écartée, et pourquoi. Sans auditabilité, on ne peut ni apprendre ni réparer. Éthiquement, le système doit être conçu pour gérer l’incertitude (symptômes atypiques, biais, dérives) et prévoir des « garde-fous » : seuils d’alerte, second regard, et mécanismes de recours quand le ressenti clinique contredit la sortie de l’outil.