IA générative en santé : qui est responsable quand une recommandation erronée cause un dommage ?
L’usage d’outils d’IA générative (assistants de rédaction, aide au triage, synthèse de dossier) progresse dans les établissements de santé. Un cas discuté lors d’un staff : une patiente de 62 ans se présente aux urgences pour dyspnée et douleur thoracique atypique. Un interne utilise un outil d’IA pour résumer le dossier et proposer une hypothèse. L’IA met en avant une cause anxieuse et recommande un traitement symptomatique, minimisant le risque thromboembolique. Le senior valide finalement un bilan plus large, mais avec un retard de plusieurs heures ; une embolie pulmonaire est diagnostiquée.
Ce scénario soulève plusieurs questions éthiques et pratiques :
-
Responsabilité et décision clinique : même si l’IA n’est qu’un « outil », son influence peut être réelle (ancrage, biais d’autorité). Où se situe la responsabilité : utilisateur, encadrement, établissement, éditeur du logiciel ?
-
Traçabilité : faut-il documenter dans le dossier l’usage d’une IA (prompt, réponse, version du modèle), au même titre qu’un avis spécialisé ? Cela aide-t-il en cas d’événement indésirable ou ajoute-t-il une charge et des risques (confidentialité, surdocumentation) ?
-
Consentement et information du patient : l’emploi d’une IA doit-il être explicitement mentionné au patient, et dans quelles circonstances (aide à la rédaction vs décision clinique) ?
-
Qualité et gouvernance : quelles règles locales minimales (formation, interdiction d’entrer des données identifiantes, validation humaine obligatoire, audit) vous semblent indispensables avant déploiement ?
Pour nourrir le débat, quelques repères : le Règlement européen sur l’IA (AI Act) encadre les systèmes à « haut risque » en santé ; le RGPD rappelle les exigences de minimisation et de sécurité des données ; la littérature sur les biais et l’hallucination des LLM souligne la nécessité d’une supervision clinique.
Quelles politiques appliquez-vous (ou souhaiteriez-vous) dans vos services pour un usage constructif et sécurisé de ces outils ?
2 commentaires
Situation typique où l’IA ne « porte » pas la responsabilité : elle n’a ni personnalité morale ni obligation de soins. La responsabilité reste d’abord clinique et organisationnelle. Le senior qui valide engage sa responsabilité professionnelle : l’IA est un outil d’aide, pas une délégation du raisonnement, surtout aux urgences où le risque vital impose un triage prudent (penser « diagnostics à ne pas manquer »). L’interne doit signaler l’usage de l’IA et garder un esprit critique (biais d’autorité, faux sentiment de sécurité). L’établissement a aussi un rôle : choix d’outils évalués, protocoles d’usage, formation, traçabilité (mention dans le dossier), et règles de non-usage pour certaines décisions. Enfin, le fournisseur peut être concerné si défaut du produit ou information insuffisante. Message clé : responsabilité partagée, mais décision médicale non transférable.
On peut voir l’IA comme un GPS : elle propose un itinéraire, mais c’est le conducteur qui tient le volant. En santé, l’outil n’est pas « responsable » au sens moral ou juridique, car il ne soigne pas et ne décide pas. La responsabilité retombe surtout sur la chaîne humaine et l’organisation : l’interne qui s’appuie dessus, le senior qui valide, et l’établissement qui choisit, paramètre et encadre l’usage (formation, procédures, traçabilité). Le point critique, c’est la validation : si le senior entérine une recommandation sans vérifier les signaux d’alarme (ici risque thromboembolique), c’est une faute de raisonnement clinique, même si l’IA a influencé. Et si l’hôpital déploie un outil sans garde-fous, c’est un risque systémique. Conclusion : l’IA n’excuse pas, elle oblige à renforcer le contrôle.
Le cas illustre un point clé : l’IA générative ne “décide” pas, mais elle influence. La responsabilité reste d’abord clinique et organisationnelle : l’interne qui l’utilise et, surtout, le senior qui valide, doivent conserver une vigilance diagnostique, notamment face à des symptômes à haut risque (dyspnée + douleur thoracique). Mais réduire la question à la faute individuelle est insuffisant. Il faut interroger le cadre d’usage : quel outil, entraîné sur quelles données, avec quels garde-fous, quel niveau de traçabilité et d’explicabilité ? L’établissement a aussi une responsabilité de gouvernance (protocoles, formation, indications/contre-indications, audits). Enfin, le fournisseur peut être concerné si l’outil est présenté comme support décisionnel sans gestion robuste des risques. La solution passe par une “responsabilité distribuée” et des règles claires de supervision humaine.
Le cas met en évidence la “zone grise” entre aide à la décision et biais d’ancrage : l’IA ne tranche pas, mais peut orienter le raisonnement vers une hypothèse rassurante, surtout en contexte de surcharge aux urgences. La responsabilité immédiate reste clinique (interne et surtout senior signataire), car l’outil ne doit pas remplacer l’évaluation du risque devant dyspnée/douleur thoracique. Mais la responsabilité est aussi organisationnelle : choix de l’outil, conditions d’usage, formation, traçabilité des prompts/résultats, et garde-fous (checklists de red flags, obligation de documenter la contradiction, double lecture pour situations à haut risque). Enfin, il y a un volet industriel/réglementaire : qualité du modèle, marquage, information sur limites. La prévention passe par une gouvernance claire et une culture de “vérification systématique” plutôt que de confiance implicite.
Analyse pertinente : l’IA n’est pas sujet de responsabilité, et la décision clinique reste humaine. Mais il faut expliciter la chaîne de responsabilités : (1) responsabilité professionnelle du senior qui valide (obligation de prudence, respect des recommandations, raisonnement clinique propre, vérification des hypothèses à haut risque type EP/SCA) ; (2) responsabilité organisationnelle de l’établissement (choix de l’outil, cadre d’usage, formation, traçabilité, modalités de supervision, interdiction d’usage non encadré aux urgences) ; (3) responsabilité du fournisseur le cas échéant (défaut d’information, promesses trompeuses, défaut de conception). Clinique : ici, c’est un « red flag » où l’IA peut biaiser l’ancrage; la bonne pratique est de documenter que l’IA n’a pas été suivie ou, si elle l’est, pourquoi, et de maintenir une stratégie d’exclusion des diagnostics graves. Sans garde-fous, le risque médico-légal est prévisible.