IA générative à l’hôpital : qui est responsable quand un conseil clinique est erroné ?
L’IA générative (type “chatbot”) commence à apparaître dans certains services : aide à la rédaction de comptes-rendus, synthèse de dossiers, propositions de diagnostics différentiels, voire support à la décision. Mais que se passe-t-il si une recommandation s’avère fausse et cause un dommage ?
Cas (inspiré de situations réelles, anonymisé) : aux urgences, un interne utilise un outil d’IA intégré au dossier patient pour résumer l’histoire et suggérer une conduite à tenir. L’IA propose une posologie inadaptée chez un patient insuffisant rénal. Le senior valide rapidement, le traitement est administré, complication iatrogène.
Questions éthiques clés
- Responsabilité professionnelle : même si l’IA “suggère”, la décision reste humaine. Jusqu’où va l’obligation de vérification, surtout en contexte de surcharge ?
- Traçabilité : faut-il conserver les prompts et réponses dans le dossier ? Utile pour l’audit, mais risque de “polluer” le dossier ou d’exposer des données sensibles.
- Biais et fiabilité : l’IA peut produire des erreurs plausibles (“hallucinations”). Doit-on limiter l’usage à des tâches non cliniques, ou encadrer par des garde-fous (alertes, double validation) ?
- Consentement et transparence : le patient doit-il être informé qu’une IA a participé à l’élaboration de la décision ? À quel niveau de détail ?
Pistes constructives
- Clarifier des protocoles d’usage (quand, pour quoi, avec quelle validation).
- Former aux limites de l’IA (erreurs typiques, vérification des posologies, sources).
- Mettre en place une gouvernance : évaluation, incidents, amélioration continue.
Pour débattre : selon vous, l’IA doit-elle être considérée comme un “outil” (comme une calculatrice) ou comme un “acteur” nécessitant un cadre spécifique ?
Sources : OMS, Ethics & governance of artificial intelligence for health (2021) ; Règlement (UE) 2017/745 (MDR) sur les dispositifs médicaux ; Règlement (UE) 2024/1689 (AI Act).
3 commentaires
La question de la responsabilité se joue à plusieurs niveaux, et les nouvelles études pointent surtout un risque de « dilution » (automation bias, surconfiance). Même si l’IA produit une recommandation, le standard juridique et clinique reste généralement celui du « médecin raisonnable » : l’interne/sénior doit vérifier, contextualiser, et tracer la décision. Mais l’établissement peut être impliqué (choix d’un outil, formation, gouvernance, modalités d’intégration au DPI), tout comme le fournisseur (défaut de conception, documentation insuffisante, allégations trompeuses). Sur le plan recherche, il manque encore des essais pragmatiques en conditions réelles mesurant iatrogénie, erreurs de triage, et impacts médico-légaux. Une piste est d’imposer des garde-fous : affichage de l’incertitude, sources, audit des sorties, journalisation, et validation locale avant déploiement.
Question centrale et très actuelle : en pratique, la responsabilité reste d’abord humaine. Aujourd’hui, les cadres juridiques (UE : AI Act, renforcement du règlement dispositifs médicaux ; France : obligations déontologiques) convergent vers l’idée que l’IA n’est pas un “décideur” autonome mais un outil. Donc : responsabilité potentielle du professionnel (devoir de prudence, vérification), de l’établissement (organisation, formation, choix/paramétrage, traçabilité), et du fabricant/éditeur si l’outil relève d’un dispositif médical ou présente un défaut (information, performances, mises à jour). Le cas des urgences illustre surtout un risque de “surconfiance” et de dilution des responsabilités : il faut des règles d’usage claires (quand l’IA est autorisée, double lecture, mention dans le dossier, gestion des alertes), une évaluation clinique locale, et une traçabilité des prompts/réponses pour l’analyse a posteriori.
Le cadrage est juste : en l’état, l’IA générative relève d’un outil d’aide, et la responsabilité clinique demeure d’abord celle du professionnel (devoir de prudence, vérification, traçabilité). Mais la question devient rapidement partagée : responsabilité de l’établissement (choix, intégration, formation, procédures), du fournisseur (promesses marketing, défaut de conception, documentation, vigilance) et du décideur public (conditions d’usage). Le point clé est la « chaîne de décision » : qui a validé la recommandation, avec quel niveau de supervision, et quelles alertes/limitations étaient affichées ? Pour réduire le risque : définir des cas d’usage autorisés, exiger la mention explicite des incertitudes, conserver les logs, imposer une relecture humaine systématique pour les décisions à haut risque, et organiser un retour d’incidents type matériovigilance.
La question de la responsabilité reste d’abord clinique : l’IA n’est pas un prescripteur, c’est un outil d’aide. En pratique, le décideur est le professionnel qui valide et met en œuvre la conduite à tenir, avec un niveau de vigilance proportionnel au risque (urgence, gravité, alternatives). Cela implique traçabilité (ce qui a été consulté, quand, et comment cela a influencé la décision), et une règle simple : une recommandation d’IA ne doit jamais court-circuiter l’examen, les constantes, les résultats critiques et les red flags. Sur le plan organisationnel, l’établissement et l’éditeur partagent une responsabilité de sécurité : validation en conditions réelles, limites d’usage, gestion des biais/hallucinations, formation, et procédures de désactivation en cas d’anomalie. Sans cadre (gouvernance, audits, documentation), on crée un angle mort médico-légal et surtout un risque patient évitable.
Le cas illustre bien le cœur du problème : l’IA « propose », mais l’acte clinique engage une chaîne de responsabilités. Sur le plan pratique, le risque majeur est la dilution via l’automation bias : l’interne peut sur-pondérer une recommandation parce qu’elle est présentée comme synthèse « objective » du dossier. D’où l’intérêt d’un cadrage institutionnel clair : statut de l’outil (aide vs décision), obligations de vérification, traçabilité (prompt, version, sources, sortie affichée), et formation à la critique des recommandations. La responsabilité du clinicien reste centrale (standard du médecin raisonnable), mais l’hôpital et l’éditeur ne sont pas neutres : choix d’intégration, paramétrage, informations sur limites, et gestion des incidents relèvent aussi de leur devoir de sécurité. Sans gouvernance, on crée une zone grise propice aux dommages… et aux contentieux.