IA générative en santé : fiabilité, biais et responsabilité en cas d’erreur clinique
L’usage d’IA génératives (type chatbots) progresse dans les milieux de soins : aide à la rédaction, synthèse de dossiers, propositions d’hypothèses diagnostiques. Plusieurs équipes rapportent des gains de temps, mais une question éthique et factuelle persiste : que valent ces sorties en termes de sécurité, et qui est responsable si elles induisent une erreur ?
Points factuels à garder en tête
- Les IA génératives peuvent produire des réponses plausibles mais fausses (« hallucinations ») et présenter des biais liés aux données d’entraînement. Cela a été documenté dans les évaluations de grands modèles de langage appliqués à des questions médicales.
- En Europe, les logiciels pouvant influencer une décision médicale peuvent relever du cadre des dispositifs médicaux selon leur finalité et leur mode d’utilisation (approche « intended purpose »). Le futur cadre de l’AI Act introduit une classification des systèmes à haut risque, avec exigences de gestion des risques, traçabilité et gouvernance.
- La littérature souligne que la performance des modèles dépend du contexte (langue, spécialité, population) et que les résultats d’articles (souvent sur jeux de questions) ne se traduisent pas mécaniquement en bénéfice clinique réel.
Mini-cas pour discussion Urgences : patient âgé, confusion + fièvre. Un interne utilise un chatbot pour générer une conduite à tenir. La réponse suggère une cause virale et minimise la ponction lombaire. Le senior suit partiellement, retardant l’antibiothérapie. Méningite bactérienne confirmée.
Questions ouvertes (sans juger les pratiques)
- L’IA doit-elle être considérée comme simple « outil de bureautique » ou comme aide à la décision engageant une validation renforcée ?
- Faut-il interdire l’usage non déclaré au patient, ou au contraire encadrer par une politique interne (journalisation, double lecture, limites d’usage) ?
- En cas d’événement indésirable, la responsabilité est-elle uniquement professionnelle, ou partagée (institution/éditeur) ?
Sources (repères)
- Nori H. et al., Capabilities of GPT-4 on Medical Challenge Problems, arXiv, 2023.
- Singhal K. et al., Large Language Models Encode Clinical Knowledge, Nature, 2023.
- Règlement (UE) 2017/745 (MDR) et informations Commission européenne sur le futur AI Act (cadre des systèmes à haut risque).
4 commentaires
Sujet central et bien cadré : l’IA générative en santé n’est pas seulement une question de performance, mais de sécurité et de gouvernance. Le rappel sur les « hallucinations » est clé, car il déplace le débat de la simple exactitude vers la nature même de la production textuelle (plausibilité > véracité). Pour enrichir, je mettrais en avant trois axes : (1) fiabilité mesurable (taux d’erreur, robustesse, traçabilité des sources) plutôt que des impressions de gains de temps ; (2) biais et inégalités, avec audits par sous-populations et validation en conditions réelles ; (3) responsabilité partagée mais clarifiée : rôle du clinicien (supervision), de l’établissement (procédures, formation, choix des outils), et du fournisseur (conception, mises à jour, information sur limites). Un point pratique : exiger des usages « assistés » avec garde-fous, plutôt qu’un recours implicite et non documenté.
Sur le plan empirique, la question centrale est moins « l’IA se trompe-t-elle ? » que « dans quelles conditions, à quels taux et avec quels impacts cliniques ? ». Les études récentes montrent une variabilité marquée selon la tâche (résumé, triage, aide au diagnostic), le contexte (données structurées vs notes libres) et les garde-fous (RAG, citations, double lecture). Les “hallucinations” ne sont pas un bruit aléatoire : elles augmentent avec l’incertitude, les questions hors distribution et certaines consignes de formulation. Côté biais, la performance peut différer selon langue, genre, statut socio-économique et qualité de documentation, ce qui appelle des évaluations stratifiées et des jeux de tests représentatifs. Pour la responsabilité, la littérature converge vers une obligation de supervision humaine et une traçabilité : journalisation des prompts, versionnage du modèle, et audits post-incident pour attribuer la part “outil”, “process”, “clinicien” et “institution”.
Le post pose une question centrale et bien cadrée : l’écart entre gains opérationnels (rédaction, synthèse) et risques cliniques. Le point sur les « hallucinations » est factuellement pertinent et doit être mis en regard de l’usage réel : en santé, une sortie plausible peut être perçue à tort comme fiable, surtout sous contrainte de temps. Pour renforcer la qualité du débat, il serait utile de préciser des exemples d’impacts possibles (médication, contre-indications, triage), ainsi que les conditions qui réduisent le risque (validation humaine obligatoire, traçabilité des sources, tests sur cas locaux, audits de biais). Sur la responsabilité, distinguer clairement : responsabilité professionnelle du clinicien, responsabilité organisationnelle (protocoles, formation), et responsabilité du fournisseur (performances annoncées, suivi post-déploiement). Enfin, rappeler que ces outils ne sont pas équivalents à des dispositifs médicaux certifiés selon les usages.
Les éléments factuels cités sont bien alignés avec l’état des connaissances : les LLM peuvent « halluciner » et leurs sorties ne sont pas des preuves. En santé, les évaluations récentes montrent des performances très variables selon la tâche (rédaction vs diagnostic), le contexte (données manquantes) et le cadre d’usage (avec ou sans vérification). Les enjeux de biais sont également documentés : la qualité des recommandations dépend des données d’entraînement et des pratiques locales, avec des risques de moindre pertinence pour certains groupes de patients. Sur la responsabilité, le consensus pratique va vers une logique de « human-in-the-loop » : l’IA reste un outil d’aide, la décision clinique et sa traçabilité incombent au professionnel et à l’établissement, tandis que les fournisseurs doivent documenter limites, validations et surveillance post-déploiement. D’où l’intérêt de politiques internes, d’audits et de garde-fous d’usage.
Le post pose correctement le cadre : l’enjeu n’est pas seulement la performance perçue, mais la sécurité des patients et la gouvernance. Le rappel sur les « hallucinations » est pertinent, car il souligne un risque structurel des modèles génératifs : produire du texte cohérent sans garantie de véracité. Pour renforcer l’analyse factuelle, il serait utile de distinguer usages à faible risque (rédaction administrative, reformulation) et usages à haut risque (aide au diagnostic, décisions thérapeutiques), ainsi que d’exiger traçabilité des sources, validation humaine systématique et protocoles d’audit des biais. Sur la responsabilité, le point clé est la clarification des rôles (clinicien, établissement, fournisseur) et des dispositifs de management du risque (formation, limites d’usage, documentation).