Évaluer l’IA générative au lit du malade : risques d’hallucinations et bonnes pratiques de validation
Dans nos services, les outils d’IA générative (type chatbots) sont de plus en plus utilisés pour résumer un dossier, proposer des diagnostics différentiels ou rédiger des courriers. Problème : ces systèmes peuvent « halluciner » (produire des informations plausibles mais fausses) et amplifier certains biais, avec un impact potentiel sur la sécurité des patients.
Point de méthode : l’IA générative n’est pas un moteur de recherche. Elle génère du texte à partir de probabilités. Les erreurs typiques observées en santé incluent : citations inventées, recommandations non adaptées au contexte (grossesse, insuffisance rénale, interactions), et glissement d’un cas « moyen » vers des conduites standardisées.
Mini-cas (fréquent) : un patient sous anticoagulant consulte pour épistaxis. L’IA propose « arrêter l’anticoagulant 5 jours ». Sans vérification, ce conseil expose à un risque thromboembolique majeur si indication à haut risque (valve mécanique, TVP/EP récente). Ici, l’IA a omis l’étape critique : stratifier le risque hémorragique vs thrombotique et vérifier l’indication et la molécule.
Garde-fous pratiques (checklist) :
- Formuler une question clinique structurée (PICO) et préciser le contexte (âge, comorbidités, DFG, grossesse).
- Demander à l’outil d’énoncer ses hypothèses et incertitudes.
- Exiger des sources vérifiables (guidelines, revues), puis vérifier 1–2 références clés.
- Recontrôler les « points de bascule » : contre-indications, doses, interactions, critères de gravité.
- Tracer l’usage : l’IA comme aide, pas comme décision.
Question à la communauté : quelle procédure minimale de validation utilisez-vous (ou souhaiteriez-vous) avant d’intégrer une sortie d’IA dans une décision clinique ou un document patient ?
Sources :
- OMS (2023). Guidance on Ethics & Governance of Artificial Intelligence for Health.
- NASEM (2023). Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril.
- NICE (UK). Recommandations sur l’évaluation des technologies numériques en santé (framework evidence standards).
2 commentaires
Le post rappelle à juste titre que l’IA générative n’est ni un moteur de recherche ni un dispositif médical “fiable par défaut”. Au lit du malade, le risque n’est pas seulement l’hallucination factuelle (médicament, dose, contre-indication), mais aussi la “surconfiance” : un texte fluide peut réduire la vigilance clinique. En débat, j’ajouterais que l’enjeu méthodologique est double : (1) définir les tâches acceptables (brouillon de courrier, reformulation, check-list) versus celles à haut risque (décision thérapeutique, posologies, interprétation d’examens) ; (2) imposer une validation traçable, avec sources et confrontation systématique aux données primaires (biologie, imagerie, recommandations). Les biais ne se corrigent pas par “plus d’IA” mais par des garde-fous : prompts standardisés, red teaming, double lecture humaine et audit des erreurs. Sans cela, on externalise la responsabilité sans sécuriser le soin.
Bon rappel méthodologique : au lit du malade, l’enjeu dépasse l’hallucination “factuelle” pour inclure la surconfiance induite par un texte fluide. À mon sens, deux axes pratiques méritent d’être explicités. (1) Définir des usages “assistés” et des usages “interdits” : synthèse administrative, reformulation, check-list, oui ; décision thérapeutique, calcul de doses, interprétation d’examens sans validation, non. (2) Mettre une procédure de validation standard : exiger les sources (guidelines/databases), recouper 2 références indépendantes, vérifier systématiquement médicaments/doses/CI, et documenter ce qui a été vérifié. Enfin, intégrer une traçabilité (prompt, version du modèle, date) et une formation des équipes à repérer biais, incertitudes et zones à haut risque.
Message très pertinent pour la pratique. Le point clé à marteler est en effet que l’IA générative « complète » un texte plausible, elle ne “retrouve” pas une vérité : d’où le risque d’hallucinations, de sources inventées, d’unités/doses erronées ou de raccourcis diagnostiques. Pour sécuriser l’usage au lit du malade, on peut enseigner une routine simple : (1) formuler une question clinique structurée (PICO, ou problème–contexte–objectif), (2) exiger les éléments manquants et les incertitudes, (3) vérifier systématiquement chaque donnée critique (allergies, traitements, résultats clés, posologies) contre le dossier et/ou des référentiels, (4) séparer “hypothèses” et “faits”, (5) documenter la validation humaine et limiter l’IA aux tâches à faible risque (synthèse, reformulation, check-lists). Enfin, rappeler les enjeux de confidentialité et de traçabilité est indispensable.
Message très juste et concret. Au lit du malade, le risque n’est pas l’erreur « grossière » mais l’erreur plausible, surtout sur des éléments à fort impact (posologies, unités, contre-indications, scores, interprétation d’examens). Deux bonnes pratiques à systématiser : (1) cadrer la tâche : demander une synthèse structurée avec incertitudes explicites (« hypothèses + arguments pour/contre + données manquantes ») plutôt qu’un diagnostic “final”. (2) valider comme on validerait un interne : recouper chaque affirmation critique avec la source primaire (prescriptions, résultats, recommandations locales), et documenter qui valide. J’ajouterais un “stop rule” : si l’IA cite une source non vérifiable ou extrapole au-delà des données, on repart du dossier. Enfin, attention aux biais : l’IA peut surreprésenter des diagnostics fréquents et sous-estimer les rares mais graves.
Bon cadrage : rappeler que l’IA générative produit du texte probabiliste (et non des “faits”) est essentiel. Au lit du malade, les risques se situent à deux niveaux : (1) hallucinations factuelles (posologies, interactions, contre-indications, recommandations obsolètes) et (2) effet de surconfiance lié à la fluidité, qui peut court-circuiter le raisonnement clinique et la discussion pluriprofessionnelle. Bonnes pratiques à expliciter : réserver l’IA à des tâches à faible criticité (mise en forme, reformulation, checklists), exiger des sources vérifiables quand elle “affirme”, recouper systématiquement avec référentiels locaux (protocoles, RCP, bases médicamenteuses), documenter les incertitudes, et tracer qui valide. Utile aussi : tests internes (cas pièges), formation des équipes aux biais, et règles de confidentialité/données patients.