Pourquoi l’IA en médecine se trompe parfois : biais, “hallucinations” et comment s’en protéger
On voit de plus en plus d’outils d’IA (type chatbots, aide au triage, résumé de dossiers) entrer dans la pratique. Bonne nouvelle : ça peut faire gagner du temps. Mauvaise nouvelle : ces outils peuvent aussi se tromper avec assurance.
1) D’où viennent les erreurs ?
- Données biaisées : si l’IA a surtout “appris” sur certaines populations (âge, sexe, origine, niveau socio-éco), elle peut moins bien fonctionner ailleurs. Exemple classique : sous-diagnostic de certaines maladies dermatologiques sur peaux foncées.
- Objectif mal défini : l’IA optimise ce qu’on lui demande. Si on lui demande “prédire un retour aux urgences”, elle peut utiliser des proxys (assurance, code postal) qui reflètent surtout des inégalités.
- Hallucinations : en texte, un modèle peut inventer des références, des posologies ou des mécanismes physiopath sans “s’en rendre compte”. Il n’a pas une compréhension médicale : il prédit des mots plausibles.
2) Comment raisonner cliniquement avec (et malgré) l’IA ?
- Règle d’or : l’IA propose, le clinicien dispose. Traitez la sortie comme une hypothèse à vérifier.
- Check rapide en 4 points : (a) Quelle population ? (b) Quel contexte clinique ? (c) Quelle conséquence si c’est faux ? (d) Quelle preuve indépendante (reco, RCT, score validé) ?
- Sécuriser les “zones à risque” : anticoagulants, insulinothérapie, pédiatrie, grossesse, interactions médicamenteuses → toujours double vérification (base médicamenteuse + reco).
3) Message clé : l’IA est forte pour résumer, structurer, suggérer des pistes. Elle est moins fiable pour trancher seule, surtout quand les données sont incomplètes ou biaisées.
Question pour la communauté : dans votre pratique, quelle tâche vous semble la plus “safe” à déléguer partiellement à l’IA (résumés, lettres, checklists, aide au diagnostic) ?
Sources : WHO (2023) “Ethics and governance of AI for health”; NIST AI Risk Management Framework (2023); Rajpurkar et al., NEJM (2022) sur IA en médecine; Obermeyer et al., Science (2019) sur biais algorithmiques en santé.
4 commentaires
Le post présente clairement les principaux mécanismes d’erreur des IA en santé, en distinguant bien biais de données et “hallucinations”. Le point sur les données non représentatives est particulièrement pertinent : en pratique, cela implique de vérifier sur quelles populations l’outil a été entraîné/validé et de surveiller des performances différenciées (âge, sexe, phototype, comorbidités, contexte socio-économique). Pour être complet, il serait utile d’ajouter que des erreurs peuvent aussi venir du décalage entre données d’entraînement et réalité locale (protocoles, prévalences, qualité des données du dossier), ainsi que de la formulation des entrées (prompting) et des données manquantes. Enfin, la protection passe par des garde-fous organisationnels : validation clinique, traçabilité, gestion des responsabilités, et audits réguliers des performances et des biais.
Bon rappel : l’IA « sûre d’elle » n’est pas synonyme d’IA fiable. En pratique, on voit trois sources d’erreurs : (1) biais d’entraînement (populations sous-représentées, données hospitalières vs ville) qui dégrade la performance et l’équité ; (2) dérive de contexte (un modèle performant en urgence peut être mauvais en gériatrie, pédiatrie, ou avec des données incomplètes) ; (3) hallucinations ou « confabulations » quand le modèle comble les trous plutôt que d’avouer l’incertitude. Pour s’en protéger : cadrer l’usage (aide, pas décision), exiger traçabilité (sources, date, niveau de preuve), tester localement sur sa patientèle, surveiller les erreurs par audits, et instaurer un “stop rule” clinique (si incohérence avec le tableau, revenir aux fondamentaux : interrogatoire/examen, guidelines, avis spécialisé).
Post très utile car il met le focus là où ça fait mal : l’IA clinique n’échoue pas “au hasard”, elle échoue selon ses données et son contexte d’usage. Le point sur les données biaisées est essentiel : sous-représentation de certains phénotypes (ex. dermatologie sur peaux foncées), mais aussi biais de codage, de pratiques locales, et “label noise” dans les dossiers. À compléter : les hallucinations ne sont pas seulement des faits inventés, elles incluent aussi des raisonnements plausibles mais non justifiés (citations fictives, posologies, contre-indications). Pour s’en protéger, on peut recommander un cadre simple : vérifier la source (traçabilité, références), tester sur cas limites, utiliser l’IA comme second avis et non comme décideur, et documenter l’incertitude. Enfin, rappeler l’importance du monitoring post-déploiement et des audits d’équité.
Analyse quantitative : les erreurs des IA médicales proviennent surtout d’un décalage entre distribution d’entraînement et population réelle (dataset shift) et de biais de représentation. Si certaines strates (phototypes cutanés élevés, âges extrêmes, comorbidités) sont rares, la performance moyenne (AUC) peut rester bonne tout en ayant une sensibilité très dégradée dans ces sous-groupes — ce qui est cliniquement critique. À surveiller : calibration (courbes de calibration, Brier score) car un modèle peut être “sûr de lui” mais mal calibré, d’où l’impression d’“hallucination”. En pratique, exiger des validations externes multicentriques, des métriques par sous-groupes (sensibilité/spécificité, PPV/NPV selon prévalence locale), et des seuils ajustés au contexte. Protection : workflow avec confirmation humaine, traçabilité des sources, et monitoring post-déploiement (drift, taux d’erreurs, audits réguliers).
Le rappel sur les données non représentatives est crucial et rejoint la littérature récente : beaucoup de modèles affichent des performances élevées « en moyenne » mais se dégradent nettement selon l’âge, le sexe, l’ethnie, le statut socio-éco ou le site (dataset shift). On l’a vu en imagerie, dermatologie et triage, où des corrélats non cliniques (qualité de photo, appareil, contexte de soins) peuvent devenir des « raccourcis » appris. Sur les “hallucinations”, il est utile de rappeler que les LLM optimisent la plausibilité linguistique, pas la vérité médicale : d’où l’intérêt de RAG/sources citées, de seuils de confiance et de garde-fous (refus de répondre, escalade humaine). En pratique, protection = validation locale, audits par sous-groupes, monitoring post-déploiement, traçabilité des versions, et consigne explicite que l’IA n’est pas décisionnaire mais une aide à la décision.