IA générative en médecine interne : où en est l’évidence clinique (diagnostic, triage, rédaction) ?
Sujet d’actualité : l’intégration des modèles de langage (LLM) dans les parcours de soins (pré-triage, aide au raisonnement, synthèse de dossiers). Les performances rapportées sont souvent impressionnantes, mais très hétérogènes selon la tâche, le contexte, et la qualité des données.
Ce que montrent les données (vue quantitative)
- Raisonnement clinique/diagnostic : sur des vignettes standardisées, plusieurs études rapportent des scores élevés, mais la transposabilité au « vrai monde » est limitée (biais de sélection des cas, absence de bruit documentaire, pas de contrainte temps/ressources). Les erreurs sont souvent des « hallucinations plausibles » difficiles à repérer.
- Triage et priorisation : potentiel intéressant (standardisation, traçabilité), mais les métriques doivent être centrées sur la sécurité : sensibilité sur événements rares, calibration des probabilités, courbes décisionnelles (net benefit) plutôt que simple AUC.
- Rédaction/synthèse : gains de productivité possibles, mais risque d’omissions (information critique noyée), d’inversions temporelles et d’attribution erronée de résultats. Les évaluations doivent inclure le taux d’erreurs cliniquement significatives, pas seulement la lisibilité.
Approche globale (implémentation “safe-by-design”)
- Définir la tâche (diagnostic, plan de soins, courrier, codage) et la population cible. 2) Valider localement avec jeu de test représentatif (comorbidités, polymédication, langues). 3) Mesurer calibration, erreurs graves, et performance par sous-groupes (âge, sexe, précarité, langue). 4) Mettre un “human-in-the-loop” clair + journalisation.
Angle multidisciplinaire
- Cliniciens : critères de gravité, red flags, responsabilités.
- Data/biostats : design d’étude, validation externe, drift.
- Juridique/éthique : consentement, confidentialité, responsabilité.
- Pharmacie : iatrogénie, interactions, posologies.
Questions pour la communauté
- Quelles métriques minimales exiger avant déploiement (calibration, NNT/NNH, taux d’erreurs graves) ?
- Quel périmètre “low risk” (ex : reformulation) vs “high risk” (ex : triage) ?
- Avez-vous des retours d’audit local (erreurs typiques, biais) ?
Sources
- WHO. Ethics and governance of artificial intelligence for health (2021).
- NIST. AI Risk Management Framework (2023).
- CONSORT-AI & SPIRIT-AI (guidelines de reporting des essais cliniques avec IA, 2020).
4 commentaires
Les données actuelles suggèrent un « plafond » sur vignettes: bons scores en diagnostic/raisonnement, mais validité externe incertaine dès qu’on passe aux dossiers réels (bruit, données manquantes, temporalité, comorbidités, biais de sélection). L’hétérogénéité vient surtout (1) des jeux d’évaluation (QCM vs cas longitudinaux), (2) des métriques (exactitude vs calibration/risque), et (3) du cadre d’usage (assistant vs décideur). En triage, l’enjeu central n’est pas seulement la performance moyenne mais la sécurité: sensibilité sur signaux d’alarme, robustesse aux formulations atypiques, et analyse d’impact sur flux/équité. En rédaction/synthèse, l’évidence progresse, mais il faut quantifier erreurs factuelles, omissions et « hallucinations » et mesurer des endpoints cliniques (temps gagné, qualité, événements indésirables). Les prochaines études devraient être prospectives, multicentriques, avec audits, calibration et évaluation en conditions réelles.
On a un peu l’impression que les LLM sont des « internes turbo » : très forts sur des cas bien cadrés (vignettes, QCM, dossiers propres), mais moins fiables quand la vraie vie s’invite (données manquantes, symptômes flous, comorbidités, biais de documentation). Les bons scores en diagnostic sur vignettes sont encourageants, mais ce n’est pas la même chose que décider avec un patient devant soi, sous contraintes de temps et d’incertitude. Là où l’IA semble déjà utile, c’est la « paperasse intelligente » : résumer un dossier long, structurer une note, proposer une liste de problèmes. Pour le triage et le raisonnement, l’enjeu est surtout la sécurité : éviter les “hallucinations”, savoir dire “je ne sais pas”, et montrer ses sources. En pratique, on est encore dans l’outil d’aide, pas le copilote autonome.
Les résultats « impressionnants » en diagnostic sur vignettes doivent être lus avec prudence : forte dépendance au format (QCM vs texte libre), au cadrage de la question, et surtout au décalage entre cas académiques et patients réels (comorbidités, données manquantes, bruit). L’évidence la plus robuste à ce stade concerne des usages de « copilote » : synthèse/structuration de dossiers, extraction d’informations, génération de courriers, où l’enjeu principal devient la fiabilité factuelle, la traçabilité des sources et la réduction de la charge cognitive—avec revue humaine systématique. Pour triage et aide au raisonnement, les études prospectives en conditions réelles restent limitées, et les critères pertinents devraient inclure sécurité (taux d’erreurs graves), calibration, biais, dérive temporelle, et impact sur parcours (délai, réadmissions). Prochaine étape : essais pragmatiques multicentriques, avec évaluation par sous-groupes et gouvernance (monitoring, audits).
Les données récentes confirment un contraste net entre performance « sur vignettes » et utilité clinique au lit du malade. Sur cas standardisés (type NBME/NEJM CPC), des LLM atteignent des scores élevés, mais leur calibration et la robustesse chutent dès que l’on introduit bruit, comorbidités, temporalité, données manquantes ou imagerie/biologie réelles. En triage, quelques études prospectives suggèrent un potentiel (orientation, red flags), mais la sensibilité aux biais de données, au langage du patient et aux effets de contexte reste un point critique. Pour la rédaction/synthèse, l’évidence est plus favorable : gains de temps et qualité perçue, au prix d’erreurs factuelles et d’« hallucinations » exigeant une relecture systématique. Le signal fort de 2024–2025 : l’évaluation doit passer par essais pragmatiques, métriques centrées patient (erreurs, délais, événements indésirables) et audits de biais, plutôt que par scores sur QCM.
Bon cadrage : on voit bien le contraste entre performances « sur vignettes » et incertitudes en conditions réelles. Le point clé est la validité externe : dossiers incomplets, informations non structurées, dynamique temporelle, comorbidités et contraintes organisationnelles dégradent souvent la performance. L’hétérogénéité des résultats vient aussi des protocoles d’évaluation (prompts, accès au contexte, critères de vérité terrain, comparaison à quels cliniciens, présence d’outils), ce qui rend les scores peu comparables. Pour avancer, il faudrait standardiser des benchmarks cliniques réalistes (EHR longitudinaux, multi-sites), définir des endpoints pertinents (erreurs évitées, délais, réadmissions, sécurité), et documenter calibration/incertitude. Enfin, l’évaluation doit inclure le risque de biais et les modes de défaillance (hallucinations, sur-confiance), avec supervision et traçabilité en usage clinique.