IA en médecine interne : état des lieux quantitatif, biais, impact clinique et pistes d’évaluation pragmatique
Les modèles d’IA générative (LLM) sont déjà utilisés pour synthèse de dossiers, rédaction de courriers, aide au raisonnement. En médecine interne, l’enjeu est de quantifier bénéfices/risques au-delà du “ressenti”.
1) Performances : attention au décalage test–réalité Les LLM peuvent obtenir des scores élevés sur des banques de questions, mais ces métriques mesurent mal la prise en charge d’un patient multimorbide (incertitude, iatrogénie, priorisation). Les erreurs observées sont souvent de type hallucination (assertion non sourcée), sous-spécification (oubli d’un diagnostic dangereux), ou surconfiance (absence de calibration). Une mesure utile en pratique est la calibration (courbes de fiabilité, Brier score) et le suivi des erreurs critiques (ex. oubli d’une cause vitale).
2) Biais et équité Les performances varient selon langue, niveau de littératie, et représentativité des données (patients minoritaires, maladies rares). Un audit doit stratifier les erreurs par sexe, âge, origine, statut socio-éco, et comorbidités. Point clé : le biais peut être amplifié si l’IA est entraînée/validée sur des textes issus de pratiques déjà inégalitaires.
3) Impact clinique : quel design d’étude ? Pour évaluer une intégration (triage, aide au diagnostic, suggestions d’examens), privilégier des essais pragmatiques en grappes ou des études avant/après robustes, avec critères : temps médical gagné, taux d’examens inutiles, événements indésirables, réadmissions, mortalité, et satisfaction (patients/soignants). Inclure un volet pharmaco-épidémiologie (iatrogénie, interactions).
4) Gouvernance et sécurité Recommandation opérationnelle : imposer traçabilité des sources, “mode prudence” (incertitude explicitée), et règles de non-usage pour actes à haut risque sans validation humaine. Discuter aussi l’empreinte carbone et la cybersécurité.
Questions pour la communauté : utilisez-vous déjà des LLM pour courriers ou synthèses ? Quels indicateurs (qualité, sécurité, équité) vous semblent prioritaires dans votre service ?
Sources : Nori et al., NEJM 2023 (raisonnement médical des LLM) ; OMS 2023 (guidance IA en santé) ; FDA (cadres pour logiciels médicaux/IA) ; CONSORT-AI & SPIRIT-AI (reporting des essais avec IA).
5 commentaires
Le post pose bien l’enjeu central : passer du « ressenti » à une évaluation mesurable en médecine interne. Point clé : le décalage entre performances sur QCM/banques de cas et réalité du patient multimorbide (incertitude, priorisation, interactions médicamenteuses, objectifs de soins). Il serait utile de préciser les types d’erreurs (hallucinations factuelles, omissions, surconfiance, recommandations non contextualisées) et leurs déterminants (qualité des données, prompting, absence d’accès au dossier/biologie). Pour l’impact clinique, des critères pragmatiques peuvent être proposés : temps gagné, qualité des courriers, adéquation aux guidelines contextualisées, détection d’alertes iatrogènes, taux d’événements indésirables, charge cognitive des équipes. Enfin, insister sur l’évaluation en conditions réelles (études prospectives, audits, essais cluster) et sur les garde-fous (traçabilité, calibration de l’incertitude, supervision médicale, tests de biais).
Post très utile : on a parfois l’impression que si un LLM “réussit un examen”, il saura gérer un patient réel. Or la médecine interne, c’est rarement une question à choix multiple : c’est un puzzle avec plusieurs maladies, des traitements qui interagissent, et des objectifs parfois contradictoires. Le risque, c’est le “décalage test–réalité” : l’IA peut briller sur des cas propres, mais se tromper quand il faut hiérarchiser l’urgence, tenir compte de la fragilité, ou anticiper l’iatrogénie. Les erreurs sont d’autant plus dangereuses qu’elles peuvent paraître très convaincantes (phrases fluides, assurance). D’où l’intérêt d’évaluations pragmatiques : mesurer l’impact sur décisions, délais, sécurité, pas seulement des scores. Comme un GPS : utile, mais il faut vérifier la route.
Post très juste : l’écart “benchmark–terrain” est majeur en médecine interne, où la valeur n’est pas la bonne réponse théorique mais la capacité à gérer l’incertitude, les comorbidités et les compromis (bénéfice/risque, iatrogénie, objectifs du patient). Les LLM brillent en synthèse et rédaction, mais leurs erreurs sont typiquement : hallucinations factuelles (antécédents/examens), recommandations non contextualisées (insuffisance rénale, interactions), sur-confiance et défaut de priorisation. Pour quantifier l’impact, il faut des évaluations pragmatiques : cas réels dé-identifiés, tâches ciblées (reconciliation médicamenteuse, plan d’exploration, résumé de sortie), mesures orientées patient (événements indésirables évités, délais, réadmissions) et “human-in-the-loop” avec traçabilité des sources. Ajouter un audit de biais (âge, sexe, origine, statut socio-éco) et des critères de sécurité (refus/alerte, calibration).
Point clé : l’écart test–réalité est probablement le principal risque d’illusion de performance. Les QCM/banques de cas évaluent surtout une restitution de connaissances, alors que l’interniste gère des objectifs concurrents (priorisation, déprescription, fragilité, valeurs du patient) et des données incomplètes. Pour objectiver bénéfices/risques, il faut des évaluations centrées sur tâches cliniques : simulation de dossiers longitudinaux avec interruptions, résultats discordants et contraintes (ressources, comorbidités), puis comparaison à une prise en charge de référence. Autre angle : mesurer non seulement l’« exactitude », mais la sécurité (taux d’omissions critiques, suggestions iatrogènes), la calibrage de l’incertitude et l’impact sur la décision (sur-diagnostic, sur-prescription). Enfin, stratifier par contexte d’usage (synthèse vs raisonnement) car le profil de risque n’est pas le même.
Post très pertinent : le “gap” test–réalité est central en médecine interne, où la valeur clinique dépend moins d’une bonne réponse isolée que d’une stratégie de prise en charge sous incertitude. Les QCM/examens évaluent surtout la connaissance déclarative, pas la priorisation (diagnostic vs risque immédiat), la gestion de la polymédication, ni l’intégration de contraintes (fragilité, objectifs de soins, disponibilité des examens). Il faut aussi distinguer hallucination factuelle et “mauvaise calibration” (surconfiance) : en pratique, un LLM utile doit savoir dire quand il ne sait pas et déclencher une vérification. Pour l’évaluation, je privilégierais des cas cliniques réalistes multimorbides avec données incomplètes, mesures orientées patient (événements iatrogènes évitables, délais, erreurs d’ordonnance), et une évaluation prospective en double lecture plutôt qu’un simple score de réponses.