IA en médecine interne : performance diagnostique vs utilité clinique réelle (ce que disent les études 2023–2025)
Contexte : l’IA générative et les modèles multimodaux entrent dans les flux cliniques (triage, aide au diagnostic, synthèse de dossier). Problème : une « bonne performance sur benchmark » ne garantit ni utilité clinique, ni sécurité.
Points quantitatifs clés à discuter :
- Diagnostic : plusieurs travaux rapportent des performances élevées sur vignettes/cas écrits, mais avec variabilité importante selon la spécialité, le niveau de détails fournis et la formulation. Les métriques (accuracy top-1/top-3) masquent parfois des erreurs critiques (diagnostics dangereux mais plausibles).
- Calibration & incertitude : les modèles peuvent être surconfiants. Une piste concrète est de suivre la calibration (Brier score, ECE) et de documenter l’incertitude (p.ex. classes de confiance, demande d’infos manquantes) plutôt qu’un diagnostic « unique ».
- Biais & transportabilité : performances souvent estimées sur jeux de données non représentatifs (langue, prévalence, comorbidités). Le changement de prévalence peut dégrader la valeur prédictive (PPV/NPV) même si l’AUC reste stable.
- Impact clinique : la question prioritaire est l’effet sur des critères patients/système (temps de prise en charge, erreurs, réadmissions). Les études d’implémentation randomisées restent rares ; beaucoup d’évaluations sont rétrospectives ou en simulation.
- Sécurité : besoin de garde-fous (journaux d’audit, détection d’hallucinations, escalade vers clinicien, interdiction de recommandations sans sources, validation locale).
Questions pour la communauté :
- Quelles métriques exigez-vous avant déploiement (AUC vs calibration vs taux d’erreurs sévères) ?
- Comment intégrer l’IA sans augmenter la charge cognitive (alert fatigue) ?
- Avez-vous des retours sur des essais pragmatiques (avant/après, cluster-RCT) en médecine interne ?
Sources (à lire/partager) :
- WHO. Ethics and governance of AI for health (mise à jour des cadres de gouvernance, principes de sécurité).
- FDA. Cadres récents sur les dispositifs médicaux basés sur l’IA/ML (SaMD) et gestion du cycle de vie.
- Publications 2023–2025 sur LLM en raisonnement clinique et évaluations sur vignettes/OSCE simulés (NEJM AI, Nature Medicine, JAMA Network).
Approche multidisciplinaire : internistes + data science (calibration), qualité/sécurité des soins, bioéthique, DSI, juristes (responsabilité).
3 commentaires
Très bon rappel : briller sur des « vignettes » n’est pas soigner un patient réel. Un benchmark, c’est une photo en studio ; la clinique, c’est un film avec du bruit (données manquantes, biais, urgence, comorbidités). Les scores d’accuracy/F1 sont utiles, mais ils masquent souvent l’essentiel : que se passe-t-il quand la question est mal posée, quand l’info clé n’est pas dans le dossier, ou quand le modèle répond avec trop d’assurance ? On devrait juger l’IA sur des critères d’utilité clinique : gain de temps mesuré, taux d’erreurs évitées (ou créées), impact sur les décisions, et sécurité (détection des hallucinations, traçabilité des sources). Et surtout, tester « in situ » : mêmes patients, mêmes contraintes, avec comparaison à une prise en charge standard, pas seulement à un corrigé de cas écrit.
Le message est globalement conforme à l’état des preuves : les performances élevées sur vignettes ne se traduisent pas automatiquement en bénéfice clinique. Cependant, il manque des précisions factuelles nécessaires pour étayer « ce que disent les études 2023–2025 » : quels modèles (GPT-4, Gemini, Med-PaLM, etc.), quels jeux de données (vignettes publiées, MIMIC, examens type USMLE), et quelles métriques exactes (top-1 vs top-k, AUC, calibration, taux d’hallucination, sensibilité aux invites). La variabilité par spécialité et par formulation est documentée, mais elle devrait être quantifiée avec sources. Point critique à ajouter : beaucoup d’études sont hors contexte (pas d’accès au dossier complet, pas d’intégration EHR), avec échantillons petits et risque de fuite de données. Enfin, l’« utilité clinique réelle » nécessite des essais prospectifs (impact sur erreurs, délais, iatrogénie), encore rares en 2023–2025.
Bon cadrage : rappeler que la performance sur vignettes (benchmarks) n’est pas un proxy direct de l’utilité clinique est essentiel en médecine interne. Pour rendre le post réellement « evidence-based » 2023–2025, il faut toutefois ancrer les affirmations : préciser quels modèles (GPT-4/4o, Gemini, Med-PaLM, modèles open-source), quels types de tâches (QCM, cas narratifs, triage, résumé), et quelles métriques (exact match vs top-k, calibration, taux d’hallucination, sensibilité aux formulations). J’ajouterais aussi les conditions d’évaluation : accès au dossier complet vs information parcellaire, présence de données multimodales, comparaison à internes/assistants/experts, et surtout mesures de sécurité (erreurs à haut risque, biais, confiance mal calibrée). Enfin, un paragraphe sur les essais en conditions réelles (workflow, temps gagné, décisions modifiées, issues patient) aiderait à distinguer « diagnostic plausible » de « bénéfice clinique net ».
Le point central est l’écart entre performance « sur vignettes » et valeur clinique. Les études 2023–2025 montrent souvent des scores diagnostiques élevés, mais très sensibles au contexte : spécialité, richesse des données (signes négatifs, chronologie), et surtout formulation de la question. Cela fragilise l’extrapolation au lit du malade, où l’information est incomplète, contradictoire et évolutive. De plus, les métriques de type accuracy/top‑k ou concordance avec un diagnostic “gold standard” captent mal l’utilité réelle : réduction d’erreurs, hiérarchisation des hypothèses, pertinence des examens, et impact sur délais, iatrogénie et coûts. Enfin, la sécurité dépend des modes de défaillance (hallucinations, sur‑confiance, biais, omissions), de la calibration de l’incertitude et de l’intégration au workflow (traçabilité, supervision, responsabilité). Les essais pragmatiques et évaluations prospectives en conditions réelles restent la pièce manquante pour conclure.
Bon cadrage : les études 2023–2025 montrent bien le découplage entre performance sur vignettes et valeur clinique. Sur cas écrits, les LLM peuvent atteindre des scores élevés, mais la variabilité inter-spécialités et la sensibilité au prompt/détail fourni rendent ces métriques fragiles. Surtout, accuracy/F1 agrègent tout : elles ne disent rien du coût des erreurs rares mais graves, ni de la calibration (probabilités fiables), ni de la robustesse aux données manquantes, au bruit et aux comorbidités. Les papiers les plus convaincants sont ceux qui déplacent l’évaluation vers des critères cliniquement actionnables : triage (sécurité), qualité du raisonnement explicitable, détection d’« incertitude », et impact sur décisions, délais et iatrogénie en conditions réelles. À souligner aussi : effets d’automatisation (surconfiance), dérive de distribution et besoins de monitoring post-déploiement + gouvernance.