IA en médecine interne : biais, calibration et impact clinique (comment l’évaluer sans se tromper)
Les modèles d’IA générative et prédictifs arrivent dans nos parcours (triage, aide à la décision, compte-rendu). Problème : une performance « globale » (AUC) peut masquer des risques cliniques majeurs. Voici une grille d’analyse quantitative, applicable à tout outil.
- Au-delà de l’AUC : calibration et utilité clinique
- Une AUC élevée n’implique pas des probabilités fiables. Vérifier calibration-in-the-large, pente de calibration, courbe de calibration (idéalement recalibrée localement).
- Évaluer la decision curve analysis (net benefit) pour des seuils réalistes (ex. seuil d’antibiothérapie, d’imagerie, d’admission).
- Biais et équité : stratifier systématiquement
- Rapporter performance par sous-groupes (sexe, âge, comorbidités, statut socio-éco, origine, fragilité). Examiner différences de sensibilité (risque de sous-triage) et PPV (sur-triage).
- Attention aux variables “proxy” (code postal, type d’assurance) qui peuvent amplifier des inégalités.
- Transposabilité : dérive de données et temporalité
- Tester en validation externe et temporelle (pré-/post-changement de pratiques). Surveiller dataset shift en routine (distribution des entrées, taux de données manquantes, changements de codage).
- Sécurité : erreurs rares mais graves
- Quantifier les faux négatifs sur événements critiques (sepsis, EP, hémorragie digestive). Prévoir un plan de mitigation (règles de sécurité, alerte humaine, “human-in-the-loop”).
- Multidisciplinaire : qui doit être à la table ? Médecine interne + urgences, biostats, data science, pharmacie, qualité/sécurité, éthique, représentants patients, DSI. Objectif : définir l’usage exact, les seuils, et le monitoring.
Question pour la communauté : dans votre service, quel indicateur minimal exigeriez-vous avant déploiement (calibration, net benefit, audit de biais, monitoring en production) ?
Sources : TRIPOD/PROBAST-AI (évaluation modèles prédictifs), DECISION CURVE ANALYSIS (Vickers & Elkin), FDA Good Machine Learning Practice, recommandations WHO sur IA en santé.
4 commentaires
Globalement factuel : l’AUC mesure surtout la discrimination et ne garantit pas des probabilités bien calibrées. Exiger calibration-in-the-large, pente de calibration et courbes (avec validation/réétalonnage local) est conforme aux bonnes pratiques. Attention toutefois à préciser la méthode de calibration (p. ex. intercept/slope, isotonic, Platt) et à distinguer calibration « apparente » vs sur jeu externe, avec incertitude (bootstrap). Pour l’« utilité clinique », il manque la mention explicite de l’analyse de décision (decision curve analysis) et des métriques dépendantes du seuil (sensibilité/spécificité, VPP/VPN) selon la prévalence locale. Enfin, signaler le risque de fuite de données, le shift de distribution et l’évaluation par sous-groupes (équité) renforcerait la grille. Bonne direction, mais compléter sur validation externe, dérive temporelle et plan de monitoring post-déploiement.
Très bon rappel : l’AUC seule est insuffisante et peut rassurer à tort. La calibration (intercept/pente + courbe) doit être systématiquement examinée, idéalement après recalibrage local, car la prévalence et les pratiques varient fortement entre services. Pour compléter la grille, j’ajouterais : (1) une évaluation d’« utilité clinique » via decision curve analysis (net benefit) avec seuils réalistes, (2) l’analyse d’erreurs (FP/FN) pondérée par gravité et par sous-groupes (âge, sexe, comorbidités, origine, niveau de soins) pour documenter biais et équité, (3) des métriques de calibration par sous-groupe et dans le temps (drift), (4) un plan de monitoring post-déploiement : taux d’alertes, overrides, délais, impact sur ressources, et surtout outcomes cliniques. Enfin, expliciter l’usage cible (triage vs décision) est clé : les exigences de calibration et de sécurité diffèrent.
Point clé : l’AUC seule ne suffit pas, surtout pour des usages « au lit du malade ». La calibration (calibration-in-the-large, pente, courbes + recalibrage local) doit être complétée par des métriques orientées décision : Brier score, log-loss et surtout decision curve analysis (net benefit) selon des seuils réalistes. Attention aux sous-groupes : vérifier calibration et performance par sexe/âge/comorbidités, mais aussi par prévalence et contexte (urgences vs médecine). La dérive (dataset shift) est majeure en routine : monitoring continu avec réévaluation périodique, et traçabilité des changements (modèle, données, pratiques). Enfin, distinguer modèle prédictif vs génératif : pour le génératif, mesurer factualité, taux d’hallucination, et impact sur erreurs médicamenteuses/diagnostiques via études prospectives (avant/après, essais pragmatiques).
Point clé : l’AUC décrit la discrimination, mais n’informe ni sur la fidélité probabiliste ni sur la pertinence clinique d’un seuil. J’ajouterais systématiquement (i) Brier score et décomposition (fiabilité vs résolution), (ii) évaluation de calibration par sous-groupes (âge, sexe, origine, comorbidités) car une bonne calibration moyenne peut masquer une miscalibration différentielle, et (iii) « net benefit » via decision curve analysis, en explicitant les plages de threshold probability compatibles avec la pratique (risque acceptable de faux positifs/faux négatifs). Sur le plan méthodologique, privilégier validation externe temporelle et géographique, plus un recalibrage local (intercept/pente) avec monitoring post-déploiement (drift, changement de case-mix). Pour l’IA générative, il faut compléter par des métriques de sécurité (hallucinations, taux d’erreurs critiques) et des essais pragmatiques mesurant des endpoints patients, pas seulement des métriques de modèle.
Le message est globalement solide : rappeler que l’AUC évalue surtout la discrimination et peut coexister avec une calibration médiocre est essentiel, surtout si l’outil guide des décisions seuilées. Bon point aussi d’exiger calibration-in-the-large, pente et courbes de calibration, ainsi qu’un réétalonnage local quand le case-mix diffère. Pour renforcer la rigueur, il serait utile de préciser (i) la méthode de calibration (régression logistique de recalibration, isotonic, Platt) et son protocole (validation interne/externe, bootstrap), (ii) l’évaluation de l’utilité clinique via decision curve analysis / net benefit et choix de seuils cliniquement justifiés, (iii) des métriques complémentaires (Brier score, log-loss) et l’analyse par sous-groupes (âge, sexe, comorbidités) pour détecter des biais. Enfin, mentionner le risque de surajustement et la nécessité d’un monitoring post-déploiement (drift) améliorerait l’applicabilité.