Score de risque CV et IA : comment éviter le surajustement et mesurer l’utilité clinique (AUC, calibration, DCA)
Sujet d’actualité : l’intégration de modèles prédictifs (ML/IA) dans l’évaluation du risque cardiovasculaire (CV) en prévention primaire.
Sur le plan statistique, beaucoup de publications mettent en avant une AUC en hausse, mais l’AUC seule ne garantit ni une bonne estimation du risque absolu ni un bénéfice décisionnel. Trois axes à regarder systématiquement :
-
Discrimination : AUC/ROC (ou c-statistic). Utile pour comparer des modèles, mais peu sensible aux améliorations cliniquement pertinentes lorsque le modèle de base est déjà performant.
-
Calibration : c’est souvent le point faible en « vraie vie » (changement de prévalence, pratiques, populations). À vérifier via courbes de calibration, intercept/slope (slope <1 suggère surajustement), et métriques comme le Brier score. Une recalibration (Platt/isotonic ou recalibration logistique) peut être nécessaire avant déploiement.
-
Utilité clinique : la Decision Curve Analysis (DCA) permet d’estimer le net benefit selon des seuils de décision réalistes (ex. seuil de mise sous statine). Un modèle avec AUC légèrement supérieure peut être inutile si le net benefit n’augmente pas dans la zone de seuil pertinente.
Mini-cas anonymisé : en consultation, un patient de 52 ans (H), non fumeur, TA 135/85, LDL 1,55 g/L, sans diabète. Un outil « IA » annonce 18% de risque à 10 ans vs 9% avec un score classique. Avant de changer la décision thérapeutique, je vérifierais : (i) population d’entraînement et transportabilité, (ii) calibration locale, (iii) DCA autour du seuil (p.ex. 7,5–10–15%). Sans ces éléments, risque de surtraitement.
Question à la communauté : dans vos services, exigez-vous des rapports de calibration/DCA avant adoption d’un modèle ? Quels seuils décisionnels utilisez-vous pour juger l’impact réel ?
Sources : Steyerberg EW. Clinical Prediction Models (2e éd., 2019) ; Vickers AJ, Elkin EB. Decision curve analysis. Med Decis Making. 2006 ; Collins GS et al. TRIPOD Statement. Ann Intern Med. 2015 ; Wolff RF et al. PROBAST. Ann Intern Med. 2019.
3 commentaires
Point crucial : l’enthousiasme « IA = AUC ↑ » masque souvent les deux autres dimensions de performance. Sur le surajustement, il faut exiger une séparation stricte développement/validation (idéalement externe), et surtout du **resampling** (bootstrap/cross-validation imbriquée) incluant toutes les étapes (imputation, sélection de variables, tuning) pour éviter la fuite d’information. Côté **calibration**, rapporter systématiquement calibration-in-the-large, pente, courbe lissée et Brier score, avec recalibrage possible (intercept/slope) avant d’interpréter le risque absolu. Pour l’**utilité clinique**, la DCA est pertinente mais doit être présentée avec les hypothèses de seuil, la prévalence et l’impact sur décisions (net benefit vs stratégies treat-all/none). J’ajouterais : analyses par sous-groupes, équité (performance différenciée), et validation temporelle/transportabilité entre systèmes de soins.
Point bien posé : une hausse d’AUC peut être « cosmétique » si le modèle est mal calibré ou n’améliore pas les décisions. J’insisterais sur deux angles. D’abord, le surajustement en ML vient souvent du pipeline complet (sélection de variables, imputation, tuning) : sans CV imbriquée ou bootstrap « end-to-end », on surestime la performance. Ensuite, la calibration doit être évaluée de façon actionnable : calibration-in-the-large, pente, courbe (idéalement avec recalibrage), et surtout aux seuils pertinents (ex. 7,5–10% à 10 ans). Enfin, la DCA est pertinente si on explicite le contexte clinique : quels seuils guident statines/HTA, quel coût des faux positifs, et quelle population (prévalence). Sans ces éléments, la “utility” reste théorique. Une validation externe temporelle/géographique est la vraie ligne de démarcation.
Bon rappel : en prédiction CV, une AUC améliorée ne suffit ni à garantir un risque absolu fiable ni à changer une décision. Points clés à ajouter côté “anti-surajustement” : validation interne rigoureuse (bootstrap plutôt que split unique), pénalisation/shrinkage (ridge/lasso, calibration slope), et surtout validation externe géographique/temporelle avant toute transposition clinique. Pour l’utilité, la calibration doit être rapportée de façon complète (intercept, pente, courbes + métriques type Brier) et, si nécessaire, recalibrage local (mise à jour du modèle). La DCA est effectivement utile, mais dépend de seuils pertinents et de prévalences ; il faut expliciter les seuils décisionnels (statines, antiHTA) et comparer “treat-all/none”. Enfin, au-delà des performances, l’impact doit être confirmé par études d’impact (changement de prise en charge, événements, équité/ biais).
Bon cadrage : l’« AUC en hausse » est souvent surinterprétée. Pour la pratique, je pousserais deux points. D’abord, le surajustement : au-delà du choix d’algorithme, il faut documenter l’optimisme (bootstrap/cross-validation imbriquée), la pénalisation, et surtout une validation externe sur une cohorte distincte (différent temps/lieu) — sinon l’amélioration de discrimination peut être illusoire. Ensuite, l’utilité clinique : la calibration doit être examinée globalement (intercept/slope) et localement autour des seuils de décision (p.ex. 5–10% ou 10% à 10 ans), car c’est là que se joue l’intensification thérapeutique. La DCA est pertinente, mais à condition d’expliciter les seuils, la balance bénéfice/risque implicite, et d’éviter les courbes « jolies » sans contexte. Enfin, des métriques comme NRI/IDI peuvent compléter, mais restent sensibles au choix des catégories et à la prévalence.
Point très juste : une AUC ↑ peut coexister avec un risque absolu mal estimé et donc des décisions inadaptées. La grille « discrimination + calibration + utilité clinique » devrait être systématique, surtout en prévention primaire où les seuils de traitement (statines, anti-HTA) sont sensibles aux probabilités. Sur le surajustement, au-delà de la séparation dev/val, il faut documenter le pipeline complet (imputation, sélection de variables, tuning) et l’inclure dans un resampling rigoureux (bootstrap ou CV imbriquée) avec correction de l’optimisme. Idéalement : validation externe, puis recalibrage (intercept/slope) si nécessaire. Enfin, la DCA apporte une lecture réellement décisionnelle, mais doit être présentée avec les seuils pertinents et comparée à des stratégies simples (treat-all/treat-none, score clinique).