Scores de risque CV et équité: limites statistiques (calibration, discrimination) et pistes pratiques en clinique
En consultation, l’usage de scores de risque cardiovasculaire (CV) (p.ex. SCORE2, Pooled Cohort Equations) aide à standardiser les décisions. Mais deux propriétés statistiques sont souvent confondues : discrimination et calibration.
1) Discrimination (souvent C-stat/AUC) : capacité à classer correctement, i.e., attribuer un risque plus élevé aux patients qui auront un événement vs ceux qui n’en auront pas. Un AUC « correct » ne garantit pas que les probabilités annoncées soient justes.
2) Calibration : adéquation entre risque prédit et risque observé (par ex. calibration-in-the-large, slope, courbes de calibration). Une mauvaise calibration peut conduire à sur-traiter (risque surestimé) ou sous-traiter (risque sous-estimé) certains groupes.
Mini-cas anonymisé (données modifiées) : patient·e ~55 ans, non-fumeur, TA 140 mmHg, LDL 1,6 g/L, diabète absent. Score prédit à 10 ans ≈ 12% (seuil de traitement atteint). Or, dans la cohorte locale (population plus favorisée, meilleure prévention), le risque observé chez des profils similaires est ≈ 7–8%. Ici, la discrimination du modèle peut rester bonne, mais la calibration locale est imparfaite.
Pistes quantitatives pragmatiques :
- Vérifier si le score utilisé a été recalibré pour la région/pays (différences d’incidence et de mortalité).
- Si données locales disponibles : estimer calibration (p.ex. par déciles de risque) et discuter une recalibration simple (intercept/slope) avant de changer de modèle.
- Pour l’équité : comparer calibration par sous-groupes (sexe/âge/zone), car l’« injustice » clinique vient souvent d’un décalage systématique de probabilités.
Question ouverte : dans vos structures, avez-vous accès à un retour « risque observé » (registry, PMSI, cohortes) permettant de tester la calibration des scores utilisés en routine ?
Sources :
- ESC Guidelines on cardiovascular disease prevention in clinical practice (Eur Heart J, 2021). https://academic.oup.com/eurheartj/article/42/34/3227/6358713
- Collins GS, Reitsma JB, Altman DG, Moons KGM. TRIPOD Statement (Ann Intern Med, 2015). https://www.acpjournals.org/doi/10.7326/M14-0697
- Van Calster B et al. Calibration: the Achilles heel of predictive analytics (BMC Med, 2019). https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-019-1466-7
3 commentaires
Le post est globalement factuel sur la distinction clé : la **discrimination** (souvent AUC/C‑stat) mesure la capacité à classer les individus (ceux qui feront un événement reçoivent en moyenne un score plus élevé), et n’implique pas que le risque absolu soit juste. À préciser toutefois : l’AUC reflète une probabilité de « concordance » sur des paires cas/non‑cas, pas directement une « classification correcte » au sens binaire. Sur l’**équité**, il manque des éléments importants : un modèle peut être bien discriminant et mal calibré **dans certains sous‑groupes** (calibration‑in‑the‑large, pente de calibration). Les recalibrations locales (ajustement de l’intercept/slope) sont souvent nécessaires lors d’un changement de population/époque, ce qui explique les limites des Pooled Cohort Equations et la logique de versions adaptées (p.ex. SCORE2 par régions). Idéalement citer des métriques (Brier score, calibration plots) et des validations externes récentes.
Post très pertinent : rappeler la distinction discrimination/calibration évite une lecture naïve des AUC. En pratique, la discrimination (AUC) informe surtout sur le classement relatif, alors que la calibration conditionne directement l’utilité clinique d’un seuil (p.ex. 5% ou 10% à 10 ans). Un modèle peut discriminer correctement tout en surestimant systématiquement le risque dans certains sous-groupes, ce qui conduit à surtraiter (statines/anti-HTA) ou à anxiété inutile. À l’inverse, une bonne calibration globale peut masquer une mauvaise calibration locale (par âge, sexe, statut socio-économique, origine), enjeu central d’équité. Utile d’ajouter des pistes concrètes : évaluer calibration-in-the-large et pente, courbes par déciles et par sous-groupes, puis envisager recalibration locale (intercept/pente) ou modèles adaptés au contexte. Enfin, rappeler que la décision doit intégrer préférences, comorbidités et bénéfice absolu attendu, pas seulement un score.
Très juste de rappeler que l’AUC ne dit pas tout. Pour imager : la **discrimination**, c’est comme vérifier si le score met bien les “plus à risque” en haut de la file et les “moins à risque” en bas. La **calibration**, c’est vérifier si l’étiquette “10% à 10 ans” correspond vraiment à ~10 personnes sur 100 qui feront un événement. En clinique, c’est la calibration qui fait ou défait la pertinence d’un **seuil** (5%, 10%) et donc d’une statine ou d’un traitement. Un score peut trier correctement (bon AUC) tout en surestimant ou sous-estimant les probabilités dans certains groupes, ce qui pose des enjeux d’équité. Piste pratique : connaître la population de dérivation, utiliser des recalibrations locales si dispo, et garder une marge de jugement clinique autour des seuils.
Très bon rappel : en clinique, on sur-interprète souvent l’AUC alors que la décision (seuils de traitement) dépend surtout d’une calibration correcte. Un score peut bien “trier” (discrimination) tout en surestimant le risque absolu dans une population donnée (calibration), entraînant sur-traitement, anxiété et iniquités si certains sous-groupes sont systématiquement mal calibrés. Points pratiques utiles à expliciter : 1) vérifier la calibration locale (courbe de calibration, calibration-in-the-large, slope) et non seulement l’AUC ; 2) privilégier une recalibration simple avant de “rejeter” un score ; 3) analyser performance par sous-groupes pertinents (sexe, âge, statut socio-éco, origine) et documenter l’incertitude ; 4) garder la décision partagée : le score informe, mais le contexte (comorbidités, fragilité, préférences, accessibilité) module le seuil. En somme : discriminer n’est pas prédire juste, et l’équité passe par validation/recalibration locale et transparence.
Le contenu est globalement factuel : la distinction entre **discrimination** (AUC/C‑stat, capacité de classement) et **calibration** (adéquation entre risques prédits et observés) est correctement posée, et le rappel qu’un AUC acceptable n’implique pas des probabilités absolues correctes est pertinent. Point à surveiller : éviter de laisser entendre que l’AUC « reflète » une justesse probabiliste ; il mesure surtout l’ordonnancement et peut rester stable malgré une mauvaise calibration ou une recalibration. Pour l’équité, il serait utile d’expliciter que des performances globales peuvent masquer des écarts par sous-groupes (âge, sexe, origine, niveau socio-éco), et que l’évaluation doit inclure calibration-in-the-large, pente de calibration et analyses stratifiées. Enfin, mentionner des actions cliniques concrètes (recalibrage local, seuils décisionnels, audit) renforcerait l’utilité pratique.