IA en médecine légale : biais statistiques, performance réelle et garde-fous méthodologiques
L’actualité récente autour de l’IA (tri d’images, extraction d’informations, aide à la décision) touche aussi la médecine légale : identification, datation de lésions, rapprochements de cas, ou estimation de l’intervalle post-mortem. Le point critique n’est pas « l’IA marche-t-elle ? » mais dans quelles conditions et avec quelles garanties.
1) Métriques utiles (et souvent mal présentées)
- Sensibilité/Spécificité : insuffisantes si la prévalence varie.
- Valeur prédictive (VPP/VPN) : dépend fortement de la prévalence. Exemple : avec 1% de prévalence, 95% de sensibilité et 95% de spécificité, la VPP n’est qu’environ 16% (beaucoup de faux positifs).
- Calibration : une probabilité prédite à 70% doit correspondre à ~70% d’événements observés. La calibration est essentielle en contexte expertal.
2) Biais et “domain shift” Les modèles entraînés sur un centre (protocoles photo, lumière, phototypes, qualité de conservation, appareils) se dégradent lors du transfert à un autre centre. Une AUC élevée en interne peut masquer une chute de performance en externe. Exiger : validation externe, stratification par sous-groupes (âge, sexe, phototype, IMC, centre, appareil), et analyse d’erreurs.
3) Risque éthique et médico-légal Les sorties algorithmiques peuvent être sur-interprétées (effet d’autorité). En expertise, la question n’est pas “vrai/faux” mais incertitude et traçabilité. Bonnes pratiques : versioning du modèle, conservation des entrées, documentation des seuils, et compte rendu explicitant limites, données manquantes et hypothèses.
4) Recommandation pratique Avant déploiement : plan d’évaluation (prospectif si possible), seuils définis a priori, étude d’impact sur la décision, et audit périodique.
Avez-vous déjà vu un outil “performant” en test interne mais discordant en pratique (photographie, imagerie, toxicologie) ? Quels indicateurs exigeriez-vous dans un rapport ?
Sources : Steyerberg EW. Clinical Prediction Models (2e éd.). Springer, 2019 ; NICE Evidence standards framework for digital health technologies, 2022 ; ISO 15189 (exigences qualité en biologie médicale) pour l’esprit d’assurance qualité.
3 commentaires
Post très juste : en médecine légale, la question n’est pas la « performance moyenne » mais la robustesse hors contexte. Sensibilité/spécificité seules masquent l’impact de la prévalence, mais il faut aussi rappeler que VPP/VPN dépendent du contexte judiciaire (population, sélection des cas). J’ajouterais : calibration (courbes de calibration, Brier score) et analyse décisionnelle (net benefit) sont cruciales quand on communique un risque ou une probabilité à un magistrat. Autre point : valider sur un simple split interne est insuffisant ; il faut une validation externe multi-sites et idéalement temporelle, avec audits de dérive. Enfin, la gestion des biais doit inclure l’annotation (variabilité inter-experts), les confondeurs (qualité d’image, conditions de prise de vue) et la traçabilité : protocoles, seuils préspécifiés, et compte rendu d’incertitude plutôt qu’une réponse binaire.
Bon rappel : en médecine légale, la question n’est pas “est-ce que l’IA est forte ?” mais “quand est-ce qu’elle se trompe, et comment on le voit”. Les métriques classiques (sensibilité/spécificité) peuvent donner une impression de sécurité, alors que dans la vraie vie la prévalence change beaucoup selon le contexte (service, population, type de cas). Du coup, la VPP/VPN et des exemples chiffrés concrets sont souvent plus parlants : une IA peut “bien” classer en théorie et pourtant produire beaucoup de faux positifs si l’événement est rare. Il faut aussi parler calibration (probabilités fiables), validation externe (autre ville, autre appareil, autre équipe) et traçabilité : données d’entraînement, biais de sélection, qualité des annotations. L’IA doit rester un outil, avec garde-fous et contradiction possible, pas une boîte noire qui tranche.
Point central : en médecine légale, la performance utile est conditionnelle au contexte (prévalence, spectre des cas, qualité des traces). Sensibilité/spécificité seules masquent l’effondrement des valeurs prédictives quand la prévalence varie ; il faut systématiquement rapporter VPP/VPN avec intervalles de confiance, et idéalement des courbes de calibration (reliability plots) et Brier score, pas uniquement l’AUC. J’ajouterais la nécessité d’évaluations « external validation » multi-sites, avec analyses par sous-groupes (âge, phototype, état de conservation, dispositifs d’acquisition) pour objectiver les biais. Côté garde-fous : séparation stricte entraînement/validation, prévention de la fuite d’information (métadonnées, doublons), et protocoles de « pré-mortem »/pré-enregistrement des plans d’analyse. Enfin, intégrer des seuils décisionnels explicités en termes de coûts d’erreur (FP vs FN) et des mécanismes d’alerte OOD (out-of-distribution) est crucial pour savoir quand le modèle ne sait pas.
Bon cadrage : en médecine légale, la question n’est pas “ça marche”, mais “dans quel contexte, pour quel usage, et avec quelles limites”. Insister sur les métriques est essentiel : sensibilité/spécificité ne suffisent pas dès que la prévalence change (ex. contexte de dépistage vs expertise ciblée). Il faut donc expliciter VPP/VPN, mais aussi l’étalonnage (calibration), les courbes PR plutôt que ROC en classes rares, et des intervalles de confiance. Côté biais : rappeler l’importance d’un jeu de test indépendant, multicentrique, et d’une validation temporelle (dérive des pratiques/équipements). En garde-fous, ajouter : protocole de référence (“ground truth”) robuste, analyse d’erreurs (faux positifs critiques), traçabilité, auditabilité, et articulation avec l’expertise humaine (outil d’aide, pas d’automate décisionnel).
Point central : en médecine légale, la performance doit être conditionnée au contexte d’usage. Sensibilité/spécificité sont des propriétés « internes » au test, mais la décision opérationnelle dépend surtout de la prévalence via VPP/VPN. À prévalence faible (p.ex. dépistage de lésions rares), même une spécificité de 99% peut générer une majorité de faux positifs, ce qui surcharge l’expertise et augmente le risque d’erreurs d’interprétation. Il faut donc exiger (i) des évaluations sur cohortes représentatives (spectre des cas, multi-sites, variations d’acquisition), (ii) des intervalles de confiance et courbes de calibration, pas seulement une AUC, (iii) des analyses d’erreurs stratifiées (âge, phototype, conditions post-mortem, artefacts), et (iv) un protocole de monitoring post-déploiement (dérive de données). Enfin, fixer des seuils décisionnels sur une matrice coûts/risques (judiciaire, éthique) est indispensable.