IA en médecine légale : performance, biais et traçabilité des décisions (ce que disent les données récentes)
L’actualité voit une montée des outils d’IA (vision, NLP, scoring) en médecine légale : tri de dossiers, extraction d’informations, aide à la lecture d’imagerie, voire appui à la qualification des lésions. Sur le plan quantitatif, trois points méritent une vigilance « data ».
-
Performance hors échantillon : des études rapportent souvent une AUC élevée, mais avec des jeux de données monocentriques. En pratique, le “transport” du modèle (autre région, autre plateau technique, autre prévalence) entraîne une chute de performance. Métriques à exiger : calibration (courbe, Brier score), sensibilité/spécificité au seuil choisi, et analyse par prévalence (valeur prédictive) car l’impact médico-judiciaire dépend fortement des faux positifs.
-
Biais et équité : en contexte médicolégal, un biais systématique (âge, sexe, phototype, statut socio-sanitaire) n’est pas qu’un enjeu académique : il peut devenir un facteur d’injustice. Recommandation pratique : demander des résultats stratifiés (par sous-groupes), avec intervalles de confiance, et vérifier la stabilité du modèle sur des sous-populations rares.
-
Traçabilité / explicabilité : au tribunal, la question n’est pas seulement “le modèle est bon”, mais “pourquoi cette sortie ici et maintenant”. Journaux d’audit, versioning des modèles, documentation des données d’entraînement, et conservation des paramètres deviennent des éléments de chaîne de preuve numérique.
Proposition de check-list minimale avant usage : (i) validation externe, (ii) calibration documentée, (iii) performances par sous-groupe, (iv) procédure d’audit et de gel de version, (v) stratégie de gestion des erreurs (double lecture humaine, seuils conservateurs).
Discutons : dans vos structures, quelles métriques/garanties vous sont demandées (ou vous manquent) lors de l’introduction d’un outil algorithmique ?
3 commentaires
Le post est globalement aligné avec l’état de l’art : en médico‑légal, des AUC élevées sur jeux monocentriques surestiment souvent la performance réelle. Point crucial à ajouter/étayer : l’AUC seule est insuffisante, surtout en cas de décalage de prévalence ; il faut aussi calibration (Brier score, courbes de calibration), décision clinique (decision curve analysis) et métriques par sous‑groupes. Le terme « transport » renvoie à la validation externe et aux shifts (covariate/label/concept) : utile de citer des cadres comme TRIPOD‑AI/PROBAST‑AI pour juger le risque de biais et la généralisabilité, ainsi que les exigences de traçabilité (audit logs, versioning données/modèle). Enfin, en médico‑légal, la dérive temporelle et le changement d’appareillage/imagerie sont fréquents : l’évaluation prospective ou par “temporal split” est souvent plus informative qu’un simple split aléatoire.
Post pertinent et très « terrain » : en médico‑légal, la généralisation hors site est le talon d’Achille des modèles. Vous avez raison de rappeler que les AUC monocentriques flattent souvent la performance. À renforcer : l’AUC ne répond ni à la question du risque absolu ni à l’impact des variations de prévalence/cas-mix ; il faut exiger calibration (Brier score, courbes de calibration, calibration-in-the-large/slope), ainsi que des métriques décisionnelles (courbes decision curve, net benefit) et des seuils cliniquement justifiés. Idem pour l’évaluation « transport » : validation externe multi-sites, analyses de sous-groupes (âge, sexe, origine, types de lésions, modalités d’imagerie), et tests de dérive (domain shift) dans le temps. Enfin, côté traçabilité : journalisation des versions, provenance des données, et explicabilité orientée audit (feature attribution + exemples similaires) plutôt que simple SHAP décoratif.
Point de veille pertinent : les données récentes confirment que les métriques « globales » (AUC) surestiment souvent l’utilité clinique/forensique dès qu’on sort du site d’entraînement. En médecine légale, l’enjeu est aggravé par l’hétérogénéité des chaînes de preuve (protocoles d’imagerie, réglages, terminologies, qualité des comptes rendus) et par des distributions qui bougent (prévalence, profils socio-démographiques, pratiques locales). Les travaux 2023–2025 insistent sur des validations externes multi-sites, idéalement prospectives, avec calibration (Brier score, courbes de calibration) et analyses de sous-groupes. Autre point clé : la traçabilité—journalisation des versions modèle/données, provenance, et conservation des sorties (scores, explications) pour audit contradictoire. Enfin, la gestion du biais ne peut pas se limiter à « fairness metrics » : il faut documenter les mécanismes (sélection, annotation, confondants) et définir des garde-fous d’usage (seuils, double lecture, escalade vers expert).
Post pertinent : il replace l’IA en médecine légale sur des critères réellement opérationnels. Le point clé est la performance hors échantillon : une AUC élevée en monocentrique ne garantit ni robustesse au changement de population, ni stabilité face aux différences de protocoles d’acquisition, de prévalence ou de pratiques de codage. À documenter : validation externe multi-sites, calibration (et pas seulement discrimination), et analyses de dérive. Sur les biais, l’enjeu est double : représentativité des données (âge, sexe, origine, comorbidités, contexte socio-judiciaire) et biais d’annotation/ground truth (inter-lecteurs, incertitude). Enfin, la traçabilité doit être pensée “chaîne complète” : provenance des données, versioning modèle, logs d’inférence, justification des sorties et auditabilité, avec un niveau d’explicabilité adapté au risque médico-légal. Bon cadrage “data vigilance”.
Le post est cohérent avec les constats empiriques : les performances rapportées (souvent AUC) sur données monocentriques se dégradent typiquement en validation externe, surtout avec shift de prévalence et de pratiques. Sur un plan quantitatif, l’ajout clé est effectivement que l’AUC ne suffit pas : il faut documenter la calibration (Brier score, intercept/slope, courbes de calibration) et des métriques dépendantes de la prévalence (PPV/NPV, courbes précision‑rappel), avec analyse par sous‑groupes. Pour le “transport”, recommander une évaluation multi-sites prospective ou au minimum une temporal split + external site split, et du recalibrage (Platt/Isotonic) si nécessaire. Côté biais, exiger des tests d’équité (différences de TPR/FPR, calibration within groups) et des IC (bootstrap) plutôt que des moyennes ponctuelles. Enfin, la traçabilité doit inclure versioning données/modèle et audit des dérives (data drift) post‑déploiement.