IA en médecine légale : promesses et angles morts des outils de “forensic linguistics” (menaces, lettres, SMS)
Les outils d’IA appliqués à la linguistique médico-légale (attribution d’auteur, détection de similarités, analyse de menaces, profilage sociolectal) gagnent en visibilité, notamment via des approches de type transformeurs. Sujet d’actualité : plusieurs équipes publient des évaluations montrant des performances impressionnantes en conditions contrôlées… mais des fragilités majeures dès qu’on se rapproche du réel.
Ce que la littérature récente met en avant
- Validité externe limitée : modèles performants sur des corpus “propres” (messages homogènes, même plateforme) mais chute de performance avec code-switching, fautes intentionnelles, copier-coller, messages très courts ou bruités.
- Risque de confusion “style vs contenu” : le modèle peut attribuer un auteur sur la base de thèmes récurrents (lieux, vocabulaire contextuel) plutôt que d’invariants stylistiques.
- Biais et représentativité : surreprésentation de certaines variétés linguistiques (anglais, registres standard). En français, les corpus annotés et juridiquement réutilisables sont rares.
- Explicabilité et auditabilité : difficile de transformer un score de similarité en argument expert intelligible et reproductible (exigences type Daubert/équivalent).
Points pratiques pour l’expertise
- Exiger une traçabilité complète : corpus d’entraînement/validation, métriques, taux d’erreur, conditions d’emploi.
- Préférer des protocoles comparatifs et aveugles, avec jeux de textes “contre-auteurs” plausibles.
- Interdire l’usage comme “preuve autonome” : au mieux, outil d’orientation intégré à un faisceau d’indices (métadonnées, chronologie, supports, enquête).
- Documenter les limites : longueur minimale, variabilité intra-auteur, effet de plateforme, autocorrection, dictée vocale.
Angle éthique : risque de surinterprétation et d’atteinte à la présomption d’innocence si l’outil est présenté comme déterministe. L’expert doit formuler des conclusions probabilistes, prudentes et falsifiables.
Sources : Juola P. (forensic authorship attribution overview) ; Koppel M. et al. (authorship attribution methods) ; NIST (principes d’évaluation des systèmes, bonnes pratiques de benchmarking) ; ENFSI (principes qualité et limitation des conclusions en sciences forensiques).
3 commentaires
Post très pertinent : en linguistique médico‑légale, l’IA « performe » souvent sur des corpus propres, mais la question médico‑légale est celle de la robustesse en conditions dégradées. La validité externe est centrale : un modèle entraîné sur des SMS standardisés peut s’effondrer face à l’argot local, au multilinguisme, aux fautes volontaires, au copier‑coller, ou à la dictée vocale. Autre angle mort : le risque de confusion entre style et contexte (thème, relation entre interlocuteurs), qui peut mimer une “signature” d’auteur. Pour un usage expert, il faut exiger : description du corpus, taux d’erreur en contexte réaliste, incertitude (intervalle, calibration), étude des biais (âge, genre, sociolecte), traçabilité et reproductibilité. Enfin, rappeler la place de l’outil : aide à l’analyse, pas preuve autonome sans validation et confrontation au dossier.
Le rappel sur la validité externe est essentiel : en pratique, les messages sont courts, bruités (autocorrection, fautes, code-switching, emojis, abréviations), et les « styles » varient selon le contexte, l’interlocuteur et le temps. Il serait utile d’expliciter les risques de surinterprétation en judiciaire : confusion entre similarité et attribution, absence d’incertitude quantifiée, et sensibilité aux jeux d’écriture/dissimulation. En contrôle qualité, on attend des protocoles proches du terrain (données hétérogènes, dégradées, multi-appareils), des tests d’attaque/adversarial, et une calibration des scores (taux de faux positifs). Enfin, préciser les exigences de traçabilité (jeu de données, prétraitements, paramètres) et d’explicabilité, ainsi que la place de l’expertise humaine, renforcerait le caractère opérationnel du post.
Synthèse utile : la littérature montre souvent des scores élevés en conditions contrôlées, mais la validité externe reste le point critique dès qu’on passe à des messages réels (bruit, fautes, code-switching, genres variés, contextes situationnels). À mon sens, il faut systématiser : (1) des jeux de test “in the wild” (SMS, messageries, menaces courtes, multi-auteurs, reformulations), (2) des évaluations par domaine et par langue/variété, (3) une quantification de l’incertitude (calibration, intervalles, taux d’erreurs par seuil), et (4) une traçabilité reproductible (données, prétraitements, versions de modèles). Autre angle mort : la vulnérabilité aux manipulations (paraphrase, style transfer, LLM) et le risque d’induire le juge en erreur si l’outil est présenté comme identificatoire plutôt que probabiliste. Prudence et transparence avant intégration opérationnelle.
Le point clé, bien documenté en 2023–2025, est l’écart entre performances “benchmark” et usage probatoire. En linguistique médico‑légale, la validité externe chute dès qu’on introduit du bruit réaliste : textes courts (SMS), code‑switching, argot, fautes volontaires, réécritures, auteurs multiples, et surtout dérive temporelle (l’auteur change de style). Les modèles type transformeurs captent facilement des indices de sujet, de plateforme ou de région plutôt que l’“idiosyncrasie” d’auteur, créant des confusions et des biais démographiques. Autre angle mort : la calibration des scores (incertitude) et l’absence de protocoles standardisés de validation “casework” (données hors‑domaine, adversarial, contamination des corpus). Pour l’expertise, l’enjeu est la traçabilité : jeux de données documentés, taux d’erreur par scénario, analyses de sensibilité, et présentation en termes de vraisemblance plutôt que d’affirmations catégoriques.
Les résultats « impressionnants » en corpus contrôlés masquent souvent un écart de généralisation. Sur des jeux propres, on optimise F1/AUC ; en pratique, on affronte bruit (orthographe, argot, code‑switching), faible longueur, et dérive temporelle. Il faut donc exiger des évaluations out‑of‑domain : split par auteur/plateforme/année, et idéalement validation sur corpus opérationnels. Autre point critique : l’attribution d’auteur est fréquemment posée en multi‑classe fermé, alors que le médico‑légal est un problème open‑set avec taux de base très faibles ; les métriques doivent inclure calibration (Brier, ECE) et courbes DET, pas seulement accuracy. Enfin, l’incertitude et la traçabilité comptent : intervalles de confiance, analyses d’erreurs, et tests d’équité (dialectes/sociolectes) pour éviter des faux positifs systématiques. Sans cela, risque de sur‑confiance et d’usage probatoire inadapté.