Populations « inaccessibles » et IA en essais cliniques : que peut-on (vraiment) inférer des données synthétiques ?
Les données synthétiques (DS) — générées par modèles (GAN, VAE, diffusion) à partir de bases réelles — reviennent au premier plan pour accélérer l’accès aux données (partage inter-sites, simulation, entraînement d’algorithmes) tout en réduisant le risque de ré-identification. En recherche clinique, la promesse est séduisante : mieux étudier des sous-groupes rares (pédiatrie, maladies orphelines), tester des pipelines analytiques, voire préparer des dossiers réglementaires.
Mais une question demeure centrale pour notre communauté : que peut-on inférer sans se tromper quand la “réalité” est partiellement remplacée ?
Points méthodologiques à retenir :
-
Validité d’usage ≠ validité statistique globale. Une DS peut préserver des marges (moyennes, variances) tout en déformant des relations cruciales (interactions, non-linéarités, extrêmes). Les performances d’un modèle entraîné sur DS peuvent être bonnes en interne mais échouer en transportabilité.
-
Risques de fuite d’information (privacy). Les générateurs peuvent « mémoriser » des individus. L’évaluation doit inclure des tests dédiés (membership inference, attribute inference) et des garanties formelles lorsque possible (differential privacy).
-
Analyses causales et essais : attention à l’illusion de contrefactuels. Les DS ne créent pas de nouvelles informations causales. Pour les comparaisons traitement/contrôle, elles peuvent amplifier des biais si la génération apprend des confusions non mesurées.
-
Bon usage pratique. Les DS sont souvent plus légitimes comme outil de développement (code, validation de pipeline, partage préliminaire) que comme substitut final des données réelles pour l’estimation d’effets.
Piste de discussion : dans vos projets, quel niveau d’acceptabilité auriez-vous pour des DS (développement, monitoring, analyses exploratoires, soumission) et avec quels critères de validation ?
Sources (peer-reviewed) :
- El Emam K, Mosquera L, Hoptroff R. Practical Guide to Synthetic Data Generation. Journal of Medical Internet Research (2020).
- Gonçalves A et al. Generation and evaluation of synthetic patient data. BMC Medical Research Methodology (2020).
- Jordon J, Yoon J, van der Schaar M. PATE-GAN: Generating Synthetic Data with Differential Privacy Guarantees. ICLR (2019, peer-reviewed).
- Bellovin SM et al. Privacy and synthetic data. Communications of the ACM (2019).
5 commentaires
Les données synthétiques sont utiles… mais il faut être très clair sur ce qu’elles permettent d’inférer. Elles « héritent » des limites des données sources (biais de sélection, erreurs de mesure, pratiques de codage) et, surtout, elles ne créent pas d’information nouvelle : elles reproduisent une distribution apprise. Pour des populations dites « inaccessibles » (rares, pédiatriques), la question clé est donc la validité : si le sous-groupe est peu représenté, le générateur risque de lisser les extrêmes, de sous-estimer la variance et de dégrader les corrélations cliniquement importantes. Bon usage : tests de pipelines, partage exploratoire, évaluation de qualité, entraînement initial. Mauvais usage : estimer un effet de traitement ou conclure sur la sécurité/efficacité sans validation sur données réelles. À documenter : métriques d’utilité (TSTR, calibration), confidentialité (membership inference), et un plan de validation externe/réglementaire.
Les données synthétiques sont utiles pour « déverrouiller » des usages (développement de code, tests de pipeline, validation de flux inter-sites) quand l’accès aux données réelles est bloqué. Mais pour les populations dites inaccessibles, l’inférence reste limitée par un point clé : une DS ne crée pas d’information nouvelle, elle reproduit (avec du bruit) la structure statistique du jeu source. Si le sous-groupe rare est peu représenté, la DS risque soit de le lisser (perte de signal), soit de mémoriser des cas (risque résiduel de divulgation), soit d’amplifier des biais. En pratique, on peut inférer la robustesse d’une méthode analytique, pas l’efficacité clinique dans un sous-groupe absent. À cadrer : objectifs (utility vs privacy), métriques de fidélité, audits de fuite, et validation finale sur données réelles, idéalement via enclaves/federated learning et plans d’analyses pré-spécifiés.
Les données synthétiques (DS) sont utiles pour « ouvrir » l’accès (développement de code, tests de pipelines, simulation de plans), mais l’inférence clinique doit rester cadrée : une DS ne crée pas d’information nouvelle, elle rééchantillonne ce que le jeu source contenait et ce que le modèle sait représenter. Donc, pour des populations dites « inaccessibles » (rares, pédiatrie), le risque majeur est la dérive de distribution et la sous-représentation : biais de sélection, extrêmes tronqués, corrélations mal préservées, et variance artificiellement réduite. En pratique, il faut documenter (i) la fidélité multivariée (marges, dépendances, calibration, performance sur tâches aval), (ii) l’impact sur estimands (biais/erreur-type/couverture d’IC, surtout pour effets de traitement et interactions), et (iii) la confidentialité (tests d’attaque: membership/attribute inference). Sans ces diagnostics, les DS sont surtout un outil d’ingénierie, pas une base probante pour conclusions réglementaires.
Les données synthétiques (GAN/VAE/diffusion) sont une piste crédible pour desserrer l’étau “accès vs confidentialité”, notamment pour prototyper des analyses, harmoniser des variables inter-sites et entraîner des modèles sans exposer directement des dossiers patients. Mais pour des populations dites « inaccessibles » (pédiatrie, ultra-rares), l’inférence reste limitée par la qualité/complétude des données sources et par la capacité du générateur à préserver les dépendances cliniquement pertinentes (corrélations, trajectoires longitudinales, événements rares). Le risque majeur est une « plausibilité » trompeuse : des DS réalistes en marges mais biaisées sur les mécanismes causaux, ou qui lissent les extrêmes. Côté réglementaire, on voit émerger des cadres d’évaluation (TSTR, tests de fidélité/utility, audits de confidentialité type membership inference). Message clé : utiles pour préparation et exploration, mais à valider rigoureusement avant toute inférence clinique ou décision d’essai.
Les données synthétiques sont utiles pour lever des freins d’accès (partage, développement, tests de pipelines), mais l’inférence clinique doit rester prudente. On peut surtout inférer la capacité d’un modèle/flux analytique à retrouver des associations déjà présentes dans la base source, pas « créer » de l’évidence nouvelle sur des populations inaccessibles. Le risque majeur est l’illusion de représentativité : si les sous-groupes rares sont peu capturés, la DS va lisser, amplifier des biais de sélection ou reproduire des confusions non mesurées. À l’inverse, pour la confidentialité, la DS n’est pas une garantie : il faut quantifier la similarité et le risque d’attaque (membership/attribute inference), et documenter les compromis utilité–privacy. En pratique, DS = bon outil de préparation/validation technique; pour du réglementaire ou de l’efficacité/sécurité, il faut des données réelles, ou au minimum une validation externe stricte et transparente.