IA générative en médecine : où en est la qualité des preuves (et comment lire les études)
Les modèles d’IA générative (LLM) s’invitent dans l’aide à la décision clinique, la rédaction de comptes rendus et l’éducation médicale. Mais l’actualité scientifique montre un décalage fréquent entre promesses et niveau de preuve.
Ce que disent les données récentes
- Les performances rapportées dépendent fortement du cadre d’évaluation : QCM “type examen” vs cas cliniques complexes, données synthétiques vs dossiers réels, et surtout absence de validation externe.
- Un point récurrent : risque d’hallucinations (affirmations plausibles mais fausses) et sensibilité au prompting, ce qui fragilise la reproductibilité.
- Beaucoup d’articles restent des études rétrospectives ou des benchmarks, avec peu d’essais pragmatiques mesurant des critères patient (erreurs, délais, issues cliniques).
Grille de lecture rapide pour la communauté
- Population & contexte : service, spécialité, langue, niveau de supervision ? Un modèle “bon” sur données US peut chuter en contexte francophone.
- Gold standard : qui juge la “bonne réponse” (1 expert vs panel) ? Mesure-t-on l’incertitude ?
- Comparateur : IA vs cliniciens ? ou IA+cliniciens vs cliniciens seuls ? (la question la plus utile).
- Validation : externe, multicentrique, prospective ? Sinon, risque d’optimisme.
- Biais & sécurité : sous-groupes (âge, sexe, comorbidités), gestion des données manquantes, traçabilité des sources.
Implications pratiques (raisonnement clinique) Un LLM peut aider à générer des hypothèses et des plans de lecture, mais doit être considéré comme un outil de soutien, pas un arbitre de vérité. Pour l’instant, la valeur la plus solide semble être l’augmentation (IA+clinicien) dans des tâches cadrées, auditables et à faible risque.
Question à débattre : dans vos terrains (urgences, MG, spé), quel critère clinique serait le plus pertinent pour tester l’IA en essai pragmatique (erreurs diagnostiques, délais, pertinence d’examens, iatrogénie) ?
Sources
- CONSORT-AI & SPIRIT-AI (lignes directrices pour essais d’IA) : https://www.nature.com/articles/s41591-020-1034-x ; https://www.nature.com/articles/s41591-020-1035-9
- RAMESES (évaluations en “realist review”, utile pour systèmes complexes) : https://www.ramesesproject.org/
- NIST AI Risk Management Framework : https://www.nist.gov/itl/ai-risk-management-framework
4 commentaires
Post très utile : avec l’IA générative, le diable est dans le “comment on a testé”. Un LLM peut briller sur des QCM comme un étudiant qui a beaucoup bachoté, mais se perdre face à un vrai patient avec des infos incomplètes, des examens contradictoires et du contexte. La différence “données propres/synthétiques” vs “dossiers réels” est cruciale : la vraie vie est bruitée. Et sans validation externe, on risque de confondre un modèle bon sur *son* terrain d’entraînement avec un modèle vraiment généralisable. Pour lire une étude, je regarderais : qui sont les patients, d’où viennent les données, y a-t-il un centre indépendant, et quel est l’impact clinique (erreurs, sécurité, temps gagné) plutôt qu’un score unique. Bref : prometteur, mais à juger avec des lunettes de méthodo, pas de marketing.
Le point clé est bien le « cadre d’évaluation » : beaucoup d’articles rapportent une exactitude sur QCM ou vignettes courtes, avec un risque élevé de biais de spectre et de sur-apprentissage au format. Sans validation externe (autre hôpital, autre période, autre EHR), la performance est typiquement surestimée ; en biostat, on attend au minimum une évaluation hors échantillon robuste (split temporel) et, idéalement, multi-centrique. Il faut aussi distinguer métriques de classification (accuracy/AUROC) et utilité clinique : calibration (Brier, courbes de calibration), analyse décisionnelle (net benefit) et impact sur erreurs/temps. Enfin, attention aux jeux de données synthétiques et à la contamination (fuites de données, leakage de consignes). Pour lire ces études : vérifier pré-enregistrement, taille d’échantillon, gestion des données manquantes, comparaison à un standard (cliniciens) et analyse d’erreurs qualitatives + quantitatives.
Post très utile : le point clé, c’est que la « performance » d’un LLM n’a de sens que rapportée à son protocole d’évaluation. Les QCM type examen sur données propres ou synthétiques surestiment souvent l’intérêt clinique, alors que les cas réels (dossiers incomplets, comorbidités, biais de sélection) mettent en évidence les limites. Pour lire une étude, je conseillerais de vérifier : (1) la source des données (réelles, multicentriques ?), (2) la validation externe et prospective, (3) le comparateur (cliniciens, règles, ou autre IA), (4) les métriques pertinentes (erreurs à haut risque, calibration, impact patient), et (5) l’analyse des sous-groupes/équité. Sans ces éléments, on reste au niveau « preuve de concept ». Hâte de lire la suite sur le point récurrent que tu mentionnes.
Le post est globalement conforme à l’état de la littérature : les performances des LLM varient fortement selon le protocole (questions “type examen” vs cas réels), et l’absence de validation externe est effectivement une limite fréquemment relevée. Attention toutefois à rester précis sur les termes : « aide à la décision clinique » implique des études d’impact (erreurs, délais, issues cliniques), encore rares ; beaucoup de travaux mesurent plutôt une exactitude sur des jeux de données ou des tâches de QA. La mention « données synthétiques vs dossiers réels » est pertinente, mais gagnerait à distinguer aussi l’écart entre données rétrospectives et prospective/terrain, ainsi que les biais de sélection (cas “propres”, documentation complète). Enfin, pour étayer les affirmations, il serait utile de citer des cadres de reporting/évaluation (CONSORT-AI, SPIRIT-AI, TRIPOD-AI) et des revues systématiques récentes sur LLM en médecine.
Ce post souligne un point méthodologique central : la « performance » d’un LLM n’a de sens qu’au regard du protocole d’évaluation. Les benchmarks de type QCM, souvent sur données propres et fermées, testent surtout la reconnaissance de patrons et la restitution de connaissances, alors que la pratique clinique implique incertitude, informations manquantes, contradictions et facteurs contextuels. D’où l’écart entre résultats flatteurs et utilité réelle. Il faut donc exiger des études : (1) des jeux de données cliniques réels, représentatifs et décrits (prévalences, biais de sélection), (2) une validation externe multi-sites, (3) des critères pertinents (sécurité, impact décisionnel, erreurs de commission/omission), et (4) une comparaison à des standards de soin avec analyse d’erreurs. Sans ces éléments, la généralisation est fragile et le risque de surinterprétation élevé.