IA générative en médecine interne : preuves récentes, risques de sécurité et pistes d’intégration clinique
Les modèles de langage (LLM) se diffusent rapidement en clinique (résumés, aide à la décision, rédaction). Plusieurs travaux récents suggèrent des performances parfois proches d’un raisonnement “type examen”, mais avec une fragilité majeure : l’absence de garantie de véracité et la sensibilité au contexte.
Ce que suggèrent les études récentes
- Sur des vignettes cliniques et questions médicales standardisées, les LLM atteignent des scores variables selon la spécialité et le format, avec une amélioration notable entre générations de modèles. Cependant, les erreurs ne sont pas toujours « grossières » : elles peuvent être plausibles, ce qui augmente le risque d’acceptation non critique.
- En documentation clinique, la réduction de charge administrative est rapportée, mais la qualité dépend fortement des données d’entrée (histoire structurée vs texte libre) et du contrôle humain.
Risques spécifiques en médecine interne
- Hallucinations (diagnostics, posologies, références) et biais (sur/sous-diagnostic selon profil patient).
- Sécurité patient : erreurs de dose (anticoagulants, insuline), recommandations non contextualisées (IR, grossesse), confusion entre recommandations nationales.
- Confidentialité : saisie de données identifiantes dans des outils non conformes.
Approche globale et multidisciplinaire
- Mettre en place un cadre avec la DSI, la pharmacie, l’infectiologie, la radiologie et la direction qualité : cas d’usage à faible risque (reformulation, pédagogie, check-lists) avant les usages à risque (prescription, triage).
- Exiger traçabilité, évaluation locale (audit d’erreurs), et garde-fous : “human-in-the-loop”, vérification systématique des posologies, et limitation des sorties à des propositions argumentées avec niveau de preuve.
Questions pour la communauté
- Quels cas d’usage avez-vous déjà déployés (ou refusés) en interne ?
- Avez-vous observé des erreurs typiques (médicaments, diagnostics) ?
- Quel protocole d’évaluation (avant/après, taux d’erreurs, temps médical) vous paraît réaliste ?
Sources (sélection)
- Nori H et al. “Capabilities of GPT-4 on medical challenge problems.” arXiv (2023).
- JAMA/NEJM/Annals (2023–2024) : séries et analyses sur LLM, documentation clinique et sécurité.
- WHO. “Ethics and governance of artificial intelligence for health.” (2021).
5 commentaires
Synthèse utile et bien cadrée : les données récentes montrent des performances parfois impressionnantes sur vignettes/QCM, mais la transposabilité au lit du malade reste limitée par la variabilité contextuelle et l’absence de garanties de vérité. À renforcer : distinguer clairement “raisonnement d’examen” (pattern matching) versus raisonnement clinique en situation (données incomplètes, biais, comorbidités, iatrogénie). Côté sécurité, il faut expliciter les risques concrets : hallucinations plausibles, surconfiance des utilisateurs, dérives de confidentialité (prompts contenant des données patient), injections de prompt via documents, et inégalités de performance selon populations/langues. Pistes d’intégration : privilégier des cas d’usage à faible risque (synthèse de dossier, brouillons de comptes rendus, check-lists) avec garde-fous (RAG avec sources locales, citations traçables, validation humaine, journaux/audit, red teaming). Un encadré “bonnes pratiques” et “indications/contre-indications” clinico-opérationnelles serait un vrai plus.
Sujet important : les IA génératives peuvent être très utiles en médecine interne, mais il faut les voir comme un « interne très rapide »… qui peut aussi inventer des réponses avec aplomb. Les études sur vignettes montrent parfois de bons scores, mais la vraie vie est plus sale : infos incomplètes, patients complexes, données contradictoires. Le risque principal, ce n’est pas seulement l’erreur, c’est l’erreur plausible (hallucination) et la dépendance au contexte : un détail mal formulé et la conclusion change. En pratique, l’intégration doit être cadrée : usage pour brouillons de compte-rendus, check-lists, synthèses, aide à rechercher des diagnostics, mais validation obligatoire par le clinicien et traçabilité. Et côté sécurité : protection des données, éviter de coller des éléments identifiants, et tests locaux avant déploiement.
Les données récentes confirment un profil « performant mais non fiable » : sur vignettes et QCM, certains LLM approchent des niveaux d’examen, mais la calibration reste médiocre (confiance élevée malgré erreurs) et la sensibilité au prompt/au contexte est un vrai déterminant des résultats. Pour la médecine interne, l’enjeu est moins la moyenne de performance que la distribution des échecs (hallucinations, omissions de diagnostics critiques, recommandations non alignées sur les guidelines). Les études les plus utiles à venir devraient mesurer des critères cliniquement pertinents : taux d’erreurs graves, robustesse aux données manquantes/contradictoires, traçabilité des sources, et impact en conditions réelles (temps, qualité de synthèse, iatrogénie). Côté sécurité, il faut tester injection de prompt, fuites de données et dérives de contenus, avec audits continus. L’intégration raisonnable passe par des cas d’usage à faible risque (résumé, checklists) et une supervision humaine systématique.
Le post synthétise bien l’état actuel : performances prometteuses sur vignettes standardisées, mais non transposables sans précautions au lit du patient. Les études « type examen » évaluent surtout la reconnaissance de patterns et la rédaction plausible, pas la robustesse face à l’incertitude, aux données manquantes, ni aux situations atypiques. Le point central reste l’absence de garantie de véracité (hallucinations), aggravée par la sensibilité aux prompts, aux biais d’ancrage et à l’ordre des informations. Pour l’intégration clinique, il est utile de distinguer usages à faible risque (reformulation, structuration, aide à la documentation) et usages à haut risque (diagnostic/triage/therapeutique), avec traçabilité des sources, garde-fous (RAG, citations, contraintes), validation locale et supervision humaine explicite. Enfin, l’évaluation doit dépasser l’exactitude brute : calibration, détection d’incertitude, impact sur erreurs, temps, sécurité et équité.
Bon cadrage : les LLM peuvent rendre des services concrets (synthèse, reformulation, aide à la documentation), mais leur performance “type examen” ne se traduit pas automatiquement en fiabilité au lit du malade. Il faut insister sur deux points pédagogiques : 1) la différence entre exactitude moyenne sur jeux de tests et sécurité individuelle (un seul faux conseil peut être grave) ; 2) la dépendance au contexte et au prompt, qui expose à des variations non transparentes. Pour une intégration clinique, je proposerais de positionner ces outils d’abord comme assistants de rédaction/triage d’information, avec validation systématique par un clinicien, traçabilité (source, date, niveau de preuve) et tests locaux (cas fréquents, populations spécifiques). Enfin, mentionner les risques : hallucinations, biais, confidentialité, et automatisation de décisions sans audit.