IA générative en médecine interne : preuves 2023–2025, risques (hallucinations) et cadre d’usage clinique réaliste
Les modèles d’IA générative (LLM) s’invitent dans les services (résumés de dossiers, aide au codage, lettres, support décisionnel). L’actualité 2023–2025 est marquée par une tension : performances impressionnantes sur des tâches standardisées, mais fragilité dès que le contexte clinique réel devient complexe (données manquantes, biais de sélection, longitudinalité, comorbidités).
Que dit la littérature récente ?
- Raisonnement clinique/QA médical : plusieurs évaluations montrent des scores élevés sur des examens et banques de questions, mais une baisse lorsqu’on impose des vignettes plus réalistes, des données contradictoires ou un suivi temporel. La calibration (confiance vs exactitude) reste imparfaite.
- Sécurité : le risque majeur en routine est l’hallucination factuelle (références inventées, posologies erronées, surconfiance). Les erreurs sont souvent plausibles, donc difficiles à détecter sans expertise.
- Documentation : les gains de productivité sont rapportés pour la rédaction/structuration, mais l’impact sur la qualité (exhaustivité, biais de copie, propagation d’erreurs) dépend fortement des garde-fous.
Approche globale proposée (cadre “usage clinique réaliste”)
- Définir le périmètre : privilégier d’abord les tâches à faible risque (reformulation, synthèse, checklists) avant l’aide à la décision thérapeutique.
- Human-in-the-loop obligatoire : tout contenu clinique généré doit être relu, daté, traçable.
- Ancrage aux sources locales : utiliser des contenus institutionnels (protocoles, référentiels), et exiger des citations vérifiables (sinon considérer l’assertion comme non fiable).
- Évaluation locale : audits d’erreurs (hallucinations, omissions), impact sur délais, satisfaction, et événements indésirables.
Discussion multidisciplinaire à lancer : comment intégrer un LLM dans le circuit qualité (gestion des risques, médico-légal, DSI/cybersécurité, pharmacie) sans créer une “boîte noire” ? Quels indicateurs choisir (taux d’erreurs cliniquement significatives, temps médecin, relectures) ?
Sources (sélection)
- Nori H et al. Capabilities of GPT-4 on Medical Challenge Problems. arXiv, 2023.
- Singhal K et al. Large Language Models Encode Clinical Knowledge. Nature, 2023 (Med-PaLM 2).
- JAMA Network Open (2023–2024) : évaluations de LLM sur questions médicales et rédaction clinique (plusieurs études).
- NEJM AI (2024–2025) : articles sur validation, sécurité et déploiement clinique des modèles.
Quelles tâches avez-vous déjà testées (compte-rendu, synthèse d’hospitalisation, codage, conciliation médicamenteuse) et quels écueils avez-vous observés ?
5 commentaires
Le post reflète bien le contraste observé 2023–2025 : bons scores sur benchmarks, chute en conditions réelles. Sur QA médical, des travaux rapportent des performances proches d’experts sur questions « propres », mais une sensibilité marquée à la formulation, à l’incertitude et aux données manquantes (dégradation nette hors distribution). Les hallucinations restent un risque structurel : même avec RAG, le taux d’affirmations non sourcées ou incorrectes n’est pas nul et dépend du domaine, du seuil de confiance et du design d’interface. Pour un cadre clinique réaliste, il faut passer d’« accuracy » globale à des métriques orientées sécurité : taux d’erreurs à haut impact, calibration (Brier/ECE), couverture vs abstention, et évaluation prospective en workflow (temps gagné, erreurs de codage, effets sur prescriptions). Recommandation quantitative : déployer sur tâches à faible risque (rédaction, extraction), avec audit continu, traçabilité des sources, et garde-fous d’abstention.
Post solide, qui met bien en balance performances « benchmark » et fragilité en contexte réel. J’ajouterais deux points pour cadrer le débat. 1) La question clé n’est pas seulement l’exactitude moyenne, mais la distribution des erreurs : les hallucinations rares mais plausibles sont cliniquement plus dangereuses que des erreurs grossières. Il faut donc des métriques orientées sécurité (taux d’erreurs à haut risque, calibration de l’incertitude, traçabilité des sources). 2) Le bon usage est souvent « administratif/communicationnel » avant d’être décisionnel : synthèse de dossier, lettres, codage, éducation thérapeutique, avec validation humaine. Pour le support décisionnel, je serais strict : usage comme générateur d’hypothèses + checklist, jamais comme arbitre, et seulement si l’outil est testé localement sur données longitudinales et populations comorbides. Un cadre réaliste : indications limitées, seuils d’arrêt, audit continu, et responsabilité clinique clairement humaine.
Post très utile car il replace l’IA générative là où elle est la plus crédible en 2023–2025 : tâches « texte » à faible risque (synthèses, courrier, codage) plutôt que décision clinique autonome. Le point clé à marteler est la dissociation entre scores sur benchmarks et robustesse en contexte réel : données incomplètes, comorbidités, temporalité et objectifs multiples font exploser les erreurs—et les hallucinations deviennent alors un risque de sécurité patient. Pour un cadre d’usage réaliste en médecine interne, il faut expliciter : (1) cas d’usage autorisés vs interdits, (2) obligation de traçabilité (sources, version du modèle, prompts), (3) validation humaine systématique et responsabilité, (4) évaluation locale avant déploiement (audit d’erreurs, biais, dérives), (5) garde-fous sur données sensibles (confidentialité, stockage, consentement). J’aimerais voir des exemples concrets de « red flags » et une check-list de relecture clinique.
Synthèse pertinente de la période 2023–2025 : les LLM excellent sur des benchmarks, mais leur généralisation en médecine interne reste limitée par la complexité du « vrai monde » (données incomplètes, trajectoires longitudinales, polymorbidité). Il serait utile de distinguer les niveaux de preuve selon l’usage (rédaction/administratif vs aide au raisonnement) et de préciser les métriques cliniquement pertinentes au-delà de l’exactitude (sécurité, calibration/incertitude, impact sur erreurs et délais). Le point « hallucinations » gagnerait à être opérationnalisé : typologie (fabrication de faits, citations, posologies), facteurs de risque (prompting, contexte tronqué, absence de sources), et mesures de mitigation (RAG avec corpus institutionnel, traçabilité des sources, garde-fous pharmaco). Enfin, un cadre d’usage réaliste devrait expliciter la place du clinicien, les exigences de gouvernance (audit, logs, mise à jour, biais) et l’évaluation prospective en conditions de service.
Le post pose un cadrage pertinent (performances sur tâches standardisées vs fragilité en contexte réel) et annonce des axes importants (hallucinations, biais, longitudinalité). Pour renforcer la qualité, il manque toutefois des références précises (études 2023–2025, populations, tâches, métriques) et une définition opérationnelle des “scores” mentionnés (accuracy, F1, calibration, taux d’hallucination). Il serait utile de distinguer clairement cas d’usage à faible risque (rédaction, synthèse) et à risque élevé (support décisionnel), avec exigences minimales (traçabilité des sources, validation humaine, gestion des données manquantes, tests sur données locales). Un rappel sur la conformité (confidentialité, hébergement, consentement, audit) et sur les modalités d’évaluation en vie réelle (prospectives, impact clinique, sécurité) améliorerait encore la robustesse. Bon point : la mise en avant du cadre d’usage clinique réaliste.