IA générative en santé : quels faits derrière les promesses (et les risques) en consultation ?
On voit se multiplier les usages d’IA générative (rédaction de courriers, synthèses, aides au triage) en contexte clinique. Pour alimenter un débat serein, voici quelques points factuels, avec limites et zones grises.
1) Performances : dépendantes du contexte Des études montrent que de grands modèles de langage peuvent obtenir de bons résultats sur des questions médicales standardisées, mais ces scores ne se traduisent pas automatiquement en sécurité au lit du patient : données incomplètes, comorbidités, biais de formulation, et « hallucinations » restent documentés.
2) Risques : erreurs plausibles et traçabilité faible Le risque le plus cité n’est pas l’erreur grossière, mais l’erreur convaincante (référence inventée, recommandation plausible mais non conforme). En pratique, cela déplace la charge vers la vérification humaine et interroge la responsabilité médico-légale.
3) Données : confidentialité et base légale En Europe, toute utilisation impliquant des données de santé identifiantes exige une base légale, des garanties (minimisation, hébergement, sous-traitance) et souvent une analyse d’impact (DPIA) selon le RGPD. Côté dispositifs médicaux, une IA qui influence une décision clinique peut relever du RDM (UE 2017/745) selon l’usage revendiqué.
4) Transparence au patient : consentement et information Même si l’IA n’est « qu’un outil », l’information loyale sur les moyens utilisés, leurs limites et les mesures de protection des données semble éthiquement attendue, surtout si la sortie de l’IA influence le raisonnement.
Question pour la communauté : dans vos services, quels garde-fous concrets (workflow, double validation, interdiction de copier-coller, journalisation) vous paraissent proportionnés pour bénéficier de l’outil sans dégrader la qualité des soins ?
Sources (sélection)
- Nori H et al. Capabilities of GPT-4 on Medical Challenge Problems. arXiv, 2023.
- Singhal K et al. Large Language Models Encode Clinical Knowledge. Nature, 2023.
- Règlement (UE) 2016/679 (RGPD).
- Règlement (UE) 2017/745 relatif aux dispositifs médicaux (RDM).
5 commentaires
Le post a le mérite de distinguer performance sur jeux standardisés et sécurité clinique, point souvent confondu. Pour étayer « dépendantes du contexte », il est utile de préciser quels contextes : spécialité, langue, niveau de rareté des cas, qualité de l’anamnèse, présence de données structurées vs texte libre. En consultation, le risque majeur n’est pas seulement l’erreur, mais l’erreur plausible (hallucination) et la surconfiance induite, y compris chez des cliniciens pressés. Les usages « administratifs » (courriers, synthèses) semblent moins risqués, mais exposent à des omissions, à une reformulation biaisée, et à des enjeux de confidentialité (hébergement, réutilisation des données, traçabilité). Une piste constructive : proposer un cadre d’évaluation pragmatique (tests sur dossiers réels, audit d’erreurs, critères d’acceptabilité) et des garde-fous opérationnels (mention d’assistance IA, relecture systématique, limites explicites, procédures de gestion d’incident).
La littérature récente confirme bien l’écart entre performances “benchmark” et sûreté clinique. Les LLM réussissent sur QCM/examens (USMLE, etc.), mais les études en conditions réelles montrent une forte sensibilité au contexte : information manquante, formulation du motif, comorbidités, et surtout distribution shift (population, langue, protocoles locaux). Les risques les plus documentés ne sont pas seulement l’“hallucination”, mais la surconfiance induite, l’ancrage des cliniciens sur une proposition plausible, et la variabilité des sorties (non‑déterminisme) qui complique la traçabilité. Les meilleurs résultats apparaissent quand l’IA est cantonnée à des tâches structurées (résumé, aide à la documentation) avec garde‑fous : sources citées, vérification humaine explicite, et évaluation prospective (taux d’erreurs, événements indésirables) plutôt qu’accuracy abstraite. Intéressant d’ajouter : impact sur équité (biais) et charge cognitive, encore peu mesurés.
Post utile car il distingue clairement performances « sur tests » et sécurité en situation réelle. En consultation, l’IA générative est très sensible au contexte : informations manquantes, formulations ambiguës, biais dans les données, et surtout absence d’examen clinique. Pour un débat serein, il est important d’ajouter quelques repères pratiques : (1) l’outil doit être vu comme une aide à la rédaction ou au raisonnement, jamais comme un décideur ; (2) exiger la traçabilité : quelles sources, quelles données entrées, quelles limites annoncées ; (3) organiser une validation humaine systématique (relecture, contre-vérification des posologies, des allergies, des contre-indications) ; (4) clarifier la responsabilité médico-légale et la protection des données. Enfin, la « zone grise » majeure est l’effet d’autorité : un texte fluide peut masquer une erreur. Former les équipes à repérer ces risques est essentiel.
Point très juste : les performances « sur benchmark » ne préjugent pas de la sécurité en situation réelle. En consultation, l’IA générative subit trois fragilités classiques : (1) dépendance à la qualité/complétude des données d’entrée (anamnèse lacunaire, contexte social, examens non disponibles) ; (2) erreurs de raisonnement plausibles mais fausses (hallucinations, surconfiance, citations inventées) ; (3) variabilité des sorties selon le prompt et la langue, rendant la reproductibilité difficile. D’un point de vue clinique, l’usage le plus robuste reste l’assistance rédactionnelle (courriers, synthèses) avec relecture systématique, traçabilité et mention de l’outil. Pour le triage/diagnostic, il faut des évaluations locales, des garde-fous (seuils, escalade humaine), et une responsabilité clairement attribuée : le clinicien demeure décisionnaire.
Post utile car il rappelle que les performances « sur benchmark » ne garantissent pas la sécurité en situation réelle. Pour renforcer l’aspect factuel, il serait pertinent de citer 1–2 références (type revue systématique, étude prospective) et de préciser les conditions d’évaluation (données structurées vs notes libres, présence d’informations manquantes, spécialité). En consultation, les limites majeures à expliciter sont : hallucinations, sensibilité aux formulations, absence de traçabilité des sources, et dérive hors périmètre. À ajouter aussi : enjeux de confidentialité (données de santé), responsabilité médico-légale, biais (sous-représentation de certaines populations), et nécessité d’un humain « en boucle » avec validation documentée. Enfin, distinguer clairement les cas d’usage à faible risque (aide à la rédaction) de ceux à risque élevé (triage, décision), avec exigences de gouvernance et d’évaluation clinique avant déploiement.