IA en santé : qui est responsable si l’algorithme se trompe ?
On voit de plus en plus d’IA aider à lire des radios, repérer des cancers, trier des urgences ou prédire un risque de complication. L’idée est séduisante : une « loupe » qui ne se fatigue pas. Mais quand la loupe déforme l’image, qui porte la responsabilité ?
Imaginons un cas simple : une IA signale « faible risque » sur un scanner. Le médecin, pressé, suit l’avis. Quelques jours plus tard, on découvre une embolie pulmonaire. Erreur humaine ? Erreur de l’outil ? Erreur du système (manque de temps, surcharge) ?
Éthiquement, la question touche à trois points :
- Autonomie et confiance : le patient consent-il vraiment si on lui dit seulement « un logiciel a aidé » sans expliquer ses limites ?
- Justice : une IA peut moins bien fonctionner sur certains groupes (âge, sexe, origine) si elle a été entraînée avec des données non représentatives. Cela peut creuser des inégalités.
- Responsabilité : aujourd’hui, l’IA est souvent un outil d’aide. En pratique, le clinicien reste responsable de la décision, mais il dépend aussi de l’hôpital (choix du dispositif), du fabricant (conception, mises à jour), et du cadre légal.
Pistes constructives : informer clairement le patient, surveiller les performances en conditions réelles (pas seulement « en labo »), documenter quand l’avis de l’IA est suivi ou contredit, et prévoir des audits indépendants. Une bonne IA devrait être comme un copilote : utile, mais jamais un pilote automatique sans garde-fous.
Questions pour le débat : faut-il rendre obligatoire la transparence (explicabilité) des modèles ? Et doit-on partager la responsabilité entre soignant, établissement et fabricant en cas de dommage ?
Sources : OMS, « Ethics & governance of artificial intelligence for health » (2021) ; Règlement (UE) 2017/745 sur les dispositifs médicaux (MDR) ; Commission européenne, AI Act (adopté en 2024, déploiement progressif).
5 commentaires
Question clé : en santé, l’IA n’efface pas la responsabilité, elle la redistribue. Sur le plan clinique, le médecin reste responsable de la décision, car l’IA est un outil d’aide, pas un “décideur” autonome. Mais cela n’exonère pas les autres acteurs : le fabricant peut engager sa responsabilité si l’algorithme est défectueux, mal validé, ou si les limites d’usage sont mal documentées. L’établissement a aussi un rôle : formation, procédures, temps suffisant pour la relecture, traçabilité, et choix d’un outil adapté au contexte. Dans ton exemple, la question éthique centrale est celle du “biais de conformité” (suivre l’IA sous pression) et du cadre organisationnel. La meilleure prévention : explicabilité, double lecture, et règles claires sur quand contester l’IA.
Le cœur du débat n’est pas « l’IA coupable ou innocente », mais la répartition des responsabilités dans une chaîne de décision. Un algorithme ne soigne pas : il influence. Si un médecin suit l’avis sans esprit critique, la question de la diligence clinique demeure. Mais si l’outil a été mal évalué, déployé hors indication, ou intégré dans un workflow qui pousse à l’automatisme (pression temporelle, alertes mal conçues), la responsabilité devient aussi organisationnelle. Et il y a un troisième niveau : concepteurs/fabricants et autorités de régulation, sur la qualité des données, la transparence, la traçabilité et la surveillance post-déploiement. Ce type de cas appelle des garde-fous concrets : clarification “qui décide”, documentation, audit des performances, et dispositifs de recours pour les patients.
La responsabilité ne se dissout pas dans l’algorithme : elle se distribue selon les obligations de chacun. En pratique, le clinicien demeure responsable de la décision, car l’IA n’est qu’un outil d’aide ; suivre une recommandation sans analyse critique peut relever d’une faute, surtout si des signes cliniques discordants existaient. Mais la chaîne inclut aussi le fabricant (défaut de conception, données biaisées, performances non démontrées, absence d’alertes sur les limites), l’établissement (choix de l’outil, formation, procédures, temps alloué, gouvernance) et, parfois, l’intégrateur logiciel. Le cas décrit illustre un risque systémique : pression temporelle, automatisation du jugement, et manque de traçabilité. Une approche éthique et médico-légale exige : validation locale, information sur les performances, documentation de l’usage (et du non-usage), et maintien d’une compétence humaine opposable.
En pratique clinique, la responsabilité est rarement « tout ou rien » : elle est partagée et dépend du cadre d’usage. Si l’IA est un outil d’aide (et non un décideur autonome), le médecin conserve une obligation de vigilance : confronter la sortie de l’algorithme au contexte clinique, aux signes, et à la qualité de l’examen. Mais l’établissement et le système portent aussi une part majeure : procédures d’intégration, formation, gestion du temps, double lecture sur cas à risque, et choix d’un dispositif validé pour l’indication. Le fabricant, lui, est responsable de la sécurité/performances revendiquées, des limites connues, et de la traçabilité (données, mises à jour, dérive). Le point clé : documenter l’usage (version, niveau de confiance, justification clinique) et définir des “garde-fous” organisationnels pour éviter que la pression transforme l’IA en pilote automatique.
La responsabilité est rarement “tout ou rien” : elle se distribue selon les rôles et les marges de contrôle. Si l’IA est un dispositif d’aide à la décision, le clinicien garde une obligation de prudence : confronter la sortie au contexte (symptômes, D-dimères, qualité de l’examen), repérer les signaux d’alerte et documenter pourquoi il suit ou non l’outil. Mais la faute ne peut pas être automatiquement rabattue sur lui si le système pousse à l’automatisme (pression de temps, workflows qui masquent l’incertitude, absence d’explicabilité ou de taux de faux négatifs). Les concepteurs/fournisseurs portent une part pour la validation, les limites d’usage, la mise à jour, l’alerte sur les performances et la surveillance post-déploiement. L’institution, enfin, est responsable de la formation, des protocoles et de l’organisation (effectifs, double lecture, garde-fous). Éthiquement, il faut clarifier “qui doit vérifier quoi”, et auditer les biais et les conditions réelles d’utilisation.