De Chernobyl à la garantie humaine de l’innovation en santé : un projet de société

Article Article

J’ai regardé cet été l’extraordinaire série Chernobyl d’HBO. Un vrai grand moment de fonctionnalisation du réel. Le fil directeur de la série est celui de l’explication de la catastrophe par l’accumulation de déficiences ou d’erreurs par la dissimulation ou l’entêtement individuel. Très peu de discussion collégiale. Une très faible identification en amont des points critiques à gérer. Regarder cette série – à programmer dans toutes les bonnes formations en santé ! –, c’est aussi amener à réfléchir sur les conditions de la prise de risque en innovation.

De Chernobyl à la garantie humaine de l’innovation en santé : un projet de société

Par David Gruson*

Je crois profondément en la valeur de l’innovation en santé et, plus spécifiquement, des ressources nouvelles permises par la transformation digitale. Il y a infiniment plus de risques éthiques associés au blocage de l’innovation qu’à sa diffusion. Refuser l’innovation, rester crispé sur des positions fermées serait profondément non éthique.
 
En effet, dans un monde où les systèmes de santé sont rendus de plus en plus poreux entre eux par le numérique, le conservatisme revient, en pratique, à laisser l’innovation se développer hors d’Europe, dans des cadres éthiquement moins régulés. S’ouvrir résolument à l’innovation et essayer d’en réguler les enjeux éthiques au fil de son application : c’est le sens du principe de « garantie humaine » de l’intelligence artificielle en santé que nous avions proposé voici plus de deux ans avec Ethik-IA. Le Comité consultatif national d’éthique et la Haute Autorité de santé ont bien voulu relayer cette notion. Elle figure désormais dans le projet de loi bioéthique qui sera discuté au Parlement en cette rentrée.
 
Il s’agit bien sûr d’une avancée très importante. La France fait le pari d’une approche enfin plus ouverte de l’innovation, dans un cadre législatif et réglementaire qui est déjà, il est vrai, le plus protecteur au monde. Le concept de « garantie humaine » peut paraître abstrait mais il est, en réalité, très opérationnel.

Appliquer les principes de régulation en amont et en aval de l’algorithme

Dans le cas de l’intelligence artificielle (IA), l’idée est d’appliquer les principes de régulation en amont et en aval de l’algorithme lui-même en établissant des points de supervision humaine. Non pas à chaque étape, sinon l’innovation serait bloquée. Mais sur des points critiques identifiés dans un dialogue partagé entre les professionnels, les patients et les concepteurs d’innovation. Ce principe général ne veut pas dire, cependant, que le contrôle technique de l’algorithme lui-même ne sera pas assuré.
 
En effet, si l’IA est intégrée à un dispositif médical ou, plus largement, à un produit de santé (ce qui correspond aujourd’hui, en pratique, à l’essentiel des cas), elle sera soumise aux contrôles précis prévus dans le cadre des mécanismes de mise sur le marché des produits de santé. Dans les établissements de santé, la supervision peut s’exercer avec le déploiement de « collèges de garantie humaine » associant médecins, professionnels paramédicaux et représentants des usagers. Leur vocation serait d’assurer a posteriori une révision de dossiers médicaux pour porter un regard humain sur les options thérapeutiques conseillées ou prises par l’algorithme.
 
L’objectif consiste à s’assurer « au fil de l’eau » que l’algorithme reste sur un développement de Machine Learning à la fois efficace médicalement et responsable éthiquement. Les dossiers à auditer pourraient être définis à partir d’événements indésirables constatés, de critères prédéterminés ou d’une sélection aléatoire. De manière concrète, cette supervision pourrait aussi s’exercer en amont du traitement par le recours à une télémédecine de garantie humaine de l’algorithme (mobilisation d’un second avis spécialisé en cas de doute par le médecin de première ligne ou le patient sur la solution proposée par l’algorithme).

La télé-expertise peut faire l’objet d’une valorisation économique

Cet usage de la télémédecine entre tout à fait dans les cas de recours à la télé-expertise définis dans le cadre juridique posé en 2009-2010. Depuis l’avenant n° 6 à la convention médicale de 2018, cette télé-expertise peut, de plus, faire l’objet d’une valorisation économique. Le dispositif de garantie humaine, on le comprend, trouve ainsi assez naturellement sa concrétisation opérationnelle dans la régulation positive de l’IA en santé.
 
Mais le principe a sans doute une portée plus large. Je dois vous avouer que j’ai eu d’abord une réaction d’incrédulité en découvrant, à la fin du mois de juillet dernier, l’ouverture, au Japon, de programmes de conception d’embryons animaux humains pour la recherche médicale (1). Je ne suis évidemment pas un spécialiste du sujet. Et il ressortira peut-être des avancées décisives de ces travaux. Mais les possibilités de dérives associées à de tels programmes font d’ores et déjà frémir. Encore plus si on les démultiplie par la puissance de calcul algorithmique.
 
Aucune tentation de basculer soudainement dans la collapsologie de mon côté. Mais cet exemple montre que le principe d’une garantie humaine, d’une révision collégiale, associant les professionnels et les patients, de l’innovation en santé présente un intérêt au-delà de l’IA elle-même. Peut-être la meilleure manière de nous éviter un Chernobyl. Mais aussi une brique vers le projet d’une société qui s’ouvre résolument à l’innovation en gardant la claire conscience d’un « pire » à éviter.
 
1 : Références Travaux, présentés dans Nature, de l’équipe de Hiromitsu Nakauchi de l’Université de Tokyo destinés à la culture de cellules humaines dans des embryons de souris et de rats.
 
* David Gruson est le fondateur de l’initiative académique et citoyenne Ethik-IA. Il est membre du comité de direction de la chaire santé de Science Po Paris ; ancien conseiller du Premier ministre chargé de la santé, directeur général du CHU de La Réunion et délégué général de la FHF. Il est l’auteur de S.A.R.R.A, polar bioéthique sur l’IA.
 

Les gros dossiers

+ De gros dossiers