Valider une intelligence artificielle : une affaire de jugement avant d'être une question de méthode

L'intelligence artificielle s'installe dans l'industrie pharmaceutique : inspection visuelle en production, détection de signaux en pharmacovigilance, prévision de la demande, traitement documentaire. Avec elle revient une question que les équipes qualité posent tôt ou tard : comment valide-t-on un tel système ?

On attend souvent une réponse technique, une procédure à appliquer. Ce que la question soulève est pourtant d'un autre ordre. Valider une IA oblige à reconsidérer ce que « valider » signifie, et à accepter que la réponse relève autant du jugement que de la méthode.

Valider quoi, au juste ?

Premier malentendu : le mot recouvre deux réalités distinctes. Pour les équipes data, valider un modèle consiste à mesurer sa performance sur des données qu'il n'a jamais vues. Pour l'assurance qualité, c'est démontrer, preuves à l'appui, qu'un système accomplit sa fonction de manière maîtrisée et reproductible. Les deux approches sont légitimes, et aucune ne suffit à elle seule. Un modèle jugé « validé » au sens statistique peut ne présenter aucune des garanties attendues par la qualité, et inversement.

La validation d'une IA se joue donc à la rencontre de ces deux exigences, là où, précisément, ni l'une ni l'autre des deux cultures n'a l'habitude de travailler. C'est moins un problème d'outils qu'un problème de langage commun.

Un système qui n'est jamais exact

Vient ensuite une réalité moins confortable. Un logiciel traditionnel applique une règle, et l'on peut vérifier qu'il produit le bon résultat. Un modèle d'IA, lui, estime. Il ne calcule pas une vérité, il produit une probabilité, et il se trompera par construction.

Dès lors, « valider » ne peut plus vouloir dire « prouver qu'il a raison ». La question devient : où, et dans quelle proportion, ce modèle peut-il se tromper sans que cela porte à conséquence ? Et qui décide que cette proportion est acceptable ? Ce déplacement change la nature même de l'exercice. La validation cesse d'être une garantie pour devenir une décision de risque, assumée comme telle, et non un simple certificat de conformité.

Une validation qui ne tient pas dans le temps

Autre particularité rarement anticipée : un modèle peut fonctionner correctement le jour de sa mise en service, puis se dégrader sans bruit à mesure que son environnement évolue, sans qu'on ait modifié quoi que ce soit. Une validation figée dans le temps ne protège alors de rien.

Quelle valeur accorder à une attestation susceptible d'expirer sans prévenir ? Cette seule question suffit à déplacer le curseur : la validation d'une IA n'est pas un événement que l'on coche une fois, mais une surveillance continue, capable de repérer le moment où le modèle n'est plus à la hauteur de ce qu'on attend de lui.

La performance n'est jamais neutre

Les indicateurs de performance sont volontiers présentés comme une affaire technique. Ils sont d'abord une affaire de responsabilité. Privilégier la détection au prix de fausses alertes, ou l'inverse, revient à décider ce que l'on accepte de manquer. Sur une ligne de production, écarter à tort un produit conforme et laisser passer un défaut réel n'ont pas les mêmes conséquences.

Derrière chaque seuil se cache donc un arbitrage qui engage la sécurité du patient et la qualité du produit. Cet arbitrage ne revient ni au modèle, ni au seul spécialiste de la donnée. Le formuler explicitement, et au bon niveau, fait partie intégrante de la validation.

Savoir ce que l'on ne peut pas valider

C'est peut-être le point le plus important, et le moins souvent formulé. La rigueur, sur ce sujet, se reconnaît à la capacité de dire non. Tous les usages d'IA ne méritent pas le même effort de validation, et certains ne peuvent tout simplement pas être validés au sens où l'industrie l'entend, parce que leur comportement n'est ni stable ni reproductible.

Reconnaître cette limite, refuser de déployer un système que l'on ne maîtrise pas, proportionner l'exigence au risque réel plutôt que de chercher à tout couvrir : voilà ce qui sépare une démarche solide d'une validation de façade. À l'heure où la pression à adopter l'IA est forte, savoir écarter ce qui n'est pas maîtrisable est une compétence en soi.

Un cadre qui oriente, sans décider à votre place

Les régulateurs avancent dans cette direction. L'annexe 22 (draft) de l'EMA, le Guide ISPE Intelligence Artificielle, le Guide A3P IA et les dix principes IA de l'EMA et de la FDA dessinent un cadre cohérent, centré sur le risque et sur la place de l'humain. Ce cadre fixe des attentes ; le discernement, lui, reste à exercer projet par projet.

Une question de regard partagé

L'obstacle le plus tenace n'est, au fond, pas technique. Les spécialistes de la donnée maîtrisent les modèles mais connaissent peu les exigences réglementaires. Les experts qualité maîtrisent la réglementation mais découvrent les ressorts de l'apprentissage automatique. Tant que ces deux mondes ne partagent pas une compréhension et un vocabulaire communs, chaque projet d'IA progresse avec un angle mort en son centre.

C'est cette conviction qui structure la formation de deux jours conçue par ADN sur la validation de l'intelligence artificielle. Pensée pour des équipes mixtes (qualité, validation informatique, data, affaires réglementaires), elle ne propose pas une recette à appliquer mais une manière de raisonner : comprendre ce qu'est réellement un modèle, mesurer ses limites, identifier et hiérarchiser les risques, puis conduire une validation proportionnée, du cadrage au suivi en production. Avec un parti pris assumé : poser les bonnes questions avant de chercher les bonnes réponses.

Si la validation de l'IA est déjà un sujet dans vos projets, ou si elle est sur le point de le devenir, contactez-nous pour en discuter et déterminer comment cette formation peut s'adapter à votre contexte.