Guide ISPE IA : l'approche cycle de vie pour valider l'intelligence artificielle en Pharma

Dans les environnements GxP, valider un système informatisé intégrant l'intelligence artificielle ne se résume pas à vérifier qu'un logiciel fonctionne. C'est prendre en charge un cycle de vie plus complexe, où le modèle IA, les données et le système forment un ensemble interdépendant qu'il faut maîtriser de bout en bout.

C'est précisément l'objet du deuxième webinaire de présentation du guide ISPE IA, animé par Philippe Baron (ADN) et Christophe Girardey (wega Informatik). Ce webinaire a détaillé les quatre phases structurantes du cycle de vie : Concept, Projet, Exploitation et Retrait. Cet article en reprend les points essentiels.

Cycle de vie IA en Pharma : deux niveaux à coordonner

Le guide ISPE IA introduit une distinction fondamentale : un système informatisé intégrant l'IA repose sur deux cycles de vie qui doivent être coordonnés.

Le premier est le cycle de vie du système informatisé lui-même, tel que défini dans le GAMP 5 seconde édition: depuis la conception jusqu'au retrait, en passant par la phase projet et l'exploitation. Ce cycle est piloté du point de vue de l'entreprise réglementée.

Le second est le cycle de vie du modèle IA, considéré comme un sous-système à part entière. Ce cycle est souvent géré du côté du fournisseur, qu'il soit interne ou externe à l'organisation. Il repose sur une logique d'expérimentation itérative, de sélection de modèles et d'évaluation de performances.

Ces deux cycles interagissent : les exigences définies pour le système influencent les spécifications du modèle, et les résultats du développement du modèle alimentent les activités de vérification du système global.

Phase Concept : poser les bases de la validation IA selon le guide ISPE

Avant de lancer un projet, la phase Concept a pour objectif d'établir les bases d'une décision éclairée sur la pertinence d'une solution IA pour répondre à un besoin métier. Elle commence par l'identification d'un problème ou d'une opportunité : amélioration d'un processus, signal détecté dans les données, ou performance insuffisante d'un système existant.

Les activités clés de cette phase comprennent :

• la définition du contexte d'utilisation et du périmètre de la solution ;

• l'élaboration d'exigences initiales pour orienter les étapes suivantes ;

• la réalisation d'une évaluation de faisabilité, notamment sur la disponibilité des données ;

• une évaluation initiale des risques et de l'impact GxP ;

• une réflexion sur les principes d'une IA digne de confiance (Trustworthy AI).
  

La mise en place d'un prototype est recommandée lorsque l'expérience de l'organisation sur le cas d'usage est limitée. Il permet d'obtenir de premiers enseignements sur le potentiel et les limites du système envisagé, avant d'engager des ressources plus importantes en phase Projet.

La disponibilité des données : une condition préalable souvent sous-estimée

La phase Concept est aussi le moment d'évaluer sérieusement la disponibilité des données. Cette évaluation doit porter sur plusieurs dimensions : l'accès aux données historiques utiles à l'entraînement ou à l'évaluation d'un modèle, l'identification de sources appropriées, la garantie d'un accès continu, et l'existence d'interfaces permettant d'intégrer ces données pour le prototypage.

L'analyse exploratoire des données (AED) joue ici un rôle essentiel. Elle permet d'explorer les ensembles de données disponibles, d'identifier des tendances, de repérer des anomalies et d'anticiper les problèmes potentiels avant d'entrer en phase Projet. Un projet IA en environnement réglementé ne peut pas sérieusement avancer sans avoir répondu à ces questions dès le départ.

Phase Projet : valider le modèle IA en environnement GxP

La phase Projet est la plus dense. Elle s'ouvre sur une planification rigoureuse, dont l'un des éléments clés est l'adaptation des activités du cycle de vie en fonction de l'impact GxP, de la complexité du système et des capacités du fournisseur.

Une spécificité importante : l'établissement des spécifications des exigences du modèle, qui formalisent les attentes en termes de performances et guident l'ensemble du développement. Ces spécifications constituent la base des activités de vérification ultérieures.

Le développement du modèle repose sur une expérimentation itérative : sélection de modèles candidats, ingénierie des données, évaluation, ajustement. L'objectif est d'identifier un candidat pour la mise en production, ou une sélection restreinte de modèles présentant une forte probabilité de satisfaire les exigences définies.

La vérification inclut ensuite les tests du modèle, réalisés sur des données indépendantes des activités d'expérimentation, et adaptées à l'usage prévu dans le contexte défini par l'entreprise réglementée. Ces tests portent également sur l'intégration du sous-système IA dans le système global, ainsi que sur les tests des exigences au niveau du processus métier.

Catégories GAMP 5 appliquées à la validation des systèmes IA Pharma

Le guide reprend la classification GAMP 5 seconde édition et l'applique aux systèmes intégrant l'IA, en distinguant trois types de situations :

• Catégorie 3 – Produits standards : utilisés tels quels, sans configuration significative. L'exemple type est l'intégration d'un LLM dans un produit commercial. L'approche de validation repose sur deux niveaux : spécifications des exigences et spécifications des exigences du modèle, vérifiées par des tests adaptés.

• Catégorie 4 – Produits configurés : le système est paramétré pour un processus métier spécifique. Des activités dédiées vérifient les spécifications des exigences du modèle après sélection d'un candidat dans l'espace de conception du produit.

• Catégorie 5 – Produits personnalisés : développement sur mesure, y compris de modèles personnalisés (fine-tuning, entraînement depuis des données internes). Cette catégorie implique deux couches distinctes : la couche système informatisé intégrant l'IA, et la couche sous-système IA, avec leurs propres cycles de spécification et vérification.
  

Dans tous les cas, l'effort doit être calibré sur la base d'une analyse des risques, et non d'une application uniforme des mêmes activités à tous les systèmes.

Spécification et vérification : une logique propre aux systèmes IA

Un point conceptuel important du guide : dans un système intégrant l'IA, la spécification et la vérification suivent une logique adaptée. Les spécifications des exigences du modèle sont vérifiées via des tests du modèle.

Mais l'évaluation réalisée pendant l'expérimentation itérative n'est pas considérée comme une activité de vérification à proprement parler : elle sert à orienter le développement, pas à le valider formellement. Cette distinction est fondamentale pour construire un dossier de validation cohérent et défendable en inspection.

Métriques de performance dans la validation IA Pharma

Les systèmes IA introduisent un nouveau type de critères de vérification : les métriques de performance du modèle. Ces métriques sont définies en fonction de l'usage prévu et du contexte d'utilisation. Parmi les indicateurs courants figurent la précision, le rappel et le score F1.

Un point d'attention souligné lors du webinaire : dans le domaine pharmaceutique, les faux négatifs représentent souvent un risque patient, tandis que les faux positifs ont principalement un impact économique. Cette asymétrie doit guider le choix des métriques retenues et la définition des seuils d'acceptation.

Les phases Exploitation et Retrait : la maîtrise dans la durée

La mise en service marque le passage à la phase Exploitation. Les activités de transfert incluent une documentation des enseignements tirés de l'expérimentation itérative, notamment sur les possibilités et les limites des modèles. Ces informations viennent alimenter la surveillance continue, la formation des utilisateurs et la gestion des incidents.

La phase Retrait encadre le décommissionnement du système : archivage des données, des modèles et de la documentation, et clôture formelle du cycle de vie.

Ce qu'il faut retenir du cycle de vie IA selon le guide ISPE

L'approche cycle de vie proposée par le guide ISPE IA ne réinvente pas la validation des systèmes informatisés. Elle l'enrichit pour tenir compte des spécificités de l'IA : cycles imbriqués, expérimentation itérative, métriques de performance, gestion dynamique des modèles.

Pour les entreprises réglementées, les implications concrètes sont les suivantes :

• anticiper dès la phase Concept les questions de données et de faisabilité ;

• formaliser des spécifications des exigences du modèle avant de lancer le développement ;

• adapter l'effort de validation à la catégorie du système et à l'analyse des risques ;

• distinguer évaluation itérative et vérification formelle ;

• prévoir la surveillance et la gestion du changement dès la phase Projet.
  

Chez ADN, nous accompagnons les entreprises pharmaceutiques et MedTech dans la structuration de ces approches, de la définition des exigences jusqu'à la constitution des dossiers de qualification.

Pour aller plus loin

Ce contenu est issu du deuxième webinaire de présentation du guide ISPE IA, consacré à l'approche cycle de vie pour la validation de l'intelligence artificielle en environnement Pharma.

👉 Voir le replay du deuxième webinaire

Dans le prochain article, nous aborderons les enjeux de gestion des risques et de qualification des fournisseurs dans le contexte de la validation de l'IA en Pharma.