Tests statistiques pour la détection de dérive de données dans les systèmes d'IA financiers en production

La surveillance des distributions de features détecte les signaux précurseurs avant l'impact sur les métriques de performance du modèle.

Surveiller uniquement les métriques de performance d'un modèle présente un défaut structurel : la dégradation n'est détectée qu'après qu'elle s'est produite, avec un délai supplémentaire lié à la disponibilité des labels réels. La surveillance des distributions de features en amont permet d'identifier les conditions qui précèdent statistiquement une dérive de performance, offrant une fenêtre d'intervention plus large. Cette approche présente néanmoins une limite importante : une dérive de distribution ne produit pas nécessairement une dérive de performance si la relation entre features et cible reste stable, ce qui implique un risque de faux positifs coûteux à traiter pour les équipes à capacité d'analyse limitée. L'arbitrage entre sensibilité et spécificité est donc central dans la configuration d'un cadre de surveillance par distributions.

Le test KS compare deux distributions continues sans hypothèse paramétrique, mais sa sensibilité varie selon la taille des échantillons.

Le test de Kolmogorov-Smirnov mesure la distance maximale entre deux fonctions de répartition empiriques, ce qui en fait un outil non paramétrique adapté aux variables continues sans distribution connue a priori. Sa principale force est son indépendance vis-à-vis des hypothèses sur la forme de la distribution, ce qui le rend applicable à la majorité des features numériques rencontrées dans les systèmes financiers. Sa limite principale est sa sensibilité accrue avec la taille des échantillons : sur de grands volumes de données en production, des écarts statistiquement significatifs peuvent être détectés alors qu'ils n'ont aucune pertinence pratique pour la performance du modèle. La définition d'un seuil de significativité pratique — distinct du seuil statistique — est donc nécessaire pour éviter la saturation des alertes dans les environnements à fort volume transactionnel.

Le PSI est un indicateur largement utilisé dans les institutions financières pour sa lisibilité et sa compatibilité avec les exigences de conformité.

Le Population Stability Index, développé initialement pour les modèles de scoring de crédit, mesure le décalage entre une distribution de référence et une distribution en production en comparant des intervalles discrétisés de la variable. Sa valeur est exprimée sous forme d'un indice unique facilement interprétable, avec des seuils conventionnels généralement acceptés dans le secteur financier distinguant les niveaux de stabilité. Cette convention facilite la communication avec les équipes de conformité et de risque, mais elle constitue aussi une limite : les seuils standards ne sont pas universellement calibrés pour tous les types de modèles et toutes les distributions de features. Une étude de cas documentée dans un contexte de scoring d'entreprises a montré qu'un PSI de 0.15 — seuil d'alerte conventionnel — correspondait à des impacts très différents selon la criticité décisionnelle du modèle considéré.

Les variables catégorielles nécessitent des tests distincts des tests continus, notamment pour les codes sectoriels et les variables binaires.

Les modèles financiers intègrent fréquemment des variables catégorielles — codes sectoriels, types de contrat, classifications réglementaires — dont la surveillance de dérive nécessite des méthodes adaptées. Le test du Chi-deux compare les fréquences observées entre deux populations sur les modalités d'une variable catégorielle, mais il est sensible aux faibles effectifs dans certaines modalités, ce qui peut produire des résultats instables. L'entropie de Jensen-Shannon offre une alternative plus robuste pour les distributions discrètes, particulièrement lorsque certaines modalités apparaissent en production sans avoir été observées lors de l'entraînement — un phénomène fréquent dans les systèmes financiers soumis à des évolutions réglementaires introduisant de nouvelles classifications.

La multiplication des tests par feature crée un risque de saturation des équipes ; des stratégies de priorisation sont nécessaires.

Un modèle financier typique peut intégrer des dizaines à des centaines de features, chacune potentiellement soumise à un test de dérive. Appliquer des tests individuels à chaque feature sans priorisation produit un volume d'alertes difficile à absorber pour une équipe de taille modeste. Plusieurs stratégies permettent de gérer ce défi : la priorisation des features par leur importance relative dans le modèle, le regroupement des alertes par seuil de sévérité, et l'application de corrections pour tests multiples pour contrôler le taux de faux positifs agrégé. Une approche documentée dans le secteur financier consiste à surveiller en continu uniquement les dix features les plus importantes, et à effectuer des revues plus espacées pour les features secondaires, réduisant significativement le coût de traitement des alertes sans sacrifier la détection des dérives critiques.