D'où viennent vraiment les biais
D'abord, une clarification nécessaire. Quand les équipes parlent de biais algorithmiques, elles pensent souvent à des discriminations visibles : un modèle qui traite différemment des groupes définis par des caractéristiques protégées. C'est une forme de biais réelle et importante. Mais c'est loin d'être la seule. Les biais les plus difficiles à détecter sont ceux qui s'introduisent avant même l'entraînement du modèle, dans la façon dont les données sont collectées, étiquetées ou prétraitées. Ces biais de données sont souvent invisibles dans les métriques standards de performance du modèle, car ils sont présents de façon cohérente dans les données d'entraînement et de test. Le modèle apprend les biais, les reproduit fidèlement, et obtient de bonnes métriques précisément parce qu'il est cohérent avec des données elles-mêmes biaisées.
Le biais de sélection historique
Les données d'entraînement des modèles de crédit reflètent les décisions passées des institutions financières. Si ces décisions ont historiquement défavorisé certains segments de population — pour des raisons réglementairement acceptables ou non — le modèle entraîné sur ces données reproduira ce schéma. Ce biais est particulièrement insidieux parce qu'il est mathématiquement correct : le modèle prédit fidèlement ce que les humains ont décidé dans le passé. Mais cette fidélité devient un problème si les décisions passées étaient elles-mêmes biaisées. Nous avons appris à systématiquement examiner la distribution des décisions historiques avant de commencer l'entraînement, en cherchant des asymétries inexpliquées entre segments comparables.
Le biais d'étiquetage proxy
Beaucoup de modèles financiers utilisent des variables proxy pour approcher des caractéristiques qu'ils ne peuvent pas mesurer directement. Un code postal peut servir de proxy pour le niveau de risque d'une zone géographique. Un type d'employeur peut servir de proxy pour la stabilité des revenus. Ces proxies peuvent capturer involontairement des corrélations avec des caractéristiques protégées — l'ethnicité, l'origine nationale — que la réglementation interdit d'utiliser directement. Détecter ces corrélations demande une analyse explicite des variables proxy, pas seulement une vérification que les variables protégées ne sont pas dans le modèle. L'absence formelle d'une variable ne garantit pas l'absence de son influence.
Le biais d'amplification par le feedback
Quand un modèle est déployé et que ses décisions influencent les données futures, un mécanisme d'amplification peut s'enclencher. Un modèle qui accorde moins de crédit à un segment génère moins de données de remboursement pour ce segment, ce qui renforce l'apparente justification statistique de ses décisions restrictives. Ce cycle de feedback est difficile à détecter car il se développe lentement, sur plusieurs cycles de réentraînement. Nous recommandons de surveiller régulièrement l'évolution de la distribution des décisions par segment au fil du temps, et d'investiguer toute divergence progressive qui ne peut pas être expliquée par des changements externes dans les caractéristiques de la population.
Le biais d'agrégation statistique
Un modèle peut être équitable en moyenne sur l'ensemble de la population tout en étant systématiquement désavantageux pour des sous-groupes spécifiques. C'est le paradoxe de Simpson appliqué aux modèles IA : les métriques globales masquent les disparités locales. Nous avons vu des équipes valider des modèles sur des métriques de performance globales sans jamais segmenter ces métriques par sous-groupe. Le modèle était techniquement performant en moyenne, mais produisait des erreurs systématiquement plus fréquentes pour certains segments. Cette pratique de validation segmentée est peu coûteuse à mettre en place, mais elle est encore trop rarement appliquée de façon systématique.
Les méthodes de détection qui nous ont été utiles
Ensuite, parlons de ce qui fonctionne en pratique. Nous avons testé plusieurs approches de détection des biais dans des contextes financiers réels. Certaines sont élégantes théoriquement mais difficiles à opérationnaliser. D'autres sont moins sophistiquées mais produisent des résultats exploitables par des équipes non spécialisées. Nous présentons ici celles qui ont passé le test de l'utilité pratique, sans prétendre à l'exhaustivité.
L'analyse des distributions de décision par segment
La première étape la plus simple est souvent la plus révélatrice : comparer la distribution des scores et des décisions finales entre des groupes qui devraient, toutes choses égales par ailleurs, avoir des distributions similaires. Cette comparaison ne requiert pas de méthode statistique avancée. Elle requiert de définir a priori quels segments doivent être comparés et selon quels critères de similarité. L'exercice force aussi les équipes à articuler explicitement leurs hypothèses sur ce qui devrait constituer un traitement équitable dans leur contexte spécifique — une question normative que les méthodes statistiques seules ne peuvent pas résoudre.
L'analyse des contrefactuels pour la détection
Les contrefactuels, généralement utilisés pour expliquer des décisions individuelles, peuvent aussi servir d'outil de détection de biais. L'idée est simple : pour un ensemble de cas refusés, générer le contrefactuel minimal — le changement le plus petit aux données d'entrée qui aurait conduit à une approbation — et examiner si ce contrefactuel implique des changements dans des variables proxy sensibles. Si la différence minimale qui sépare un refus d'une approbation implique systématiquement des variables corrélées à des caractéristiques protégées, c'est un signal de biais qui mérite investigation. Cette approche est plus informative que les métriques d'équité globales, car elle révèle le mécanisme du biais, pas seulement sa présence.
La surveillance temporelle des métriques segmentées
La détection ponctuelle des biais ne suffit pas. Les modèles dérivent, les populations changent, et un modèle équitable au moment de son déploiement peut développer des comportements biaisés au fil du temps. Nous recommandons de mettre en place une surveillance régulière des métriques d'équité segmentées, avec des seuils d'alerte définis a priori. Cette surveillance doit être distincte de la surveillance des métriques de performance globale, car les deux peuvent évoluer de façon indépendante. Un modèle peut maintenir sa précision globale tout en développant des disparités croissantes entre segments — la surveillance globale ne détectera pas ce problème.
Ce que nous n'avons pas encore résolu
Enfin, par honnêteté, voici les questions ouvertes. Documenter ce que nous savons faire est utile. Documenter ce que nous ne savons pas encore faire est peut-être plus utile encore. Ces questions ouvertes ne sont pas des aveux d'incompétence : elles définissent la frontière actuelle du domaine et aident les équipes à calibrer leurs attentes réalistes sur ce que l'explicabilité peut et ne peut pas offrir aujourd'hui.
La définition normative de l'équité
Les méthodes de détection de biais présupposent une définition de ce qui constitue une décision équitable. Or il existe plusieurs définitions mathématiques de l'équité — parité démographique, égalité des chances, calibration — qui sont mutuellement incompatibles dans de nombreux scénarios réels. Choisir entre ces définitions n'est pas une décision technique : c'est une décision normative qui engage des valeurs sur ce que la justice exige dans un contexte donné. Nous avons appris à ne pas laisser cette décision aux data scientists seuls. Elle doit être prise en collaboration entre les équipes techniques, les équipes conformité et, idéalement, avec une réflexion sur les parties prenantes affectées par le modèle.
La mesure du biais dans les données non étiquetées
La plupart des méthodes de détection de biais supposent l'accès à des labels qui permettent de comparer les prédictions du modèle à une vérité terrain. Dans beaucoup de contextes financiers, cette vérité terrain est elle-même construite par des décisions passées potentiellement biaisées. Détecter le biais dans ce cadre circulaire est un problème ouvert. Nous n'avons pas de solution satisfaisante à proposer aujourd'hui. Ce que nous pouvons faire, c'est identifier explicitement cette limite dans notre documentation et éviter de prétendre que nos métriques de détection capturent tous les biais pertinents quand elles ne peuvent pas, par construction, en capturer certains.
L'équité dans les modèles adaptatifs
Les modèles qui se réentraînent continuellement sur de nouvelles données posent des défis spécifiques en matière d'équité. Un modèle peut être équitable selon nos métriques à l'instant T et avoir dérivé significativement à l'instant T+3 mois, sans que les métriques globales de performance aient bougé. Les mécanismes de surveillance que nous avons décrits atténuent ce problème mais ne le résolvent pas complètement. La vitesse à laquelle un modèle adaptatif peut développer des comportements problématiques dépend de nombreux facteurs que nous continuons à étudier, et nous documenterons nos observations au fur et à mesure de leur consolidation.