Nous utilisons des cookies sur ce site
Nous utilisons des cookies pour améliorer votre expérience, analyser notre trafic et personnaliser certains contenus. Vous pouvez accepter tous les cookies ou gérer vos préférences.
Nous avons vu beaucoup de traces d'audit qui ressemblaient à des traces d'audit sans en être vraiment. Des fichiers logs énormes, impossibles à naviguer. Des explications générées automatiquement qui ne répondaient à aucune question réelle. Des versions de modèles archivées sans les données d'entrée correspondantes. Voici ce que nous avons appris en construisant des traces d'audit que des auditeurs réels ont pu utiliser, avec les ingrédients qui font la différence et les étapes qui changent le résultat.
Construire une trace d'audit utile pour un modèle IA financier n'est pas seulement un exercice de documentation. C'est une décision d'architecture qui doit être prise au moment de la conception du système, pas après coup. Nous avons appris cette leçon à nos dépens. Quand nous avons essayé d'ajouter une couche d'audit à un système déjà déployé, le résultat était incomplet et difficile à maintenir. La trace que nous décrivons ici suppose que vous intégrez ces éléments dès le début, ou que vous planifiez une refonte suffisamment ambitieuse pour les inclure correctement.
Avant de construire quoi que ce soit, définissez précisément quelles décisions doivent être auditables et par qui. Toutes les décisions ne requièrent pas le même niveau de traçabilité. Un modèle qui génère une alerte interne a des besoins différents d'un modèle qui décide d'un refus de service à un client. Cette distinction détermine le niveau de granularité de la trace, le format du résumé interprétatif et la durée de conservation des archives. Nous avons constaté que les équipes qui sautent cette étape finissent par archiver trop ou pas assez, ce qui crée des problèmes lors des contrôles réels.
L'erreur classique est d'ajouter la journalisation après la décision, en dehors du pipeline principal. Cela crée un risque de désynchronisation entre la décision réelle et la trace enregistrée. L'instrumentation doit être intégrée dans le pipeline de façon atomique : la décision et sa trace doivent être produites ensemble, dans la même transaction logique. Si la trace échoue, la décision ne doit pas être enregistrée comme définitive. Cette contrainte technique est non négociable si vous voulez une trace fiable sur laquelle un auditeur peut s'appuyer sans réserve.
Le résumé interprétatif n'est pas un résumé automatique de la trace technique. C'est un document structuré qui répond à des questions prédéfinies : quelle était la valeur de référence, quelles variables ont le plus contribué, dans quel sens, et quel était le seuil de décision appliqué. Ce document doit être compréhensible par un auditeur qui n'a pas accès au code du modèle. Nous recommandons de le faire relire par une personne de l'équipe conformité avant de le valider comme format standard, car les incompréhensions surgissent toujours là où les data scientists et les juristes utilisent les mêmes mots avec des sens différents.
Une fois la trace construite, testez sa reproductibilité sur un ensemble de décisions passées. Pouvez-vous, à partir des éléments archivés, reproduire exactement la décision et l'explication qui ont été produites ? Ce test révèle généralement des lacunes dans l'archivage : données de référence manquantes, versions de bibliothèques non enregistrées, paramètres d'environnement non documentés. Chaque lacune identifiée à ce stade est une lacune qui aurait été découverte lors d'un audit réel, dans un contexte moins favorable. Nous recommandons de réaliser ce test de reproductibilité à chaque mise en production d'une nouvelle version du modèle.
Une trace d'audit a une durée de vie. Les données s'accumulent, les formats évoluent, les exigences réglementaires changent. Sans une politique de maintenance explicite, la trace devient rapidement inutilisable : des décisions sont archivées dans un format que les outils actuels ne peuvent plus lire, ou des données de référence nécessaires à l'interprétation ont été supprimées pour des raisons de coût de stockage. Nous avons appris à définir dès le départ une politique de rétention qui distingue les éléments essentiels à conserver à long terme des éléments qui peuvent être agrégés ou supprimés après une période définie.
Nous utilisons des cookies pour améliorer votre expérience, analyser notre trafic et personnaliser certains contenus. Vous pouvez accepter tous les cookies ou gérer vos préférences.