Sept façons dont l'explicabilité IA modifie la relation entre les utilisateurs et les systèmes de décision financière
L'explicabilité des modèles IA ne produit pas automatiquement de la confiance. Elle crée les conditions dans lesquelles la confiance peut se construire — ou se détruire si l'explication est mal conçue. Voici ce que nous avons observé.
Une explication incomprise est pire qu'une absence d'explication
Nous avons observé que les utilisateurs qui reçoivent une explication technique qu'ils ne comprennent pas développent une méfiance plus élevée que ceux qui ne reçoivent aucune explication. Le mécanisme est intuitif : une explication incompréhensible suggère que le système cache quelque chose derrière un écran de complexité, alors qu'une absence d'explication peut simplement signifier que le système n'a pas encore cette capacité. Cette observation a des implications directes pour la conception des interfaces d'explicabilité : la clarté de la communication compte autant que la qualité technique de l'explication sous-jacente. Nous avons appris à tester la compréhension des explications auprès des utilisateurs finaux avant de les déployer, pas seulement à valider leur fidélité technique auprès des data scientists.
La confiance se construit sur la cohérence, pas sur la précision
Les utilisateurs qui interagissent régulièrement avec un système de décision IA ne cherchent pas à vérifier la précision mathématique des explications. Ils cherchent à comprendre si le système se comporte de façon cohérente : des cas similaires reçoivent-ils des explications similaires ? Les facteurs mis en avant sont-ils stables d'une interaction à l'autre ? Cette cohérence perçue est un meilleur prédicteur de la confiance à long terme que la précision technique des explications individuelles. Un système qui produit des explications très précises mais qui semblent changer de logique d'une décision à l'autre génère de la méfiance, même si chaque explication individuelle est techniquement correcte. Cela renforce l'importance de la stabilité des méthodes d'explicabilité que nous avons mentionnée précédemment dans notre grille d'évaluation.
L'explication du refus est plus importante que l'explication de l'approbation
Dans les contextes de décision financière, les utilisateurs dont la demande est approuvée accordent peu d'attention à l'explication. Ceux dont la demande est refusée examinent l'explication avec une attention très élevée, souvent en cherchant des incohérences ou des injustices. Cette asymétrie a des implications pratiques : la qualité des explications de refus doit être prioritaire dans les investissements de conception. Une explication de refus mal formulée — vague, générique ou perçue comme injuste — génère des réclamations, des contestations et une érosion durable de la confiance dans le système. Nous recommandons de consacrer un effort de conception spécifique aux explications de cas limites et de refus, en testant leur formulation auprès de panels d'utilisateurs représentatifs avant déploiement.
La transparence sur les limites renforce la crédibilité
Nous avons observé un résultat contre-intuitif : les utilisateurs à qui l'on indique explicitement les limites du système de décision IA — les cas où il est moins fiable, les situations où il recommande de consulter un humain — accordent plus de confiance au système que ceux à qui ces limites ne sont pas communiquées. Ce résultat s'explique par le mécanisme de la calibration de la confiance : un système qui reconnaît ses propres limites est perçu comme plus honnête et donc plus digne de confiance que celui qui prétend être fiable dans tous les cas. Cette observation a guidé notre propre pratique de documentation : nous documentons les cas d'échec avec la même visibilité que les succès, précisément parce que nous pensons que cette honnêteté construit une relation plus solide avec nos lecteurs.
Le moment de l'explication compte autant que son contenu
Une explication disponible à la demande, deux semaines après la décision, n'a pas le même effet sur la confiance qu'une explication produite au moment de la décision. La temporalité de l'explication est une dimension de conception souvent négligée. Les utilisateurs associent l'explication à la décision : si l'une est immédiate et l'autre différée, la cohérence perçue est réduite. Dans les contextes où des délais sont inévitables — traitement par lots, contraintes de performance — il est utile de communiquer explicitement sur ce délai et d'expliquer pourquoi il existe, plutôt que de présenter l'explication différée comme si elle avait été produite simultanément à la décision.
L'explicabilité modifie les comportements des utilisateurs
Quand les utilisateurs comprennent les facteurs qui influencent les décisions du système, ils adaptent leurs comportements en conséquence. Cette adaptation peut être souhaitable — un utilisateur qui améliore son dossier de crédit en comprenant quels facteurs le pénalisent — ou problématique — un utilisateur qui manipule les variables d'entrée pour obtenir un score favorable sans changement substantiel de sa situation. Ces deux effets sont des conséquences directes de l'explicabilité. Les équipes qui conçoivent des systèmes explicables doivent anticiper ces adaptations comportementales et les intégrer dans leur modélisation. Un système d'explicabilité bien conçu doit favoriser les adaptations souhaitables et réduire les opportunités de manipulation, sans compromettre la transparence.
La confiance institutionnelle précède la confiance dans l'IA
Enfin, une observation de contexte : la confiance des utilisateurs dans un système de décision IA est fortement conditionnée par leur confiance préexistante dans l'institution qui le déploie. Un système d'explicabilité techniquement excellent déployé par une institution dont la réputation est fragilisée ne génèrera pas autant de confiance qu'un système moins sophistiqué déployé par une institution bien établie. Cette réalité ne diminue pas l'importance de l'explicabilité : elle situe sa contribution dans un contexte plus large. L'explicabilité est un facteur de confiance parmi d'autres, pas un substitut à une relation institutionnelle solide. Nous l'abordons comme une composante d'un système de confiance plus large, pas comme une solution autonome.
Ces sept observations ne sont pas des conclusions définitives. Elles reflètent ce que nous avons appris jusqu'ici, dans des contextes spécifiques. Nous continuons à les affiner à mesure que nous recueillons de nouvelles observations.