Aussi convaincants que puissent être les chatbots pour des usages grand public, industrialiser l'IA générative pour l'adapter aux contraintes d'une banque n'est pas une sinécure. C'est en somme ce que pointe le Crédit Agricole, lors d'une présentation de sa plateforme de recherche générative. « Ce projet est une confrontation de la GenAI avec les standards industriels d'une grande banque », résume Aldrick Zappellini, le chief data officer de Crédit Agricole, qui intervenait lors de l'événement AI for Finance, le 17 septembre à Paris.

La stratégie de Crédit Agricole en matière d'IA générative est structurée autour de 36 cas d'usage priorisés par le comité exécutif du groupe, construits sur une plateforme maison, CA Generative Search. « Nous avons choisi d'amener directement un cas d'usage en production, même si directement est probablement un terme un peu galvaudé dans le cas présent », détaille le CDO. En l'occurrence, il s'agit d'une première application basée sur CA Generative Search, qui combine recherche dans de grands corpus d'informations en langage naturel, RAG (Retrieval Augmented Generation) et GenAI pour proposer des synthèses aux utilisateurs, ces dernières étant associées aux documents sources et aux passages pertinents à l'intérieur de ceux-ci. La méthode projet mise en oeuvre par l'établissement bancaire a été certifiée IA industrielle et de confiance par le LNE, le Laboratoire national de métrologie et d'essais. « Nous ne voulions pas connaître un échec à l'industrialisation ou partir avec une dette technique », souligne Samuel Laloum, directeur de projet IA et data au Crédit Agricole

Une plateforme pour tous les corpus et formats

Pour ce faire, dès la phase de cadrage, les équipes data de la banque ont posé cinq principes clef : l'indispensable préparation des données, pour arriver à un niveau de qualité satisfaisant pour l'usage envisagé ; la co-construction de la base de connaissances avec les futurs utilisateurs ; le passage par une phase de tests du moteur d'IA et des prompts, permettant de régler finement le modèle, d'en travailler l'explicabilité et de détailler son impact environnemental ; l'attention portée au packaging de la solution et au déploiement ; et, enfin, la gestion du run et la mise en place d'un monitoring, pour mettre en place un cycle d'amélioration de l'application.

Construite en interne, la plateforme CA Generative Search se veut, par construction, adaptable à divers cas d'usage, mais aussi aux évolutions permanentes du marché de la GenAI. Elle possède ainsi la capacité à cibler des corpus de connaissance variés, de sources et formats divers, celle d'intégrer différents LLM préentraînés et de disposer de pipelines personnalisables. La plateforme, disponible directement ou sous forme d'API, doit qui plus est pouvoir être déployée sur le cloud ou on-premise pour les données les plus confidentielles. « Que l'on parle de GenAI ou d'autres technologies, notre stratégie se veut diversifiée, car le risque majeur que nous avons identifié est celui de la dépendance économique à un tiers », explique Aldrick Zappellini.

100 paires de questions/réponses annotées pour monitorer le modèle

Construite sur la base de technologies assez classiques, la plateforme a été testée d'emblée sur un premier cas d'usage, en l'occurrence la recherche dans le corpus normatif de l'IA, autrement dit l'AI Act européen. « Nous avons travaillé avec une base de vérité annotée de 100 paires de questions/réponses pour le monitoring du modèle, une approche couplée à une évaluation de la pertinence des réponses par les utilisateurs eux-mêmes, détaille Aymen Shabou, directeur technique du Datalab et de l'IA Factory du groupe Crédit Agricole. La capacité à passer en production avec tel ou tel LLM dépend des résultats sur la base de données annotée. » Par exemple, sur les normes relatives à l'IA, c'est le modèle Claude qui s'est avéré le plus performant.

Ce galop d'essai a permis au Crédit Agricole de se confronter aux défis de l'industrialisation à grande échelle de ce type d'applications. « Les limites des prestataires de cloud sont apparues dès les tests de charge », souligne Aymen Shabou. À commencer par les coûts de fonctionnement. Pour les experts de la banque, deux options sont ouvertes. Un paiement à l'usage, flexible et pour lequel des stratégies multi-comptes, multi-régions et multi-modèles peuvent être exploitées pour dépasser les limites imposées par les fournisseurs. « Les coûts sont plus faibles tant que les volumes restent bas, mais attention à leur explosion quand les usages augmentent ! », prévient Aldrick Zappellini. L'alternative ? Passer par des instances réservées où les débits et ressources de calcul sont préattribuées par le fournisseur. « C'est une option intéressante quand les volumes augmentent, mais elle est moins flexible et l'estimation des ressources nécessaires en amont reste complexe », reprend le CDO. Bref, un dilemme à chaque fois.

Urbaniser la gestion documentaire

L'autre défi majeur du passage en production d'une application de GenAI dans la banque réside évidemment dans la sécurité. Sur ce terrain, Crédit Agricole a choisi « une approche de Red Teaming continue », selon Aymen Shabou. Autrement dit d'éprouver le modèle au fil de l'eau pour détecter les risques et les atténuer. « Pour ce faire, nous avons recours à la diversification des modèles, à une optimisation des prompts et à l'ajustement des pipelines de RAG », détaille le directeur technique du Datalab et de l'IA Factory. Tous les tests sont consolidés, dans une démarche d'amélioration continue. Des précautions qui permettent de réduire les risques, pas de les éliminer totalement du fait de la nature même de la technologie. « Pour passer en production, notre stratégie consiste systématiquement à garder l'humain dans la boucle », répond Aldrick Zappellini.

Pour ce dernier, ce démarrage de la plateforme CA Generative Search souligne aussi les « besoins d'urbanisation qui existent en matière de gestion des données, et plus spécifiquement de gestion documentaire. » Comme dans la plupart des organisations - en particulier bancaires -, de vieilles GED, des bases de documents bureautiques et autres cohabitent au sein des systèmes d'information du Crédit Agricole. « Nous devons effectuer un effort de pédagogie en interne sur ce point, reprend le CDO. Pour que tout le monde comprenne bien que l'effort à consentir dans l'urbanisation des corpus de documents est supérieur à celui nécessaire au déploiement de l'IA à proprement parler. »

Calculer la valeur des applications de GenAI ? « Complexe »

Au-delà de la question des coûts de fonctionnement, le sujet de la valeur créée avec les applications d'IA doit encore être mieux balisé, selon le CDO. « Le nombre d'applications de la GenAI importe peu, ce qui importe, c'est leur impact. Je suis loin d'être convaincu que les 36 cas d'usage seront traités avec cette technologie, je suis même plutôt convaincu du contraire. » En somme, l'engouement pour l'IA générative ne doit pas devenir un aveuglement, empêchant une équipe data ou IT de répondre à une attente métier par un simple tableau de bord ou une refonte des processus. « Par ailleurs, le calcul de la valeur de ces applications reste complexe, reprend Aldrick Zappellini. On parle par exemple du quart d'heure gagné sur la journée de travail d'un collaborateur. Mais, en réalité, il s'agit d'une productivité non récupérable. » Façon de dire que l'employé aura plutôt tendance à écourter sa journée ou à se tourner vers des tâches non directement productives pour l'entreprise.