Tout comme le Kanban dans l'industrie manufacturière il y a plusieurs décennies, des méthodes de « juste-à-temps » s'invitent dans les projets d'IA générative. « Il est essentiel de trouver le "bon moment" pour déployer un projet d'IA, explique ainsi Sastry Durvasula, chief operating, information, and digital officer de la société de services financiers TIAA. On ne veut pas être en retard, mais pas non plus trop en avance. En particulier, parce qu'on a besoin de connaître en temps réel le contexte dans lequel elle va s'exécuter. Nous avons donc décidé de nous lancer dans l'IA "juste à temps" ».

TIAA a lancé une GenAI appelée Research Buddy, qui recueille des informations pertinentes à partir de documents accessibles au public pour Nuveen, sa branche de gestion d'actifs, en fonction des besoins. « L'IA n'est activée qu'au moment où l'analyste a besoin d'une recherche. À partir de sa requête, notre outil fournit les réponses et génère le rapport associé », explique Sastry Durvasula. Mais, selon lui, ce n'est pas la seule raison pour adopter une approche juste-à-temps de l'IA. Le coût est un facteur au moins aussi important. « Le coût d'une GenIA peut être astronomiquement élevé et n'est pas toujours justifié en matière de valeur business », poursuit Sastry Durvasula.

Le juste-à temps, mais pas tout le temps

Un point que conteste cependant l'analyste du cabinet Forrester, Mike Gualtieri, arguant que l'approche juste-à-temps, bien qu'excellente, n'est pas toujours justifiée. Pour lui, elle peut l'être « pour des interactions avec des clients à faible marge, mais lorsque des millions de dollars sont en jeu, le coût de l'utilisation de l'IA générative est dérisoire. Si elle vous coûte un million de dollars, mais vous en fait économiser 10, cela ne devrait pas vous freiner ! ».

Avant de se lancer dans du juste-à-temps, les responsables informatiques doivent, selon lui, identifier quand le coût est un paramètre majeur dans les applications d'IA, et quand ce n'est pas le cas. Elles utilisent par exemple généralement des LLM pré-entraînés, qui ne demandent ni dépenses extraordinaires en infrastructure ou entraînement des modèles, ni recrutement de compétences onéreuses en matière de Data Science. « Ils ont juste besoin que leur équipe de développement logiciel intègre ce composant [de GenAI] dans une application », résume l'analyste.

Le RAG (retrieval augmented generation) est aussi un moyen de réduire les coûts de l'IA, rappelle l'analyste. Cela améliore la qualité et la pertinence des résultats tout en éliminant le besoin d'entraîner des modèles personnalisés. « Les fournisseurs intègrent directement des solutions RAG afin que les entreprises n'aient pas à les créer elles-mêmes. Vous utilisez un modèle, puis vous injectez le contenu à la dernière minute lorsque vous en avez besoin », explique Mike Gualtieri.

Mais, finalement, ce dernier point résume tout l'intérêt des approches juste-à-temps en matière d'IA générative : n'injecter du contenu dans le modèle que lorsque c'est nécessaire - et au dernier moment, lorsqu'on en a besoin. En effet, le RAG est devenu une bonne pratique pour des équipes qui utilisent la GenAI non seulement pour maximiser la valeur business, mais aussi pour minimiser la charge générée par leurs cas d'usage et les workflows ciblés. Cela fait partie de la philosophie de l'IA juste-à-temps.

Des citizen dévelopers pour les décisions juste-à-temps

En mai 2024, SAIC, un intégrateur de technologies au service des marchés de la défense, de l'espace, du civil et du renseignement, a présenté son Tenjin GPT sur Microsoft Azure et la plateforme OpenAI à ses 24 000 employés. Les premiers cas d'usage améliorent les workflows à certains points stratégiques de l'organisation. Par exemple, l'entreprise a construit un chatbot pour aider les employés en cas d'incidents sur un service informatique, ainsi qu'un agent virtuel pour fournir des informations liées aux demandes arrivant au service client. SAIC utilise aussi Tenjin pour aider le développement logiciel, la préparation et la visualisation des données et la génération de contenu. L'entreprise le propose également à ses clients.

« Tenjin GPT est la première étape d'une stratégie d'IA à long terme, explique Nathan Rogers, DSI de SAIC. Nous voulons une base d'utilisateurs beaucoup plus importante. À terme, nous aurons des citizen developers dans l'ensemble de l'entreprise qui prendront des décisions en juste-à-temps, tant pour nos cas d'usage internes que pour nos clients dans l'administration ».

Garder un humain dans la boucle

« Le juste-à-temps ne résonne pas tout à fait en moi, déclare de son côté Max Chan, DSI du fournisseur de composants électroniques Avnet. Il s'agit plutôt d'utiliser la bonne technique aux bons endroits pour réduire le besoin de ressources inutiles et gérer les coûts et l'efficacité. Mais, l'analogie [avec le juste-à-temps] s'applique au coût élevé et à la forte consommation de ressources de la GenAI. Les LLM [large language model] consomment beaucoup de cycles de calcul, alors que la GenAI n'est pas la réponse à tout. Nous ne voulons pas gaspiller des cycles inutiles pour ne pas obtenir de résultat probant. »

L'autre question concernant le juste-à-temps avec l'IA, c'est la possibilité d'inclure un humain dans la boucle pour s'assurer que les réponses du modèle ne sont ni biaisées ni hallucinatoires. Or, en fonction de la façon dont le flux de travail est structuré, cela peut être un défi. « Vous n'avez pas ce luxe avec une IA juste-à-temps. Mais c'est un problème qui peut être résolu, si on l'anticipe », explique Sastry Durvasula de TIAA.

Cela se traduit par l'injection de règles d'IA responsable dans l'agent avant sa mise en production. Chez TIAA, des analystes de Nuveen examinent aussi les résultats de Research Buddy avant qu'ils ne soient exploités, assure le DSI.

Pour Sastry Durvasula, c'est plutôt un concept de « juste au cas où » qui s'applique à Research Buddy. « Les workflows tirés par l'investissement devraient ainsi être adaptés dans ce modèle. Il faut des insights à disposition au cas où les métiers de l'investissement en aient besoin », dit-il. De plus, « lorsque vous alimentez ces équipes avec de gros volumes de données publiques en temps réel, vous ne pouvez pas avoir beaucoup de latence. Les prompts personnalisés doivent être écrits en temps réel », ajoute le DSI.