Vous avez fini par maîtriser les sujets d'IA. Vous avez monté une équipe de data scientists et mis en place du MLops. Vous pensez donc être parés pour l'IA générative. Eh bien, pas vraiment. L'IA générative reste un sujet IT dans l'âme. Un sujet qui ne requiert pas de nouvelles compétences en data science, mais une compréhension affûtée des mécanismes en jeu, une agilité dans l'intégration, une orientation produit et une gouvernance appropriée. C'est un engagement à long terme, un pari sur l'avenir, un flux constant d'investissement dans le progrès.

Dès qu'on aborde ce sujet en entreprise, l'angle data science émerge : les questions fusent autour des modèles, des algorithmes, des possibilités de les enrichir et de les adapter... Alors qu'en réalité, ces sujets sont l'apanage des fournisseurs de LLM et devraient le rester. Créer un modèle de base de toute pièce (foundation model) demande plusieurs mois, des millions d'euros et l'accès à d'énormes quantités de données. Seules des entreprises disposant de datasets très spécifiques, monétisables, peuvent avoir un intérêt à le faire ; c'est le cas par exemple de Bloomberg, qui voulait exploiter ses données financières et a donc créé son BloombergGPT pour la finance.

Des compétences de développement et d'intégration plutôt que de datascience

Pour l'immense majorité des organisations, mettre de l'IA générative à disposition de ses employés et de ses clients passera par l'usage de LLM sur étagère, open source ou commerciaux. Sans savoir-faire particulier en matière de data science, donc. Cela requerra en revanche toutes les compétences qu'on attend d'un projet IT classique : ingénieurs data, développeurs back et front offices, spécialistes de l'intégration...

Ce sont ces compétences qui devront s'atteler à mettre au point le coeur du réacteur : la plateforme d'IA générative. Comme nous l'écrivions en décembre dernier, cette plate-forme, basée sur un orchestrateur et des API, ouvre le champ des possibles : « Il devient aisé de travailler avec les meilleurs LLM du marché et d'en changer au fur et à mesure de leurs évolutions respectives, sans retoucher aux applications ni devoir accompagner les utilisateurs. Ces derniers peuvent même sélectionner leur modèle préféré lors de chaque requête. » Ainsi, l'entreprise peut mettre en oeuvre différents cas d'usage tout en conservant son indépendance et la maîtrise de son système d'information.

Les équipes chargées de la plateforme d'IA générative devront certes comprendre les enjeux liés à l'ingestion de données, mais les besoins en matière de data science restent eux très limités (choix du modèle, évaluation des réponses, monitoring...). Un de nos clients résume ainsi la situation : « On n'a pas forcément besoin d'être data scientist, mais il faut comprendre les concepts de base, avoir des compétences de développement back office et de fortes compétences cloud - et y ajouter des compétences front office et devops pour le passage à l'échelle. Les développeurs doivent aussi s'adapter à un changement de paradigme : on passe d'une programmation algorithmique classique à des agents Langchain qui gèrent une partie des décisions : c'est un changement à faire accepter. »

Un produit itératif, soutenu par un budget régulier

L'autre changement concerne le passage du mode projet au mode produit. La plate-forme servira certes à accélérer le développement de produits d'IA générative spécifiques, mais il faut la considérer elle-même comme un produit. Cela ne peut pas être géré comme un projet avec une date de début et une date de fin. L'écosystème est beaucoup trop changeant, les évolutions technologiques trop rapprochées. Adopter une approche produit revient à envisager la plate-forme comme un ensemble de fonctions qui seront développées, testées, déployées et améliorées de façon itérative pour répondre à des besoins en constante évolution.

Cela demande évidemment aussi un modèle de financement adapté. Plutôt que de considérer le projet comme un investissement ponctuel, il est judicieux de prévoir un flux mensuel. Ce budget régulier soutiendra ainsi l'innovation continue, financera les mises à jour nécessaires et s'adaptera aux nouvelles opportunités.

Dernier ajustement nécessaire : la gouvernance. Contrairement là encore aux projets de machine learning, l'IA générative s'est démocratisée d'une manière inédite : tout le monde dans l'entreprise, du PDG aux simples employés, place de grands espoirs dans cette technologie, ce qui peut engendrer tant du shadow AI que de fortes attentes vis-à-vis de la DSI. La gouvernance doit donc être adaptée de manière à capter l'ensemble des besoins et des usages, prioriser les produits en fonction de la valeur créée et superviser le fonctionnement de l'ensemble.