La guerre des LLM (large language model) est déclarée. Si OpenAI a remporté une bataille avec son offre GPT et son chatbot ChatGPT, Google ne s’avoue pas vaincu et vient d’annoncer lors de sa conférence développeurs I/O la deuxième itération de PaLM. Et c’est Sundar Pichai, le CEO d’Alphabet en personne qui s’est chargé de faire la présentation. « Les modèles PaLM 2 sont plus forts en matière de logique et de raisonnement, grâce à une formation étendue dans ce domaine ». Pour cela, les modèles ont « été formés sur des textes multilingues couvrant plus de 100 langues », précise le dirigeant.

Par contre aucun détail n’a été fourni sur le nombre d’hyperparamètres utilisés pour l’entraînement de PaLM 2. Pour mémoire, Google avait communiqué sur un volume de 540 milliards de paramètres pour la première version de PaLM, là où GPT-3 affichait 175 milliards d’objets. Google entend décliner PaLM 2 en quatre modèles différents et répondant aux noms de Gecko, Otter, Bison et Unicorn. Pour l’instant, Google n’a communiqué que sur Gecko, une version légère de PaLM 2 fonctionnant sur des terminaux mobiles.

Une diffusion large chez Google et des spécialisations métiers

Dans sa présentation Sundar Pichai a indiqué que PaLM 2 était déjà à l’œuvre dans plus de 25 produits de Google et qu’il allait monter en puissance dans les prochains mois. Ses capacités polyglottes vont bien évidemment être intégrées à Bard, l’agent conversationnel, concurrent de ChatGPT. Il trouve sa place dans Gmail avec la fonction Help to write, pour rédiger une réponse à un message ou dans Workspace pour aider les utilisateurs à organiser, résumer et enrichir leurs travaux. Ses capacités de code s’installent également chez Google Cloud à travers l’assistant Duet AI.

En complément, Google entend bien « spécialiser » PaLM 2 vers certains métiers. Dans ce sens, il a présenté deux déclinaisons du LLM, Med-PaLM 2 et Sec-PaLM 2. Le premier s’adresse comme son nom l’indique aux métiers de la santé où le modèle est entraîné avec des connaissances médicales. Il a obtenu un niveau expert à certains examens de médecine aux Etats-Unis. Un petit groupe de clients cloud pourra le tester cet été pour définir les cas d’usage sûrs et utiles, annonce la firme de Mountain View. L’autre LLM cible les spécialistes en cybersécurité en étant disponible sur Google Cloud. « Elle utilise l'IA pour analyser et expliquer le comportement de scripts potentiellement malveillants, et mieux détecter les scripts qui constituent réellement des menaces pour les personnes et les organisations, dans un temps record ».