Aller vite, tel est le maître mot de Google après l’ascension fulgurante de ChatGPT d’OpenAI. Cet agent a séduit 5 millions de personnes en une semaine et près de 100 millions d'utilisateurs mensuels à la fin janvier. Pressée par les actionnaires et la concurrence - Microsoft va annoncer des choses autour de Bing demain - la firme a donc décidé de dévoiler son arme anti-ChatGPT : Bard.
Une version allégée de LaMDA dans un premier temps
C’est Sundar Pichai, CEO d’Alphabet en personne qui a fait l’annonce via le blog de la société. Il explique, « Il y a deux ans, nous avons dévoilé des capacités de langage et de conversation de dernière génération alimentées par notre modèle de langage pour les applications de dialogue (ou LaMDA pour faire court) ». Il ajoute, « nous avons travaillé sur un service expérimental d'IA conversationnelle, alimenté par LaMDA, que nous avons appelé Bard ». Concrètement, Bard sera lancé au public dans les semaines à venir, et sera initialement alimenté par une version allégée du modèle LaMDA. Google l'a mis à la disposition d'un groupe restreint d'utilisateurs à des fins de test, et évaluera la sécurité du modèle et la qualité des réponses. Pour rappel, son compétiteur est disponible pour tous, même si une version premium est prévue.
Dans le détail, LaMDA est construit sur un Transformer, une architecture de réseau neuronal inventée par Google Research et mis en open source en 2017. Principalement utilisée dans le domaine du NLP ou traitement du langage naturel, elle produit un modèle qui peut être entraîné à lire de nombreux mots en regardant comment ceux-ci sont liés les uns aux autres et en prédisant les mots suivants. Pour donner un ordre de grandeur des volumes de données d’apprentissage supportés, la deuxième génération de LaMDA s’entraîne avec 137 milliards de paramètres contre 175 pour son concurrent. Pour éviter les résultats « toxiques » (insultes, racisme, complotisme, etc.), il faut rajouter des niveaux de contrôle comme nous l’explique Alexei Grinbaum, directeur de recherche au CEA dans une vidéo décortiquant l’aspect technique de ChatGPT. C’est le cas notamment d’un double modèle d’entraînement, supervisé avec des modérateurs humains et par renforcement pour appliquer cette modération à l’échelle du transformer.
Mobilisation des salariés et de l'écosystème
En parallèle de son message sur le blog de Google, Sundar Pichai a envoyé une lettre aux salariés de la société pour leur demander de se mobiliser autour de Bard. Selon CNBC qui a pu lire ce document, le dirigeant a donné rendez-vous aux « Googler » la semaine prochaine pour un « dogfood ». Ce terme est utilisé au sein du groupe pour désigner une sorte de hackathon interne. Les retours sur le chatbot seront analysés et les résultats partagés par le directeur de la recherche Prabhakar Raghavan lors d’un évènement à Paris. Ce rappel des troupes fait suite au code rouge lancé en début d’année au sein de Google. Les fondateurs Sergey Brin et Larry Page ont même été appelé à la rescousse face à la menace que pouvait représenter ChatGPTP d’OpenAI.
Dans le mémo aux salariés, Sundar Pichai ouvre la porte à l'écosystème de Google pour « construire leurs propres applications et produits en utilisant la même technologie sous-jacente LaMDA, par le biais d'une API ». Il fixe un calendrier pour cela, « le mois prochain, nous commencerons à embarquer des développeurs individuels, des créateurs et des entreprises, pour essayer des API alimentées par LaMDA ». La mobilisation est donc à marche forcée et la question du temps est aussi importante. Car la concurrence s'active : Quora vient de dévoiler son chatbot nommé Poe et Baidu devrait prochainement avoir le sien. La guerre des chatbot à base d'IA est déclarée.