Comme Google, Meta ne pouvait pas rester indifférent au succès médiatique de ChatGPT d’OpenAI. La firme de Mark Zuckerberg a donc décidé de passer à l’offensive et de dévoiler sa stratégie sur l’IA générative. Celle-ci est cadencée en deux temps, une partie technique et une autre organisationnelle.

Le voile se lève sur LLaMA

L’annonce technique a eu lieu en fin de semaine dernière avec la présentation de LLaMA (Large Language Model Meta AI). Mark Zuckerberg a indiqué dans un post que ce modèle est « conçu pour aider les chercheurs à faire avancer leurs travaux ». Il ajoute que les LLM (les grands modèles de langage) « se sont révélés très prometteurs pour générer du texte, tenir des conversations, résumer des documents écrits et effectuer des tâches plus complexes comme la résolution de théorèmes mathématiques ou la prédiction de structures protéiques ».

A la différence de GPT 3.5 d’OpenAI (qui se base sur un corpus de 175 milliards de paramètres) et LaMDA de Google (137 milliards de paramètres), LLaMA ne fonctionnera que sur un ensemble pouvant atteindre au maximum 65 milliards de paramètres. Meta prévoit en effet de fournir des modèles avec un jeu de paramètres différents (7 Md, 13 Md, 33 Md et 65Md). Un choix assumé car selon la firme, « Les modèles plus petits, comme LLaMA, sont intéressants dans le monde des grands modèles, car ils demandent beaucoup moins de puissance de calcul et de ressources ». Preuve de cette frugalité, LLaMA serait capable d’être exécuté sur un seul GPU. Reste que pour l’instant, ce modèle est en accès réservé pour le tester tout comme son homologue Bard de Google. Meta n’a pas envie de reproduire les dérapages de Galactica, un modèle d’IA à destination des chercheurs, lancé en novembre dernier et débranché au bout d’une semaine.

Une équipe dédiée à l’IA générative

Deuxième étage de la stratégie IA de Meta, l’organisation au sein de la firme d’une équipe chargée de piloter le développement des produits autour de l’IA générative. Ce groupe est composé de plusieurs cadres provenant des différentes activités de la société. Il est chapeauté par Chris Cox, actuellement Chief Product Officer de Meta. On notera que Mark Zuckerberg a choisi un profil opérationnel plutôt que scientifique pour diriger cette équipe.

Le CEO a déjà fixé les objectifs du groupe : construire des outils « créatifs et expressifs » qui seront utilisés dans les produits Meta. Ainsi, l’équipe mènera « des expériences avec du texte (comme le chat dans WhatsApp et Messenger), avec des images (comme des filtres Instagram créatifs et des formats publicitaires), et avec des expériences vidéo et multimodales ». Mark Zuckerberg reste néanmoins prudent : « Nous avons beaucoup de travail fondamental à faire avant d'arriver aux expériences vraiment futuristes ».