xAI d'Elon Musk dévoile Grok, un rival de ChatGPT

« Une IA conversationnelle pour comprendre l’univers ». Voilà, en quelques mots, comment est présenté Grok, le LLM développé par xAI, une société créée en juillet dernier par Elon Musk et qui rassemble des chercheurs, ingénieurs et développeurs ayant déjà travaillé chez DeepMind, OpenAI, Google Research, Microsoft Research, Tesla et l’Université de Toronto, notamment sur les modèles les plus plébiscités tels qu'AlphaStar, AlphaCode, Inception, Minerva, GPT-3.5 et GPT-4. « Grok est une IA inspirée du Guide du voyageur galactique (NDLR : livre de science-fiction de Douglas Adams), destinée à répondre à presque tout et, plus difficile encore, à suggérer les questions à poser ! », indique dans un billet de blog l’équipe xAI. Plus surprenant encore, on apprend que « Grok est conçu pour répondre aux questions avec un peu d'esprit et a un côté rebelle, alors ne l'utilisez pas si vous détestez l'humour ». Plus loin encore, dans la description, on trouve ceci : « Un avantage unique et fondamental de Grok est qu'il dispose d'une connaissance en temps réel du monde via la plateforme X. Il répondra également à des questions "épicées" qui sont rejetées par la plupart des autres systèmes d'IA ».

Une formulation pour le moins surprenante quand on se remémore les paroles d’Elon Musk il y a encore quelques mois au sujet de l’IA générative. Ce dernier fait en effet partie des signataires d’une lettre ouverte, aux côtés de Steve Wozniak, co-fondateur d’Apple et du co-fondateur de StableAI, mais également beaucoup d’universitaires spécialisés en IA. Au total, plus de 1 100 personnes avaient signé, en l’espace d’une semaine, cet appel à mettre sur pause durant six mois les recherches sur l’IA générative et plus exactement « l’entraînement des modèles plus puissants que GPT-4 ». Cette pause était justifiée par le fait que ces systèmes « peuvent présenter des risques profonds pour la société et l'humanité ». Un appel laissé lettre morte, car Elon Musk et la start-up xAI ont continué à travailler d'arrache-pied pour rattraper la concurrence. 

Grok, un LLM qui se rapproche de LLaMa 2

Grok est basé sur un moteur, Grok-1, le modèle d’avant-garde de xAI développé au cours des quatre derniers mois selon les chercheurs de la société. L’équipe précise que ce dernier « a subi de nombreuses itérations au cours de cette période ». Peu de temps après l’annonce de création de la société xAI, l’équipe a entraîné un prototype de LLM (Grok-0) avec 33 milliards de paramètres. Ce premier modèle se rapproche des capacités de LLaMA 2 (70B) sur les benchmarks de LLM connus, mais n'utilise que la moitié de ses ressources d'entraînement. « Au cours des deux derniers mois, nous avons apporté des améliorations significatives aux capacités de raisonnement et de codage pour aboutir à Grok-1, un modèle de langage de pointe qui est nettement plus puissant, atteignant 63,2 % sur la tâche de codage HumanEval et 73 % sur MMLU (multi task langage undestanding) » est-il précisé. Une série d’évaluations est par ailleurs disponible sur la page dédiée à l’annonce pour mesurer les capacités de calcul et de raisonnement du modèle ; cela inclut des problèmes mathématiques de collège, des questions multidisciplinaires à choix multiples, ou encore une tâche d'achèvement de code Python. Sur ces points de référence, Grok-1 a obtenu des résultats qui « surpassent tous les autres modèles de sa classe de calcul, y compris ChatGPT-3.5 et Inflection-1 ». Toutefois, le modèle ne dépasse pas GPT-4, entraîné « avec une quantité de données d'entraînement et de ressources de calcul beaucoup plus importante ».

« À la frontière de la recherche sur le deep learning, une infrastructure fiable doit être construite avec le même soin que les ensembles de données et les algorithmes d'apprentissage. Pour créer Grok, nous avons construit une pile d'entraînement et d'inférence personnalisée basée sur Kubernetes, Rust et JAX », précise l’équipe de xAI qui se projette déjà : « Nous nous préparons actuellement à faire un autre bond en avant dans nos capacités de modélisation, ce qui nécessitera de coordonner de manière fiable des cycles d'entraînement sur des dizaines de milliers d'accélérateurs, d'exploiter des pipelines de données à l'échelle de l'internet et d'intégrer d'autres types de capacités et d'outils dans Grok ». A ce jour, le modèle ne dispose pas d’autres capacités comme la vision et l’audio mais l’équipe de xAI prévoit de doter son LLM de « ces différents sens » très prochainement.

L’outil scanne Twitter en temps réel, un risque de désinformation ?

Ce qui pose des problèmes ici, c’est la façon dont Grok est entraîné et les données utilisées pour cela, mais aussi son accès limité aux abonnés payants du réseau social. « Nous donnons à Grok l'accès à des outils de recherche et à des informations en temps réel, mais comme pour tous les LLM formés à la prédiction du prochain mot, notre modèle peut toujours générer des informations fausses ou contradictoires ». Par « outils de recherche et informations en temps réel », xAi entend notamment le réseau social Twitter. Si aux yeux d’Elon Musk il s’agit d’un sérieux avantage par rapport aux autres modèles, aux yeux des régulateurs, des fact-checkers et bien d’autres, cela représente un cauchemar. Désormais monnaie-courante sur Twitter, la problématique de la désinformation a été au cœur des discussions, parfois enflammées, depuis le rachat du réseau social par le milliardaire.

Il y a un peu plus d’un an, le fondateur de SpaceX et Tesla en a fait l’acquisition et a rapidement fait le ménage au sein de l’entreprise afin d’en faire « une entreprise rentable ». Passant de 7 500 à 1 300 employés en janvier dernier selon CNBC, le réseau s’est privé de nombreuses personnes travaillant au sein de l’équipe de confiance et de sécurité, chargée de formuler des recommandations politiques, des modifications de conception et de produits et assure, in fine, la sécurité des utilisateurs de Twitter. Une seconde vague de licenciements a par ailleurs eu lieu un mois plus tard touchant notamment les équipes techniques. Avec des effectifs réduits, les fausses informations ont commencé à circuler plus rapidement qu’auparavant et un choix fait par Elon Musk n’a, en outre, rien arrangé. En mai dernier, celui-ci a décidé de se désengager du code de bonnes pratiques de l'Union européenne contre la désinformation en ligne. Même si son adhésion est volontaire, cela marque une rupture, notamment avec les fact-checkeurs qui travaillent à la surveillance de la désinformation sur les réseaux sociaux. De plus, en indiquant que Grok est connecté en direct aux données de X, la question de la légalité de cet usage se posera très probablement notamment dans des régions comme l'Europe. 

Pour les abonnés premium et une version pour Tesla en vue

Pour l’heure, Grok est encore en version bêta et seuls les utilisateurs vérifiés de Twitter basés aux États-Unis peuvent y accéder via un programme d’accès anticipé de xAI. Si le fait de payer pour les fonctions avancées du réseau social peut démotiver certains utilisateurs, avoir accès à un tel LLM pourrait s'avérer être un bon moyen pour encourager d'autres à payer le prix fort pour s'en servir. A ce jour, l'abonnement Premium+ est de 16 $/mois HT aux Etats-Unis (proposé à 19,20 €/mois HT en France), ce qui représente une somme considérable par comparaison avec l'abonnement Premium à 8 $/mois HT (9,60 €/mois HT en France). De son côté, ChatGPT basé sur GPT-3.5 est gratuit tandis que la version basée sur GPT-4 coûte 20 $/mois HT. Il faudra donc attendre quelque temps en Europe avant de pouvoir tester ses capacités et connaissances et vérifier si, hormis ses traits d’humour, ce LLM diffère vraiment d’autres produits déjà présents sur le marché.

Pendant ce temps là, d'autres usages de Grok pourraient voir le jour. Le CEO de Tesla a ainsi suggéré que les véhicules de la firme américaine pourraient exécuter nativement une version plus petite de l'assistant IA. Ce week-end, un utilisateur du réseau social et passionné de Tesla, Chuck Cook, a remarqué qu'Elon Musk aimait un article disant qu'une version plus petite et quantifiée du modèle d'IA Grok fonctionnerait nativement sur Tesla avec une puissance de calcul locale. Relevé par le média Teslarati, cette information laisse supposer que les Teslas seraient probablement dotées de la plus grande quantité de calcul d'inférence utilisable au monde. L'information a ensuite été confirmée par Elon Musk lui-même : « À condition que l’ordinateur d’IA de notre véhicule soit capable d’exécuter le modèle, Tesla disposera probablement du plus grand nombre de véritables calculs d’inférence utilisables sur Terre. Même dans un futur robot-taxi, les voitures ne seront utilisées que pendant environ 1/3 d'heures/semaine, laissant 2/3 pour l'inférence distribuée, comme SETI » .