Toute la bonne volonté du monde n’aura pas été suffisante. Meta AI et Papers with Code, une équipe autonome au sein de Meta AI Research, ont présenté, le 15 novembre dernier une démo publique d’un modèle de langage appelé Galactica pour « l'organisation automatique de la science ». Le modèle est entraîné sur un large corpus de connaissances scientifiques de l'humanité comprenant plus de 48 millions d'articles, de manuels et de notes de cours, des millions de composés et de protéines, des sites web scientifiques, des encyclopédies etc. Concrètement, il stocke, combine et raisonne sur des connaissances scientifiques afin d’accélérer la rédaction d’articles à ce sujet. Papers with Code a même annoncé que le modèle est disponible en open source sur GitHub.  

Le 15 novembre, Papers with Code annonçait le lancement de Galactica.

Seul hic dans cette histoire : des utilisateurs ont découvert ces derniers jours que Galactica pouvait également générer des inepties. Michael Black, directeur du Max Planck Institute for Intelligent Systems en Allemagne, qui travaille sur le deep learning, a ainsi qualifié les résultats de « faux ou biaisé » mais qui « sonnaient juste et avec autorité ». D’autres utilisateurs ont rapidement découvert que n'importe qui pouvait taper des invites racistes ou potentiellement offensantes et générer tout aussi facilement un contenu faisant autorité sur ces sujets. L’un d’entre eux l'a notamment utilisé pour créer une entrée wiki sur un document de recherche fictif intitulé « Les avantages de manger du verre pilé ». L’expérience a été répétée avec les « avantages de l'antisémitisme » avec des détails sur toutes les façons dont « les Juifs » subjuguent les autres races et religions. Même lorsque la production de Galactica n'était pas offensante, le modèle pouvait attaquer des faits scientifiques établis, et sortir des inexactitudes telles que des dates incorrectes ou de faux noms d'animaux. Ce déluge de commentaires négatifs de la part de la communauté scientifique a amené au résultat que l’on connaît : la démo a été mise hors ligne, à peine trois jours après son lancement.

« Organiser la science », une mission ambitieuse

L’idée était pourtant bonne : avoir un outil à disposition des chercheurs universitaires pour explorer la documentation, poser des questions scientifiques, écrire du code scientifique, etc. Lors des tests de connaissances techniques telles que les équations LaTeX, Galactica a surpassé le dernier GPT-3 de 68,2 % contre 49 %. Il a également démontré de bonnes performances en matière de raisonnement, surclassant Chinchilla en MMLU (41,3 % contre 35,7 %) et PaLM 540B en MATH avec un score de 20,4 % contre 8,8 %. L’équipe de chercheurs ajoute que « Bien qu'il n'ait pas été formé sur un corpus général, Galactica surpasse BLOOM et OPT-175B sur BIG-bench. Galactica est également nettement moins toxique que les autres modèles de langage basés sur des évaluations ». Ces premiers résultats positifs ont, dès lors, démontré le potentiel des modèles de langage en tant qu’interface pour la science. Yann Le Cun, lauréat du prix Turing et scientifique en chef IA de Meta, a défendu Galactica jusqu'au bout. Le jour de la sortie du modèle, Yann LeCun a tweeté : « Tapez un texte et Galactica générera un article avec les références pertinentes, les formules et tout le reste ». Trois jours plus tard, il écrivait : « La démo de Galactica est hors ligne pour le moment. Il n'est plus possible de s'amuser en l'utilisant avec désinvolture. Content ? ».

Sur le site dédié à Galactica, Papers with Code et Meta AI sont toutefois transparents quant aux limites existantes lors de l’utilisation du modèle, y compris la démo sur ce site. « Il n'y a aucune garantie de véracité ou de fiabilité des résultats obtenus par les modèles de langage, même ceux qui sont entraînés sur des données de haute qualité comme celles de Galactica ». Est d’ailleurs précisé en majuscule : « NE SUIVEZ JAMAIS LES CONSEILS D'UN MODÈLE LINGUISTIQUE SANS VÉRIFICATION ». Le site précise également que « Galactica est efficace pour générer du contenu sur des concepts bien cités, mais il l'est moins pour les concepts et idées moins cités, où l'hallucination est plus probable. Les modèles linguistiques sont souvent confiants mais erronés. Certains textes générés par Galactica peuvent sembler très authentiques et très sûrs d'eux, mais peuvent être subtilement faux sur des points importants. C'est particulièrement le cas pour les contenus très techniques ».

Des défauts insurmontables ?

Cette mise en garde – même si elle se trouve en bas de page et n’est sûrement pas lue par tout le monde – est une façon de se dédouaner quant aux mauvais résultats que pourrait produire Galactica. Ce n’est pas la première fois que les dérives de l’IA se retrouvent sous le feu des projecteurs. Utilisée dans de nombreux secteurs, l’intelligence artificielle reste cantonnée à des usages précis et contrôlés en raison de ses dérives. Son usage dans les processus d’embauche est un cas parmi d’autres mais qui révèle toute l’ambiguïté de la technologie. Dans un secteur comme l'informatique, qui a connu des problèmes historiques de diversité, former un algorithme sur d’anciennes données d'embauche peut s’avérer être une erreur fatale.

« Il est très difficile de s'assurer qu'un logiciel d'IA n'est pas intrinsèquement biaisé ou n'a pas d'effets biaisés », explique Ben Winters, chargé de l'IA et des droits de l'homme à l'Electronic Privacy Information Center (EPIC) – un centre de recherche indépendant à but non lucratif situé à Washington. Bien que des mesures puissent être prises pour éviter cela, ajoute-t-il, « il a été démontré que de nombreux systèmes ont des effets biaisés basés sur la race et le handicap ». De même, si les personnes noires étaient systématiquement exclues, ou qu’aucune femme ne travaillait dans l’entreprise, et qu’un algorithme basé sur cela est créé, alors il n'y a aucune chance que le futur prédise une diversité dans les profils. L’histoire se répète ici avec Meta et son modèle Galactica, trop orgueilleux pour admettre que cette technologie possède encore aujourd’hui de (trop) nombreux défauts.