A l'occasion du lancement de son LLM multimodal Gemini, Google en a profité pour dépoussiérer sa solution de génération de code, AlphaCode. La deuxième version s'appuie dorénavant sur Gemini Pro et se veut une réponse à Copilot de GitHub (qui tire partie de GPT d'OpenAI), mais aussi d'autres concurrents comme CodeWhisperer d'AWS ou plus récemment Code Llam de Meta.
Selon Google, ce service est en nette amélioration par rapport à l'ancien et serai plus de 10 000 fois plus efficace en termes d'échantillons. Il ne nécessite que 100 échantillons générés pour atteindre les mêmes performances qu'AlphaCode, qui en nécessitait un million.
Des meilleurs résultats dans 12 concours Code Forces
Le modèle a été affiné sur un autre ensemble de données de meilleure qualité selon un rapport de recherche de Google. Lorsqu'AlphaCode 2 a été testé sur 77 problèmes dans le cadre de 12 concours CodeForces - où il s'est mesuré à plus de 8 000 programmeurs au total - il a par exemple réussi à résoudre près de la moitié d'entre eux. « En établissant une correspondance avec les classements des concours, nous estimons qu'AlphaCode 2 se situe en moyenne au 85e centile, c'est-à-dire qu'il obtient de meilleurs résultats que 85 [pour cent des participants], se classant juste entre les catégories Expert et Candidat maître sur Codeforces », ont fait savoir les chercheurs.