A la fin de l’été, Meta avait lancé Code Llama, un LLM profilé pour les développeurs. Aujourd’hui, la firme améliore son générateur de code avec Llama 70B. Dérivé de Llama 2, il a été entraîné sur plus de 500 milliards de tokens de code et de données connexes, ce qui signifie qu'il est beaucoup plus performant et robuste que les itérations précédentes du modèle. Il bénéficie également d'une fenêtre contextuelle plus large de 100 000 tokens, ce qui lui permet de générer des codes plus complexes.

L'entreprise met à la disposition du public plusieurs variantes de Code Llama 70B, dont une connue sous le nom de CodeLlama-70B-Instruct. Elle peut effectuer diverses tâches en langage naturel, telles que le tri, la recherche, le filtrage et la manipulation de données, ainsi que la mise en œuvre d'algorithmes, tels que la recherche binaire et factorielle.

Des optimisations pour Python

CodeLlama-70B-Python est, quant à elle, une itération optimisée pour générer du code en langage Python uniquement. Elle a été enrichie de 100 milliards de tokens supplémentaires basés sur le code Python afin de garantir une plus grande précision et une meilleure maîtrise de ce langage. Elle est capable de gérer toute une série de tâches, comme le web scraping, l'analyse de données, l'apprentissage automatique (ML) et le développement web. Les modèles Code Llama 70B peuvent être téléchargés dès maintenant via une série de plateformes, notamment Hugging Face, PyTorch, Jupyter Notebook et TensorFlow.

Mark Zuckerberg, CEO de Meta, a annoncé personnellement ce modèle dans un message public sur Facebook. « L'écriture et l'édition de code ont émergé comme l'une des utilisations les plus importantes des modèles d'IA aujourd'hui ». Il ajoute, « la capacité à coder s'est également avérée importante pour que les modèles d'IA traitent les informations dans d'autres domaines de manière plus rigoureuse et plus logique. Je suis fier des progrès réalisés dans ce domaine et je suis impatient d'intégrer ces avancées dans le Llama 3 et dans les modèles futurs ». Le marché de la génération de code est très prometteur comprenant plusieurs acteurs comme Copilot de GitHub (sur base OpenAI), mais aussi Code Whisperer d’AWS ou AI Code Generation chez Google Cloud.