Un an après avoir lancé son LLM à 7 milliards de paramètres, Mistral AI continue son exploration des modèles de plus petites tailles. Sur ce créneau, connu en tant que SLM (small language model) il n'est pas le seul. Tous les acteurs (Anthropic, Meta, Google...) sont aussi présents et proposent des modèles capables de tourner sur des systèmes mobiles, peu gourmands en ressources et spécialisés sur des tâches spécifiques.

La jeune pousse française complète ainsi sa gamme avec Ministral en version 3B et 8B. "Ces modèles établissent une nouvelle frontière en matière de connaissances, de bon sens, de raisonnement, d'appel de fonctions et d'efficacité dans la catégorie inférieure à 10B, et peuvent être utilisés ou adaptés à une variété d'usages, de l'orchestration de flux de travail génératifs à la création de tâches spécialisées", explique Mistral AI.

Ministral

Comparatif des modèles Ministral 3B et 8B avec Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B et Mistral 7B sur plusieurs catégories. (crédit : Mistral AI)

A partir de 0,04$ par million de tokens en entrée/sortie

Ces derniers modèles ont aussi été conçu pour répondre à la demande des entreprises en matière d'inférence en local des modèles pour des débouchés variés sur des terminaux mobiles incluant aussi bien de la traduction, de l'assistance vocale, de l'analytique, de la robotique autonome... Avec pour points communs à la fois de l'efficience de calcul qu'une faible latence.

"Utilisés en conjonction avec des modèles de langage plus larges tels que Mistral Large, les "Ministraux" sont également des intermédiaires efficaces pour l'appel de fonctions dans des flux de travail génératifs. Ils peuvent être réglés pour gérer du parsing d'entrées, du routage de tâches et de l'appel API en fonction de l'intention de l'utilisateur dans de multiples contextes", fait savoir l'éditeur. Le tout avec un coût à l'usage modeste, soit en l'occurrence 0,04$ par million de tokens (entrée/sortie) pour Ministral 3B (Mistral Commercial License) et 0,1 $ pour Ministral 8B (Mistral Commercial License et Research License.