Si l'année dernière, l’enjeu était encore d'exploiter le potentiel de ChatGPT et de services similaires via des navigateurs et des applications, les efforts se portent désormais sur l’exécution de l'IA générative directement sur le terminal ou en mode hybride. Du point de vue des fabricants de terminaux, cet intérêt se justifie, car l'IA offre la possibilité de réactiver le marché des PC et des smartphones, quelque peu assoupi. Reste à savoir si ces initiatives intéresseront aussi les utilisateurs professionnels.

L'IA embarquée de Qualcomm

Qualcomm fait partie des acteurs qui cherchent à embarquer l’IA sur le terminal. Avec sa puce Snapdragon 8 Gen 3 (sur base Arm) pour smartphone Android et son processeur Snapdragon X Elite (aussi sur base Arm) pour PC portable Windows, dotés tous deux d'une NPU (Neural Processing Unit) intégrée, l'entreprise s’est déjà engagée fin 2023 dans la voie des composants optimisés pour l'IA. Si les ordinateurs portables équipés du Snapdragon X Elite ne seront pas commercialisés avant l'été, les Xiaomi 14, Xiaomi 14 Ultra et Honor Magic 6 Pro, dévoilés récemment, offrent des exemples récents de smartphones capables d’utiliser l'IA de différentes manières grâce au Snapdragon 8 Gen3. Lors du Mobile World Congress de Barcelone, l'entreprise a démontré les performances du SoC Snapdragon sur un smartphone Android en utilisant le Large Language and Vision Assistant (LLaVA), un système d’IA open source rival de GPT-4 qui comble le fossé entre la compréhension visuelle et textuelle. Selon le fournisseur, c’est le premier grand modèle de langage multimodal (LLM) à fonctionner sur un smartphone. Le modèle, qui compterait plus de sept milliards de paramètres, peut accepter non seulement du texte, mais aussi des images et de la parole en guise d'invite.

Dans l'une des démonstrations, Qualcomm a montré des images de différents ingrédients, avant de créer hors ligne une recette avec ces ingrédients, l’objectif étant d’estimer le nombre de calories de la recette. Dans une autre démonstration, le programme graphique open source GIMP a été utilisé avec le plug-in Stable Diffusion sur un ordinateur portable Snapdragon X Elite, comparé à un modèle animé par une puce x86 Intel Core Ultra 7, afin de montrer les avantages d'un matériel conçu pour l'IA générative. Qualcomm affirme que le PC Snapdragon est trois fois plus rapide pour la génération d'images que le système sans NPU.

Une plateforme de développement pour les modèles d'IA

Lors de ce même MWC, Qualcomm a aussi dévoilé l'AI Hub. Cette plateforme propose une bibliothèque de modèles d'IA pré-optimisés pour un déploiement transparent sur les termianux équipés de puces Snapdragon, aussi bien des smartphones,des PC, des casques AR/VR que d’autres équipements. La liste comprend non seulement des solutions d'IA générative bien connues comme Stable Diffusion, Llama ou ControlNet, mais aussi divers modèles pour la reconnaissance vocale, la classification d'images, la reconnaissance d'objets, la mise à l'échelle d'images, etc. Selon le fournisseur, les développeurs peuvent exécuter les modèles avec quelques lignes de code, même sur des serveurs hébergés dans le cloud et fonctionnant avec des puces Qualcomm. Par ailleurs, il est évident que, en tant que fabricant de modems, la firme de San Diego ne se concentre pas uniquement sur l'IA embarquée : l’entreprise est convaincue que la combinaison avec le cloud peut apporter d'autres avantages. « L'avenir de l'IA générative est hybride », a déclaré Cristiano Amon, le CEO de Qualcomm. « L'intelligence embarquée sur un terminal travaille avec le cloud pour offrir plus de personnalisation, de confidentialité, de fiabilité et d'efficacité ». M. Amon a souligné l'importance de la connectivité pour mettre à l'échelle et étendre l'IA générative au-delà du cloud, de l’edge et du périphérique.

Connexions optimisées par l'IA

Parallèlement, l'IA peut aussi contribuer à fournir une connectivité de nouvelle génération. Par exemple, le dernier modem-RF Snapdragon X80 5G avec agrégation de six porteuses (6CA) et avec six antennes de réception (6Rx) utilise l'IA pour optimiser l'utilisation de ces dernières dans un smartphone. Selon Qualcomm, il est ainsi possible d'améliorer la qualité du signal et donc le débit des données, tout en augmentant l'efficacité énergétique. Le Snapdragon X80 prend aussi en charge les connexions satellites NB-NTN (Narrow Band Non Terrestrial Network). La dernière version de la puce radio FastConnect 7900 de Qualcomm utilise également l'IA pour augmenter les performances et améliorer l'efficacité énergétique. L’objectif ici est de comprendre l'utilisation de la connexion WiFi, par exemple pour regarder des vidéos, écouter de la musique ou pour des réunions en ligne, et optimiser la connexion en conséquence. Selon le fournisseur, une telle puce alimentée par l’IA peut permettre d'économiser jusqu'à 30 % d'énergie par rapport aux applications sans IA. En outre, de nombreux paramètres WiFi pourraient être mieux ajustés pour offrir une expérience optimale à l'utilisateur. Le circuit FastConnect 7900 prend en charge les technologies WiFi 7, WiFi 6E et WiFi 6 pour des vitesses de pointe allant jusqu'à 5,8 Gbps. Elle intègre aussi le Bluetooth et l’Ultra-Large Bande (UWB) sur une seule et même puce. Enfin, elle consomme moins d'électricité que la génération précédente.