En octobre 2022, Mugunth Vaithylingam, directeur informatique de l'Université du Sud-Nevada, s'est retrouvé assis à côté de Russ Logan, directeur de l'exploitation de l'AI Foundation, lors d'un vol New York - Las Vegas. Une rencontre fortuite qui a débouché sur une toute nouvelle façon pour l'établissement de personnaliser l'expérience de ses étudiants et de les motiver davantage à ne pas abandonner leurs études. Dès le lendemain, Mugunth Vaithylingam a rappelé son voisin de vol, débordant d'idées, et ensemble ils ont commencé à travailler sur le design d'un avatar innovant représentant le président de l'établissement, le Dr Federico Zaragoza. Objectif ? Proposer aux étudiants une connexion personnalisée avec la communauté universitaire (18000 personnes). La première version souhaitait la bienvenue aux étudiants depuis le site web de l'établissement, répondait à des questions basiques, les redirigeait vers le portail d'information, vérifiait comment ils allaient autant d'un point de vue émotionnel que par rapport à leurs études et proposait une première forme d'aide aux plus démotivés.

Le personnage virtuel a été déployé après la pandémie pour répondre aux besoins très spécifiques de cet établissement bilingue anglais espagnol, composé en grande partie de minorités. « Certains étudiants font la navette entre Los Angeles et Las Vegas (près de 450 km, NDLR), insiste le directeur informatique. La majorité réside sur l'un des trois campus de l'agglomération de Las Vegas. Et tous, sans exception, avaient besoin de soutien pour rectifier le tir après le chaos et les perturbations provoqués par le Covid. »

Un personnage léger adapté à la faiblesse du réseau mobile

Depuis, le personnage a été modifié à la demande du président lui-même, pour ressembler à un jeune étudiant, baptisé Ellie. Un moyen pour les vrais étudiants en chair et en os de mieux s'identifier à l'avatar. Toujours disponible sur le site web de l'université, il sera également bientôt accessible depuis les mobiles. Un défi plus important qu'il n'y paraît, car même le réseau 3G est parfois inexistant dans les zones où habitent les étudiants. « Si vous regardez notre site web, vous verrez qu'il n'est pas très élégant, note ainsi le directeur informatique de l'université. C'est tout simplement parce que le service mobile dans la région n'est pas toujours très bon. Certains étudiants ont uniquement accès à de la 2G ! » L'avatar a donc été conçu pour occuper peu de bande passante.

Pour autant, Mugunth Vaithylingam prévoit bel et bien de développer de nombreux services, prêts à déployer dès que la bande passante s'améliorera. C'est le cas par exemple de l'interfaçage avec le CRM de l'établissement, Grey Matter, une adaptation de Microsoft Dynamics 365 réalisée par l'intégrateur Frequency Foundry pour l'éducation. « L'intégration dans l'avatar de données comme les notes ou les devoirs à préparer va permettre de mieux identifier les étudiants en difficultés, ou moins assidus, pour comprendre leur situation et les soutenir » poursuit le directeur informatique. Ellie pourra ainsi fournir des ressources adaptées comme la mise en contact avec des tuteurs, des rendez-vous avec des conseillers, de l'aide pour la demande d'accompagnement financier ou la recherche d'emploi.

Un avatar nourri aux LLM, au NLP, au deep learning, etc.

Mugunth Vaithylingam crédite le directeur des opérations de l'AI Foundation pour la création complète de l'avatar de l'université et un autre membre de l'AI Foundation, Deepak Chopra, pour l'avoir inspiré. Le personnage virtuel a été construit avec AI.XYZ, la plateforme d'IA de la fondation qui combine ses recherches, des technologies qu'elle a brevetées, ainsi que des modèles d'IA open source avancés. L'objectif étant d'obtenir « une expérience utilisateur indolore qui ne nécessite aucune connaissance spécialisée », comme l'a précisé Russ Logan à CIO.com. Il rappelle que l'AI Foundation détient plus de six brevets liés à la synthèse vocale, au rendering visuel et à la cognition, exploités spécifiquement pour cet avatar.

« La plateforme propriétaire AI.XYZ repose sur des technologies de pointe de création de visages et voix de synthèse, mais aussi de gestion de connaissances et de la mémoire, entraînées de manière holistique pour ce cas d'usage particulier, détaille Russ Logan. Chacun de ces domaines technologiques clés a ses spécificités tout à fait uniques, mais l'ensemble s'appuie sur nos propres modèles de deep learning, de LLM (grands modèles de langage), de NLU (compréhension du langage naturel), de NLP (traitement du langage naturel), d'ASR (reconnaissance vocale automatisée) et d'autres types d'IA. » Ellie a été conçu par le moteur de création d'avatars d'AI.XYZ, avant d'être importée dans son moteur de génération en temps réel de scènes visuelles animées. « L'avatar est connecté à nos nombreux data sets et systèmes pour "penser" ? "parler" et "écouter" l'utilisateur qui s'adresse à elle, émulant une conversation humaine réaliste, poursuit Rush Logan, qui rappelle qu'Ellie parle anglais et espagnol en utilisant le moteur de synthèse vocale en temps réel de AI.XYZ.