L'ex-Pôle Emploi met en ligne des millions d'offres d'emploi par an. Du fait de ce volume, vérifier la conformité de ces annonces à la loi française est en soi un enjeu. Jusqu'à récemment, cette vérification était basée sur des règles métier. « Mais la proportion de faux positifs dépassait les 30%, ce qui obligeait les conseillers à passer du temps à revérifier les annonces. D'où l'idée de remplacer les règles par l'IA pour améliorer la pertinence du système », explique Agathe Ravilly, responsable de produit au sein du département IA de France Travail, service qui emploie quelque 60 personnes.

Construit en parallèle de la plateforme d'IA de l'organisme - une technologie Open Source tournant sur 28 GPU et ayant un accès sécurisé au datalake maison -, le service est aujourd'hui en production. « Notre application tourne avec 6 réseaux LTSM (Long short-term memory, un type de réseau neuronal récurrent, NDLR) et effectue 22 vérifications de conformité », précise Agathe Ravilly, qui a détaillé le fonctionnement de ce système baptisé LegO lors du World AI Cannes Festival (du 8 au 10 février, à Cannes). Une architecture modulaire, bâtie sur un cluster Kubernetes déployé on-premise, permet de mettre à jour un modèle indépendamment de l'ensemble de l'application.

Etiqueter les données d'apprentissage

Si France Travail s'est attaché à développer une plateforme pensée pour la production - elle accueille pas moins de 15 applications d'IA différentes aujourd'hui, dont le test de conformité des offres d'emploi -, l'organisme a dû, pour ce dernier, se pencher sérieusement sur les données nécessaires à l'entraînement des modèles. « Nous avons mené un important travail de préparation des 35 jeux de données nécessaires à la phase d'apprentissage », décrit Agathe Ravilly. 50 000 offres d'emploi ont ainsi été sélectionnées, découpées en phrases unitaires, puis tagguées par des experts (via un outil interne appelé Replay). Un passage obligé pour apprendre aux modèles ce qui relève d'une non-conformité. « Un guide d'étiquetage a même été mis au point pour éviter les différences d'interprétation entre experts, ainsi qu'un monitoring de ces activités, détaille la responsable de produit. Et deux fois par jour, une session de travail permettait aux experts mobilisés d'échanger sur les difficultés rencontrées. C'est une phase un peu ennuyeuse, mais essentielle. »

Ce travail préparatoire a permis d'atteindre un niveau d'exactitude de 82%, amenant l'application en production dès 2021. Aujourd'hui, elle traite quelque 600 000 offres d'emplois par mois, 20% d'entre elles se révélant non-conformes (par exemple parce qu'elles précisent le genre attendu des candidats, leur demande d'être en bonne santé, etc.).

Les apports attendus de l'IA générative

Si l'application fournit une performance satisfaisante (avec une disponibilité de 100% depuis sa mise en production et un temps de traitement moyen de 300 ms), le département IA de France Travail réfléchit à quelques perfectionnements. Comme la collecte des feedbacks des conseillers sur les résultats de l'application, afin de mieux superviser les performances des modèles, pour l'instant suivies via des données de supervision et un échantillonnage tous les six mois.

« Par ailleurs, la correction des annonces détectées comme non-conformes prend du temps aux conseillers, qui doivent reformuler et adapter les textes », souligne Agathe Ravilly. Un domaine où l'IA générative pourrait apporter une aide certaine, estime-t-elle. Tout comme dans les tâches d'étiquetage des données d'entraînement, afin de réduire les interventions humaines, ou dans la conception de nouvelles interfaces, facilitant les interactions avec les conseillers. « Nous voulons apporter les capacités de LLM Open Source à notre plateforme d'IA », résume Agathe Ravilly.