« Fondé en 1911 par un vote populaire, le port de Seattle a pour mission de promouvoir les opportunités économiques et la qualité de vie dans la région en faisant progresser les échanges commerciaux, le transport, le commerce et la création d'emplois d'une manière équitable, responsable et respectueuse de l'environnement ». Telle est la mission que s’est fixée l’agence gouvernementale de cette ville de l’État de Washington. L'agence, qui supervise à la fois le port maritime de Seattle et l'aéroport international de Seattle-Tacoma, utilise l'intelligence artificielle (IA) et la vision par ordinateur (CV) pour détecter et inventorier les objets présents dans la zone de fret aérien de l'aéroport afin d'améliorer l'efficacité opérationnelle.

Selon Skip Tavakkolian, architecte système senior du port de Seattle, l’agence pense que l'apprentissage machine (ML) va fondamentalement changer le mode de fonctionnement du port. Le projet, baptisé PlaneInsight, n'en est qu’à ses débuts. « PlaneInsight a été développé essentiellement pour fournir à l'équipe chargée des technologies de l'information et des communications (TIC) une expérience concrète des techniques modernes de ML et de CV », a expliqué Skip Tavakkolian, en précisant que celui-ci n’était pas seulement un exercice académique. L'équipe de fret aérien compte sur PlaneInsight pour être plus efficace, réduire les retards et responsabiliser un peu plus les transporteurs de fret. « Pour les TIC et l’activité portuaire, l'apprentissage machine est une toute nouvelle discipline, à l’image de ce que l’on peut voir dans la plupart du secteur technologique », a ajouté M. Tavakkolian. « Dans un premier temps, le projet nous a permis de comprendre ce que nous pouvions faire avec le machine learning et d’identifier les problèmes pour lesquels le recours à des solutions autres que le ML serait peu pratique ou trop coûteux ».

L'aéroport international de Seattle-Tacoma, utilise l'intelligence artificielle (IA) et la vision par ordinateur (CV) pour détecter et inventorier les objets présents dans la zone de fret aérien. (Crédit D.R.)

« Les solutions manuelles ne sont pas évolutives », a encore expliqué M. Tavakkolian, et les solutions automatisées existantes, comme les capteurs de proximité, ont souvent besoin de matériel coûteux et spécialisé. « L'utilisation de la vision par ordinateur nous a permis d’exploiter notre infrastructure de caméras de sécurité existante pour les flux vidéo et notre infrastructure de datacenters pour collecter des instantanés, créer des sets de données de training, former des réseaux de neurones et faire de l'inférence (de l'analyse) sur les images », a-t-il ajouté. 

Matt Breed (à gauche), DSI, et Skip Tavakkolian, architecte système senior du Port de Seattle. (Crédit : Port de Seattle)

Du pilote à la production

PlaneInsight utilise les caméras de sécurité du port pour connaître le type, la localisation, l’apparence approximative des avions et des équipements au sol - échelles, groupes électrogènes, tapis convoyeurs, etc. PlaneInsight peut analyser l’image d'une porte d'embarquement pour déterminer le type d'avion (le cas échéant) qui se trouve au quai d’embarquement, pour faire une description des environs et de tout texte visible (comme le nom de la compagnie aérienne de l’avion). Ce projet a valu au port de Seattle le prix FutureEdge 50 Award pour les applications de technologies émergentes.

Skip Tavakkolian et Matt Breed, le DSI du port de Seattle, ont commencé à explorer les applications du machine learning et de la vision par ordinateur dans le port en 2016. En 2017, Skip Tavakkolian a créé, en étroite collaboration avec Chris Evans, chef d’équipe du port pour l'aviation et les systèmes électriques, un prototype de preuve de concept simple pour le présenter à un groupe chargé de soutenir des projets d’innovations pour le port. Sur la base de ce prototype, le directeur des opérations aériennes et le responsable des opérations et du développement du fret aérien ont parrainé le projet pilote devenu depuis PlaneInsight. « La décision initiale de consacrer un peu de temps et de ressources IT au prototype a été entièrement prise en interne par le département des TIC », a expliqué M. Tavakkolian, mais c’est le processus qui a permis de gagner le soutien de l'entreprise. « Ce processus permet de présenter des idées et des prototypes à des directeurs dans tout le port, de recevoir des fonds pour des projets pilotes et de faire passer ces idées et ces prototypes à l'étape suivante ». Grâce au parrainage des dirigeants, le département des TIC a travaillé en étroite collaboration avec l'équipe des opérations de fret aérien pour identifier les informations qui pouvaient être utiles à la fois en vue d’un usage en temps quasi-réel, pour de l’investigation et pour identifier des tendances sur la base d’un historique. Skip Tavakkolian a fait remarquer que les deux équipes cherchaient toujours à trouver des fonctions et des usages supplémentaires à ces données générées pour la détection d'objets. 

Training de PlaneInsight

Mais le plus grand défi restait à résoudre : trouver les compétences pour faire fonctionner PlaneInsight. « Bien comprendre les concepts d’apprentissage machine et de vision par ordinateur pour les mettre en pratique, bien comprendre les outils et les frameworks (comme Tensorflow, par exemple), aider à former d'autres personnes à ces concepts, a été l’étape la plus difficile », a reconnu M. Tavakkolian. « Les compétences en machine learning sont très demandées et les entreprises qui ne peuvent pas rivaliser sur le seul plan de la rémunération doivent prévoir de former leur personnel si elles veulent exploiter ces technologies ». Mais la formation du personnel n'est pas le seul problème. Le réseau neuronal convolutif (CNN), au cœur de PlaneInsight, avait besoin de set de données de training pour effectuer de l'apprentissage par transfert. Mais, créer un tel ensemble de données est une tâche très fastidieuse, car elle implique de marquer des dizaines de milliers d'images. En effet, il est indispensable de marquer tout objet intéressant présent dans chaque image (par exemple, « Boeing 737 »), de délimiter son emplacement (en dessinant un cadre autour de l'objet), et de préciser ses formes (par exemple, un polygone autour du contour de l'avion). C'est un travail extrêmement long et il n’existe pas de set de données standard de training nécessaire pour identifier les avions et les équipements au sol. Pour résoudre ce problème, le port a proposé un nouveau stage d'été en apprentissage machine aux élèves des écoles secondaires. « Près de la moitié des données de training ont été créées par nos lycéens stagiaires », a déclaré M. Tavakkolian.  

Le port a déployé le pilote de PlaneInsight en 2019, et depuis, il est opérationnel. PlaneInsight a non seulement permis à l'équipe de fret aérien d’être plus efficace, mais M. Tavakkolian affirme qu'il a contribué à sensibiliser l’entreprise à l’apprentissage machine. De plus, le port a pu identifier plusieurs autres usages possibles de la technologie, notamment dans la signalisation (en utilisant le traitement du langage naturel et la traduction automatique), dans les opérations de surface, la sécurité, l'inventaire, etc. L'équipe de fret aérien veut utiliser la vision par ordinateur pour effectuer l'inventaire automatique des équipements, vérifier des opérations en cours d’exécution partout sur le site, de les comparer aux événements prévus et d’évaluer les décalages entre les horaires prévus et réels.

Même certains appels d'offres de projets existants ont été complétés pour exiger l’usage du machine learning. « Les professionnels de l’IT savent qu’il y a toujours des évolutions à venir », a encore déclaré M. Tavakkolian. « Les technologies d'apprentissage machine et de réseaux de neurones profonds sont facilement accessibles aujourd’hui. L’action transformatrice de ces technologies sur l’IT sera peut-être la plus importante depuis l’avènement de l'internet, au milieu des années 1990. Mieux vaut se préparer dès maintenant à cette éventualité ».