Le mélange croissant de médias sur le web a compliqué le travail des moteurs de recherche qui sont le principal outil pour retrouver un sujet, une image ou une vidéo. Pour mieux répondre aux requêtes des internautes, Microsoft a en partie revu le moteur de son outil Bing avec une technique d'IA baptisée Space Partition Tree And Graph (SPTAG). Comme l'explique l’éditeur dans un article de blog, SPTAG permet aux développeurs de tirer parti de l'intelligence artificielle pour l’analyse des résultats de recherche qui passe au crible les vecteurs - représentations mathématiques des mots, pixels d'image et autres points de données - en quelques millisecondes. SPTAG (qui est écrit en C++ et enveloppé par Python) est au cœur d'un certain nombre de services de recherche Bing, selon Microsoft, et il a été utilisé pour aider les chercheurs de la société "mieux comprendre l'intention" derrière "des milliards" de recherches web.

C’est donc cet algorithme SPTAG que Microsoft passe aujourd’hui en open source sur GitHub afin d’aider les développeurs à créer des applications permettant d'identifier une langue parlée à partir d'un extrait audio, ou des services qui permettent aux utilisateurs de prendre des photos de fleurs et d'identifier le genre et l'espèce.