L'existence d'un robot, écrit dans le langage de programmation Go, indexant des sites web a été mis à jour par un développeur, Jan Moesen, qui a découvert qu'une partie du trafic de ses sites web était assurée par un mystérieux agent d'Apple.

Les demandes du robot d'indexation d'Apple concernent uniquement les parties texte des pages HTML, sans accéder au CSS qui l'accompagne, ni au JavaScript ou aux fichiers images. Jan Moesen a ainsi constaté que le robot d'indexation d'Apple se présente comme étant « Mozilla / 5.0 (compatible; Fetcher / 0,1)».

Une bande d'adresses IP attribuée à Apple

Le robot a été repéré avec une adresse IP commençant par « 17 », ce qui indiquerait que le code émane bien de serveurs d'Apple. On ne sait pas encore si l'algorithme est un projet officiel de société, ou si un employé a construit et piloté un robot à titre officieux à partir d'une machine de l'entreprise.

Il est possible que les efforts d'Apple soient liés à des améliorations de Spotlight dans les deux OS de la firme Mac OX 10.10 et iOS 8. Tous deux ont été mis à jour cet automne avec des améliorations qui permettent aux utilisateurs d'accéder directement à du contenu web, sans avoir besoin d'accéder à un outil de recherche tiers comme Google ou Bing.

Bien qu'Apple ne sont pas en concurrence directe avec Google Search ou Microsoft Bing, la société a déjà travaillé dans le domaine de la recherche pour fournir des données à son assistant vocal Siri.