Le projet Open Source que cherchent à créer Charmed Labs et l'Université de Carnegie Mellon vise à équiper des robots d'un oeil rudimentaire à l'aide d'une caméra capable de détecter, d'identifier et de suivre le mouvement d'objets spécifiques. Le capteur de la caméra Pixy, qui est en cours de développement par les deux organismes, est capable de trouver des objets en fonction de sept couleurs, puis de transmettre l'information à un ordinateur. Une campagne pour lever des fonds a été lancée jeudi dernier sur Kickstarter, une plate-forme destinée à financer ce projet de 25 000 dollars.

« Avec la caméra Pixy, on peut considérer que les robots sont dotés d'une  vision basique », a déclaré Rich LeGrand, fondateur de Charmed Labs. « Une fois la vision obtenue, on peut introduire la notion de tâches », a-t-il ajouté. La caméra peut reconnaître des éléments simples basés sur de la couleur, comme un dinosaure mauve, ou une boule verte. Les objets sont également reconnus à l'aide de marques de couleur spécifiques ou de codes. Une prise de courant peut, par exemple être reconnue par la caméra lorsque des stickers de couleurs spécifiques sont placés les uns à côté des autres sur l'objet. Fait intéressant, le mécanisme de codage couleur est également utilisé à Bombay comme un moyen low-tech pour les livreurs de repas "dabbawallas" 

Le robot peut communiquer les résultats à un ordinateur par le biais de multiples mécanismes de sortie, ainsi les amateurs disposent de nombreuses façons pour  traiter l'information. La caméra Pixy est équipée de processeurs ARM Cortex M0 et M4, d'un capteur 1 280 x 800 pixels, de 264 Ko de cache et de 1 Mo de stockage flash.