Les premières annonces de développement des puces Phi datent de 2010. À l'époque, le processeur était présenté comme la continuation d'une puce appelée Larrabee, qui devait devenir la première puce graphique d'Intel. Mais finalement, le projet Larrabee a été abandonné. « Les puces Phi n'ont pas été conçues pour être des processeurs graphiques », a expliqué Joe Curley. « La puce est bonne pour la visualisation et les applications graphiques, mais elle n'est pas conçue pour les API de haut niveau, généralement utilisée pour les applications graphiques comme les jeux », a encore précisé le directeur marketing d'Intel. Certains éléments de conception de Phi sont également tirés d'un processeur expérimental 48 coeurs destiné au cloud et d'un projet de puce 80 coeurs destiné au calcul haute performance.

Avec Phi, Intel se conforme en quelque sorte à la loi de Moore, qui prévoit le doublement du nombre de transistors dans les puces tous les deux ans environ, et donc le doublement de son rendement. Mais, équilibrer la performance avec la consommation d'énergie a été un défi. Il fallait aussi que les programmeurs écrivent du code capable d'être traité par l'architecture multicoeur des puces. Intel fournit les outils logiciels pour écrire ou recompiler des applications pour les puces Phi. Selon Joe Curley,  « ce n'est pas difficile de recompiler le code x86 existant en applications haute performance capables de profiter pleinement de l'architecture multicoeur des puces ». Le directeur marketing d'Intel a aussi déclaré que les puces Phi pouvaient également travailler en association avec des processeurs ARM, « mais la construction d'un tel système supposait des investissements massifs de la part des fabricants de serveurs ».  Selon Joe Curley, « techniquement, rien ne s'y oppose ». Mais les implémentations de Phi « se feront uniquement sur des serveurs équipés de processeurs x86 ».