Hier, Hortonworks a dévoilé la dernière version de son système intégré DataFlow (HDF) pour la gestion des données et l’analyse des flux en continu. Avec sa distribution Hadoop HDP, HDF constitue le cœur des offres Connected Data Platforms de l’éditeur spécialisé dans les technologies Hadoop. Pour Jamie Engesser, vice-présidente de la gestion des produits chez Hortonworks, la version 2.0 de HDF reflète l’intérêt croissant pour l'analyse en continu à un moment où les clients doivent gérer de plus en plus de données provenant des appareils IoT et autres objets connectés, ou encore les informations issues de l’analyse des parcours de navigation sur Internet et de l’analyse des sentiments. « Nous avons constaté une forte adoption de Hortonworks DataFlow par notre base client », souligne-t-elle dans un communiqué. « Les clients veulent clairement une solution intégrée, en temps réel, pour la diffusion des données ».

HDF est né en août 2015, après l'acquisition par Hortonworks de Onyara, créateur et contributeur essentiel du projet open source de premier niveau Apache Nifi. Les ingénieurs de Onyara ont formé le noyau de l'équipe à l’origine de HDF. L’objectif de la plateforme est de faciliter l'automatisation et la sécurisation des flux de données et de simplifier la collecte, l'analyse et l’exploration en temps réel des flux utiles pour l’activité de l’entreprise. La dernière version, HDF 2.0, ajoute de nouvelles fonctionnalités dans l'interface utilisateur. L’objectif étant de simplifier le déploiement et les opérations en temps réel, d’améliorer la disponibilité (en particulier en matière de gestion des stratégies de sécurité) et les connexions avec les appareils IoT.

Nifi, Kafka et Storm intégrés dans la console de gestion Ambari

En premier lieu, HDF 2.0 propose une nouvelle expérience utilisateur plus graphique et l'intégration de Apache Nifi, Apache Kafka et Apache Storm dans la console de gestion Apache Ambari. « C’est un peu comme les Google Docs, mais pour la circulation des données d'entreprise », a expliqué Jamie Engesser. Ensuite, Hortonworks a intégré la nouvelle version avec Apache Ranger pour offrir une gestion centralisée et complète des stratégies de sécurité des flux entre les groupes. « Tout est centré sur les données », souligne la vice-présidente, responsable des produits. « Comment traduire ces stratégies en tactiques opérationnelles ? Comment déployer ? Comment surveiller ? Comment gérer tel ou tel aspect ? Comment réparer ? Désormais, tous les composants open source sont surveillés et gérés à partir d'une console centralisée ». Enfin, en ce qui concerne l’Internet des objets, HDF 2.0 dispose d'Apache MiNiFi, une nouvelle édition, allégée, d'Apache Nifi.

Selon Jamie Engesser, MiNiFi est équivalent à Apache Nifi, mais il tient dans un facteur de forme beaucoup plus petit qui peut être installé sur des appareils en bout de chaine, aussi bien des pylônes radios que des stations de production d'énergie ou des voitures connectées. Dans tous les cas, la collecte des données garantit une sécurité de niveau entreprise et la possibilité d’une gestion à grande échelle. Hortonworks fait témoigner l’un de ses clients, Prescient, spécialisé dans les solutions de gestion des risques sur mesure. Dans un communiqué, Mike Bishop, architecte en chef des systèmes de la société, explique que l’activité de Prescient a besoin d’éléments décisionnels résultant de la combinaison de données au repos et de données en mouvement, à grande échelle. « Nous tirons nos informations de plus de 49 000 sources différentes pour déterminer quels facteurs de menace - physique, santé, environnement - sont les plus pertinents pour la continuité des activités d’une entreprise ou la sécurité personnelle de certains voyageurs (les participants aux Jeux de Rio, par exemple). Connected Data Platforms nous permet de créer de la valeur pour nos clients et il est à la base de notre service en temps réel ».

Un programme de certification pour valider les intégrations avec HDF

Jamie Engesser fait remarquer que la sortie de HDF 2.0 coïncide avec l'ajout d'un nouveau programme de certification, HDF Product Integration, au programme Hortonworks Partnerworks existant. Celui-ci valide les intégrations pré-construites entre les principales technologies d'entreprise et HDF. Il inclut également un test et une certification des processus afin de s’assurer que le logiciel partenaire s’intègre bien avec HDF. « Un important écosystème est en train de se mettre en place », expose Jamie Engesser. « Les partenaires peuvent être certifiés et construire leurs propres connecteurs ». Des sociétés comme Attunity, HPE Security, Impetus Technologies, StreamAnalytix, SAS et Syncsort figurent parmi Parmi les principaux partenaires collaborant avec Hortonworks pour certifier des solutions conjointes.