HPE a annoncé le racbat de Pachyderm, une start-up qui propose une technologie open source pour aider les ingénieurs en machine learning à gérer le cycle de vie de leurs différents flux de données, tracer leur origine et modifications apportées. Basé à San Francsico, Pachyderm est parvenu à lever depuis sa création en 2014 plus de 28 M$, et a bénéficié notamment de fonds issus de la branche capital-risque de HPE (Pathfinder) depuis février 2022. Le bouclage de l'opération est prévu d'ici la fin du mois. A ce jour Pachyderm est proposé en trois versions : communautaire, entreprise (version-controlled platform) et Hub Edition (SaaS).
Les capacités d'automatisation, de collecte et de traçabilité des données (data lineage) de Pachyderm vont être utilisées par HPE pour aider leurs ingénieurs data à manipuler, configurer et monitorer plus efficacement les données sources embarquées dans leurs développements IA. Pachyderm prend en charge de nombreuses bibliothèques et frameworks et s'appuie notamment sur un conteneur pour packager du code, accélérer l'exécution du script bash et déployer des workflows en environnement de production. Faisant partie de la grande famille MLOps, le segment des outils de contrôle du cycle de vie d'apprentissage automatique de bout en bout sur lequel Pachyderm se positionne est loin d'être vierge de concurrence. Il faut aussi compter sur DVC et Kubeflow ou encore Neptune, MLflow...
Pachyderm intégrée à HPE Machine Learning Developement System
« Alors que les projets d'IA deviennent plus importants et impliquent de plus en plus des jeux de données complexes, les data scientists auront besoin de solutions d'IA reproductibles pour maximiser efficacement leurs initiatives d'apprentissage automatique, optimiser leurs coûts d'infrastructure et garantir la fiabilité et la sécurité des données, où qu'ils se trouvent dans leur parcours d'IA », a indiqué Justin Hotard, vice-président exécutif et directeur général HPC et IA chez HPE. « La solution d'IA reproductible unique de Pachyderm complète les offres d'IA de passage à l'échelle existantes de HPE pour automatiser et accélérer l'IA et débloquer de plus grandes opportunités dans l'analyse d'images, de vidéos et de textes, l'IA générative et d'autres besoins émergents ».
L'éditeur va intégrer cette technologie à son offre Machine Learning Developement System pour automatiser les pipelines d'algorithmie reproductible utilisés pour développer des applications IA à grande échelle. A noter que Lockheed Martin intègre déjà, notamment, le logiciel de Pachyderm et l'environnement de développement d'apprentissage machine de HPE dans le cadre de son projet AI Factory.