La Fondation Linux annonce aujourd'hui que Kedro, un framework Python open source pour créer des pipelines pour le machine learning est son dernier projet d'incubation. Il a été élaboré par QuantumBlack, une filiale de la société de conseil McKinsey et a été mis en open source il y a deux ans et demi. Il « a connu un engagement impressionnant de la part de la communauté » reconnait la Fondation. « La communauté et la base d'utilisateurs de Kedro continuent de croître avec plus de 200 000 téléchargements mensuels (sur Github), plus de 100 contributeurs et un nombre croissant d'entreprises qui choisissent Kedro » ajoute-t-elle.
Une annonce qui a fait l’unanimité au sein de Linux Foundation AI & Data : « Nous sommes ravis d'accueillir le projet Kedro au sein de LF AI & Data. Ce projet open source fournit un cadre pour la création de code d'apprentissage automatique qui applique de manière unique les meilleures pratiques d'ingénierie logicielle, ce qui facilite le déploiement des développeurs dans les systèmes de production. Avec les nombreux défis qui existent dans la création de produits de machine learning, Kedro est un excellent ajout à notre portefeuille de solutions logicielles de projet et de technologie » a déclaré Dr Ibrahim Haddad, directeur exécutif de LF AI & Data.
Un framework écrit en Python
Pour rappel, un pipeline de ML est un flux de travail combinant plusieurs algorithmes de machine learning. Il peut y avoir de nombreuses étapes nécessaires pour traiter et apprendre à partir des données, nécessitant une séquence d’algorithmes. Les pipelines définissent les phases et l’ordre d’un processus d’apprentissage automatique.
QuantumBlack a créé Kedro en se basant sur les pratiques collectives de livraison de produits ML avec de grandes quantités de données brutes et non vérifiées. « Kedro a été développé pour remédier aux principales lacunes des mono-scripts et du "glue-code", car l'accent est mis sur la création d'un code de science des données facile à maintenir » poursuite la Fondation Linux. Parmi les autres avantages, citons l'amélioration de la collaboration au sein de l'équipe de développement.
Aider le passage du prototype à la production
Yetunde Dada, chef de produit sur le projet Kedro, a par ailleurs approuvé cette transition vers LF AI & Data, « reconnaissant l'importance de la gouvernance ouverte pour la croissance continue de la base d'utilisateurs et de la communauté de contributeurs de Kedro. En outre, le projet bénéficiera d'un rythme plus rapide d'innovation et d'adoption industrielle ».
De son côté, Ivan Danov, responsable technique du projet Kedro, décrit plus en détail la place de Kedro dans l'écosystème. « La façon la plus simple de décrire comment Kedro transforme les flux de travail des datascientists est de regarder comment React a aidé les développeurs front-end lors de la création d'interfaces utilisateur. Alors que l'apprentissage automatique peut changer la façon dont nous travaillons tous, nous reconnaissons que de nombreux projets ne parviennent pas à passer du prototype à la production. Kedro cherche à changer cela ».