Après l’annonce, par Yahoo, du plus gros vol de données de l'histoire de l’informatique, Cloudera et Intel ont fait savoir cette semaine qu’ils avaient confié à l'Apache Software Foundation un nouveau projet open source de cybersécurité exploitant l’analyse big data et le machine learning. Il porte notamment sur la détection des menaces avancées. Créé à l'origine par Intel et lancé au mois de février dernier sous le nom Open Network Insight (ONI), le projet, accepté dans l’incubateur de l'Apache Software Foundation, s’appellera désormais Apache Spot.

« L'objectif est de créer un modèle de données commun que tout développeur pourra intégrer dans ses applications afin de les doter de capacités analytiques leur permettant de prendre en charge des problèmes de cybersécurité », a déclaré Mike Olson, cofondateur et directeur de la stratégie de Cloudera, lors de la conférence Strata+Hadoop World (qui s'est tenu du 26 au 29 septembre à New York). « C’est un gros défi, mais la solution pourrait avoir un impact énorme partout dans le monde », a-t-il ajouté. Basé sur la plate-forme big data de Cloudera, Spot pourra s’appuyer à volonté sur Apache Hadoop pour centraliser la gestion des logs et stocker les données à grande échelle, mais aussi sur Spark Apache pour l'apprentissage machine (cf « Hadoop versus Spark : 5 choses à savoir »), le but étant d’offrir une détection des anomalies en temps quasi réel.

L'apprentissage machine utilisé comme un filtre

Le logiciel pourra analyser des milliards d'événements pour détecter les menaces inconnues ou initiées en interne et apporter une nouvelle visibilité sur l’état du réseau. Principalement, Apache Spot utilisera l'apprentissage machine comme un filtre afin de séparer le trafic inoffensif du trafic dangereux et rendre compte des comportements inhabituels sur le réseau. Il utilisera également plusieurs procédures, comme l'enrichissement contextuel, le filtrage de bruit, les listes blanches et les fonctions heuristiques pour produire une liste des menaces les plus probables. Grâce à ces modèles ouverts, partagés entre le réseau, les points de sortie et l'utilisateur, Spot facilitera le croisement de données provenant de plusieurs applications. Il améliorera la visibilité des entreprises en matière de sécurité et complétera leurs capacités d'analyse. Grâce à ces modèles ouverts, ces dernières pourront aussi partager plus facilement leurs données d’analyse en cas de découverte de nouvelles menaces.

Le projet compte à ce jour plusieurs contributeurs dont eBay, Webroot, Jask, Cybraics, Cloudwick et Endgame. « La communauté open source est l’environnement idéal pour Apache Spot, car elle va favoriser l’adoption d’une approche collective de la lutte contre la cybercriminalité », a déclaré Ron Kasabian, vice-président et directeur général de l’Analytics and Artificial Intelligence Solutions Group d'Intel. « L'expertise conjointe des contributeurs va contribuer à diffuser plus largement l’idée du modèle ouvert de données que propose Apache Spot. Le projet met également en place les bases d’une collaboration qui doit permettre de résoudre l’un des défis parmi les plus complexes, en évolution constante, que représente l'analyse de la cybersécurité ».