La start-up californienne Anomalo s’est attelée à améliorer la qualité des données en mesurant les progrès réalisées. Elle a été fondée en 2018 par Elliot Shmukler, son CEO, et Jeremy Stanley, son CTO, témoins de problèmes entraînés par des données défaillantes ou trop anciennes. En octobre 2021, la société a levé 33 M$ en série A. Sa solution surveille les données d’une entreprise pour y détecter automatiquement les problèmes afin de pouvoir intervenir avant d’utiliser ces données pour une prise de décision. Depuis janvier, elle se connecte à Snowflake et désormais à Databricks.

Le tableau de bord Anomalo Pulse Dashboard regroupe en un seul endroit les informations sur la qualité des données pour surveiller les métriques principales à trois niveaux, la couverture des données, leur exhaustivité et leur intégrité. Il est ainsi possible de déterminer à quel endroit les améliorations doivent se concentrer. La solution peut être utilisée sous la forme d’un service cloud ou d’un déploiement VPC managé.

Des alertes en temps réel 

En début d'année, Anomalo peut surveiller la qualité des données dans n’importe quelle table du datawarehouse Snowflake développé nativement pour le cloud. L’outil se met en place en quelques minutes pour commencer son monitoring. Depuis cette semaine, le support de la plateforme concurrente Databricks a été ajouté. Là aussi, les utilisateurs d’Anomalo peuvent se connecter en quelques minutes aux lakehouses créés sur Databricks et sélectionner les tables qu’ils veulent surveiller sans avoir à écrire de code. La détection des problèmes se fait sur quatre critères, la fraîcheur des données, leur volume, les manques et les anomalies, décrit Anomalo dans un billet. 

Si les données ne respectent pas les règles qui ont été définies, des alertes sont émises vers les équipes en temps réel, par e-mail, Slack, Microsoft Teams ou PagerDuty. Une API est également proposée. Les utilisateurs peuvent alors consulter dans Anomalo le pourcentage de lignes affectées et l’analyse des causes.

Parmi les clients d'Animalo figurent des sociétés comme BuzzFeed (ci-dessus, l'un de leurs tableaux de bord Pulse), Discover Financial Services et Substack. (Crédit : Anomalo/Buzzfeed)