En direct de New-York. Un an après sa première conférence utilisateurs Dash, c’est toujours à Manhattan que Datadog a convié clients et partenaires pour la seconde édition de sa convention. Les 16 et 17 juillet, Datadog attendait 1 400 personnes sur les docks (Piers 59 à 61) pour mettre en avant ses dernières propositions sur le marché de l’APM 2.0, la surveillance des principales métriques cloud. Après une introduction de son sponsor Google Cloud lors de la keynote du 17 juillet qui nous a rappelé la KubeCon, Datadog est entrée dans le vif du sujet avec Alexis Lê-Quôc, cofondateur et CTO de l’éditeur, qui a introduit plusieurs services supplémentaires proposés aux clients. Traces without Limits for APM, Log based Metrics, Metrics without Limits, Log Rehydration, Watchdog Infrastructure, Network Performance Monitoring et enfin une annonce très bien accueillie par les clients dans la salle : le support de Javascript.
Le témoignage de Kartik Garg, responsable de la plateforme cloud chez Hulu (un service de vidéo à la demande), est une très belle référence pour Datadog.
Après sa proposition Logging without Limits de l’an dernier qui a secoué le marché de la gestion des logs avec un tarif très compétitif (10 cents par Go), Datadog revient avec Traces without Limits un service permettant aux entreprises de rechercher toutes les entrées sans rééchantillonnage et de stocker sur le long terme toutes les empreintes des utilisateurs. Comme l’explique l’éditeur, les outils APM traditionnels prélèvent des échantillons de traces sur un host en raison du coût prohibitif de l'entreposage de tous les indicateurs. Cela fonctionne dans des environnements monolithiques mais devient difficile avec une architecture de type microservices, où les requêtes d'un seul utilisateur traversent plusieurs hosts, conteneurs, serverless et autres services tiers. Travailler en prélevant seulement quelques traces avec des applications distribuées conduit à exploiter des informations incomplètes et/ou avec des erreurs manquantes et des latences erronées. Et ce sont bien sûrs les éléments dont les développeurs ont le plus besoin pour optimiser la performance des applications distribuées.
Datadog a considérablement étoffé sa plateforme depuis sa proposition Logging without Limits de l'an dernier.
Avec Metrics without Limits, proposé au tarif de 10 cents les 100 métriques, Datadog propose d’agréger des logs sur une time serie pour créer des mesures à suivre dans ses tableaux de bord. L’idée est de permettre d’injecter des To de logs avec des time series à un prix super bas », nous a expliqué lors d’un entretien Renaud Boutet, directeur produit chez Datadog et ancien cofondateur de Logmatic racheté en novembre 2017 par Datadog. Interrogé sur le sujet à New York, Victor Bersy, directeur des opérations de Selectra, s’est montré très intéressé par ce service qui permet d’indexer et conserver une seconde de granularité pendant 15 mois. On conserve ainsi toutes les données avec les détails associés. Kartik Garg, responsable de la plateforme cloud chez Hulu (un service de vidéo à la demande) est venu expliquer sur scène durant la keynote pourquoi il avait choisi de travailler avec Datadog. Il s’agit de garder un couple de logs et de les résumer pour plus tard sous la forme de métriques. Une discussion post-keynote avec un consultant, spécialisé dans le conseil auprès des entreprises cherchant les solutions les plus adaptées à leurs problèmes, est particulièrement éclairante : « Mes clients ne peuvent pas consacrer plus de 10% de leur budget aux outils de monitoring et des fournisseurs comme New Relic ou Dynatrace sont beaucoup trop chers. Avec ses tarifs compétitifs, Datadog réussit souvent à faire la différence ». Et deux opérationnels participants à la discussion à notre table – et déjà clients de Datadog – ont acquiescé pour confirmer les affirmations du consultant.
Les administrateurs de Hulu remontent jusqu'à problème d'un client dans le passé pour comprendre l'anomalie et assurer un vrai service TV.
Fonctionnant également en mode SaaS, Tracing without Limits for APM permet aux développeurs de créer des règles personnalisées sur des balises importantes pour définir les indicateurs à stocker sur le long terme, telles que toutes les sorties de plus de 10 000 $, toutes les recherches effectuées par un client spécifique ou toutes les connexions d'une application déployer en mode Canary. Cela permet aux développeurs d’observer toutes les métriques, qu'il s'agisse du dépannage d'un problème simple ou plus spécifique chez un client. « Nous avons développé Tracing without Limits afin que les clients puissent éviter les compromis entre la visibilité totale des applications et leur coût », explique Brad Menezes, directeur produits chez Datadog. « Tracing without Limits donne aux ingénieurs une visibilité à 100 % sur les demandes de leurs utilisateurs et ne stocke que les traces problématiques à long terme pour l'analyse, ce qui permet à nos clients d'obtenir une résolution plus rapide ».
Poursuivant avec une annonce particulièrement appréciée lors de la keynote : Log Rehydration propose de retrouver pour analyse tous les logs archivés depuis moins de 15 mois sur Datadog (AWS S3). Les clients conservent leurs logs de 1 à 3 ans selon Renaud Boutet. En quelques minutes, l’outil permet de récupérer ses logs pour analyser des problèmes dans le cadre d’audits technique, business, et bien sûre sécurité. Cela permettra aux clients d'améliorer considérablement les coûts associés à la gestion des journaux qui doivent être stockés pour diverses raisons d'audit et de conformité, et qui sont pourtant peu susceptibles d'être consultés souvent. Des clients testent déjà ce service dont Hulu. Disponible pour commencer sur AWS, Log Rehydratation arrivera ce trimestre sur GCP et un peu plus tard sur Azure. Pour tarif, compter 10 cents par Go pour l’ingestion pour rehydrater la base et 10 cents le Go pour la partie scan (processing).
Les métriques associent des séries temporelles de logs pour analyser des paquets d'informations.
Lors de sa keynote, avec des annonces enchainées trop vite comme l’an dernier, Datadog a également insisté sur la partie monitoring des infrastructures avec Watchdog qui renforce le module infrastructure en plus de l’APM, et Network Performance Monitoring. Comme l’expliqué Miranda Kapin, chef de produit chez Datadog, « l’infrastructure n’est pas seulement utilisée avec du code que vous avez écris mais également avec d’autres services ». Il est donc nécessaire de superviser la topologie réseau pour pointer des nœuds spécifiques et regarder l’activité d’un service comme Elastic Search.
La découverte du réseau permet ensuite de pointer les problèmes avec les applications.
Brent Montague, administrateur chez Cvent, est venu témoigner de l’utilisation de Network Performance Monitoring pour obtenir une vue globale des dépendances réseau afin d’optimiser le trafic. « Les failles de sécurité peuvent par exemple compromettre le service, voilà pourquoi il est important de toujours collecter des métriques pour déceler des variations anormales ».
Brent Montague, administrateur chez Cvent, est venu témoigner de l’utilisation de Network Performance Monitoring
Avec Watchdog Infrastructure, l’éditeur propose un module disponible sans configuration. « On l’active et ça marche », a mis en avant Celene Chang, ingénieur logiciel senior chez Datadog. Basé sur le machine learning, Watchdog identifie automatiquement les problèmes potentiels au niveau de l’infrastructure, en sus des applications. L’approche de Watchdog consiste à observer toutes des données de performance et remonte à la surface les comportements anormaux qui seraient autrement restés invisibles. Ces observations aident les administrateurs à résoudre les problèmes de performance existants, ou à couper court aux problèmes émergents avant que les utilisateurs finaux ne les remarquent.
Comme l’an dernier, Datadog réussit à monter sur deux journées très denses tous les développements en cours dans la société - attention certains services sont encore en bêta - avec des ateliers techniques toujours très fréquentés. La dynamique est toujours là sur les plans techniques et marketings même si la société n’est plus vraiment une start-up.