Le spécialiste de l’APM et de l’observabilité, Datadog, réunit depuis hier son écosystème à New York pour son évènement annuel, DASH. L’occasion pour les participants de découvrir les évolutions de l’éditeur. Bien évidemment, il ne pouvait faire l’impasse sur le sujet du moment : l’IA générative. Yriex Garnier, vice-président en charge des produits, observe que « les clients sont dans une démarche d’évaluation sur l’IA, mais il y a clairement un engouement sur le sujet et le business va arriver ».
L’observabilité des LLM et un assistant IA
Pour les accompagner, Datadog met en place plusieurs éléments. Tout d’abord, il propose un outil capable de surveiller les modèles d’IA nommé LLM Observability. Il analyse « l’utilisation, les coûts et les performances des API, mais aussi le comportement avec les risques d’hallucination, la longueur des requêtes, le décompte des tokens », souligne Yriex Garnier. Cette observabilité se déroule sur la totalité de l’écosystème de l’IA générative, « les LLM (GPT, Anthropic,…), les services cloud, la gestion des données (Weaviate, Pinecone et Airbyte), le framework d’orchestration (Langchain est le plus utilisé) », rapporte le dirigeant. Ce service est disponible en version bêta privée.
La surveillance de l'IA générative concerne l'ensemble des briques. (Crédit : Datadog)
Un autre élément est l’arrivée de Bits AI, l’assistant conversationnel de Datadog. A l’origine, il s’agit d’un outil interne à l’éditeur pour aider à la gestion des incidents. Disponible dès à présent sur la plateforme au plus grand nombre, il apprend sur les données clients : journaux, métriques, traces et transactions d'utilisateurs réels. Il intègre aussi les sources de connaissances institutionnelles comme les pages Confluence, la documentation interne ou les conversations Slack. En cas d’incident, l’assistant peut mobiliser une équipe via un canal sur Slack, il peut aussi suggérer du code pour corriger un problème. A noter que Bits est adossé à GPT d’OpenAI et rejoint ainsi l’assistant Grok récemment dévoilé par New Relic.
L'assistant conversationnel Bits fait ses premiers pas auprès des clients. (Crédit : Datadog)
Des tests de code optimisés et une gestion plus fine des gros volumes de log
Si le focus sur l’IA générative est un passage obligé pour les éditeurs, Datadog a fait d’autres annonces. Ainsi, il a généralisé le service Intelligent Test Runner qui s’adresse aux plateformes CI/CD. « Il est maintenant possible de faire tourner des tests que sur le code qui a été modifié », souligne Yirieix Garnier. « C’est plus pertinent et c’est un gain de temps pour les révisions de code », ajoute-t-il.
Datadog a par ailleurs présenté Flex Logs destiné aux clients souhaitant conserver de gros volumes de logs pendant de longues périodes. « Les entreprises disposent souvent de beaucoup de logs d’application avec un stockage chaud et des audits de configurations en archive. Au milieu, il y a beaucoup de données intermédiaires », constate Yrieix Garnier. « Il fallait donc une solution qui décorrèle le stockage et le compute », ajoute-il. Les utilisateurs ont ainsi la possibilité de choisir quels logs sont indexés pour les alertes et les tableaux de bord en temps réel, et lesquels sont stockés pour les cas d'usage de requêtes à long terme.
Un consolidateur de données de sécurité et une time machine
Lors de son évènement, Datadog a évoqué la couche sécurité à travers deux annonces. La première se nomme Security Inbox, une solution au sein de Cloud Security Management, pour consolider les données de sécurité. « Les équipes de sécurité doivent composer avec un grand volume d’information et doivent dégager des opinions. Elles sont vite noyées », admet Pierre Bétouin, vice-président produits sécurité chez Datadog, et ancien dirigeant de la start-up Sqreen. Security Inbox « consolide les données techniques, d’environnement, de menaces, pour ensuite raconter une histoire dans un mail récapitulatif », poursuit le responsable. En parallèle, l’offre CSM gagne en fonctions et en profondeur avec « des analyses de code directement dans l’infrastructure d’AWS », précise-t-il, mais pas « sur le serverless, car nous sommes à l’intersection entre l’app et l’infra ». Datadog présente par ailleurs CIEM (Cloud Infrastructure Entitlement Management) ; « un outil de détection sur les risques liés à l’identité ou les permissions en vérifiant par exemple des instances avec des droit administrateurs », glisse Pierre Bétouin.
Security Inbox consolide les différentes données de sécurité. (Crédit : Datadog)
Enfin, la dernière annonce de Datadog concerne le Cloud SIEM. Ce dernier accueille une fonctionnalité de « time machine » nommée Historical Detection. « Nous travaillons en temps réel, mais il est parfois nécessaire de remonter dans le temps », constate le vice-président des produits de sécurité. La solution est capable « de voir ce qui s’est passé jusqu’à 15 mois en arrière », précise-t-il. Côté interface, une timeline doté d’un curseur propose différents graphes, les liens entre les évènements, les identités, etc. Une vue d’ensemble utile par exemple dans le cadre d’une enquête forensique ou dans une démarche de scénarios de qualité.
Avec Historical Detection, il est possible de revenir sur des évènements s'étant déroulés 15 mois auparavant. (Crédit : Datadog)