Dans le cadre de sa conférence re:Invent 2023, AWS a annoncé des intégrations d'Amazon RedShift avec Amazon Aurora PostgreSQL, DynamoDB et RDS for MySQL, poursuivant ainsi ses efforts en faveur de l'absence d'ETL pour les services de datawarehousing des données. Les entreprises utilisent généralement la technique de l'extraction, de la transformation et du chargement (ETL) pour intégrer des données provenant de sources multiples dans un data store unique et cohérent, qui sera ensuite chargé dans un data warehouse à des fins d'analyse. Cependant, la plupart des data engineers affirment que la transformation de données provenant de sources disparates peut s'avérer une tâche difficile et longue, car le processus implique des étapes telles que le nettoyage, le filtrage, le remodelage et la synthèse des données brutes.

Un autre problème est le coût supplémentaire lié au maintien d'équipes chargées de préparer les pipelines de données pour l'exécution d'analyses, a déclaré AWS. En revanche, ces intégrations zéro ETL, selon l'entreprise, éliminent la nécessité d'effectuer l'ETL entre Aurora PostgreSQL, DynamoDB, RDS for MySQL et RedShift, car les données transactionnelles de ces bases de données peuvent être répliquées dans RedShift presque immédiatement et sont prêtes pour l'exécution d'analyses. Actuellement, ces trois intégrations sont en avant-première.

L’intégration de DynamoDB zero-ETL avec OpenSearch Service généralisée

L'année dernière, AWS a annoncé deux fonctionnalités : l'intégration d'Amazon Aurora zero-ETL avec Amazon Redshift et l'intégration d'Amazon Redshift pour Apache Spark. En outre, le fournisseur de services cloud a généralisé l'intégration de DynamoDB zero-ETL avec OpenSearch Service. Cette intégration permettra aux métiers travaillant sur la data d'effectuer une recherche sur leurs données DynamoDB en les répliquant et en les transformant automatiquement sans code ou infrastructure personnalisés, a déclaré AWS.

A noter que l’intégration de DynamoDB zero-ETL avec OpenSearch Service peut être utilisée dans toutes les régions AWS où OpenSearch Ingestion est actuellement disponible, a ajouté AWS.