Twitter et Google Cloud resserrent leurs liens. Après avoir migré en 2018 ses clusters Hadoop - plus de 300 Po de données réparties sur plusieurs dizaines de milliers de serveurs - et de son stockage de données froides vers la plateforme cloud de Google, Twitter va encore plus loin. Le site de micro-blogging a ainsi annoncé déplacer ses traitements analytiques et de données ainsi que ses workload de machine learning vers la Data Cloud de la firme de Mountain View.
Derrière cela, l'objectif est étendre sa capacité d'analyser les données plus rapidement et d'améliorer l'expérience utilisateur. « Nous sommes ravis d'étendre notre partenariat stratégique avec @googlecloud. Cela permettra à plus d'équipes de Twitter d'obtenir des informations plus riches, plus rapidement, sur la façon dont les gens utilisent notre service afin que nous puissions améliorer le produit et recommander un contenu plus pertinent », s'est réjouit - forcément dans un tweet - le CTO de Twitter, Parag Agrawal.
BigQuery, Dataflow et Cloud Bigtable de la partie
Pour traiter cette masse d'informations, la plateforme de données de Twitter ingère des milliers de milliards d'événements, traite plusieurs centaines de Po de données et fait tourner des dizaines de milliers de tâches sur plus d'une dizaine de clusters chaque jour. Au travers du partenariat conclu sur plusieurs années mais dont le montant n'a pas été communiqué, Twitter va adopter plusieurs solutions incluant BigQuery, Dataflow, Cloud Bigtable ainsi que les outils ML de Google Cloud. « Auparavant, les ingénieurs et les spécialistes des données développaient souvent des tâches de traitement de données personnalisées volumineuses, qui peuvent désormais être interrogées plus rapidement à l'aide de SQL dans BigQuery. Cela permettra aux équipes techniques et non techniques d'étudier les données plus facilement », a expliqué Google Cloud dans un communiqué.
« Notre plateforme est serverless et nous pouvons aider des entreprises, comme Twitter, à adapter automatiquement la charge à la baisse ou à la hausse », a par ailleurs déclaré à TechCrunch Sudhir Hasbe, directeur produit et data analytique de Google Cloud. « Twitter peut apporter d'énormes quantités de données, analyser et obtenir des informations sans avoir à se soucier de l'infrastructure ou de la gestion de la capacité ou du nombre de machines ou de serveurs dont ils pourraient avoir besoin», a-t-il ajouté. « Rien de tout cela n’est leur problème ».