Anciennement connu sous le nom d'Azure Cognitive Search, le service Azure AI Search connecte des datastores externes contenant des données non indexées avec une application sollicitant des requêtes à un index de recherche. Le service, qui se compose d’un moteur de requête, des index et d’un moteur d'indexation, est essentiellement utilisé pour récupérer des informations afin d'améliorer les performances de l'IA générative, un processus connu sous le nom de RAG (RAG). Microsoft vient d’apporter une mise à jour qui augmente certains éléments comme le stockage ou la taille de l’index vectoriel.

Le fournisseur met cependant en garde sur certaines limites concernant cet ajout capacitaire. « Les limites élargies ne s'appliqueront qu'aux nouveaux services développés après le 3 avril 2024 », a précisé l'entreprise, ajoutant qu'il n'y a aucun moyen de mettre à niveau les services existants, de sorte que les entreprises devront en créer de nouveaux pour bénéficier des capacités accrues. Ces derniers bénéficieront d'une augmentation de 3 à 6 fois du stockage total par partition, d'une augmentation de 5 à 11 fois de la taille de l'index vectoriel par partition, et le calcul supplémentaire soutenant le service prend en charge plus de vecteurs à haute performance et jusqu'à 2 fois l'amélioration de l'indexation et du débit des requêtes.

Jusqu’à 500 Go de stockage et 164 Go pour les index vectoriels

« En moyenne, la mise à niveau réduira le coût par vecteur de 85 % et d'économiser jusqu'à 75 % des coûts totaux de stockage », a indiqué Pablo Castro, ingénieur chez Azure AI, dans un billet de blog. Selon lui, le niveau de base du service bénéficiera de 13 Go de stockage supplémentaire par partition suite à la mise à jour, contre seulement 2 Go par partition auparavant. Les niveaux S1, S2 et S3 du service bénéficieront respectivement de 135 Go, 250 Go et 500 Go de stockage supplémentaire par partition. Enfin, les niveaux L1 et L2 ne subiront aucun changement, selon la société.

Pour ce qui est de la taille de l'index vectoriel, les niveaux de base, S1, S2 et S3 bénéficieront respectivement de 4 Go, 32 Go, 88 Go et 164 Go de capacité de dimensionnement supplémentaire par partition. Là encore, les niveaux L1 et L2 ne subiront aucun changement. L'offre actualisée sera disponible dans la plupart des régions des États-Unis et du Royaume-Uni, ainsi que dans d'autres régions comme la Suisse occidentale, la Suède centrale, la Pologne centrale, la Norvège orientale, la Corée du Sud, la Corée centrale, le Japon oriental et occidental, l'Italie du Nord, l'Inde centrale, Jio India West, la France, l'Europe du Nord, le Canada central et oriental, le Brésil méridional, l'Asie de l'Est et l'Asie du Sud-Est.

Plus de fonctionnalités pour optimiser le stockage des vecteurs

Outre la mise à jour des tailles de stockage et d'index vectoriel, l'entreprise achève la mise en place de fonctionnalités supplémentaires actuellement en avant-première pour optimiser le stockage vectoriel. C’est le cas notamment de la quantification et des types numériques restreints pour les vecteurs, entre autres choses. « Microsoft utilise la quantification et le suréchantillonnage pour compresser et optimiser le stockage des données vectorielles », a expliqué Pablo Castro, ce qui réduit la taille de l'index vectoriel de 75 % et le stockage vectoriel sur disque de 25 %.

En outre, les spécialiste a indiqué que les entreprises pouvaient utiliser des primitifs types de champs vectoriels, tels que int8, int16 ou float16, pour réduire la taille de l'index et le stockage vectoriel sur disque jusqu'à 75 %. Le service s’appuie aussi sur d'autres techniques d'optimisation comme la définition de la propriété stockée sur les champs vectoriels pour baisser les coûts de stockage.