EnglishGCP active Parallelstore : Le stockage cloud ultra-rapide pour l'IA
Google Cloud Platform (GCP) a récemment annoncé l'activation de Parallelstore, son nouveau service de stockage en ligne dévoilé lors de l'événement Google Cloud Next 2024. Ce service est conçu pour répondre aux exigences des applications d'intelligence artificielle (IA), en s'appuyant sur DAOS (Distributed Asynchronous Object Storage), un système de fichiers parallèle initialement développé par Intel.
DAOS : Une performance sans compromis
DAOS est un système de fichiers capable de gérer des accès simultanés et massifs, en répartissant des fichiers entiers sur plusieurs nœuds de stockage. Contrairement aux systèmes de stockage traditionnels qui utilisent des blocs de données redondants, DAOS maximise les performances en éliminant les latences pour des accès à haute vitesse. Il est particulièrement efficace pour les applications nécessitant un débit constant, telles que l'entraînement des modèles de machine learning.
Bien que les barrettes de mémoire Optane d'Intel, qui combinaient la vitesse de la DRAM et la capacité des SSD, ne soient plus sur le marché, DAOS reste optimisé pour les infrastructures matérielles d'Intel, comme le protocole de communication Omnipath. Ce dernier, comparable à Infiniband utilisé dans les supercalculateurs, permet un transfert de données rapide et sans interruption via des réseaux RoCE (RDMA-over-Converged Ethernet).
Une bande passante optimisée pour l'IA
L'un des points forts de Parallelstore est sa capacité à saturer la bande passante des serveurs de calcul, ce qui permet de délivrer des données à des milliers de machines virtuelles, GPU, ou TPU (Tensor Processing Units, les puces dédiées à l'inférence créées par Google). Barak Epstein, directeur produit de GCP, souligne que pour un déploiement de 100 To, Parallelstore peut atteindre un débit de 115 Go/s, avec 3 millions d'IOPS en lecture et 1 million en écriture, tout en maintenant une latence inférieure à 0,3 milliseconde. Ce niveau de performance permet de réduire considérablement le temps d'entraînement des modèles de machine learning, jusqu'à 3,9 fois plus rapide qu'avec les autres services de stockage disponibles sur GCP.
Un service conçu pour les charges de travail IA
GCP imagine que les utilisateurs commenceront par charger leurs données dans Google Cloud Storage (GCS), son service de stockage objet. De là, ils pourront sélectionner les données spécifiques qui seront soumises aux traitements d'IA via Parallelstore. GCP propose également Storage Insights Dataset, un outil qui s'appuie sur son IA Gemini pour aider les entreprises à trier et organiser leurs données avant de les transférer.
Le transfert vers Parallelstore se fait à une vitesse impressionnante de 20 Go/s, avec la capacité de transférer jusqu'à 5 000 fichiers par seconde pour les petits fichiers de moins de 32 Mo.
Intégration avec Kubernetes et autres services
Parallelstore n'est pas limité aux services d'entraînement IA de GCP. Le volume Parallelstore peut être facilement intégré dans des applications exécutées dans des clusters Kubernetes via le service Google Kubernetes Engine (GKE), grâce à des pilotes CSI dédiés. Cela permet aux administrateurs de gérer Parallelstore comme tout autre volume de stockage rattaché à GKE, simplifiant l'utilisation et l'intégration avec d'autres services.
En activant Parallelstore, Google Cloud met à disposition une solution de stockage ultra-rapide adaptée aux charges de travail d'intelligence artificielle. Ce service promet d'améliorer considérablement les performances des modèles de machine learning et de faciliter la gestion des données dans des environnements cloud complexes.