A16z dévoile une station de travail IA surpuissante équipée des GPU NVIDIA Blackwell

À l’ère des modèles fondamentaux et des ensembles de données en rapide croissance, les développeurs et les chercheurs font face à des obstacles importants liés aux ressources informatiques. Alors que le cloud offre une évolutivité, de nombreux constructeurs recherchent désormais des alternatives locales qui offrent rapidité, confidentialité et flexibilité. La nouvelle station de travail d’A16z est conçue pour répondre à ces besoins, offrant une option puissante sur site qui exploite les derniers GPU Blackwell de NVIDIA.

Optimiser la Bande Passante GPU et CPU

Pour répondre à cette demande, A16z a dévoilé sa station de travail IA construite sur mesure équipée de quatre GPU NVIDIA RTX 6000 Pro Blackwell Max-Q. Cette centrale combine du matériel de niveau entreprise avec la praticité d’un bureau, créant un hub informatique personnel pour entraîner et exécuter des charges de travail IA à grande échelle sans dépendre de serveurs externes.

Au cœur du système A16z se trouvent quatre GPU RTX 6000 Pro Blackwell Max-Q. Chacun possède 96 Go de VRAM, soit 384 Go de VRAM au total. Contrairement aux configurations multi-GPU typiques qui utilisent des voies partagées, chacune des cartes de cette station de travail dispose d’une interface PCIe 5.0 x16 dédiée.

Par conséquent, les développeurs bénéficient d’une bande passante complète GPU-à-CPU sans goulets d’étranglement. En plus de la puissance brute GPU d’A16z, la configuration repose sur le Ryzen Threadripper PRO 7975WX. Pour l’entraînement ou le réglage fin des modèles, les 64 threads et 32 cœurs du CPU maximisent les charges de travail.

Stockage et Mémoire pour Données à Grande Échelle

La recherche en IA nécessite un accès rapide aux données, et cette configuration répond directement à ce besoin. La station de travail A16z embarque quatre SSD NVMe PCIe 5.0 de 2 To, capables d’atteindre près de 60 Go/s en débit agrégé sous RAID 0.

De plus, le système est équipé de 256 Go de RAM ECC DDR5, répartis en 8 canaux, avec une évolutivité jusqu’à 2 To. Cette combinaison de stockage ultra-rapide et de grandes quantités de mémoire garantit que les grands ensembles de données circuleront aisément entre les disques et la VRAM GPU. Elle supporte NVIDIA GPUDirect Store, où les données peuvent être écrites directement en mémoire GPU en sautant la mémoire CPU, réduisant ainsi la latence d’un ordre de grandeur.

Efficacité et Applications Pratiques

La station de travail est étonnamment économe en énergie malgré ses performances incroyables. Elle a une consommation maximale de 1650W et fonctionne sur une prise standard 15 ampères. 

Le système de refroidissement liquide du CPU est également inclus, ce qui assure la stabilité lors d’entraînements prolongés. De plus, le boîtier est conçu pour la mobilité avec des roues facilitant le transport.

La station de travail est adaptée à un large éventail d’applications. Les chercheurs peuvent entraîner et affiner de grands modèles linguistiques. Les startups peuvent déployer des systèmes d’inférence privés sans transmettre de données sensibles au cloud. De plus, les charges de travail multimodales sur vidéo, image et texte peuvent s’exécuter simultanément sans compromis.