Sem nuvem, sem limites: A estação de trabalho de IA da a16z com GPUs NVIDIA Blackwell

Na era dos modelos fundamentais e conjuntos de dados que crescem rapidamente, desenvolvedores e pesquisadores enfrentam barreiras significativas relacionadas a recursos computacionais. Enquanto a nuvem oferece escalabilidade, muitos construtores agora buscam alternativas locais que proporcionem velocidade, privacidade e flexibilidade. A nova estação de trabalho da A16z foi projetada para atender a essas necessidades, oferecendo uma opção poderosa no local que aproveita as GPUs Blackwell mais recentes da NVIDIA.

Maximizando a largura de banda da GPU e CPU

Para atender a essa demanda, a A16z revelou sua estação de trabalho de IA personalizada com quatro GPUs NVIDIA RTX 6000 Pro Blackwell Max-Q. Essa potência combina hardware de nível empresarial com praticidade de desktop, criando um hub computacional pessoal para treinar e executar grandes cargas de trabalho de IA sem depender de servidores externos.

No coração do sistema A16z estão quatro GPUs RTX 6000 Pro Blackwell Max-Q. Cada uma possui 96GB de VRAM, totalizando 384GB de VRAM. Diferente das configurações típicas de múltiplas GPUs que utilizam vias compartilhadas, cada placa desta estação de trabalho tem uma interface PCIe 5.0 x16 dedicada.

Consequentemente, os desenvolvedores obtêm largura de banda total da GPU para CPU sem gargalos. Além do poder bruto da GPU da A16z, a configuração gira em torno do Ryzen Threadripper PRO 7975WX. Em relação ao treinamento ou ajuste fino de modelos, os 64 threads e 32 núcleos da CPU maximizam as cargas de trabalho.

Armazenamento e memória para dados em grande escala

A pesquisa em IA requer acesso rápido aos dados, e essa configuração atende diretamente a essa necessidade. A estação de trabalho A16z possui quatro SSDs PCIe 5.0 NVMe de 2TB, capazes de atingir quase 60GB/s de throughput agregado em RAID 0.

Além disso, o sistema está equipado com 256GB de ECC DDR5, 8 canais de RAM com escalabilidade até 2TB. Essa combinação de armazenamento ultra-rápido e grande quantidade de memória garante que conjuntos de dados grandes sejam transferidos facilmente entre os drives e a VRAM da GPU. Suporta NVIDIA GPUDirect Store, onde os dados podem ser escritos diretamente na memória da GPU, pulando a memória da CPU, reduzindo a latência em uma ordem de grandeza.

Eficiência e aplicações práticas

A estação de trabalho é surpreendentemente eficiente em termos de energia apesar do desempenho incrível. Tem um consumo máximo de 1650W e opera em uma tomada normal de 15 ampères. 

O sistema de resfriamento líquido da CPU também está incluído no sistema, o que oferece estabilidade durante longos treinamentos. Além disso, o gabinete possui um design móvel que inclui rodas para facilitar o transporte.

A estação de trabalho é adequada para uma ampla gama de aplicações. Pesquisadores podem treinar e ajustar modelos de linguagem de grande porte. Startups podem implantar sistemas de inferência privados sem entregar dados sensíveis à nuvem. Além disso, cargas de trabalho multimodais em vídeo, imagem e texto podem ser executadas simultaneamente sem compromissos.