Nuvem de GPUs NVIDIA dedicadas
NVIDIA HGX H200
Sirva modelos de contexto longo com mais memória
Monte sua infraestrutura de IA com NVIDIA HGX H200, hardware dedicado, rede de alta velocidade e uma reserva dimensionada para o seu projeto.
Memória por GPU
141 GB HBM3e- O que vem no nó
- 8 GPU · 30 TB NVMe · 2 TB RAM
- Conexão entre nós
- 8×400G IB NDR · 3,2 Tbps
Sua configuração dedicada
Por dentro do seu cluster HGX H200
- Memória por GPU
- 141 GB HBM3e · 4,8 TB/s
- Conexão entre GPUs
- NVLink 4 · 900 GB/s
- Conexão entre nós
- 8×400G IB NDR · 3,2 Tbps
- O que vem no nó
- 8 GPU · 30 TB NVMe · 2 TB RAM
Preços e reservas de HGX H200
USD por hora, nó completo com 8 GPUs
Valores em USD por hora de nó HGX com 8 GPUs; sistemas rack-scale são cotados por rack. Impostos não incluídos. Gerenciamento de Slurm e Kubernetes sem custo adicional. Armazenamento e Direct Connect seguem as tarifas acima. Consulte condições para contratos de longo prazo.
Ver tabela de preços ↗Planeje sua capacidade de GPU
A HGX H200 combina com o seu modelo?
Comece pelas necessidades do seu projeto, depois compare a configuração e o custo da reserva.
Considere a H200 quando falta memória em uma configuração com H100. Para inferência, inclua o cache KV e as requisições simultâneas no dimensionamento, além dos pesos do modelo.
Dimensionamento de inferência: guia de otimização do vLLM ↗O que incluir no pedido de proposta
- Modelo e aplicação: treinamento, ajuste fino ou inferência.
- Precisão, tamanho do contexto, lote de processamento e usuários simultâneos.
- Quantidade de GPUs, tamanho dos dados, armazenamento e rede.
- Prazo da reserva, data de início e critérios de sucesso.
Compare memória e preços de reserva
| GPU | Memória por GPU | Contrato mensal | Contrato anual |
|---|---|---|---|
| HGX B300 | 288 GB HBM3e | a partir de $83,20 | a partir de $58,50 |
| HGX B200 | 180 GB HBM3e | a partir de $72,80 | a partir de $50,70 |
| HGX H200 | 141 GB HBM3e | a partir de $44,20 | a partir de $31,20 |
| HGX H100 | 80 GB HBM3 | a partir de $28,60 | a partir de $19,50 |
Preços em USD por hora para um nó completo de 8 GPUs. A capacidade de memória, sozinha, não determina o desempenho. Capacidade final, disponibilidade e condições são confirmadas na proposta.
Receber minha proposta ↗O preço é por GPU ou por nó?
Os preços publicados para HGX são em USD por hora de um nó completo com 8 GPUs, dentro de uma reserva mensal ou anual. Sistemas NVL72 têm cotação por rack. Os valores não incluem impostos.
Qual GPU NVIDIA devo escolher para meu projeto de IA?
Compare a memória da GPU, os requisitos de rede e a carga de treinamento ou inferência. A seção de hardware apresenta H100, H200, B200, B300 e sistemas de rack completo. Nossa equipe ajuda a dimensionar a configuração a partir do modelo, dos dados e da capacidade necessária.
Posso usar o cluster para treinamento, fine-tuning e inferência?
Sim. A TensorBay oferece infraestrutura dedicada de GPUs NVIDIA para treinamento de modelos, fine-tuning e inferência. Você pode trabalhar com Slurm, Kubernetes ou SSH e configurar o ambiente de software para sua carga de trabalho.
O que acontece depois que eu peço uma cotação?
Informe a GPU, a capacidade e o prazo da reserva, ou conte sobre seu projeto. A equipe avalia os requisitos e prepara uma proposta em até 48 horas, com configuração e prazo de entrega. A capacidade e as condições finais são confirmadas na proposta.
08Vamos dar escala à sua ideia
O próximo salto da sua IA começa com uma conversa.
Traga seu desafio. Nossa equipe ajuda a definir as GPUs, a capacidade e o prazo. Em até 48 horas, você recebe uma proposta para tirar o projeto do papel ou levá-lo mais longe.
- Configuração alinhada ao seu projeto
- Proposta com prazo de entrega
- Testes de aceitação antes de começar