Nuvem de GPUs NVIDIA dedicadas
NVIDIA HGX H100
Treinamento e fine-tuning com foco no orçamento
Monte sua infraestrutura de IA com NVIDIA HGX H100, hardware dedicado, rede de alta velocidade e uma reserva dimensionada para o seu projeto.
Memória por GPU
80 GB HBM3- O que vem no nó
- 8 GPU · 15 TB NVMe · 2 TB RAM
- Conexão entre nós
- 8×400G IB NDR · 3,2 Tbps
Sua configuração dedicada
Por dentro do seu cluster HGX H100
- Memória por GPU
- 80 GB HBM3 · 3,35 TB/s
- Conexão entre GPUs
- NVLink 4 · 900 GB/s
- Conexão entre nós
- 8×400G IB NDR · 3,2 Tbps
- O que vem no nó
- 8 GPU · 15 TB NVMe · 2 TB RAM
Preços e reservas de HGX H100
USD por hora, nó completo com 8 GPUs
Valores em USD por hora de nó HGX com 8 GPUs; sistemas rack-scale são cotados por rack. Impostos não incluídos. Gerenciamento de Slurm e Kubernetes sem custo adicional. Armazenamento e Direct Connect seguem as tarifas acima. Consulte condições para contratos de longo prazo.
Ver tabela de preços ↗Planeje sua capacidade de GPU
A HGX H100 combina com o seu modelo?
Comece pelas necessidades do seu projeto, depois compare a configuração e o custo da reserva.
Considere a H100 quando seu projeto cabe na memória disponível e o custo da reserva é uma prioridade. Compare o tempo de treinamento ou a vazão de inferência com a H200 usando seu próprio modelo e suas configurações.
Dimensionamento de inferência: guia de otimização do vLLM ↗O que incluir no pedido de proposta
- Modelo e aplicação: treinamento, ajuste fino ou inferência.
- Precisão, tamanho do contexto, lote de processamento e usuários simultâneos.
- Quantidade de GPUs, tamanho dos dados, armazenamento e rede.
- Prazo da reserva, data de início e critérios de sucesso.
Compare memória e preços de reserva
| GPU | Memória por GPU | Contrato mensal | Contrato anual |
|---|---|---|---|
| HGX B300 | 288 GB HBM3e | a partir de $83,20 | a partir de $58,50 |
| HGX B200 | 180 GB HBM3e | a partir de $72,80 | a partir de $50,70 |
| HGX H200 | 141 GB HBM3e | a partir de $44,20 | a partir de $31,20 |
| HGX H100 | 80 GB HBM3 | a partir de $28,60 | a partir de $19,50 |
Preços em USD por hora para um nó completo de 8 GPUs. A capacidade de memória, sozinha, não determina o desempenho. Capacidade final, disponibilidade e condições são confirmadas na proposta.
Receber minha proposta ↗O preço é por GPU ou por nó?
Os preços publicados para HGX são em USD por hora de um nó completo com 8 GPUs, dentro de uma reserva mensal ou anual. Sistemas NVL72 têm cotação por rack. Os valores não incluem impostos.
Qual GPU NVIDIA devo escolher para meu projeto de IA?
Compare a memória da GPU, os requisitos de rede e a carga de treinamento ou inferência. A seção de hardware apresenta H100, H200, B200, B300 e sistemas de rack completo. Nossa equipe ajuda a dimensionar a configuração a partir do modelo, dos dados e da capacidade necessária.
Posso usar o cluster para treinamento, fine-tuning e inferência?
Sim. A TensorBay oferece infraestrutura dedicada de GPUs NVIDIA para treinamento de modelos, fine-tuning e inferência. Você pode trabalhar com Slurm, Kubernetes ou SSH e configurar o ambiente de software para sua carga de trabalho.
O que acontece depois que eu peço uma cotação?
Informe a GPU, a capacidade e o prazo da reserva, ou conte sobre seu projeto. A equipe avalia os requisitos e prepara uma proposta em até 48 horas, com configuração e prazo de entrega. A capacidade e as condições finais são confirmadas na proposta.
08Vamos dar escala à sua ideia
O próximo salto da sua IA começa com uma conversa.
Traga seu desafio. Nossa equipe ajuda a definir as GPUs, a capacidade e o prazo. Em até 48 horas, você recebe uma proposta para tirar o projeto do papel ou levá-lo mais longe.
- Configuração alinhada ao seu projeto
- Proposta com prazo de entrega
- Testes de aceitação antes de começar