为模型留出充足空间
显存、上下文长度和吞吐量决定了推理负载是否适合预定的系统。
推理部署的挑战
生产部署所需的不止是 GPU。
模型进入生产环境，需要显存、数据传输和算力容量协同工作。提前统筹这些环节，团队就能更清晰地规划从部署到扩容的路径。
让每个请求顺畅运行
模型数据、算力与应用所需存储之间，需要可靠的数据传输路径。
为不断变化的需求做好准备
清晰的预留条款、可用容量和扩容计划，有助于团队做出生产部署决策。
使用 TensorBay 的团队
助力团队将 AI 转化为业务价值。
- Bank of America
- Halliburton
- BRF
- PicPay
- BMG Bank
- City of Rio de Janeiro
- CNSesi
- AICUBE
- AirCloud
- 01围绕项目定制的配置
- 02包含交付时间的方案
- 03启用前的验收测试
05为下一步投入算力
算力助力增长，价格让决策更清晰。
选择预留期限，比较算力配置，规划投入。从公开透明的价格开始沟通。
| GPU 与显存 | 月度合约按月度合约预留算力 | 年度合约更低的小时费率 |
|---|---|---|
NVIDIAHGX B300288 GB HBM3e 每 GPU | 月度 起价 获取月度报价US$ 83.20/小时 | 年度 起价 获取年度报价US$ 58.50/小时 |
NVIDIAHGX B200180 GB HBM3e 每 GPU | 月度 起价 获取月度报价US$ 72.80/小时 | 年度 起价 获取年度报价US$ 50.70/小时 |
NVIDIAHGX H200141 GB HBM3e 每 GPU | 月度 起价 获取月度报价US$ 44.20/小时 | 年度 起价 获取年度报价US$ 31.20/小时 |
NVIDIAHGX H10080 GB HBM3 每 GPU | 月度 起价 获取月度报价US$ 28.60/小时 | 年度 起价 获取年度报价US$ 19.50/小时 |
小时费率涵盖完整的 8 GPU 节点。选择预留期限，获取专属报价。
- SLA
- 月度可用性 99.9%，15 分钟节点更换，并提供有效利用率补偿额度
- 规模
- 128–10,000+ GPU · 每租户专属网络
- 计费
- 预留合约内按分钟计量 · 入站流量 $0
存储
- 本地 NVMe 临时存储，每节点 30 TB已包含
- 并行文件系统，托管 WEKA每集群独享$0.09/GB·月
- 对象存储，S3 兼容热存储NVMe 缓存，同站点部署$0.055/GB·月
- 对象存储，归档$0.015/GB·月
- 快照$0.021/GB·月
数据传输
- 入站流量始终免费$0
- 包含的出站流量20 TB/节点·月
- 超额出站流量所有站点$1.25/TB
- 节点间与东西向流量InfiniBand 网络$0
网络
- 东西向 InfiniBand 网络每集群独享已包含
- 私有 VLAN / VPC已包含
- 额外公网 IPv4IPv6 免费$4/IP·月
- 自带 IP，IPv4 /24 或 IPv6 /48设置费 $200免费
- 托管防火墙$4/节点·月
- DDoS 防护已包含
- Direct Connect 10G / 100G年度合约免费提供 100G$450 / $1,800/月
价格以美元计，按完整的 8 GPU HGX 节点每小时收费；机架级系统按机架报价。价格不含税，包含托管 Slurm 与 Kubernetes 控制平面。存储和 Direct Connect 按上述价格计费，可咨询长期合约方案。
获取我的方案GPU 价格按单块 GPU 还是按节点收费？
公布的 HGX 价格以美元计，按月度或年度预留合约中的完整 8 GPU 节点每小时收费。NVL72 系统按机架报价，价格不含税。
AI 项目应该选择哪款 NVIDIA GPU？
请比较显存容量、网络需求，以及训练或推理工作负载。硬件页面提供 B300、B200、H200、H100 与整机架系统。团队可根据模型、数据集与算力需求协助规划配置。
专属集群能用于训练、微调和推理吗？
可以。TensorBay 提供用于模型训练、微调和推理的专属 NVIDIA GPU 基础设施。你可以使用 Slurm、Kubernetes 或 SSH，并根据工作负载配置软件环境。
申请报价之后会发生什么？
提供所需 GPU、容量与预留期限，或介绍项目需求。团队将在评估后于 48 小时内准备方案，包括配置与交付时间，最终容量和条款在方案中确认。
询价时需要确认哪些部署与交付信息？
请说明团队所在地区、数据存放地、目标部署地区和启动日期。具体数据中心、可交付 GPU 配置、网络访问方式和交付时间在项目方案中确认。部署前可按工作负载约定验收标准。
如何规划 Qwen、DeepSeek 或 Kimi 等模型的算力？
请提供具体模型版本、训练或推理目标与数据规模。结合显存、计算精度、上下文长度、并发和软件兼容性评估容量，再用实际工作负载验证延迟与吞吐。团队会根据项目需求核对可用配置。
GPU 租赁报价是否包含数据传输与存储？
GPU 预留费率与存储、数据传输和额外网络服务分项列出。请提供数据量、预计入站与出站流量，以及所需连接方式，并在方案中确认总费用、计费单位与税费。页面标价为美元，不是人民币。
探索 TensorBay
为 AI 的下一步找到合适的算力基础。
了解可用 GPU、基础设施与价格，为 AI 项目规划下一步。
08让创意拥有成长空间
下一次 AI 突破，从一次沟通开始。
告诉我们你的挑战。团队将协助确定 GPU、容量和时间安排，并在 48 小时内提供方案，支持项目启动或进一步扩展。
- 围绕项目定制的配置
- 包含交付时间的方案
- 启用前的验收测试