Llama 3.1 70B LLM 推理的最佳云 GPU(FP16)
比较运行 Llama 3.1 70B 的整卡报价。“最佳”指本次快照的已审核 GPU 中,单卡即可通过所引显存估算和软件门槛的最低实例账单;只有没有任何单卡能容纳时,才选用张量并行的多 GPU 实例,更便宜的张量并行方案另行列出。尚未测试吞吐量或实际运行。
仅纳入标准地区或未指定地区中、当前有效的整卡按需与 Spot 美元报价。排除分片 GPU、仅 GPU 组件价格、促销起价、含税报价及明确无货的记录。税费口径未知的报价会标注;B/C 级报价仅供展示。
最低显存筛选规则
显存估算(批量 1):70B 参数 × 每参数 2 字节 = 140 GB 权重;需求 = 140 × 1.2 + 8192 token 下的 FP16 KV 缓存 2.684 GB = 170.684 GB。
Hugging Face Accelerate 指出,推理相比只加载权重可能还需约 20% 的额外内存。这里据此采用 1.2 系数,再加上所述 KV 缓存。这是本站估算,并非模型开发者公布的运行要求;内核、上下文、批量和后端都会影响用量。
KV 输入:2 × 80 层 × 8 个 KV 头 × 头维度 128 × 2 字节 × 8192 token / 10⁹ = 2.684 GB,批量为 1。
博客提供取整后的 KV 值;本筛选改用上述模型架构公式,以十进制 GB 计算。
张量并行输入:64 个注意力头、8 个 KV 头;GPU 卡数必须同时整除两者。
已审核软件门槛:Linux 上的 vLLM,NVIDIA CUDA 计算能力 ≥ 7.5;或 AMD MI200s(gfx90a)、MI300(gfx942)、MI350(gfx950)、Radeon RX 7900 系列(gfx1100/1101)、RX 9000 系列(gfx1200/1201)、Ryzen AI MAX / AI 300 系列(gfx1151/1150)。ROCm ≥ 6.3;MI350 ≥ 7.0;Ryzen ≥ 7.0.2。架构合格不代表特定量化内核或主机安装包已经验证。 aarch64 主机还须符合稳定版 PyTorch 的目标:8.0/9.0/10.0/11.0/12.0;T4G(CC 7.5)仅通过显存筛选。AMD 的 Arm 主机不在本筛选范围内。
容量仅采用逐行链接的已审核型号规格。以十进制 GB 估算需求,保守地直接与公开容量标签比较,不额外计入可能采用 GiB 单位的容量。未审核型号(列于下方)、容量虚报、矿卡及笔记本 GPU 不纳入页面。单卡可容纳与张量并行实例分别筛选。
价格观测日期:2026-11-18
符合条件的当前记录:429 条。展示的不同型号/价格类型最低报价:63 条。
本页的“最佳”
按需:B200 SXM6 180GB · Verda / DataCrunch · 1 卡实例 · 每实例小时 $9.80
Spot(竞价):B200 SXM6 180GB · Verda / DataCrunch · 1 卡实例 · 每实例小时 $4.90
单卡显存足够:最低价实例
按需:B200 SXM6 180GB · Verda / DataCrunch · 1 卡实例 · 每实例小时 $9.80
Spot(竞价):B200 SXM6 180GB · Verda / DataCrunch · 1 卡实例 · 每实例小时 $4.90
多卡实例最低价
按需:RTX A5000 24GB · Clore.ai · 8 卡实例 · 每实例小时 $1.13
Spot(竞价):H100 NVL 94GB · Clore.ai · 2 卡实例 · 每实例小时 $0.917
单卡可容纳表显示各型号、价格类型的最低每 GPU 小时报价;同价时依次选择实例账单更低、GPU 更少的配置。张量并行表按实例小时账单排序,页面起价也按合格实例的最低账单计算。各最低价可能来自不同的地区、服务商、卡数配置和税费口径,并非同条件 Spot 折扣。报价卡保留计费与库存条件。
尚未审核——显存未验证(仅列型号)
A100PCIE40GB · B300 HGX · B300 SXM · CMP 170HX · CMP 30HX · CMP 40HX · CMP 50HX · CMP 70HX · CMP 90HX · GTX 1050 Ti · GTX 1650 · GTX 970 · GeForce GTX 1060 · GeForce GTX 1070 · GeForce GTX 1080 Ti · K40 · P100 · P104-100 · P106-100 · P4 · Quadro P2200 · Quadro-RTX5000 · RTX 2060 · RTX 3050 Laptop GPU · RTX 3050 Ti Laptop GPU · RTX 3060 Laptop GPU · RTX 3070 Laptop GPU · RTX 4090 Laptop GPU · RTX 5090 Laptop GPU · RTX A5500 Laptop GPU · RTX PRO 4000 Blackwell SFF Edition · RTX PRO 5000 72GB Blackwell · RTX PRO 6000 Blackwell Max-Q · Radeon Pro V710 · Tesla P4 · Tesla V100S
单卡可容纳
| GPU 型号 | 每 GPU 已审核容量(GB) | 价格类型 | 每 GPU 美元/小时 | 每实例 GPU 卡数 | 实例美元/小时 | 估算余量(单卡表:每卡;多卡表:合计) | 已审核架构与检查项 |
|---|---|---|---|---|---|---|---|
| MI300X 192GB | 192 | Spot(竞价) | $1.11 | 8 | $8.87 | 紧张 < 1.25×(估算) | AMD · CDNA 3 · gfx942 · 非 CUDA · 单卡显存通过筛选,但此报价仅以 8 卡实例出售 |
| B200 SXM6 180GB | 180 | Spot(竞价) | $4.90 | 4 | $19.59 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 10.0 · 单卡显存通过筛选,但此报价仅以 4 卡实例出售 |
| B200 CC SXM6 180GB | 180 | Spot(竞价) | $5.00 | 4 | $19.98 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 10.0 · 单卡显存通过筛选,但此报价仅以 4 卡实例出售 |
| MI300X 192GB | 192 | 按需 | $6.00 | 8 | $48.00 | 紧张 < 1.25×(估算) | AMD · CDNA 3 · gfx942 · 非 CUDA · 单卡显存通过筛选,但此报价仅以 8 卡实例出售 |
| B300 SXM6 268GB | 268 | Spot(竞价) | $6.39 | 1 | $6.39 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 10.3 |
| B300 CC SXM6 268GB | 268 | Spot(竞价) | $6.52 | 4 | $26.09 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 10.3 · 单卡显存通过筛选,但此报价仅以 4 卡实例出售 |
| B200 SXM6 180GB | 180 | 按需 | $9.79 | 2 | $19.59 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 10.0 · 单卡显存通过筛选,但此报价仅以 2 卡实例出售 |
| B200 CC SXM6 180GB | 180 | 按需 | $9.99 | 2 | $19.98 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 10.0 · 单卡显存通过筛选,但此报价仅以 2 卡实例出售 |
| B300 SXM6 268GB | 268 | 按需 | $12.79 | 8 | $102.30 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 10.3 · 单卡显存通过筛选,但此报价仅以 8 卡实例出售 |
| B300 CC SXM6 268GB | 268 | 按需 | $13.04 | 4 | $52.18 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 10.3 · 单卡显存通过筛选,但此报价仅以 4 卡实例出售 |
| B200 180GB | 180 | 按需 | $14.00 | 8 | $112.00 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 10.0 · 单卡显存通过筛选,但此报价仅以 8 卡实例出售 |
| B200 179GB | 179 | 按需 | $14.24 | 8 | $113.93 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 10.0 · 单卡显存通过筛选,但此报价仅以 8 卡实例出售 |
| B300 268GB | 268 | 按需 | $17.80 | 8 | $142.42 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 10.3 · 单卡显存通过筛选,但此报价仅以 8 卡实例出售 |
多 GPU 实例(张量并行)
仅考虑同一合格实例中的 2、4 或 8 张 GPU。卡数必须同时整除注意力头数和 KV 头数,且卡数 × 每卡已审核 GB 必须达到估算需求。这只是容量筛选,还需核对张量并行执行与互连。
| GPU 型号 | 每 GPU 已审核容量(GB) | 价格类型 | 每 GPU 美元/小时 | 每实例 GPU 卡数 | 实例美元/小时 | 估算余量(单卡表:每卡;多卡表:合计) | 已审核架构与检查项 |
|---|---|---|---|---|---|---|---|
| H100 NVL 94GB | 94 | Spot(竞价) | $0.458 | 2 | $0.917 | 紧张 < 1.25×(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX A5000 24GB | 24 | 按需 | $0.142 | 8 | $1.13 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX A5000 24GB | 24 | Spot(竞价) | $0.142 | 8 | $1.13 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 NVL 94GB | 94 | 按需 | $0.833 | 2 | $1.67 | 紧张 < 1.25×(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX A6000 48GB | 48 | Spot(竞价) | $0.458 | 4 | $1.83 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 3090 24GB | 24 | 按需 | $0.260 | 8 | $2.08 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 3090 24GB | 24 | Spot(竞价) | $0.260 | 8 | $2.08 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX A6000 48GB | 48 | 按需 | $0.550 | 4 | $2.20 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A30 24GB | 24 | 按需 | $0.350 | 8 | $2.80 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 96GB | 96 | Spot(竞价) | $1.46 | 2 | $2.92 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 6000 Ada 48GB | 48 | 按需 | $0.790 | 4 | $3.16 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 6000 Ada 48GB | 48 | Spot(竞价) | $0.827 | 4 | $3.31 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 Blackwell Workstation 96GB | 96 | 按需 | $1.67 | 2 | $3.33 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 Blackwell Workstation 96GB | 96 | Spot(竞价) | $1.67 | 2 | $3.33 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| L40 48GB | 48 | 按需 | $0.860 | 4 | $3.44 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 · 仅 PCIe,无 NVLink;vLLM 建议采用流水线并行 |
| RTX A6000 48GB | 48 | Spot(竞价) | $0.458 | 8 | $3.66 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| L40S 48GB | 48 | 按需 | $0.970 | 4 | $3.88 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 · 仅 PCIe,无 NVLink;vLLM 建议采用流水线并行 |
| L40S 48GB | 48 | Spot(竞价) | $1.04 | 4 | $4.16 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 · 仅 PCIe,无 NVLink;vLLM 建议采用流水线并行 |
| RTX PRO 6000 Blackwell 96GB | 96 | 按需 | $2.19 | 2 | $4.38 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX A6000 48GB | 48 | 按需 | $0.550 | 8 | $4.40 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 SXM4 80GB | 80 | Spot(竞价) | $1.21 | 4 | $4.84 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 5090 32GB | 32 | 按需 | $0.625 | 8 | $5.00 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 5090 32GB | 32 | Spot(竞价) | $0.625 | 8 | $5.00 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 80GB | 80 | 按需 | $1.35 | 4 | $5.40 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 96GB | 96 | 按需 | $2.92 | 2 | $5.84 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 96GB | 96 | Spot(竞价) | $1.46 | 4 | $5.84 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 40GB | 40 | Spot(竞价) | $0.738 | 8 | $5.90 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 NVL | 94 | 按需 | $3.11 | 2 | $6.22 | 紧张 < 1.25×(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 4090 24GB | 24 | 按需 | $0.781 | 8 | $6.25 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 4090 24GB | 24 | Spot(竞价) | $0.781 | 8 | $6.25 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 6000 Ada 48GB | 48 | 按需 | $0.790 | 8 | $6.32 | 较充裕(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX 6000 Ada 48GB | 48 | Spot(竞价) | $0.827 | 8 | $6.62 | 较充裕(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 80GB | 80 | Spot(竞价) | $0.859 | 8 | $6.87 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 SXM5 141GB | 141 | Spot(竞价) | $3.45 | 2 | $6.90 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| L4 24GB | 24 | 按需 | $0.865 | 8 | $6.92 | 紧张 < 1.25×(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 · 仅 PCIe,无 NVLink;vLLM 建议采用流水线并行 |
| A100 SXM4 40GB | 40 | Spot(竞价) | $0.867 | 8 | $6.93 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 NVL 141GB | 141 | 按需 | $3.62 | 2 | $7.24 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 4500 Blackwell 32GB | 32 | 按需 | $0.920 | 8 | $7.36 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 Blackwell MaxQ Works 96GB | 96 | 按需 | $1.88 | 4 | $7.50 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 Blackwell MaxQ Works 96GB | 96 | Spot(竞价) | $1.88 | 4 | $7.50 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| L40S 48GB | 48 | 按需 | $0.970 | 8 | $7.76 | 较充裕(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 · 仅 PCIe,无 NVLink;vLLM 建议采用流水线并行 |
| RTX PRO 6000 Blackwell Server Edition 96GB | 96 | 按需 | $4.14 | 2 | $8.29 | 紧张 < 1.25×(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| L40S 48GB | 48 | Spot(竞价) | $1.04 | 8 | $8.32 | 较充裕(估算) | NVIDIA · Ada Lovelace · CUDA CC 8.9 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 · 仅 PCIe,无 NVLink;vLLM 建议采用流水线并行 |
| RTX PRO 6000 Blackwell 96GB | 96 | 按需 | $2.19 | 4 | $8.76 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 SXM4 80GB | 80 | 按需 | $2.42 | 4 | $9.69 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 SXM4 80GB | 80 | Spot(竞价) | $1.21 | 8 | $9.69 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 SXM 80GB | 80 | Spot(竞价) | $2.70 | 4 | $10.80 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 80GB | 80 | 按需 | $1.35 | 8 | $10.80 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 80GB | 80 | 按需 | $2.73 | 4 | $10.92 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 SXM4 80GB | 80 | 按需 | $1.38 | 8 | $11.04 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| DGX A100 80GB | 80 | 按需 | $1.38 | 8 | $11.04 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 NVL 94GB | 94 | 按需 | $2.92 | 4 | $11.68 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 96GB | 96 | 按需 | $2.92 | 4 | $11.69 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 96GB | 96 | Spot(竞价) | $1.46 | 8 | $11.69 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 NVL | 94 | 按需 | $3.11 | 4 | $12.44 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 SXM5 141GB | 141 | 按需 | $6.91 | 2 | $13.81 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 2 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 SXM5 141GB | 141 | Spot(竞价) | $3.45 | 4 | $13.81 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 SXM4 40GB | 40 | 按需 | $1.73 | 8 | $13.86 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 SXM 80GB | 80 | 按需 | $3.51 | 4 | $14.03 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 NVL 141GB | 141 | 按需 | $3.62 | 4 | $14.48 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A10G 24GB | 24 | 按需 | $2.04 | 8 | $16.29 | 紧张 < 1.25×(估算) | NVIDIA · Ampere · CUDA CC 8.6 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 · 仅 PCIe,无 NVLink;vLLM 建议采用流水线并行 |
| RTX PRO 6000 Blackwell Server Edition 96GB | 96 | 按需 | $4.14 | 4 | $16.57 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 Blackwell 96GB | 96 | 按需 | $2.19 | 8 | $17.52 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 NVSwitch 80GB | 80 | 按需 | $4.53 | 4 | $18.11 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 SXM 80GB | 80 | Spot(竞价) | $2.27 | 8 | $18.17 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 40GB | 40 | 按需 | $2.74 | 8 | $21.96 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 NVL 94GB | 94 | 按需 | $2.92 | 8 | $23.36 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 96GB | 96 | 按需 | $2.92 | 8 | $23.38 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 NVL | 94 | 按需 | $3.11 | 8 | $24.88 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 SXM 80GB | 80 | 按需 | $3.14 | 8 | $25.12 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 SXM5 141GB | 141 | 按需 | $6.91 | 4 | $27.62 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 4 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 SXM5 141GB | 141 | Spot(竞价) | $3.45 | 8 | $27.62 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 4500 32GB | 32 | 按需 | $3.56 | 8 | $28.51 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 NVL 141GB | 141 | 按需 | $3.62 | 8 | $28.96 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 NVSwitch 40GB | 40 | 按需 | $3.91 | 8 | $31.30 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| RTX PRO 6000 Blackwell Server Edition 96GB | 96 | 按需 | $4.14 | 8 | $33.14 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 12.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| A100 NVSwitch 80GB | 80 | 按需 | $4.53 | 8 | $36.22 | 较充裕(估算) | NVIDIA · Ampere · CUDA CC 8.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 141GB | 141 | 按需 | $5.77 | 8 | $46.15 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H100 80GB | 80 | 按需 | $6.88 | 8 | $55.04 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 SXM5 141GB | 141 | 按需 | $6.90 | 8 | $55.23 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
| H200 141GB | 141 | Spot(竞价) | $10.60 | 8 | $84.80 | 较充裕(估算) | NVIDIA · Hopper · CUDA CC 9.0 · 跨 8 张 GPU 张量并行;需要支持 TP 的推理引擎;请检查互连 |
仅满足显存要求,请核对软件支持
| GPU 型号 | 每 GPU 已审核容量(GB) | 价格类型 | 每 GPU 美元/小时 | 每实例 GPU 卡数 | 实例美元/小时 | 估算余量(单卡表:每卡;多卡表:合计) | 已审核架构与检查项 |
|---|---|---|---|---|---|---|---|
| GB300 SXM6 288GB | 288 | Spot(竞价) | $7.35 | 1 | $7.35 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 10.3 · Arm(aarch64)主机 · 低于软件门槛 |
| GB300 SXM6 288GB | 288 | 按需 | $14.71 | 4 | $58.83 | 较充裕(估算) | NVIDIA · Blackwell · CUDA CC 10.3 · Arm(aarch64)主机 · 低于软件门槛 |
“单卡可容纳”中的合格型号与价格类型集合与更严格的页面“Qwen2.5 72B Instruct LLM 推理的最佳云 GPU(FP16)”相同。该页面为本组的参考页;本页设为 noindex,并移出站点地图。
$0.458 每 GPU 小时
整机最低账单:USD $0.917/hr · 最低计费时长未知
详情与来源
SKU:122309 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA H100 NVL
来源报告的显存:94 GB
来源口径每小时金额:USD $0.917/hr · 实例
来源计费单位:实例小时
72/72
512 GB
94 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.142 每 GPU 小时
整机最低账单:USD $1.13/hr · 最低计费时长未知
详情与来源
SKU:124560 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX A5000
来源报告的显存:24 GB
来源口径每小时金额:USD $1.13/hr · 实例
来源计费单位:实例小时
32/64
256 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.142 每 GPU 小时
整机最低账单:USD $1.13/hr · 最低计费时长未知
详情与来源
SKU:124560 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX A5000
来源报告的显存:24 GB
来源口径每小时金额:USD $1.13/hr · 实例
来源计费单位:实例小时
32/64
256 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.833 每 GPU 小时
整机最低账单:USD $1.67/hr · 最低计费时长未知
详情与来源
SKU:122309 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA H100 NVL
来源报告的显存:94 GB
来源口径每小时金额:USD $1.67/hr · 实例
来源计费单位:实例小时
72/72
512 GB
94 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.458 每 GPU 小时
整机最低账单:USD $1.83/hr · 最低计费时长未知
详情与来源
SKU:4A6000.40V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x RTX A6000 48GB
来源报告的显存:192GB GPU RAM
来源口径每小时金额:USD $1.83/hr · 实例
来源计费单位:实例小时
40 CPU
240GB RAM
192GB GPU RAM
$0.260 每 GPU 小时
整机最低账单:USD $2.08/hr · 最低计费时长未知
详情与来源
SKU:103366 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA GeForce RTX 3090
来源报告的显存:24 GB
来源口径每小时金额:USD $2.08/hr · 实例
来源计费单位:实例小时
4/4
16 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.260 每 GPU 小时
整机最低账单:USD $2.08/hr · 最低计费时长未知
详情与来源
SKU:103366 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA GeForce RTX 3090
来源报告的显存:24 GB
来源口径每小时金额:USD $2.08/hr · 实例
来源计费单位:实例小时
4/4
16 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.550 每 GPU 小时
整机最低账单:USD $2.20/hr · 最低计费时长未知
详情与来源
SKU:RTX A6000 (48GB) [ALT Config] | 4 GPU | 1024 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX A6000 (48GB) [ALT Config]
来源报告的显存:48GB
来源口径每小时金额:USD $2.20/hr · 实例
来源计费单位:实例小时
96 GB
48GB
$0.350 每 GPU 小时
整机最低账单:USD $2.80/hr · 最低计费时长未知
详情与来源
SKU:A30 (24GB) | 8 GPU | 2048 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:A30 (24GB)
来源报告的显存:24GB
来源口径每小时金额:USD $2.80/hr · 实例
来源计费单位:实例小时
384 GB
24GB
$1.46 每 GPU 小时
整机最低账单:USD $2.92/hr · 最低计费时长未知
详情与来源
SKU:2RTXPRO6000.60V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:2x RTX PRO 6000 96GB
来源报告的显存:192GB GPU RAM
来源口径每小时金额:USD $2.92/hr · 实例
来源计费单位:实例小时
60 CPU
180GB RAM
192GB GPU RAM
$0.790 每 GPU 小时
整机最低账单:USD $3.16/hr · 最低计费时长未知
详情与来源
SKU:RTX 6000 ADA (48GB) | 4 GPU | 1400 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX 6000 ADA (48GB)
来源报告的显存:48GB
来源口径每小时金额:USD $3.16/hr · 实例
来源计费单位:实例小时
288 GB
48GB
$0.827 每 GPU 小时
整机最低账单:USD $3.31/hr · 最低计费时长未知
详情与来源
SKU:4RTX6000ADA.40V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x RTX 6000 Ada 48GB
来源报告的显存:192GB GPU RAM
来源口径每小时金额:USD $3.31/hr · 实例
来源计费单位:实例小时
40 CPU
240GB RAM
192GB GPU RAM
$1.67 每 GPU 小时
整机最低账单:USD $3.33/hr · 最低计费时长未知
详情与来源
SKU:121985 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX PRO 6000 Blackwell Workstation
来源报告的显存:96 GB
来源口径每小时金额:USD $3.33/hr · 实例
来源计费单位:实例小时
32/64
128 GB
96 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$1.67 每 GPU 小时
整机最低账单:USD $3.33/hr · 最低计费时长未知
详情与来源
SKU:121985 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX PRO 6000 Blackwell Workstation
来源报告的显存:96 GB
来源口径每小时金额:USD $3.33/hr · 实例
来源计费单位:实例小时
32/64
128 GB
96 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.860 每 GPU 小时
整机最低账单:USD $3.44/hr · 最低计费时长未知
详情与来源
SKU:L40 (48GB) | 4 GPU | 2500 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:L40 (48GB)
来源报告的显存:48GB
来源口径每小时金额:USD $3.44/hr · 实例
来源计费单位:实例小时
288 GB
48GB
$0.458 每 GPU 小时
整机最低账单:USD $3.66/hr · 最低计费时长未知
详情与来源
SKU:8A6000.80V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x RTX A6000 48GB
来源报告的显存:384GB GPU RAM
来源口径每小时金额:USD $3.66/hr · 实例
来源计费单位:实例小时
80 CPU
480GB RAM
384GB GPU RAM
$0.970 每 GPU 小时
整机最低账单:USD $3.88/hr · 最低计费时长未知
详情与来源
SKU:L40S (48GB) | 4 GPU | 2500 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:L40S (48GB)
来源报告的显存:48GB
来源口径每小时金额:USD $3.88/hr · 实例
来源计费单位:实例小时
288 GB
48GB
$1.04 每 GPU 小时
整机最低账单:USD $4.16/hr · 最低计费时长未知
详情与来源
SKU:4L40S.80V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x L40S 48GB
来源报告的显存:192GB GPU RAM
来源口径每小时金额:USD $4.16/hr · 实例
来源计费单位:实例小时
80 CPU
240GB RAM
192GB GPU RAM
$2.19 每 GPU 小时
整机最低账单:USD $4.38/hr · 最低计费时长未知
详情与来源
SKU:RTX PRO 6000 Blackwell (96GB) [Reduced Storage] | 2 GPU | 700 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX PRO 6000 Blackwell (96GB) [Reduced Storage]
来源报告的显存:96GB
来源口径每小时金额:USD $4.38/hr · 实例
来源计费单位:实例小时
288 GB
96GB
$0.550 每 GPU 小时
整机最低账单:USD $4.40/hr · 最低计费时长未知
详情与来源
SKU:RTX A6000 (48GB) [ALT Config] | 8 GPU | 2048 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX A6000 (48GB) [ALT Config]
来源报告的显存:48GB
来源口径每小时金额:USD $4.40/hr · 实例
来源计费单位:实例小时
192 GB
48GB
$1.21 每 GPU 小时
整机最低账单:USD $4.84/hr · 最低计费时长未知
详情与来源
SKU:4A100.88V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x A100 SXM4 80GB
来源报告的显存:320GB GPU RAM
来源口径每小时金额:USD $4.84/hr · 实例
来源计费单位:实例小时
88 CPU
480GB RAM
320GB GPU RAM
$4.90 每 GPU 小时
整机最低账单:USD $4.90/hr · 最低计费时长未知
详情与来源
SKU:1B200.30V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:1x B200 SXM6 180GB
来源报告的显存:180GB GPU RAM
来源口径每小时金额:USD $4.90/hr · 实例
来源计费单位:实例小时
30 CPU
170GB RAM
180GB GPU RAM
$0.625 每 GPU 小时
整机最低账单:USD $5.00/hr · 最低计费时长未知
详情与来源
SKU:85081 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA GeForce RTX 5090
来源报告的显存:32 GB
来源口径每小时金额:USD $5.00/hr · 实例
来源计费单位:实例小时
48/96
256 GB
32 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.625 每 GPU 小时
整机最低账单:USD $5.00/hr · 最低计费时长未知
详情与来源
SKU:85081 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA GeForce RTX 5090
来源报告的显存:32 GB
来源口径每小时金额:USD $5.00/hr · 实例
来源计费单位:实例小时
48/96
256 GB
32 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$1.35 每 GPU 小时
整机最低账单:USD $5.40/hr · 最低计费时长未知
详情与来源
SKU:A100 (80GB) | 4 GPU | 2048 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:A100 (80GB)
来源报告的显存:80GB
来源口径每小时金额:USD $5.40/hr · 实例
来源计费单位:实例小时
300 GB
80GB
$2.92 每 GPU 小时
整机最低账单:USD $5.84/hr · 最低计费时长未知
详情与来源
SKU:2RTXPRO6000.60V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:2x RTX PRO 6000 96GB
来源报告的显存:192GB GPU RAM
来源口径每小时金额:USD $5.84/hr · 实例
来源计费单位:实例小时
60 CPU
180GB RAM
192GB GPU RAM
$1.46 每 GPU 小时
整机最低账单:USD $5.84/hr · 最低计费时长未知
详情与来源
SKU:4RTXPRO6000.120V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x RTX PRO 6000 96GB
来源报告的显存:384GB GPU RAM
来源口径每小时金额:USD $5.84/hr · 实例
来源计费单位:实例小时
120 CPU
360GB RAM
384GB GPU RAM
$0.738 每 GPU 小时
整机最低账单:USD $5.90/hr · 最低计费时长未知
详情与来源
SKU:Standard_ND96asr_v4 · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:A100 40GB
来源口径每小时金额:USD $5.90/hr · 实例
来源计费单位:实例小时
$3.11 每 GPU 小时
整机最低账单:USD $6.22/hr · 最低计费时长未知
详情与来源
SKU:H100 NVL | 2 GPU | 1500 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H100 NVL
来源口径每小时金额:USD $6.22/hr · 实例
来源计费单位:实例小时
256 GB
$0.781 每 GPU 小时
整机最低账单:USD $6.25/hr · 最低计费时长未知
详情与来源
SKU:87636 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA GeForce RTX 4090
来源报告的显存:24 GB
来源口径每小时金额:USD $6.25/hr · 实例
来源计费单位:实例小时
4/4
16 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.781 每 GPU 小时
整机最低账单:USD $6.25/hr · 最低计费时长未知
详情与来源
SKU:87636 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA GeForce RTX 4090
来源报告的显存:24 GB
来源口径每小时金额:USD $6.25/hr · 实例
来源计费单位:实例小时
4/4
16 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.790 每 GPU 小时
整机最低账单:USD $6.32/hr · 最低计费时长未知
详情与来源
SKU:RTX 6000 ADA (48GB) | 8 GPU | 2800 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX 6000 ADA (48GB)
来源报告的显存:48GB
来源口径每小时金额:USD $6.32/hr · 实例
来源计费单位:实例小时
640 GB
48GB
$6.39 每 GPU 小时
整机最低账单:USD $6.39/hr · 最低计费时长未知
详情与来源
SKU:1B300.30V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:1x B300 SXM6 268GB
来源报告的显存:268GB GPU RAM
来源口径每小时金额:USD $6.39/hr · 实例
来源计费单位:实例小时
30 CPU
255GB RAM
268GB GPU RAM
$0.827 每 GPU 小时
整机最低账单:USD $6.62/hr · 最低计费时长未知
详情与来源
SKU:8RTX6000ADA.80V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x RTX 6000 Ada 48GB
来源报告的显存:384GB GPU RAM
来源口径每小时金额:USD $6.62/hr · 实例
来源计费单位:实例小时
80 CPU
480GB RAM
384GB GPU RAM
$0.859 每 GPU 小时
整机最低账单:USD $6.87/hr · 最低计费时长未知
详情与来源
SKU:Standard_ND96amsr_A100_v4 · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:A100 80GB
来源口径每小时金额:USD $6.87/hr · 实例
来源计费单位:实例小时
$3.45 每 GPU 小时
整机最低账单:USD $6.90/hr · 最低计费时长未知
详情与来源
SKU:2H200.141S.88V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:2x H200 SXM5 141GB
来源报告的显存:282GB GPU RAM
来源口径每小时金额:USD $6.90/hr · 实例
来源计费单位:实例小时
88 CPU
340GB RAM
282GB GPU RAM
$0.865 每 GPU 小时
原币每小时价格:EUR 6.3/hr · 实例
整机最低账单:USD $6.92/hr · 最低计费时长未知
$0.867 每 GPU 小时
整机最低账单:USD $6.93/hr · 最低计费时长未知
详情与来源
SKU:8A100.40S.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x A100 SXM4 40GB
来源报告的显存:320GB GPU RAM
来源口径每小时金额:USD $6.93/hr · 实例
来源计费单位:实例小时
176 CPU
960GB RAM
320GB GPU RAM
$3.62 每 GPU 小时
整机最低账单:USD $7.24/hr · 最低计费时长未知
详情与来源
SKU:H200 NVL (141GB) | 2 GPU | 1500 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H200 NVL (141GB)
来源报告的显存:141GB
来源口径每小时金额:USD $7.24/hr · 实例
来源计费单位:实例小时
360 GB
141GB
$7.35 每 GPU 小时
整机最低账单:USD $7.35/hr · 最低计费时长未知
详情与来源
SKU:1GB300.32V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:1x GB300 SXM6 288GB
来源报告的显存:288GB GPU RAM
来源口径每小时金额:USD $7.35/hr · 实例
来源计费单位:实例小时
32 CPU
225GB RAM
288GB GPU RAM
$0.920 每 GPU 小时
整机最低账单:USD $7.36/hr · 最低计费时长未知
详情与来源
SKU:RTX PRO 4500 Blackwell (32GB) | 8 GPU | 6000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX PRO 4500 Blackwell (32GB)
来源报告的显存:32GB
来源口径每小时金额:USD $7.36/hr · 实例
来源计费单位:实例小时
592 GB
32GB
$1.88 每 GPU 小时
整机最低账单:USD $7.50/hr · 最低计费时长未知
详情与来源
SKU:88789 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX PRO 6000 Blackwell MaxQ Works
来源报告的显存:96 GB
来源口径每小时金额:USD $7.50/hr · 实例
来源计费单位:实例小时
64/128
512 GB
96 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$1.88 每 GPU 小时
整机最低账单:USD $7.50/hr · 最低计费时长未知
详情与来源
SKU:88789 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX PRO 6000 Blackwell MaxQ Works
来源报告的显存:96 GB
来源口径每小时金额:USD $7.50/hr · 实例
来源计费单位:实例小时
64/128
512 GB
96 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.970 每 GPU 小时
整机最低账单:USD $7.76/hr · 最低计费时长未知
详情与来源
SKU:L40S (48GB) | 8 GPU | 5000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:L40S (48GB)
来源报告的显存:48GB
来源口径每小时金额:USD $7.76/hr · 实例
来源计费单位:实例小时
576 GB
48GB
$4.14 每 GPU 小时
整机最低账单:USD $8.29/hr · 首次最低计费金额:USD $0.138 / 60 秒
详情与来源
SKU:g7e.12xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:RTX PRO 6000 Blackwell Server Edition
来源报告的显存:192 GB
来源口径每小时金额:USD $8.29/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
192 GB
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$1.04 每 GPU 小时
整机最低账单:USD $8.32/hr · 最低计费时长未知
详情与来源
SKU:8L40S.160V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x L40S 48GB
来源报告的显存:384GB GPU RAM
来源口径每小时金额:USD $8.32/hr · 实例
来源计费单位:实例小时
160 CPU
480GB RAM
384GB GPU RAM
$2.19 每 GPU 小时
整机最低账单:USD $8.76/hr · 最低计费时长未知
详情与来源
SKU:RTX PRO 6000 Blackwell (96GB) [Reduced Storage] | 4 GPU | 1400 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX PRO 6000 Blackwell (96GB) [Reduced Storage]
来源报告的显存:96GB
来源口径每小时金额:USD $8.76/hr · 实例
来源计费单位:实例小时
576 GB
96GB
$1.11 每 GPU 小时
整机最低账单:USD $8.87/hr · 最低计费时长未知
详情与来源
SKU:Standard_ND96isr_MI300X_v5 · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:MI300X 192GB
来源口径每小时金额:USD $8.87/hr · 实例
来源计费单位:实例小时
$2.42 每 GPU 小时
整机最低账单:USD $9.69/hr · 最低计费时长未知
详情与来源
SKU:4A100.88V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x A100 SXM4 80GB
来源报告的显存:320GB GPU RAM
来源口径每小时金额:USD $9.69/hr · 实例
来源计费单位:实例小时
88 CPU
480GB RAM
320GB GPU RAM
$1.21 每 GPU 小时
整机最低账单:USD $9.69/hr · 最低计费时长未知
详情与来源
SKU:8A100.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x A100 SXM4 80GB
来源报告的显存:640GB GPU RAM
来源口径每小时金额:USD $9.69/hr · 实例
来源计费单位:实例小时
176 CPU
960GB RAM
640GB GPU RAM
$9.80 每 GPU 小时
整机最低账单:USD $9.80/hr · 最低计费时长未知
详情与来源
SKU:1B200.30V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:1x B200 SXM6 180GB
来源报告的显存:180GB GPU RAM
来源口径每小时金额:USD $9.80/hr · 实例
来源计费单位:实例小时
30 CPU
170GB RAM
180GB GPU RAM
$2.70 每 GPU 小时
整机最低账单:USD $10.80/hr · 最低计费时长未知
详情与来源
SKU:4H100.80S.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x H100 SXM5 80GB
来源报告的显存:320GB GPU RAM
来源口径每小时金额:USD $10.80/hr · 实例
来源计费单位:实例小时
176 CPU
680GB RAM
320GB GPU RAM
$1.35 每 GPU 小时
整机最低账单:USD $10.80/hr · 最低计费时长未知
详情与来源
SKU:A100 (80GB) | 8 GPU | 4096 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:A100 (80GB)
来源报告的显存:80GB
来源口径每小时金额:USD $10.80/hr · 实例
来源计费单位:实例小时
768 GB
80GB
$2.73 每 GPU 小时
整机最低账单:USD $10.92/hr · 最低计费时长未知
详情与来源
SKU:H100 (80GB) | 4 GPU | 5000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H100 (80GB)
来源报告的显存:80GB
来源口径每小时金额:USD $10.92/hr · 实例
来源计费单位:实例小时
512 GB
80GB
$1.38 每 GPU 小时
整机最低账单:USD $11.04/hr · 最低计费时长未知
详情与来源
SKU:A100 SXM4 (80GB) | 8 GPU | 5000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:A100 SXM4 (80GB)
来源报告的显存:80GB
来源口径每小时金额:USD $11.04/hr · 实例
来源计费单位:实例小时
800 GB
80GB
$1.38 每 GPU 小时
整机最低账单:USD $11.04/hr · 最低计费时长未知
详情与来源
SKU:DGX A100 (80GB) | 8 GPU | 6000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:DGX A100 (80GB)
来源报告的显存:80GB
来源口径每小时金额:USD $11.04/hr · 实例
来源计费单位:实例小时
1800 GB
80GB
$2.92 每 GPU 小时
整机最低账单:USD $11.68/hr · 最低计费时长未知
详情与来源
SKU:H100 NVL (94GB) NVLink | 4 GPU | 5000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H100 NVL (94GB) NVLink
来源报告的显存:94GB
来源口径每小时金额:USD $11.68/hr · 实例
来源计费单位:实例小时
512 GB
94GB
$2.92 每 GPU 小时
整机最低账单:USD $11.69/hr · 最低计费时长未知
详情与来源
SKU:4RTXPRO6000.120V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x RTX PRO 6000 96GB
来源报告的显存:384GB GPU RAM
来源口径每小时金额:USD $11.69/hr · 实例
来源计费单位:实例小时
120 CPU
360GB RAM
384GB GPU RAM
$1.46 每 GPU 小时
整机最低账单:USD $11.69/hr · 最低计费时长未知
详情与来源
SKU:8RTXPRO6000.240V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x RTX PRO 6000 96GB
来源报告的显存:768GB GPU RAM
来源口径每小时金额:USD $11.69/hr · 实例
来源计费单位:实例小时
240 CPU
720GB RAM
768GB GPU RAM
$3.11 每 GPU 小时
整机最低账单:USD $12.44/hr · 最低计费时长未知
详情与来源
SKU:H100 NVL | 4 GPU | 3000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H100 NVL
来源口径每小时金额:USD $12.44/hr · 实例
来源计费单位:实例小时
512 GB
$6.91 每 GPU 小时
整机最低账单:USD $13.81/hr · 最低计费时长未知
详情与来源
SKU:2H200.141S.88V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:2x H200 SXM5 141GB
来源报告的显存:282GB GPU RAM
来源口径每小时金额:USD $13.81/hr · 实例
来源计费单位:实例小时
88 CPU
340GB RAM
282GB GPU RAM
$3.45 每 GPU 小时
整机最低账单:USD $13.81/hr · 最低计费时长未知
详情与来源
SKU:4H200.141S.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x H200 SXM5 141GB
来源报告的显存:564GB GPU RAM
来源口径每小时金额:USD $13.81/hr · 实例
来源计费单位:实例小时
176 CPU
680GB RAM
564GB GPU RAM
$1.73 每 GPU 小时
整机最低账单:USD $13.86/hr · 最低计费时长未知
详情与来源
SKU:8A100.40S.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x A100 SXM4 40GB
来源报告的显存:320GB GPU RAM
来源口径每小时金额:USD $13.86/hr · 实例
来源计费单位:实例小时
176 CPU
960GB RAM
320GB GPU RAM
$3.51 每 GPU 小时
原币每小时价格:EUR 12.771/hr · 实例
整机最低账单:USD $14.03/hr · 最低计费时长未知
$3.62 每 GPU 小时
整机最低账单:USD $14.48/hr · 最低计费时长未知
详情与来源
SKU:H200 NVL (141GB) | 4 GPU | 3000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H200 NVL (141GB)
来源报告的显存:141GB
来源口径每小时金额:USD $14.48/hr · 实例
来源计费单位:实例小时
720 GB
141GB
$2.04 每 GPU 小时
整机最低账单:USD $16.29/hr · 首次最低计费金额:USD $0.271 / 60 秒
详情与来源
SKU:g5.48xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:A10G
来源报告的显存:192 GB
来源口径每小时金额:USD $16.29/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
192 GB
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$4.14 每 GPU 小时
整机最低账单:USD $16.57/hr · 首次最低计费金额:USD $0.276 / 60 秒
详情与来源
SKU:g7e.24xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:RTX PRO 6000 Blackwell Server Edition
来源报告的显存:384 GB
来源口径每小时金额:USD $16.57/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
384 GB
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$2.19 每 GPU 小时
整机最低账单:USD $17.52/hr · 最低计费时长未知
详情与来源
SKU:RTX PRO 6000 Blackwell (96GB) [Reduced Storage] | 8 GPU | 2800 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:RTX PRO 6000 Blackwell (96GB) [Reduced Storage]
来源报告的显存:96GB
来源口径每小时金额:USD $17.52/hr · 实例
来源计费单位:实例小时
1152 GB
96GB
$4.53 每 GPU 小时
原币每小时价格:CNY 120.72/hr · 实例
整机最低账单:USD $18.11/hr · 最低计费时长未知
$2.27 每 GPU 小时
整机最低账单:USD $18.17/hr · 最低计费时长未知
详情与来源
SKU:Standard_ND96isr_H100_v5 · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:H100 SXM 80GB
来源口径每小时金额:USD $18.17/hr · 实例
来源计费单位:实例小时
$9.79 每 GPU 小时
整机最低账单:USD $19.59/hr · 最低计费时长未知
详情与来源
SKU:2B200.60V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:2x B200 SXM6 180GB
来源报告的显存:360GB GPU RAM
来源口径每小时金额:USD $19.59/hr · 实例
来源计费单位:实例小时
60 CPU
340GB RAM
360GB GPU RAM
$4.90 每 GPU 小时
整机最低账单:USD $19.59/hr · 最低计费时长未知
详情与来源
SKU:4B200.120V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x B200 SXM6 180GB
来源报告的显存:720GB GPU RAM
来源口径每小时金额:USD $19.59/hr · 实例
来源计费单位:实例小时
120 CPU
680GB RAM
720GB GPU RAM
$9.99 每 GPU 小时
整机最低账单:USD $19.98/hr · 最低计费时长未知
详情与来源
SKU:2B200.60V.CC.AMD · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:2x B200 CC SXM6 180GB
来源报告的显存:360GB GPU RAM
来源口径每小时金额:USD $19.98/hr · 实例
来源计费单位:实例小时
60 CPU (AMD EPYC)
340GB RAM
360GB GPU RAM
$5.00 每 GPU 小时
整机最低账单:USD $19.98/hr · 最低计费时长未知
详情与来源
SKU:4B200.120V.CC.AMD · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x B200 CC SXM6 180GB
来源报告的显存:720GB GPU RAM
来源口径每小时金额:USD $19.98/hr · 实例
来源计费单位:实例小时
120 CPU (AMD EPYC)
680GB RAM
720GB GPU RAM
$2.74 每 GPU 小时
整机最低账单:USD $21.96/hr · 首次最低计费金额:USD $0.366 / 60 秒
详情与来源
SKU:p4d.24xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:A100
来源报告的显存:320 GB HBM2
来源口径每小时金额:USD $21.96/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
320 GB HBM2
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$2.92 每 GPU 小时
整机最低账单:USD $23.36/hr · 最低计费时长未知
详情与来源
SKU:H100 NVL (94GB) NVLink | 8 GPU | 10000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H100 NVL (94GB) NVLink
来源报告的显存:94GB
来源口径每小时金额:USD $23.36/hr · 实例
来源计费单位:实例小时
1500 GB
94GB
$2.92 每 GPU 小时
整机最低账单:USD $23.38/hr · 最低计费时长未知
详情与来源
SKU:8RTXPRO6000.240V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x RTX PRO 6000 96GB
来源报告的显存:768GB GPU RAM
来源口径每小时金额:USD $23.38/hr · 实例
来源计费单位:实例小时
240 CPU
720GB RAM
768GB GPU RAM
$3.11 每 GPU 小时
整机最低账单:USD $24.88/hr · 最低计费时长未知
详情与来源
SKU:H100 NVL | 8 GPU | 6000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H100 NVL
来源口径每小时金额:USD $24.88/hr · 实例
来源计费单位:实例小时
1024 GB
$3.14 每 GPU 小时
整机最低账单:USD $25.12/hr · 最低计费时长未知
详情与来源
SKU:H100 SXM5 (80GB) | 8 GPU | 2800 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H100 SXM5 (80GB)
来源报告的显存:80GB
来源口径每小时金额:USD $25.12/hr · 实例
来源计费单位:实例小时
976 GB
80GB
$6.52 每 GPU 小时
整机最低账单:USD $26.09/hr · 最低计费时长未知
详情与来源
SKU:4B300.120V.CC.AMD · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x B300 CC SXM6 268GB
来源报告的显存:1072GB GPU RAM
来源口径每小时金额:USD $26.09/hr · 实例
来源计费单位:实例小时
120 CPU (AMD EPYC)
1020GB RAM
1072GB GPU RAM
$6.91 每 GPU 小时
整机最低账单:USD $27.62/hr · 最低计费时长未知
详情与来源
SKU:4H200.141S.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x H200 SXM5 141GB
来源报告的显存:564GB GPU RAM
来源口径每小时金额:USD $27.62/hr · 实例
来源计费单位:实例小时
176 CPU
680GB RAM
564GB GPU RAM
$3.45 每 GPU 小时
整机最低账单:USD $27.62/hr · 最低计费时长未知
详情与来源
SKU:8H200.141S.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x H200 SXM5 141GB
来源报告的显存:1128GB GPU RAM
来源口径每小时金额:USD $27.62/hr · 实例
来源计费单位:实例小时
176 CPU
1360GB RAM
1128GB GPU RAM
$3.56 每 GPU 小时
整机最低账单:USD $28.51/hr · 首次最低计费金额:USD $0.475 / 60 秒
详情与来源
SKU:g7.48xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:RTX PRO 4500
来源报告的显存:256 GB
来源口径每小时金额:USD $28.51/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
256 GB
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$3.62 每 GPU 小时
整机最低账单:USD $28.96/hr · 最低计费时长未知
详情与来源
SKU:H200 NVL (141GB) | 8 GPU | 6000 storage · 可用性:未知 · C · 仅展示
来源报告的 GPU 名称:H200 NVL (141GB)
来源报告的显存:141GB
来源口径每小时金额:USD $28.96/hr · 实例
来源计费单位:实例小时
1760 GB
141GB
$3.91 每 GPU 小时
原币每小时价格:CNY 208.67/hr · 实例
整机最低账单:USD $31.30/hr · 最低计费时长未知
$4.14 每 GPU 小时
整机最低账单:USD $33.14/hr · 首次最低计费金额:USD $0.552 / 60 秒
详情与来源
SKU:g7e.48xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:RTX PRO 6000 Blackwell Server Edition
来源报告的显存:768 GB
来源口径每小时金额:USD $33.14/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
768 GB
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$4.53 每 GPU 小时
原币每小时价格:CNY 241.43/hr · 实例
整机最低账单:USD $36.22/hr · 最低计费时长未知
$5.77 每 GPU 小时
原币每小时价格:EUR 42/hr · 实例
整机最低账单:USD $46.15/hr · 首次最低计费金额:USD $0.769 / 60 秒
详情与来源
SKU:h200-1920-eph.consumption · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:H200
来源报告的显存:141 GB/GPU
来源口径每小时金额:USD $46.15/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
原币每小时价格:EUR 42 · 美元换算汇率:1.0989 · ECB 2026-11-17
1920 GB
141 GB/GPU
FR subsidiary base Linux public-cloud catalog; exact region and capacity unspecified; local/3-AZ prices not inferred.
API 记录页$6.00 每 GPU 小时
整机最低账单:USD $48.00/hr · 最低计费时长未知
详情与来源
SKU:Standard_ND96isr_MI300X_v5 · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:MI300X 192GB
来源口径每小时金额:USD $48.00/hr · 实例
来源计费单位:实例小时
$13.04 每 GPU 小时
整机最低账单:USD $52.18/hr · 最低计费时长未知
详情与来源
SKU:4B300.120V.CC.AMD · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x B300 CC SXM6 268GB
来源报告的显存:1072GB GPU RAM
来源口径每小时金额:USD $52.18/hr · 实例
来源计费单位:实例小时
120 CPU (AMD EPYC)
1020GB RAM
1072GB GPU RAM
$6.88 每 GPU 小时
整机最低账单:USD $55.04/hr · 首次最低计费金额:USD $0.917 / 60 秒
详情与来源
SKU:p5.48xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:H100
来源报告的显存:640 GB HBM3
来源口径每小时金额:USD $55.04/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
640 GB HBM3
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$6.90 每 GPU 小时
整机最低账单:USD $55.23/hr · 最低计费时长未知
详情与来源
SKU:8H200.141S.176V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x H200 SXM5 141GB
来源报告的显存:1128GB GPU RAM
来源口径每小时金额:USD $55.23/hr · 实例
来源计费单位:实例小时
176 CPU
1360GB RAM
1128GB GPU RAM
$14.71 每 GPU 小时
整机最低账单:USD $58.83/hr · 最低计费时长未知
详情与来源
SKU:4GB300.128V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:4x GB300 SXM6 288GB
来源报告的显存:1152GB GPU RAM
来源口径每小时金额:USD $58.83/hr · 实例
来源计费单位:实例小时
128 CPU
900GB RAM
1152GB GPU RAM
$10.60 每 GPU 小时
整机最低账单:USD $84.80/hr · 最低计费时长未知
详情与来源
SKU:Standard_ND96isr_H200_v5 · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:H200 141GB
来源口径每小时金额:USD $84.80/hr · 实例
来源计费单位:实例小时
$12.79 每 GPU 小时
整机最低账单:USD $102.30/hr · 最低计费时长未知
详情与来源
SKU:8B300.240V · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:8x B300 SXM6 268GB
来源报告的显存:2144GB GPU RAM
来源口径每小时金额:USD $102.30/hr · 实例
来源计费单位:实例小时
240 CPU
2040GB RAM
2144GB GPU RAM
$14.00 每 GPU 小时
整机最低账单:USD $112.00/hr · 最低计费时长未知
详情与来源
SKU:B110978:BM.GPU.B200.8 · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:OCI - Compute - GPU - B200
来源口径每小时金额:USD $112.00/hr · 实例
来源计费单位:实例小时
128 OCPUs
4096 GB
Global public list rate; region and inventory unspecified. Shape CPU and memory included.
API 记录页$14.24 每 GPU 小时
整机最低账单:USD $113.93/hr · 首次最低计费金额:USD $1.90 / 60 秒
详情与来源
SKU:p6-b200.48xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:B200
来源报告的显存:1432 GB HBM3e
来源口径每小时金额:USD $113.93/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
1432 GB HBM3e
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页$17.80 每 GPU 小时
整机最低账单:USD $142.42/hr · 首次最低计费金额:USD $2.37 / 60 秒
详情与来源
SKU:p6-b300.48xlarge · 可用性:未知 · A · 官方 API
来源报告的 GPU 名称:B300
来源报告的显存:2144 GB HBM3e
来源口径每小时金额:USD $142.42/hr · 实例
来源计费单位:实例小时
最低计费时长(秒):60
2144 GB HBM3e
Linux, shared tenancy, no preinstalled software; storage and data transfer extra.
API 记录页租用前需要核对
- 用实际模型、精度、上下文或音频长度及批量大小试跑,并为缓存和临时分配预留空间。
- 确认驱动、CUDA 计算能力或 ROCm gfx 目标、框架及具体量化内核。
- 确认 CPU 架构是 x86_64 还是 aarch64,并核对容器与安装包支持。
- 为下载和加载权重及临时文件预留主机 RAM 与磁盘空间。
- N > 1 时,确认推理引擎支持张量并行,并检查 GPU 互连与拓扑;显存总和充足本身并不够。
- 核对 GPU 卡数、最小可租实例、计费时长、税费、汇率、存储及出站流量费用;使用可中断 Spot 资源时规划请求重试。
- 向服务商重新确认地区访问权限、配额和实际库存;库存未知的报价并非容量预留。
官方来源
- Hugging Face:Llama 3.1 权重与 KV 表 · https://huggingface.co/blog/llama31
- Meta:Llama 架构登记表 · https://raw.githubusercontent.com/meta-llama/llama-models/main/models/sku_list.py
- Hugging Face:显存估算器及推理限制说明 · https://huggingface.co/docs/accelerate/usage_guides/model_size_estimator
- vLLM:GPU 安装与软件门槛 · https://docs.vllm.ai/en/stable/getting_started/installation/gpu/
- vLLM:张量并行推理服务 · https://docs.vllm.ai/en/stable/serving/parallelism_scaling/
- PyTorch:稳定版 CUDA 支持矩阵 · https://github.com/pytorch/pytorch/blob/main/RELEASE.md#pytorch-cuda-support-matrix
租卡前先算清整单成本: GPU 预算计算器套件($12)