如何选择用于大语言模型推理的 GPU 云服务
先确定模型显存需求,再比较必须租用的卡数、部署地区和价格类型。每卡小时价较低,并不代表模型一定装得下,也不代表整机账单较低。
“当前”指本次构建所用日期快照中的合格观测,并非刚完成库存核验,也不是全市场最低价。仅计算整卡美元报价,地区为标准或未注明,税费为未含税或未知,竞价单列。过期记录、分片、促销起价和仅 GPU 组件价格不参与计算。来源、税费、社区市场、汇率和计费限定仍保留在报价卡中。
价格观测日期:2026-11-18
下表根据数据库参考记录中保存的模型卡标称参数量,计算理想权重存储量。FP16 每个参数占两个字节,紧密打包的四位权重占半个字节。结果采用十进制 GB,并非 GiB。这是基于标称规模的算术估算,不是实测显存需求;量化元数据、KV 缓存、激活值和运行时都会增加开销。上下文长度和并发量也会改变需求。显存更多不能证明吞吐量更高,多卡合用显存需要推理框架支持分片。选容量前应查看所列估算器和缓存文档。
| GPU 型号 | 标称参数量(十亿) | FP16 仅权重(GB) | 四位紧密打包,仅权重(GB) |
|---|---|---|---|
| Llama 2 7B | 7 | 14 | 3.5 |
| Llama 2 13B | 13 | 26 | 6.5 |
| Llama 2 70B | 70 | 140 | 35 |
应在权重存储所需显存之外预留余量,并按目标上下文长度、批量大小和精度实际验证。下表将每卡显存划为互不重叠的区间。区间最低观测报价只是候选列表,不代表推荐,也不能证明某个模型装得下。请通过型号页和服务商页继续核对卡数、位置与来源条件。
| 每卡显存区间 | 价格类型 | 最低观测美元/GPU 小时 |
|---|---|---|
| 16 GB – < 24 GB | 按需 | RTX A4000 16GB · clore · $0.062 · 按需 |
| 16 GB – < 24 GB | Spot(竞价) | RTX A4000 16GB · clore · $0.062 · Spot(竞价) |
| 24 GB – < 48 GB | 按需 | V100 SXM2 32GB · clore · $0.074 · 按需 |
| 24 GB – < 48 GB | Spot(竞价) | RTX 3090 24GB · clore · $0.067 · Spot(竞价) |
| 48 GB – < 80 GB | 按需 | CMP 170HX 64GB · clore · $0.231 · 按需 |
| 48 GB – < 80 GB | Spot(竞价) | CMP 170HX 64GB · clore · $0.231 · Spot(竞价) |
| 80 GB+ | 按需 | A100 PCIe 80GB · clore · $0.354 · 按需 |
| 80 GB+ | Spot(竞价) | A100 PCIe 80GB · clore · $0.250 · Spot(竞价) |
实际数据示例与报价条件
$0.062 每 GPU 小时
整机最低账单:USD $0.062/hr · 最低计费时长未知
详情与来源
SKU:113131 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX A4000
来源报告的显存:16 GB
来源口径每小时金额:USD $0.062/hr · 实例
来源计费单位:实例小时
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.062 每 GPU 小时
整机最低账单:USD $0.062/hr · 最低计费时长未知
详情与来源
SKU:113131 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA RTX A4000
来源报告的显存:16 GB
来源口径每小时金额:USD $0.062/hr · 实例
来源计费单位:实例小时
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.067 每 GPU 小时
整机最低账单:USD $0.067/hr · 最低计费时长未知
详情与来源
SKU:112743 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA GeForce RTX 3090
来源报告的显存:24 GB
来源口径每小时金额:USD $0.067/hr · 实例
来源计费单位:实例小时
16/32
64 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.074 每 GPU 小时
整机最低账单:USD $0.295/hr · 最低计费时长未知
详情与来源
SKU:122717 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:Tesla V100SXM232GB
来源报告的显存:32 GB
来源口径每小时金额:USD $0.295/hr · 实例
来源计费单位:实例小时
24/48
192 GB
32 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.231 每 GPU 小时
整机最低账单:USD $2.08/hr · 最低计费时长未知
详情与来源
SKU:115963 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA CMP 170HX
来源报告的显存:64 GB
来源口径每小时金额:USD $2.08/hr · 实例
来源计费单位:实例小时
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.231 每 GPU 小时
整机最低账单:USD $2.08/hr · 最低计费时长未知
详情与来源
SKU:115963 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA CMP 170HX
来源报告的显存:64 GB
来源口径每小时金额:USD $2.08/hr · 实例
来源计费单位:实例小时
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.250 每 GPU 小时
整机最低账单:USD $0.250/hr · 最低计费时长未知
详情与来源
SKU:124543 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA A100 80GB PCIe
来源报告的显存:80 GB
来源口径每小时金额:USD $0.250/hr · 实例
来源计费单位:实例小时
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页$0.354 每 GPU 小时
整机最低账单:USD $0.354/hr · 最低计费时长未知
详情与来源
SKU:124543 · 可用性:可用 · A · 官方 API
来源报告的 GPU 名称:NVIDIA A100 80GB PCIe
来源报告的显存:80 GB
来源口径每小时金额:USD $0.354/hr · 实例
来源计费单位:实例小时
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 记录页官方来源
租卡前先算清整单成本: GPU 预算计算器套件($12)
相关指南与对比
- GPU 竞价与按需价格对比
- 每 GPU 小时价与整机价格
- GPU 云服务价格术语表
- 当前每 GB 显存成本最低的 GPU
- Llama 系列
- Qwen 系列
- Qwen2.5 7B Instruct LLM 推理的最佳云 GPU(FP16)
- Qwen2.5 7B Instruct LLM 推理的最佳云 GPU(4-bit 量化)
- Qwen2.5 14B Instruct LLM 推理的最佳云 GPU(FP16)
- Qwen2.5 14B Instruct LLM 推理的最佳云 GPU(4-bit 量化)
- Qwen2.5 32B Instruct LLM 推理的最佳云 GPU(FP16)
- Qwen2.5 32B Instruct LLM 推理的最佳云 GPU(4-bit 量化)
- Qwen2.5 72B Instruct LLM 推理的最佳云 GPU(FP16)
- Qwen2.5 72B Instruct LLM 推理的最佳云 GPU(4-bit 量化)
- Mistral 系列
- Whisper 语音识别