GPU 价格指数
语言 / 简体中文

如何选择用于大语言模型推理的 GPU 云服务

先确定模型显存需求,再比较必须租用的卡数、部署地区和价格类型。每卡小时价较低,并不代表模型一定装得下,也不代表整机账单较低。

“当前”指本次构建所用日期快照中的合格观测,并非刚完成库存核验,也不是全市场最低价。仅计算整卡美元报价,地区为标准或未注明,税费为未含税或未知,竞价单列。过期记录、分片、促销起价和仅 GPU 组件价格不参与计算。来源、税费、社区市场、汇率和计费限定仍保留在报价卡中。

价格观测日期:2026-11-18

下表根据数据库参考记录中保存的模型卡标称参数量,计算理想权重存储量。FP16 每个参数占两个字节,紧密打包的四位权重占半个字节。结果采用十进制 GB,并非 GiB。这是基于标称规模的算术估算,不是实测显存需求;量化元数据、KV 缓存、激活值和运行时都会增加开销。上下文长度和并发量也会改变需求。显存更多不能证明吞吐量更高,多卡合用显存需要推理框架支持分片。选容量前应查看所列估算器和缓存文档。

由有来源的数据库参考记录计算的权重容量估算
GPU 型号标称参数量(十亿)FP16 仅权重(GB)四位紧密打包,仅权重(GB)
Llama 2 7B7143.5
Llama 2 13B13266.5
Llama 2 70B7014035

应在权重存储所需显存之外预留余量,并按目标上下文长度、批量大小和精度实际验证。下表将每卡显存划为互不重叠的区间。区间最低观测报价只是候选列表,不代表推荐,也不能证明某个模型装得下。请通过型号页和服务商页继续核对卡数、位置与来源条件。

当前合格报价,按显存区间及价格类型分列
每卡显存区间价格类型最低观测美元/GPU 小时
16 GB – < 24 GB按需RTX A4000 16GB · clore · $0.062 · 按需
16 GB – < 24 GBSpot(竞价)RTX A4000 16GB · clore · $0.062 · Spot(竞价)
24 GB – < 48 GB按需V100 SXM2 32GB · clore · $0.074 · 按需
24 GB – < 48 GBSpot(竞价)RTX 3090 24GB · clore · $0.067 · Spot(竞价)
48 GB – < 80 GB按需CMP 170HX 64GB · clore · $0.231 · 按需
48 GB – < 80 GBSpot(竞价)CMP 170HX 64GB · clore · $0.231 · Spot(竞价)
80 GB+按需A100 PCIe 80GB · clore · $0.354 · 按需
80 GB+Spot(竞价)A100 PCIe 80GB · clore · $0.250 · Spot(竞价)

实际数据示例与报价条件

RTX A4000 16GB 1×

Clore.ai按需税费口径未知A · 官方 API社区市场

JP

USD(稳定币)• 可能另收平台费用

USD $0.062/hr

$0.062 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $0.062/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:113131 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:NVIDIA RTX A4000

来源报告的显存:16 GB

来源口径每小时金额:USD $0.062/hr · 实例
来源计费单位:实例小时
2/2
16 GB
16 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

RTX A4000 16GB 1×

Clore.aiSpot(竞价)税费口径未知A · 官方 API社区市场

JP

USD(稳定币)• 可能另收平台费用

USD $0.062/hr

$0.062 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $0.062/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:113131 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:NVIDIA RTX A4000

来源报告的显存:16 GB

来源口径每小时金额:USD $0.062/hr · 实例
来源计费单位:实例小时
2/2
16 GB
16 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

RTX 3090 24GB 1×

Clore.aiSpot(竞价)税费口径未知A · 官方 API社区市场

PL

USD(稳定币)• 可能另收平台费用

USD $0.067/hr

$0.067 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $0.067/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:112743 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:NVIDIA GeForce RTX 3090

来源报告的显存:24 GB

来源口径每小时金额:USD $0.067/hr · 实例
来源计费单位:实例小时
16/32
64 GB
24 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

V100 SXM2 32GB 4×

Clore.ai按需税费口径未知A · 官方 API社区市场

RU

USD(稳定币)• 可能另收平台费用

USD $0.295/hr

$0.074 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $0.295/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:122717 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:Tesla V100SXM232GB

来源报告的显存:32 GB

来源口径每小时金额:USD $0.295/hr · 实例
来源计费单位:实例小时
24/48
192 GB
32 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

CMP 170HX 64GB 9×

Clore.ai按需税费口径未知A · 官方 API社区市场

FI

USD(稳定币)• 可能另收平台费用

USD $2.08/hr

$0.231 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $2.08/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:115963 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:NVIDIA CMP 170HX

来源报告的显存:64 GB

来源口径每小时金额:USD $2.08/hr · 实例
来源计费单位:实例小时
4/8
32 GB
64 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

CMP 170HX 64GB 9×

Clore.aiSpot(竞价)税费口径未知A · 官方 API社区市场

FI

USD(稳定币)• 可能另收平台费用

USD $2.08/hr

$0.231 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $2.08/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:115963 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:NVIDIA CMP 170HX

来源报告的显存:64 GB

来源口径每小时金额:USD $2.08/hr · 实例
来源计费单位:实例小时
4/8
32 GB
64 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

A100 PCIe 80GB 1×

Clore.aiSpot(竞价)税费口径未知A · 官方 API社区市场

US

USD(稳定币)• 可能另收平台费用

USD $0.250/hr

$0.250 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $0.250/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:124543 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:NVIDIA A100 80GB PCIe

来源报告的显存:80 GB

来源口径每小时金额:USD $0.250/hr · 实例
来源计费单位:实例小时
24/24
216 GB
80 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

A100 PCIe 80GB 1×

Clore.ai按需税费口径未知A · 官方 API社区市场

US

USD(稳定币)• 可能另收平台费用

USD $0.354/hr

$0.354 每 GPU 小时

每实例小时 · 核查于

整机最低账单:USD $0.354/hr · 最低计费时长未知

前往 Clore.ai 查看 →全部报价 →
详情与来源

SKU:124543 · 可用性:可用 · A · 官方 API

来源报告的 GPU 名称:NVIDIA A100 80GB PCIe

来源报告的显存:80 GB

来源口径每小时金额:USD $0.354/hr · 实例
来源计费单位:实例小时
24/24
216 GB
80 GB

Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).

API 记录页

官方来源

租卡前先算清整单成本: GPU 预算计算器套件($12)

相关指南与对比

方法与数据来源