Choisir un fournisseur GPU cloud pour l’inférence de LLM
Évaluez d’abord la mémoire du modèle, puis comparez les GPU facturés, la région et le tarif. Un prix bas par GPU ne garantit ni que le modèle tient en mémoire, ni une facture totale réduite.
Actuel désigne les observations admissibles dans la base datée utilisée pour cette génération, sans nouvelle vérification de stock ni minimum garanti sur tout le marché. Seuls les GPU entiers en USD sont retenus, en région standard ou non précisée, hors taxes ou fiscalité inconnue. Spot reste séparé. Données périmées, fractions, prix promotionnels « à partir de » et composants GPU seuls sont exclus. Les cartes conservent les mentions de source, taxes, place de marché, change et facturation.
Date des prix observés : 2026-11-18
Le tableau calcule le stockage idéal des poids à partir des nombres nominaux de paramètres de la fiche modèle, enregistrés dans la base. FP16 utilise deux octets par paramètre ; des poids sur quatre bits compactés en utilisent un demi. Les résultats sont en Go décimaux, pas en Gio. Ce sont des estimations arithmétiques nominales, pas des besoins VRAM mesurés : métadonnées de quantification, cache KV, activations et exécution ajoutent de la mémoire. Contexte et concurrence modifient les besoins. La capacité ne prouve pas le débit ; plusieurs GPU nécessitent un partitionnement pris en charge. Consultez l’estimateur et la documentation du cache.
| Modèle de GPU | Paramètres nominaux (milliards) | Poids FP16 seuls (Go) | Poids compactés sur quatre bits (Go) |
|---|---|---|---|
| Llama 2 7B | 7 | 14 | 3.5 |
| Llama 2 13B | 13 | 26 | 6.5 |
| Llama 2 70B | 70 | 140 | 35 |
Prévoyez une marge de mémoire en plus du stockage des poids et testez la longueur de contexte, la taille de lot et la précision prévues. Les plages de mémoire par GPU ci-dessous ne se chevauchent pas. Leurs minima observés servent à établir une liste de candidats, sans recommandation ni garantie qu’un modèle tienne en mémoire. Vérifiez l’allocation, l’emplacement et les conditions sur les pages liées.
| Plage de VRAM par GPU | Type de prix | Minimum observé en USD/GPU-heure |
|---|---|---|
| 16 GB – < 24 GB | À la demande | RTX A4000 16GB · clore · $0.062 · À la demande |
| 16 GB – < 24 GB | Spot | RTX A4000 16GB · clore · $0.062 · Spot |
| 24 GB – < 48 GB | À la demande | V100 SXM2 32GB · clore · $0.074 · À la demande |
| 24 GB – < 48 GB | Spot | RTX 3090 24GB · clore · $0.067 · Spot |
| 48 GB – < 80 GB | À la demande | CMP 170HX 64GB · clore · $0.231 · À la demande |
| 48 GB – < 80 GB | Spot | CMP 170HX 64GB · clore · $0.231 · Spot |
| 80 GB+ | À la demande | A100 PCIe 80GB · clore · $0.354 · À la demande |
| 80 GB+ | Spot | A100 PCIe 80GB · clore · $0.250 · Spot |
Exemples observés et conditions des offres
RTX A4000 16GB 1×
JP
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.062 par GPU-heure
Coût minimal facturable de l’instance : USD $0.062/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 113131 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : NVIDIA RTX A4000
VRAM déclarée : 16 GB
Montant horaire selon la portée source : USD $0.062/hr · Instance
Unité de facturation source : Instance-heure
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APIRTX A4000 16GB 1×
JP
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.062 par GPU-heure
Coût minimal facturable de l’instance : USD $0.062/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 113131 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : NVIDIA RTX A4000
VRAM déclarée : 16 GB
Montant horaire selon la portée source : USD $0.062/hr · Instance
Unité de facturation source : Instance-heure
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APIRTX 3090 24GB 1×
PL
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.067 par GPU-heure
Coût minimal facturable de l’instance : USD $0.067/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 112743 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : NVIDIA GeForce RTX 3090
VRAM déclarée : 24 GB
Montant horaire selon la portée source : USD $0.067/hr · Instance
Unité de facturation source : Instance-heure
16/32
64 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APIV100 SXM2 32GB 4×
RU
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.074 par GPU-heure
Coût minimal facturable de l’instance : USD $0.295/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 122717 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : Tesla V100SXM232GB
VRAM déclarée : 32 GB
Montant horaire selon la portée source : USD $0.295/hr · Instance
Unité de facturation source : Instance-heure
24/48
192 GB
32 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APICMP 170HX 64GB 9×
FI
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.231 par GPU-heure
Coût minimal facturable de l’instance : USD $2.08/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 115963 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : NVIDIA CMP 170HX
VRAM déclarée : 64 GB
Montant horaire selon la portée source : USD $2.08/hr · Instance
Unité de facturation source : Instance-heure
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APICMP 170HX 64GB 9×
FI
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.231 par GPU-heure
Coût minimal facturable de l’instance : USD $2.08/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 115963 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : NVIDIA CMP 170HX
VRAM déclarée : 64 GB
Montant horaire selon la portée source : USD $2.08/hr · Instance
Unité de facturation source : Instance-heure
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APIA100 PCIe 80GB 1×
US
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.250 par GPU-heure
Coût minimal facturable de l’instance : USD $0.250/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 124543 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : NVIDIA A100 80GB PCIe
VRAM déclarée : 80 GB
Montant horaire selon la portée source : USD $0.250/hr · Instance
Unité de facturation source : Instance-heure
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APIA100 PCIe 80GB 1×
US
USD (stablecoin) • des frais de plateforme peuvent s’appliquer
$0.354 par GPU-heure
Coût minimal facturable de l’instance : USD $0.354/hr · Durée minimale de facturation inconnue
Détails et source
SKU : 124543 · Disponibilité : Disponible · A · API officielle
Nom du GPU déclaré : NVIDIA A100 80GB PCIe
VRAM déclarée : 80 GB
Montant horaire selon la portée source : USD $0.354/hr · Instance
Unité de facturation source : Instance-heure
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
Page de l’enregistrement APISources officielles
Connaissez le coût total du job avant de louer : GPU Budget Kit ($12)
Guides et comparaisons associés
- Prix GPU : Spot ou à la demande
- Prix par GPU-heure et prix de l’instance
- Glossaire des prix du cloud GPU
- GPU les moins chers par Go de VRAM actuellement
- Modèles Llama
- Meilleur GPU cloud pour l’inférence LLM Llama 3.1 8B (FP16)
- Meilleur GPU cloud pour l’inférence LLM Llama 3.1 8B (4 bits)
- Meilleur GPU cloud pour l’inférence LLM Llama 2 13B (FP16)
- Meilleur GPU cloud pour l’inférence LLM Llama 2 13B (4 bits)
- Meilleur GPU cloud pour l’inférence LLM Llama 3.1 70B (FP16)
- Meilleur GPU cloud pour l’inférence LLM Llama 3.1 70B (4 bits)
- Modèles Qwen
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 7B Instruct (FP16)
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 7B Instruct (4 bits)
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 14B Instruct (FP16)
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 14B Instruct (4 bits)
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 32B Instruct (FP16)
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 32B Instruct (4 bits)
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 72B Instruct (FP16)
- Meilleur GPU cloud pour l’inférence LLM Qwen2.5 72B Instruct (4 bits)
- Modèles Mistral
- Reconnaissance vocale Whisper