GPU-Cloud für LLM-Inferenz auswählen
Klären Sie zuerst den Speicherbedarf des Modells und vergleichen Sie dann die abzurechnende GPU-Zuteilung, Region und Preisart. Ein niedriger GPU-Stundensatz belegt weder, dass das Modell in den Speicher passt, noch die Kosten der ganzen Instanz.
Aktuell bezeichnet geeignete Beobachtungen im datierten Datenbankstand dieses Builds, keine neue Bestandsprüfung oder ein weltweites Minimum. Berechnet werden ganze GPUs in USD, Standardregionen oder unbekannte Regionen, Steuern ausgeschlossen oder unbekannt. Spot bleibt getrennt. Veraltete Daten, Teil-GPUs, beworbene Ab-Preise und reine GPU-Komponenten sind ausgeschlossen. Quellen-, Steuer-, Marktplatz-, Wechselkurs- und Abrechnungsangaben stehen auf den Angebotskarten.
Preisbeobachtungen vom: 2026-11-18
Die Tabelle berechnet idealen Gewichtsspeicher aus den in der Datenbank hinterlegten nominalen Parameterzahlen der Modellkarte. FP16 benötigt zwei Byte je Parameter, dicht gepackte Vierbit-Gewichte ein halbes Byte. Die Einheit ist dezimales GB, nicht GiB. Das sind rechnerische Schätzungen nominaler Größen, kein gemessener VRAM-Bedarf: Quantisierungsmetadaten, KV-Cache, Aktivierungen und Laufzeit benötigen zusätzlichen Speicher. Kontextlänge und Parallelität verändern den Bedarf. Speichergröße belegt keinen Durchsatz; mehrere GPUs erfordern unterstütztes Sharding. Prüfen Sie Schätzer und Cache-Dokumentation.
| GPU-Modell | Nominale Parameter (Milliarden) | Nur FP16-Gewichte (GB) | Nur gepackte Vierbit-Gewichte (GB) |
|---|---|---|---|
| Llama 2 7B | 7 | 14 | 3.5 |
| Llama 2 13B | 13 | 26 | 6.5 |
| Llama 2 70B | 70 | 140 | 35 |
Planen Sie zusätzlich zum Speicher für die Modellgewichte eine Reserve ein und testen Sie die vorgesehene Kontextlänge, Stapelgröße und Präzision. Die Speicherbereiche pro GPU überschneiden sich nicht. Die niedrigsten beobachteten Preise bilden eine Kandidatenliste, keine Empfehlung oder Garantie, dass ein Modell in den Speicher passt. Prüfen Sie Zuteilung, Standort und Quellenbedingungen auf den verlinkten Modell- und Anbieterseiten.
| VRAM-Bereich pro GPU | Preisart | Niedrigster beobachteter USD/GPU-Stundensatz |
|---|---|---|
| 16 GB – < 24 GB | On-Demand | RTX A4000 16GB · clore · $0.062 · On-Demand |
| 16 GB – < 24 GB | Spot | RTX A4000 16GB · clore · $0.062 · Spot |
| 24 GB – < 48 GB | On-Demand | V100 SXM2 32GB · clore · $0.074 · On-Demand |
| 24 GB – < 48 GB | Spot | RTX 3090 24GB · clore · $0.067 · Spot |
| 48 GB – < 80 GB | On-Demand | CMP 170HX 64GB · clore · $0.231 · On-Demand |
| 48 GB – < 80 GB | Spot | CMP 170HX 64GB · clore · $0.231 · Spot |
| 80 GB+ | On-Demand | A100 PCIe 80GB · clore · $0.354 · On-Demand |
| 80 GB+ | Spot | A100 PCIe 80GB · clore · $0.250 · Spot |
Beobachtete Beispiele und Angebotsbedingungen
RTX A4000 16GB 1×
JP
USD (Stablecoin) • Plattformgebühren können anfallen
$0.062 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $0.062/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 113131 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: NVIDIA RTX A4000
Gemeldeter VRAM: 16 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $0.062/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteRTX A4000 16GB 1×
JP
USD (Stablecoin) • Plattformgebühren können anfallen
$0.062 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $0.062/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 113131 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: NVIDIA RTX A4000
Gemeldeter VRAM: 16 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $0.062/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteRTX 3090 24GB 1×
PL
USD (Stablecoin) • Plattformgebühren können anfallen
$0.067 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $0.067/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 112743 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: NVIDIA GeForce RTX 3090
Gemeldeter VRAM: 24 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $0.067/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
16/32
64 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteV100 SXM2 32GB 4×
RU
USD (Stablecoin) • Plattformgebühren können anfallen
$0.074 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $0.295/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 122717 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: Tesla V100SXM232GB
Gemeldeter VRAM: 32 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $0.295/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
24/48
192 GB
32 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteCMP 170HX 64GB 9×
FI
USD (Stablecoin) • Plattformgebühren können anfallen
$0.231 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $2.08/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 115963 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: NVIDIA CMP 170HX
Gemeldeter VRAM: 64 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $2.08/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteCMP 170HX 64GB 9×
FI
USD (Stablecoin) • Plattformgebühren können anfallen
$0.231 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $2.08/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 115963 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: NVIDIA CMP 170HX
Gemeldeter VRAM: 64 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $2.08/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteA100 PCIe 80GB 1×
US
USD (Stablecoin) • Plattformgebühren können anfallen
$0.250 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $0.250/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 124543 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: NVIDIA A100 80GB PCIe
Gemeldeter VRAM: 80 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $0.250/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteA100 PCIe 80GB 1×
US
USD (Stablecoin) • Plattformgebühren können anfallen
$0.354 pro GPU-Stunde
Mindestkosten der abrechenbaren Instanz: USD $0.354/hr · Mindestabrechnungsdauer unbekannt
Details & Quelle
SKU: 124543 · Verfügbarkeit: Verfügbar · A · Offizielle API
Gemeldeter GPU-Name: NVIDIA A100 80GB PCIe
Gemeldeter VRAM: 80 GB
Stundenpreis im Abrechnungsumfang der Quelle: USD $0.354/hr · Instanz
Abrechnungseinheit der Quelle: Instanzstunde
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API-DatensatzseiteOffizielle Quellen
Vor dem Mieten die gesamten Jobkosten kennen: GPU Budget Kit ($12)
Weitere Ratgeber und Vergleiche
- GPU-Preise: Spot und On-Demand
- GPU-Stundensatz und Instanzpreis
- Glossar für GPU-Cloud-Preise
- Aktuell günstigste GPUs je GB Grafikspeicher
- Llama-Modelle
- Beste Cloud-GPU für LLM-Inferenz mit Llama 3.1 8B (FP16)
- Beste Cloud-GPU für LLM-Inferenz mit Llama 3.1 8B (4 Bit)
- Beste Cloud-GPU für LLM-Inferenz mit Llama 2 13B (FP16)
- Beste Cloud-GPU für LLM-Inferenz mit Llama 2 13B (4 Bit)
- Beste Cloud-GPU für LLM-Inferenz mit Llama 3.1 70B (FP16)
- Beste Cloud-GPU für LLM-Inferenz mit Llama 3.1 70B (4 Bit)
- Qwen-Modelle
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 7B Instruct (FP16)
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 7B Instruct (4 Bit)
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 14B Instruct (FP16)
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 14B Instruct (4 Bit)
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 32B Instruct (FP16)
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 32B Instruct (4 Bit)
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 72B Instruct (FP16)
- Beste Cloud-GPU für LLM-Inferenz mit Qwen2.5 72B Instruct (4 Bit)
- Mistral-Modelle
- Spracherkennung mit Whisper