LLM 추론용 GPU 클라우드 선택 방법
모델 메모리부터 확인한 뒤 과금되는 GPU 수, 지역, 요금 유형을 비교하세요. GPU 시간당 단가만으로 모델 실행 가능 여부나 전체 인스턴스 비용을 판단할 수는 없습니다.
현재는 이 빌드의 날짜별 스냅샷에 포함된 유효한 관측값을 뜻하며 재고 재확인이나 시장 전체 최저가가 아닙니다. GPU 전체 할당의 USD 요금 중 표준 지역 또는 지역 미상, 세금 별도 또는 미상만 계산하고 스팟은 구분합니다. 오래된 기록, 분할 GPU, 홍보용 시작가, GPU 구성요소 요금은 제외합니다. 출처·세금·마켓플레이스·환율·과금 조건은 카드에 유지합니다.
가격 관측일: 2026-11-18
표는 데이터베이스에 저장된 모델 카드의 명목 매개변수 수로 이상적인 가중치 저장량을 계산합니다. FP16은 매개변수당 두 바이트, 조밀하게 저장한 4비트 가중치는 반 바이트입니다. 단위는 십진 GB이며 GiB가 아닙니다. 이는 실측 VRAM 요구량이 아닌 명목 규모에 따른 산술적 추정값입니다. 양자화 메타데이터, KV 캐시, 활성값, 런타임 메모리가 추가되고 문맥 길이와 동시 요청 수도 영향을 줍니다. 메모리 용량은 처리량을 보장하지 않으며 여러 GPU의 메모리를 쓰려면 지원되는 분할 구성이 필요합니다. 연결된 추정기와 캐시 문서를 확인하세요.
| GPU 모델 | 명목 매개변수 (십억 개) | FP16 가중치만 (GB) | 조밀하게 저장한 4비트 가중치만 (GB) |
|---|---|---|---|
| Llama 2 7B | 7 | 14 | 3.5 |
| Llama 2 13B | 13 | 26 | 6.5 |
| Llama 2 70B | 70 | 140 | 35 |
가중치 외에 여유 메모리를 확보하고 실제 문맥 길이, 배치, 정밀도로 검증하세요. 아래 구간은 GPU당 메모리를 중복 없이 나눈 것입니다. 최저 관측가는 후보 목록이며 추천이나 특정 모델의 실행 보장이 아닙니다. 모델 및 공급업체 페이지에서 GPU 수, 위치, 출처 조건을 확인하세요.
| GPU당 VRAM 구간 | 요금 유형 | 최저 관측 USD/GPU 시간 |
|---|---|---|
| 16 GB – < 24 GB | 온디맨드 | RTX A4000 16GB · clore · $0.062 · 온디맨드 |
| 16 GB – < 24 GB | 스팟 | RTX A4000 16GB · clore · $0.062 · 스팟 |
| 24 GB – < 48 GB | 온디맨드 | V100 SXM2 32GB · clore · $0.074 · 온디맨드 |
| 24 GB – < 48 GB | 스팟 | RTX 3090 24GB · clore · $0.067 · 스팟 |
| 48 GB – < 80 GB | 온디맨드 | CMP 170HX 64GB · clore · $0.231 · 온디맨드 |
| 48 GB – < 80 GB | 스팟 | CMP 170HX 64GB · clore · $0.231 · 스팟 |
| 80 GB+ | 온디맨드 | A100 PCIe 80GB · clore · $0.354 · 온디맨드 |
| 80 GB+ | 스팟 | A100 PCIe 80GB · clore · $0.250 · 스팟 |
관측 데이터 예시 및 요금 조건
$0.062 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $0.062/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 113131 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: NVIDIA RTX A4000
보고된 VRAM: 16 GB
원본 범위의 시간당 금액: USD $0.062/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지$0.062 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $0.062/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 113131 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: NVIDIA RTX A4000
보고된 VRAM: 16 GB
원본 범위의 시간당 금액: USD $0.062/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
2/2
16 GB
16 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지$0.067 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $0.067/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 112743 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: NVIDIA GeForce RTX 3090
보고된 VRAM: 24 GB
원본 범위의 시간당 금액: USD $0.067/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
16/32
64 GB
24 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지$0.074 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $0.295/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 122717 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: Tesla V100SXM232GB
보고된 VRAM: 32 GB
원본 범위의 시간당 금액: USD $0.295/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
24/48
192 GB
32 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지$0.231 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $2.08/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 115963 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: NVIDIA CMP 170HX
보고된 VRAM: 64 GB
원본 범위의 시간당 금액: USD $2.08/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지$0.231 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $2.08/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 115963 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: NVIDIA CMP 170HX
보고된 VRAM: 64 GB
원본 범위의 시간당 금액: USD $2.08/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
4/8
32 GB
64 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지$0.250 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $0.250/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 124543 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: NVIDIA A100 80GB PCIe
보고된 VRAM: 80 GB
원본 범위의 시간당 금액: USD $0.250/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지$0.354 GPU당 시간 요금
인스턴스 최소 청구 비용: USD $0.354/hr · 최소 청구 시간 미확인
상세 및 출처
SKU: 124543 · 가용성: 사용 가능 · A · 공식 API
보고된 GPU 이름: NVIDIA A100 80GB PCIe
보고된 VRAM: 80 GB
원본 범위의 시간당 금액: USD $0.354/hr · 인스턴스
원본 과금 단위: 인스턴스 시간
24/24
216 GB
80 GB
Listed whole-server daily price divided by 24 and GPU count. Platform service fees may apply; tax treatment unknown. Stablecoin-denominated USD price (USD-Blockchain).
API 레코드 페이지공식 출처
대여 전에 작업 총비용을 확인하세요: GPU Budget Kit ($12)
관련 가이드 및 비교
- GPU 스팟 요금과 온디맨드 요금 비교
- GPU 시간당 단가와 인스턴스 요금
- GPU 클라우드 요금 용어집
- 현재 VRAM GB당 가장 저렴한 GPU
- Llama 모델군
- Qwen 모델군
- Qwen2.5 7B Instruct LLM 추론에 최적인 클라우드 GPU(FP16)
- Qwen2.5 7B Instruct LLM 추론에 최적인 클라우드 GPU(4비트 양자화)
- Qwen2.5 14B Instruct LLM 추론에 최적인 클라우드 GPU(FP16)
- Qwen2.5 14B Instruct LLM 추론에 최적인 클라우드 GPU(4비트 양자화)
- Qwen2.5 32B Instruct LLM 추론에 최적인 클라우드 GPU(FP16)
- Qwen2.5 32B Instruct LLM 추론에 최적인 클라우드 GPU(4비트 양자화)
- Qwen2.5 72B Instruct LLM 추론에 최적인 클라우드 GPU(FP16)
- Qwen2.5 72B Instruct LLM 추론에 최적인 클라우드 GPU(4비트 양자화)
- Mistral 모델군
- Whisper 음성 인식