Question 1

LLM을 직접 호스팅하는 게 API보다 저렴한가요?

Accepted Answer

거의 전적으로 요청량과 GPU 가동률에 달려 있습니다. 빌린 GPU는 5% 부하든 95% 부하든 비용이 같으므로, 토큰당 API 가격을 이길 만큼 충분한 토큰을 처리해야만 자체 호스팅이 유리해집니다. 요청량이 적을 때는 유휴 용량에 비용을 내지 않는 API가 훨씬 저렴합니다. 이 계산기는 입력한 토큰 크기, GPU 가격, 처리량 가정에 대한 손익분기 요청량을 추정합니다. 실제 가동률은 보통 30~60% 수준이라, 솔직한 손익분기점은 순진한 계산보다 2~3배 높습니다.

Question 2

GPU에서 Llama를 돌리는 비용은 얼마인가요?

Accepted Answer

Llama 3 8B 같은 소형 모델은 RTX 4090(임대 시 시간당 약 0.69달러)이나 A100 40GB(시간당 약 1.29달러) 한 장으로 배치 한계 전까지 초당 약 1500~3000 출력 토큰을 처리할 수 있습니다. GPU 한 장을 한 달 내내 돌리면 약 730시간이므로, 카드에 따라 월 최소 약 500~1500달러입니다. 70B 이상 대형 모델은 GPU 여러 장이나 H100이 필요해 월 비용이 수천 달러대로 올라갑니다. 이 고정 비용을 실제 생성한 토큰 수로 나누면 100만 토큰당 실비용이 나옵니다.

Question 3

LLM 추론에는 어떤 GPU가 필요한가요?

Accepted Answer

모델 크기와 양자화가 GPU를 결정합니다. fp16 기준 8B 모델은 약 16GB VRAM이 필요하고 RTX 4090, RTX 3090, L40S에서 잘 돌아갑니다. 13B 모델은 24GB 이상이 필요합니다. fp16 기준 70B 모델은 약 140GB가 필요해 A100 80GB나 H100 2장, 또는 48GB 한 장에 맞추려면 공격적인 4비트 양자화가 필요합니다. 프로덕션 서빙에서는 컨텍스트 길이와 배치 크기에 따라 커지는 KV 캐시 여유분도 필요하므로 모델 가중치보다 한 단계 위 GPU를 선택하세요.

Question 4

100만 토큰당 LLM 비용은?

Accepted Answer

자체 호스팅 GPU의 100만 토큰당 비용은 월 GPU 청구액을 그 달에 생성한 토큰 수(백만 단위)로 나눈 값입니다. 완전 가동 시 초당 2000 토큰을 생성하는 RTX 4090은 월 약 52억 토큰을 생성하며, 월 약 500달러 기준 100만 토큰당 0.10달러 미만입니다. 현실적인 40% 가동률에서는 같은 GPU가 100만 토큰당 약 0.24달러입니다. 비슷한 소형 모델의 상용 API는 100만 입력·출력 토큰당 약 0.15~0.60달러를 청구하므로, 자체 호스팅은 꾸준한 대량 처리에서만 이득입니다.

Question 5

추론용 GPU 시간은 어떻게 추정하나요?

Accepted Answer

월 총 출력 토큰(월 요청 수 × 요청당 평균 출력 토큰)에서 시작하세요. 이를 실효 처리량(GPU의 초당 토큰 × 현실적 가동률)으로 나누면 GPU-초가 나오고, 3600으로 나누면 GPU-시간입니다. GPU-시간에 시간당 임대 가격을 곱하면 컴퓨팅 비용입니다. 입력 토큰은 prefill 단계에서 처리되며 생성보다 토큰당 훨씬 저렴하므로, 출력 토큰이 추정치를 좌우합니다.

LLM GPU 비용 계산기

More server tools

LLM GPU 비용 계산기 소개

계산기 사용 방법

1. 요청량 입력

2. GPU 선택

3. 가정값 조정

4. 결과 확인

자주 묻는 질문