모델을 잘 학습하고 평가까지 마쳐도, 그 모델을 실제 서비스로 띄워 사용자 요청에 빠르고 저렴하게 응답하게 만드는 것은 또 다른 문제입니다. 이 다리를 놓는 것이 모델 서빙(Model Serving)과 추론 최적화(Inference Optimization)입니다. 특히 LLM은 추론이 느리고 비싸서, vLLM·TGI·Triton 같은 도구와 최적화 기법이 필수가 됐습니다. 이 글에서 개념과 실무·취업 관점을 정리합니다.
핵심 요약
- 모델 서빙은 학습을 마친 모델을 API로 띄워 실제 요청에 응답하게 만드는 단계입니다.
- LLM 추론은 느리고 비싸기 때문에 연속 배칭·KV 캐시·양자화 같은 추론 최적화가 필수입니다.
- 대표 도구로 vLLM, Hugging Face TGI, NVIDIA Triton이 있으며 처리량·편의성·통합성으로 선택이 갈립니다.
- 서빙은 GPU 비용과 직결되므로, 지연시간(latency)·처리량(throughput)·비용의 균형을 잡는 것이 핵심입니다.
모델 서빙이란 무엇인가
학습(training)이 ‘모델을 만드는 일’이라면, 서빙(serving)은 ‘그 모델을 실제 서비스로 굴리는 일’입니다. 사용자의 요청(프롬프트)을 받아 모델이 답을 생성해 돌려주는 API 서버를 세우고, 이를 안정적이고 빠르고 저렴하게 운영하는 것이 목표입니다. 아무리 좋은 모델도 서빙 단계가 부실하면 느리고 비싼 서비스가 됩니다.
왜 LLM 추론이 어려운가
- 지연(Latency): LLM은 토큰을 하나씩 순차 생성하므로, 응답이 길수록 느려집니다.
- 비용: GPU가 비싸고 요청마다 연산량이 커서 비용이 빠르게 불어납니다.
- 처리량(Throughput): 동시 요청이 몰리면 GPU 메모리(특히 KV 캐시)가 병목이 됩니다.
- 가변 길이: 입력·출력 길이가 제각각이라 자원을 미리 예약하기가 까다롭습니다.
추론 최적화 핵심 기법
| 기법 | 내용 |
|---|---|
| 연속 배칭(Continuous Batching) | 요청을 실시간으로 묶어 GPU를 놀리지 않게 처리량을 끌어올린다(vLLM의 핵심) |
| KV 캐시 / PagedAttention | 이미 계산한 어텐션 키·값을 재사용하고, 메모리를 페이지 단위로 효율 관리 |
| 양자화(Quantization) | 가중치를 8·4비트로 줄여 메모리와 비용을 절감(약간의 품질 손실 감수) |
| 병렬화 | 텐서·파이프라인 병렬로 큰 모델을 여러 GPU에 나눠 올린다 |
이 기법들은 대부분 서빙 프레임워크에 내장돼 있어, 도구를 잘 고르면 상당 부분 자동으로 적용됩니다.
대표 서빙 도구 비교
| 도구 | 특징 | 잘 맞는 상황 |
|---|---|---|
| vLLM | PagedAttention·연속 배칭으로 높은 처리량, LLM 특화 오픈소스 | 처리량·비용 효율이 중요할 때 |
| TGI (Text Generation Inference) | Hugging Face 생태계 친화, 손쉬운 배포 | HF 모델을 빠르게 서비스화할 때 |
| Triton (NVIDIA) | 여러 프레임워크·모델을 통합 서빙, 엔터프라이즈 운영 | 다양한 모델을 한 서버로 관리할 때 |
온라인 추론 vs 배치 추론
서빙 방식은 크게 둘로 나뉩니다. 온라인(실시간) 추론은 챗봇처럼 즉시 응답이 필요해 낮은 지연이 중요하고, 배치(오프라인) 추론은 대량 문서를 한꺼번에 처리하듯 처리량이 중요하며 지연은 덜 중요합니다. 서비스 성격에 따라 최적화 우선순위가 달라집니다.
인프라·취업 관점
- GPU 비용: 서빙 비용의 핵심은 GPU입니다. 메모리·처리량을 이해해야 비용을 잡을 수 있습니다.
- 배포 환경: 서빙 서버는 대부분 쿠버네티스 위에서 오토스케일로 운영됩니다.
- 학습 후 단계: 파인튜닝·양자화한 모델을 서빙으로 연결하는 흐름이 실무의 한 사이클입니다.
- 운영: 지연·비용·처리량을 옵저버빌리티로 모니터링하고, LLMOps·AgentOps 관점으로 관리합니다.
- 채용 관점: ‘vLLM·TGI 서빙 경험’, ‘추론 최적화’, ‘GPU 비용 최적화’는 MLOps·AI 엔지니어 공고의 눈에 띄는 우대사항입니다.
자주 묻는 질문(FAQ)
모델 서빙과 학습은 무엇이 다른가요?
학습은 데이터로 모델을 ‘만드는’ 과정이고, 서빙은 그 모델을 API로 띄워 실제 요청에 ‘응답하게’ 하는 과정입니다. 학습이 끝나야 서빙이 시작되며, 요구되는 기술과 최적화 포인트가 완전히 다릅니다.
vLLM, TGI, Triton 중 무엇을 써야 하나요?
처리량과 비용 효율이 중요한 오픈소스 서빙이면 vLLM, Hugging Face 모델을 간편하게 올리려면 TGI, 여러 프레임워크의 모델을 한 서버로 통합 운영하려면 Triton이 무난합니다. 상황에 따라 함께 쓰기도 합니다.
추론 최적화가 왜 그렇게 중요한가요?
GPU 비용과 사용자 경험(지연)에 직결되기 때문입니다. 최적화 없이 서빙하면 비용이 몇 배로 늘고 응답이 느려집니다. 연속 배칭·KV 캐시·양자화만 제대로 적용해도 처리량과 비용이 크게 개선됩니다.
신입이 모델 서빙을 어디까지 알아야 하나요?
학습과 서빙의 차이, 지연·처리량·비용이라는 세 축, 연속 배칭·KV 캐시·양자화가 무엇을 해결하는지, vLLM·TGI·Triton이 존재하는 이유를 이해하면 MLOps·AI 엔지니어 직무에서 확실한 강점이 됩니다.
더 읽어보기
- GPU와 AI 가속기 완벽 가이드: 왜 AI는 GPU로 돌아가는가
- 파인튜닝 완벽 가이드: LoRA·PEFT로 LLM을 내 것으로
- 쿠버네티스로 AI 워크로드 운영하기: GPU 스케줄링과 오토스케일링
- 옵저버빌리티 완벽 가이드: 로그·메트릭·트레이스로 시스템 들여다보기
- LLMOps에서 AgentOps로: AI 운영의 진화 완벽 가이드
※ 이 글은 모델 서빙·추론 최적화의 핵심 개념을 정리한 입문·실무 안내용 자료입니다. 실제 도구 선택과 최적화 방법은 모델 규모와 서비스 요구사항에 따라 달라질 수 있습니다.