RLHF 완벽 가이드: 보상모델·PPO·DPO로 LLM 정렬

거대한 언어모델은 방대한 텍스트로 사전학습을 마쳐도 곧바로 쓸 만한 비서가 되지는 않습니다. 문법적으로 맞는 문장을 만들 뿐, “사람이 원하는” 답을 하도록은 배우지 않았기 때문입니다. RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습)는 사람의 선호를 보상 신호로 삼아 모델을 다듬는 정렬(alignment) 기법으로, ChatGPT를 유용한 대화 모델로 만든 핵심 기술입니다. 사전학습(분산 학습) → 지도 파인튜닝 → RLHF로 이어지는 LLM 제작 3단계의 마지막 조각이죠.

RLHF란 무엇인가

RLHF는 사람이 매긴 선호 데이터를 보상으로 바꿔, 강화학습으로 모델의 응답 방식을 최적화하는 방법입니다. 사전학습과 지도 파인튜닝만 거친 모델은 아는 것은 많아도 “어떻게 답해야 사람이 만족하는지”는 모릅니다. 정답이 하나로 정해지지 않는 문제(예: 좋은 요약, 친절한 설명)에서는 ‘정답 흉내’만으로 한계가 있죠. RLHF는 사람의 판단을 학습 신호로 끌어들여 이 간극을 메웁니다.

왜 RLHF가 필요한가

정렬: 모델이 유용하고(Helpful) 무해하며(Harmless) 정직하게(Honest) 행동하도록 유도합니다.
주관적 품질: 정답이 하나가 아닌 응답의 ‘좋음’을 사람 선호로부터 학습합니다.
지시 따르기: 사용자의 의도와 말투에 맞춰 답하도록 다듬습니다.

RLHF의 3단계

RLHF는 보통 세 단계로 진행됩니다. 각 단계가 다음 단계의 재료를 만들어 냅니다.

단계	하는 일	산출물
1. 지도 파인튜닝(SFT)	사람이 만든 시연 데이터로 기본 대화 능력을 학습	기초 정책 모델
2. 보상 모델(RM) 학습	같은 질문에 대한 여러 응답을 사람이 순위 매김(선호쌍) → 그 선호를 예측하는 모델 학습	응답의 ‘좋음’을 점수화하는 보상 모델
3. 강화학습(PPO)	보상 모델 점수를 신호로 정책(LLM)을 최적화, KL 페널티로 원본에서 과도하게 벗어나지 않게 제어	정렬된 최종 모델

핵심 개념

보상 모델(Reward Model): 사람의 선호쌍으로 학습해, 어떤 응답이 더 좋은지 숫자로 매깁니다. RLHF의 심장이죠.
PPO(Proximal Policy Optimization): 가장 널리 쓰이는 강화학습 알고리즘으로, 보상을 높이되 한 번에 너무 크게 바뀌지 않도록 안정적으로 업데이트합니다.
KL 페널티: 정렬 과정에서 모델이 원본(참조 모델)에서 지나치게 멀어져 이상해지는 것을 막는 제약입니다.
RLAIF: 사람 대신 강력한 AI가 피드백을 주는 방식으로, 라벨링 비용을 줄이는 최신 흐름입니다.

RLHF vs DPO, 무엇이 다른가

최근에는 보상 모델과 강화학습 없이 선호 데이터를 바로 최적화하는 DPO(Direct Preference Optimization)가 급부상했습니다. 둘의 차이를 정리했습니다.

항목	RLHF (PPO)	DPO
보상 모델	별도로 학습해야 함	불필요 (선호쌍을 직접 최적화)
파이프라인	SFT + RM + RL로 복잡	단일 손실 함수로 단순
안정성	하이퍼파라미터 튜닝이 까다로움	상대적으로 안정적
추천 상황	정교한 보상 설계·제어가 필요할 때	간단·효율적으로 정렬하고 싶을 때

정답은 없습니다. 제어력과 성능 상한을 원하면 RLHF(PPO), 적은 자원으로 빠르게 정렬하려면 DPO가 실용적입니다. 요즘 오픈소스 모델은 DPO 계열을 많이 씁니다.

RLHF vs 파인튜닝

둘 다 모델을 ‘다듬는’ 과정이지만 목적이 다릅니다. 지도 파인튜닝(SFT)은 정답 예시를 흉내 내게 하는 ‘무엇을 말할지’의 학습이고, RLHF는 사람 선호로 응답을 다듬는 ‘어떻게 말할지’의 학습입니다. 실무에서는 파인튜닝으로 기본기를 잡은 뒤 RLHF(또는 DPO)로 정렬하는 순서로 이어집니다.

인프라·취업 관점

RLHF는 학습 파이프라인 중에서도 특히 자원 소모가 큰 축에 듭니다. 실무 포인트는 다음과 같습니다.

메모리 부담: PPO 단계에서는 정책·참조·보상·가치 모델을 동시에 올려야 해 GPU 메모리가 크게 필요합니다. 그래서 분산 학습과 FSDP·ZeRO가 자연스럽게 함께 쓰입니다.
데이터 파이프라인: 사람의 선호 라벨링과 선호쌍 관리가 품질을 좌우합니다. RLAIF로 일부를 자동화하기도 합니다.
도구: HuggingFace의 TRL, trlx 같은 오픈소스 라이브러리가 RLHF·DPO 구현의 표준으로 자리잡고 있습니다.
채용 관점: ‘RLHF·DPO 경험’, ‘보상 모델 설계’, ‘TRL 활용’은 LLM·정렬 직무 공고에서 눈에 띄는 우대사항입니다.

자주 묻는 질문(FAQ)

RLHF와 파인튜닝은 어떻게 다른가요?

파인튜닝(SFT)은 정답 예시를 모방하게 하는 학습이고, RLHF는 사람의 선호를 보상으로 삼아 응답의 질과 태도를 다듬는 학습입니다. 보통 파인튜닝 뒤에 RLHF가 이어집니다.

DPO가 RLHF를 완전히 대체하나요?

대체라기보다 실용적 대안입니다. DPO는 보상 모델과 RL 없이 간단하게 정렬해 자원이 적을 때 유리하고, RLHF(PPO)는 더 정교한 제어와 높은 성능 상한을 노릴 때 강점이 있습니다.

RLHF에는 데이터가 얼마나 필요한가요?

정답이 정해져 있지는 않지만, 핵심은 양보다 선호쌍의 품질입니다. 잘 정제된 수천~수만 건의 선호 데이터로도 의미 있는 정렬 효과를 볼 수 있습니다.

신입이 RLHF를 어디까지 알아야 하나요?

직접 대규모 RLHF를 돌릴 일은 드물어도, 3단계(SFT·보상 모델·PPO)와 KL 페널티, DPO의 개념, TRL 같은 도구를 이해하면 LLM·정렬 직무에서 확실한 강점이 됩니다.

더 읽어보기

※ 이 글은 RLHF의 핵심 개념을 정리한 입문·실무 안내용 자료입니다. 실제 정렬 기법과 최적 알고리즘은 모델 규모와 목표, 자원 환경에 따라 달라질 수 있습니다.

RLHF 완벽 가이드: 인간 피드백으로 LLM을 정렬하는 법 (보상모델·PPO·DPO)