EmoReward: 감정적 영상 생성을 위한 강화학습의 자기 진화형 보상 보정
이 논문은 감정적 표현 평가가 주관적이고 고정된 보상 함수로 인해 Reward hacking 문제가 발생하는 비디오 생성 모델의 강화 학습(RL) 한계를 지적합니다. 이를 해결하기 위해 실제 학습 과정에서 수집된 Reward traces로부터 증거의 신뢰성을 추출하여 다중 보상 가중치를 적응적으로 조절하는 'EmoReward'라는 자기 진화적(self-evolving) 훈련 메커니즘을 제안합니다. EmoReward는 얼굴 표정, 신체 동작, 색채 단서 등 서사적 맥락에 맞는 감정적 증거를 신뢰할 수 있는 수준으로 판단하고 가중치를 배분하여 RLHF의 확장성 문제를 극복합니다.
Group Relative Policy Optimization (GRPO) has advanced generative model post-training in verifiable domains such as code and mathematics, but evaluating video quality, especially emotional expression, often depends on subjective aesthetics and has no uniquely correct target. Existing approaches typically rely on fixed rewards for visual quality, motion quality, and text alignment that poorly capture emotional intent and can invite reward hacking, while RLHF is difficult to scale and subject to individual aesthetic differences that complicate the calibration of facial, body motion, and chromatic cues across narrative contexts. We introduce EmoReward, a new self-evolving training mechanism that distills evidence reliability from reward traces collected during an actual training run to adaptively guide multi-reward weight allocation in subsequent training by determining which emotional evidence to trust and how much to weight it. EmoReward first plans specific grounding cues from the emot