Turns Matter: Turn-Level Credit을 통한 스트리밍 비디오 RL의 발전
이 논문은 스트리밍 비디오 이해를 위한 GRPO 프레임워크에서 궤적 수준(trajectory-level)의 단일 이점(advantage)이 초래하는 크레딧 할당 문제를 해결하기 위해 TurnWise를 제안합니다. TurnWise는 각 의사결정 단계(turn)의 잔여 리턴을 기반으로 그룹 상대적 이점을 구성하는 turn-level credit assignment 기법을 도입하여 학습 신호를 분리합니다. 이를 통해 이전 성공 이후의 불필요한 응답을 줄이고, 이전 실패 이후의 유용한 후속 응답을 장려하여 모델의 스트리밍 의사결정 정확도를 향상시킵니다.
Streaming video understanding requires models to repeatedly decide whether to respond or continue observing. Recently, Group Relative Policy Optimization (GRPO) has been applied to this setting, with existing approaches emphasizing reward design while retaining a single trajectory-level advantage across turns. Such shared credit can reinforce redundant replies after earlier successes and discourage useful follow-ups after earlier failures. We propose TurnWise, a turn-level GRPO framework that aligns learning with individual streaming decisions. TurnWise addresses the mismatch between trajectory-level feedback and turn-level interaction, promoting informative responses and reducing redundancy. Specifically, turn-level credit assignment uses silence-completed prefix scoring to construct group-relative advantages from each decision's remaining return, separating its learning signal from earlier rewards. Turn-mean policy optimization averages token losses within each turn and then across t