Turns Matter: Turn-Level Credit을 통한 스트리밍 비디오 RL의 발전
이 논문은 스트리밍 비디오 이해를 위한 GRPO 프레임워크에서 궤적 수준(trajectory-level)의 단일 이점(advantage)이 초래하는 크레딧 할당 문제를 해결하기 위해 TurnWise를 제안합니다. TurnWise는 각 의사결정 단계(turn)의 잔여 리턴을 기반으로 그룹 상대적 이점을 구성하는 turn-level credit assignment 기법을 도입하여 학습 신호를 분리합니다. 이를 통해 이전 성공 이후의 불필요한 응답을 줄이고, 이전 실패 이후의 유용한 후속 응답을 장려하여 모델의 스트리밍 의사결정 정확도를 향상시킵니다.