Turns Matter: Turn-Level Credit을 통한 스트리밍 비디오 RL의 발전
이 논문은 스트리밍 비디오 이해를 위한 GRPO 프레임워크에서 궤적 수준(trajectory-level)의 단일 이점(advantage)이 초래하는 크레딧 할당 문제를 해결하기 위해 TurnWise를 제안합니다. TurnWise는 각 의사결정 단계(turn)의 잔여 리턴을 기반으로 그룹 상대적 이점을 구성하는 turn-level credit assignment 기법을 도입하여 학습 신호를 분리합니다. 이를 통해 이전 성공 이후의 불필요한 응답을 줄이고, 이전 실패 이후의 유용한 후속 응답을 장려하여 모델의 스트리밍 의사결정 정확도를 향상시킵니다.
기존 GRPO의 궤적 수준 크레딧 할당이 스트리밍 환경에서 유발하는 보상 할당 오류를 교정하여, 모델이 시계열적 의사결정에서 더 정밀하고 효율적인 응답 전략을 학습하도록 돕는다.
arXiv 원문 →