R^2Orch: 기술 내재화 루프 내 셀프 플레이를 통한 에이전트 오케스트레이션을 위한 재귀적 자기 개선

기존 agentic orchestration의 hand-designed curricula, advantage collapse, 그리고 unreliable evaluation signal 문제를 해결하기 위해 R^2Orch라는 새로운 패러다임을 제안한다. 이 방법은 inner loop에서 self-play를 통해 orchestrator를 개선하고, outer loop에서 inner loop의 개선 방식을 최적화하는 recursive self-play 구조를 채택한다. 이를 위해 Recursive Learnability라는 학습 목표와 Skill Withdrawal 기법을 도입하여 스킬의 필요성을 동적으로 판단하고 제거한다.