StreamDuo: 미공개 게임을 위한 실시간 해설자와 리서치 에이전트
이 논문은 한 게임에서 학습된 모델이 처음 보는 다른 게임의 라이브 중계를 수행할 때, 타이밍은 전이되지만 게임 지식은 전이되지 않는 문제를 해결하기 위해 StreamDuo를 제안한다. StreamDuo는 학습 가능한 해설자(commentator)와 게임 위키를 참조하는 고정된 리서치 에이전트(research agent)를 결합하여, 해설자가 모르는 대상을 발견하면 위키 정보를 실시간으로 조회하고 이를 활용하도록 설계되었다. Baldur's Gate 3로 학습하고 10개의 unseen games에서 테스트한 결과, 정보 이득 라벨링과 on-policy self-distillation을 통해 엔티티 인식 및 중계 품질을 향상시켰다.
Streaming video LLMs can now commentate live gameplay, but they are trained and tested on the same games. We study cross-game streaming commentary, in which a model trained on one game commentates games it has never seen, and find that current commentators transfer their timing but not their knowledge of the game world. We propose StreamDuo, which pairs a trainable commentator with a frozen research agent that reads the wiki of the game being played. When the commentator sees something it cannot name, it sends the current frames, and the research agent returns a few wiki entries two seconds later while the stream continues. We train only the commentator, on a single game, in two stages. Information-gain labels teach it to ask only where an answer would help it say what the human caster said, and on-policy self-distillation from a copy of itself that sees the ideal answer teaches it to use noisy answers. Trained on Baldur's Gate 3 and tested on ten unseen games, StreamDuo raises entity