PyRUA-DataFarm: 실제 로봇 데이터 수집을 위한 비용 효율적인 원격 조종자로서의 LLM 에이전트
이 논문은 LLM 기반 코딩 에이전트가 시뮬레이션 환경에서 로봇 작업의 Scene, Expert Controller, Success Judge를 자동으로 구축하는 'DataFarm' 프레임워크를 제안한다. 시뮬레이터의 정확한 액션과 실제 이미지를 조건으로 한 Video Model을 결합하여, 실제 로봇에 즉시 적용 가능한(real-ready) 일관된 다중 카메라 영상 데이터를 생성한다. 이를 통해 기존 텔레오퍼레이션 방식과 비교하여 비용 효율적으로 고품질의 로봇 학습 데이터를 수집할 수 있음을 실증한다.
Teleoperation remains the default way to collect robot demonstrations, but every episode costs robot and operator time, and every new task starts from scratch. We ask whether a coding agent can take over the teleoperator's job. In our DataFarm, the agent receives a data request and one calibration episode of the robot in the target scene and rebuilds the task in simulation: it writes the scene, an expert controller, and a success judge. The simulator supplies exact actions, and a video model conditioned on real images renders each rollout as photographic video, generating all camera views together consistently. The output is real-ready data: synchronized camera views labelled with the robot's actions, on which a policy can be trained directly and deployed on the real robot. Independent judges certify the expert and every rendered episode before admission. On five real-robot tasks, policies trained only on farm data match policies trained on as many teleoperated episodes (93 vs. 84 succ