FrontierPhysics: 물리학 연구 전 과정 수행 에이전트 평가
기존 물리학 벤치마크의 한계를 극복하기 위해 42명의 물리학자가 참여하여 9개 분야를 아우르는 56개의 엔드투엔드 연구 과제를 포함하는 FrontierPhysics 벤치마크를 도입했다. 이 벤치마크는 AI 에이전트가 문헌 검토, 연구 계획 수립, 실험 수행, 최종 원고 작성까지의 전체 연구 과정을 수행하도록 요구한다. 결정적 검증기와 전문가가 작성한 루브릭을 결합하여 연구 결과의 정확성과 출판 가능 여부를 평가하며, 현재 최첨단 모델들도 높은 점수를 얻지 못함을 확인했다.
AI agents are playing an increasingly important role in physics research. However, existing physics benchmarks only evaluate fixed questions, isolated sub-tasks, or paper reproduction with given solutions, and rarely check research quality alongside correctness. We introduce FrontierPhysics, an end-to-end benchmark with 56 tasks made by 42 physicists based on their own research, covering nine domains across theoretical, computational, and experimental physics. Each task requires agents to review the literature, develop a research plan, conduct research and experiments, and produce structured outputs and scientific manuscripts. Combining deterministic verifiers with expert-authored rubrics, FrontierPhysics evaluates whether agents' research is correct and publishable. Across 22 models in 26 configurations, no configuration passes more than 46 of its 168 rollouts. Manual review of agent trajectories shows that frontier agents' main weaknesses are insufficiently rigorous reasoning and lim