AC POSTSection Archive
A focused archive of the stories selected for this section in the current edition, ordered by editorial composition.
기존 Vision-Language-Action 모델의 시각 인코더 기반 압축 방식이 조작 작업에 필요한 미세한 시각 정보를 손실시킨다는 문제를 지적합니다. 이를 해결하기 위해 시각 인코더 없이 패치 컨볼루션을 통해 언어와 시각 토큰이 백본에서 함께 진화하는 NEO-VLA 프레임워크를 제안합니다. 실험 결과, 이러한 Native 아키텍처가 고정된 시각 엔드포인트를 사용하는 기존 방식보다 제어된 비교에서 더 우수한 성능을 보임을 확인했습니다.
조작(manipulation) 작업에서 중요한 국소 기하학, 경계, 깊이 등 세밀한 시각 신호가 인코더의 추상화 과정에서 손실되는 문제를 구조적으로 해결하여 VLA 모델의 성능 한계를 확장한다.
arXiv 원문 →이 논문은 스트리밍 비디오 이해를 위한 GRPO 프레임워크에서 궤적 수준(trajectory-level)의 단일 이점(advantage)이 초래하는 크레딧 할당 문제를 해결하기 위해 TurnWise를 제안합니다. TurnWise는 각 의사결정 단계(turn)의 잔여 리턴을 기반으로 그룹 상대적 이점을 구성하는 turn-level credit assignment 기법을 도입하여 학습 신호를 분리합니다. 이를 통해 이전 성공 이후의 불필요한 응답을 줄이고, 이전 실패 이후의 유용한 후속 응답을 장려하여 모델의 스트리밍 의사결정 정확도를 향상시킵니다.
기존 GRPO의 궤적 수준 크레딧 할당이 스트리밍 환경에서 유발하는 보상 할당 오류를 교정하여, 모델이 시계열적 의사결정에서 더 정밀하고 효율적인 응답 전략을 학습하도록 돕는다.
arXiv 원문 →이 논문은 multi-turn agentic reinforcement learning (RL)의 성능 향상이 interaction depth T와 sampling breadth K 등 예산 제약에 따라 크게 달라진다는 것을 Pass@(K,T) 지표를 통해 규명하였다. 연구 결과, agentic RL은 단일 단계의 의사결정 품질을 균일하게 높이기보다는 error recovery와 long-horizon resilience에 강점을 가짐을 확인하였다. 이러한 예산 의존성으로 인한 배포 리스크를 완화하기 위해 학습 중 interaction budget을 다양하게 변화시키는 BudgetMix RL 기법을 제안하였다.
Agentic RL의 성능 향상 메커니즘을 error recovery 관점에서 재해석하고, 제한된 컴퓨팅 자원 환경에서도 robust한 성능을 보장하는 새로운 학습 전략을 제시하여 실제 LLM 에이전트 배포의 실용성을 높였다.
arXiv 원문 →기존 물리학 벤치마크의 한계를 극복하기 위해 42명의 물리학자가 참여하여 9개 분야를 아우르는 56개의 엔드투엔드 연구 과제를 포함하는 FrontierPhysics 벤치마크를 도입했다. 이 벤치마크는 AI 에이전트가 문헌 검토, 연구 계획 수립, 실험 수행, 최종 원고 작성까지의 전체 연구 과정을 수행하도록 요구한다. 결정적 검증기와 전문가가 작성한 루브릭을 결합하여 연구 결과의 정확성과 출판 가능 여부를 평가하며, 현재 최첨단 모델들도 높은 점수를 얻지 못함을 확인했다.
AI 에이전트가 단순한 문제 해결을 넘어 실제 과학적 발견과 연구 프로세스를 수행할 수 있는 능력을 평가하는 표준을 제시함으로써, AI의 과학 연구 보조 역할을 검증하는 데 중요한 기준을 마련했다.
arXiv 원문 →이 논문은 LLM 기반 코딩 에이전트가 시뮬레이션 환경에서 로봇 작업의 Scene, Expert Controller, Success Judge를 자동으로 구축하는 'DataFarm' 프레임워크를 제안한다. 시뮬레이터의 정확한 액션과 실제 이미지를 조건으로 한 Video Model을 결합하여, 실제 로봇에 즉시 적용 가능한(real-ready) 일관된 다중 카메라 영상 데이터를 생성한다. 이를 통해 기존 텔레오퍼레이션 방식과 비교하여 비용 효율적으로 고품질의 로봇 학습 데이터를 수집할 수 있음을 실증한다.
로봇 학습 데이터 수집의 병목 현상인 인간 텔레오퍼레이션의 시간과 비용을 대폭 절감하면서도, 실제 물리 환경과의 간극(reality gap)을 최소화하는 데이터 생성 방식을 가능하게 함.
arXiv 원문 →이 논문은 한 게임에서 학습된 모델이 처음 보는 다른 게임의 라이브 중계를 수행할 때, 타이밍은 전이되지만 게임 지식은 전이되지 않는 문제를 해결하기 위해 StreamDuo를 제안한다. StreamDuo는 학습 가능한 해설자(commentator)와 게임 위키를 참조하는 고정된 리서치 에이전트(research agent)를 결합하여, 해설자가 모르는 대상을 발견하면 위키 정보를 실시간으로 조회하고 이를 활용하도록 설계되었다. Baldur's Gate 3로 학습하고 10개의 unseen games에서 테스트한 결과, 정보 이득 라벨링과 on-policy self-distillation을 통해 엔티티 인식 및 중계 품질을 향상시켰다.
단일 게임 데이터로 학습된 LLM 기반 중계 모델의 일반화 한계를 극복하고, 실시간 외부 지식 검색을 통해 도메인 지식을 보완하는 새로운 접근법을 입증했다.
arXiv 원문 →이 논문은 감정적 표현 평가가 주관적이고 고정된 보상 함수로 인해 Reward hacking 문제가 발생하는 비디오 생성 모델의 강화 학습(RL) 한계를 지적합니다. 이를 해결하기 위해 실제 학습 과정에서 수집된 Reward traces로부터 증거의 신뢰성을 추출하여 다중 보상 가중치를 적응적으로 조절하는 'EmoReward'라는 자기 진화적(self-evolving) 훈련 메커니즘을 제안합니다. EmoReward는 얼굴 표정, 신체 동작, 색채 단서 등 서사적 맥락에 맞는 감정적 증거를 신뢰할 수 있는 수준으로 판단하고 가중치를 배분하여 RLHF의 확장성 문제를 극복합니다.
주관적인 감정 평가 영역에서 고정된 보상 함수의 한계와 Reward hacking 문제를 해결하여, 비디오 생성 모델의 감정적 일관성과 품질을 향상시키는 새로운 RL 최적화 패러다임을 제시한다.
arXiv 원문 →기존 인터랙티브 월드 모델이 1분 이상의 롱 호라이즌 생성에서 일관성을 유지하지 못하는 문제를 데이터 부족에서 기인한 것으로 진단했습니다. 이를 해결하기 위해 69.7K개의 클립과 1,655시간의 분 단위 게임플레이 영상을 포함하는 GameVerse 데이터셋을 구축했습니다. 이 데이터셋은 연속적인 2분 시퀀스를 포함하여 기존 데이터셋보다 한 자릿수 이상 긴 롱 호라이즌 학습 데이터를 제공합니다.
모델 용량 한계가 아닌 데이터 희소성으로 인한 롱 호라이즌 생성의 일관성 문제를 해결할 수 있는 기반을 마련했습니다.
arXiv 원문 →기존의 single forward pass 방식이 아닌, 반복적으로 카메라 pose와 scene geometry를 정제하는 classical structure-from-motion의 장점을 살린 3D Looped Transformer인 Solv3R를 제안한다. 이 모델은 반복 횟수와 무관한 update operator를 사용하여, 이미 정제된 뷰와 새로 도입된 뷰를 통합적으로 업데이트할 수 있게 한다. 이를 통해 고정된 이미지 컬렉션의 정밀도를 높이는 refinement와 새로운 관측 데이터의 seamless한 integration을 모두 지원한다.
기하학적 foundation model들이 가진 single-pass의 한계를 극복하고, 실시간으로 새로운 데이터를 추가하거나 기존 추론 결과를 정제하는 유연한 3D reconstruction 파이프라인을 가능하게 한다.
arXiv 원문 →이 논문은 대규모 AI 데이터센터의 광학 네트워크에서 발생하는 상관된 고장(correlated failure) 문제를 해결하기 위해 예측 기반 제어 평면(predictive control plane) 프레임워크인 Halley를 제안합니다. Halley는 레이저 풀 크기 조정(LightReserve), 스위치 스케줄링(FoldFit), 마이크로링 제어(ThermaLead), 위험 모듈 보호(TriageGuard)의 네 가지 구성 요소를 통해 각 계층의 다음 상태를 예측하고 고장 발생 전에 선제적으로 대응합니다. 이를 통해 고정된 예비 비율에서도 보장되던 가용성 한계를 극복하고, 각 계층에 대한 형식적 보증(formal guarantee)을 제공합니다.
대규모 AI 학습에서 필수적인 광학 네트워크의 상관된 고장으로 인한 가용성 저하 문제를 해결하여, 수만 개의 가속기가 연결된 환경에서도 안정적이고 예측 가능한 네트워크 성능을 보장하는 데 기여한다.
arXiv 원문 →