바이두, 아폴로 월드 세계 모델 첫 공개…자율주행 검증에 적용

"세계 모델(World Model)에서 중요한 것은 렌더링 화질이 얼마나 예쁜지가 아니라, 시뮬레이터가 현실의 물리 법칙과 행동의 인과관계를 얼마나 충실히 재현할 수 있느냐이다." 11월 3일 선전에서 열린 바이두 AI Day·Apollo 특별 행사에서 바이두 Apollo는 처음으로 물리 AI를 겨냥한 에이전트 구동 전모달 세계 모델 Apollo World를 공개하고, 세계 모델 '2+3' 판단 기준을 제시했다. 현재 이 모델은 이미 뤄보콰이파오(아폴로고)의 글로벌화 테스트와 검증에 사용되며 무인 운전의 규모화 실현을 돕고 있다.

바이두 스마트 드라이빙 사업군(IDG) 수석 아키텍트 겸 IDG 기술위원회 의장 왕량은 세계 모델이 '멋진 영상만 생성하는 화가'가 되어서는 안 되며, 무인 운전의 안전성을 검증하는 '시험관'이 되어야 한다고 밝혔다. 뤄보콰이파오는 중국에서 유일하게 엔드투엔드 기술로 L4 무인 운전을 규모화 운영하는 이동 플랫폼으로, 엔드투엔드 완전 무인 운영이 100만 킬로미터를 넘었다. Apollo World는 이에 가상 훈련 환경을 제공해 '학생'인 AI Driver가 학습하고 검증하고 반복 개선하도록 돕는다.

바이두 스마트 드라이빙 사업군(IDG) 저명 아키텍트 겸 세계 모델 책임자 양쩌는 "Apollo World는 가상 장면 내 모든 교통 참여자를 의사결정과 상호작용 능력을 갖춘 AI 에이전트로 모델링하여, 무인차가 가상 도시의 임의의 출발지와 도착지 사이를 통행할 수 있도록 지원하며, '무한한 미래'를 미리 검증하는 가상 장면 주문을 만들어낸다"고 더 설명했다. 또한 Apollo World의 기술 스택은 로봇 등 더 폭넓은 물리 AI 장면으로도 확장될 수 있다.

업계 관계자 분석에 따르면 Apollo World는 '하루에 10만 킬로미터를 주행'할 수 있으며, 하루에 완료하는 가상 주행 테스트 주행거리는 안전요원을 배치한 실제 주행 테스트 차량이 약 3년간 연속 테스트한 것에 해당한다. 세계 모델이 가져온 능력 도약에 데이터 플라이휠 효과가 더해지면서 업계는 '강자는 더 강해지는' 구도를 보일 것이며, 이러한 추세는 업계를 오래 기다려온 'AGI의 순간'으로 밀어가고 있다.

세계 모델은 '그럴듯하게 그리는 것'만으로는 안 된다, Apollo가 내놓은 세계 모델 '2+3' 평가 척도

모건스탠리는 세계 모델을 AI의 '상상 엔진'으로 보며, AI가 행동하기 전에 가상 공간에서 먼저 추론하여 '먼저 생각하고, 나중에 행동'하도록 한다. 하지만 이 능력을 무인 운전으로 옮기는 것은 쉽지 않다. 리페이페이는 '자동차는 바퀴 달린 로봇'이라고 제안한 바 있지만, 자율주행차는 2차원 장애물 회피용 상자에 가까워 3차원 가사 로봇과는 격차가 뚜렷하다.

왕량은 춤추고 옷을 개는 로봇은 대단하지만 운전을 배우는 것은 또 다른 차원의 난제라고 밝혔다. 무인 운전은 결코 체화 지능(embodied intelligence)의 'EASY 모드'가 아니다. 로봇은 제한된 공간에서 계획된 동작을 수행하면 되지만, 무인 운전은 개방된 도로에서 헤아릴 수 없이 많은 예측 불가능한 교통 참여자와 끊임없이 겨룬다. 약 2톤에 달하고 시속 수십 킬로미터로 달리는 차량 한 대에게 있어 매 판단과 동작은 교통 안전과 직결되며, 이는 안전성·실시간성·충돌 게임에 대한 요구를 한 차원 높인다. 개방 세계의 오차 허용 공간은 거의 0에 가깝고, 안전 의사결정 주기는 1/30초 이내로 엄격히 제한되어야 한다. 이는 세계 모델이 단지 '그럴듯함'에 만족해서는 안 된다는 것을 의미한다.

물리 AI 관점에서 Apollo는 '2+3' 판단 기준을 제시했다. '2'는 세계 모델이라 할 수 있는지의 기본 문턱이고, '3'은 모델 능력의 우열을 가늠하는 진일보 지표다. '2'가지 기본 문턱: 첫째는 인과성으로, 시간의 단방향성을 따르며 과거가 미래를 결정하고 현재 상태에 기반해 다음 순간을 예측하며, 화면을 짜맞춰 과거를 역추론하는 것이 아니다. 둘째는 상호작용성으로, 외부 개입에 동적으로 반응하고 동작을 주입해 미래의 세계 상태에 영향을 미칠 수 있다. '3'가지 증강 속성: 물리적 정확성은 시뮬레이션된 상태가 얼마나 신뢰할 만한지, 세계 법칙에 부합하는지, 학습으로 얻은 능력이 물리 세계로 돌아갔을 때 여전히 쓸 수 있는지를 따진다. 지속성은 지속 운용 시간과 안정 성능이 따라갈 수 있는지, 장시간 운용 시 물체와 세부 사항이 드리프트하지 않는지이다. 실시간성은 낮은 지연으로, 생성되는 세계의 복잡도 증가가 모델 추론 시간에 영향을 주지 않아 높은 시뮬레이션 테스트 효율을 얻는 것이다.

Apollo World의 3대 핵심 능력: 에이전트 구동, 전모달 인지, 주행 폐루프

양쩌는 "Apollo World는 교통 참여자에게 지능을 부여하여 세계가 무인차의 모든 동작에 응답할 수 있기를 바란다"고 소개했다.

전통적 시뮬레이션에서 다른 교통 참여자는 스크립트대로 움직이는 소품에 가깝다. Apollo World가 구축한 가상 도시에서 차량, 보행자 등 교통 참여자는 모두 의사결정과 상호작용 능력을 갖춘 AI 에이전트로 모델링되어 주변 교통 변화에 따라 행동을 조정할 수 있다. 무인차가 감속하거나 차로를 바꾸거나 양보하는 것이 다른 참여자의 서로 다른 반응을 유발할 수 있어, 무인 운전 시스템이 끊임없이 변화하는 교통 환경에서 훈련과 검증을 받게 한다.

이와 동시에 Apollo World는 카메라, 라이다 등 다중 모달 관측 데이터를 실시간으로 생성하여 무인 운전 시스템이 가상 환경을 직접 인지하도록 한다. 시스템이 운전 의사결정을 내리면 환경이 그에 따라 변화하고, 다시 시스템에 새로운 피드백을 제공하여 엔드투엔드 폐루프를 형성한다.

양쩌는 "업계의 적지 않은 세계 모델은 여전히 독립 장면 시뮬레이션 위주인 반면, Apollo World는 완전한 과업의 폐루프 시뮬레이션에 더 주목한다"고 밝혔다. Apollo World가 구축한 가상 도시에서 무인 운전 차량은 서로 다른 출발지와 도착지 사이를 연속 주행하며 주문 접수, 승객 탑승부터 도착까지의 완전한 이동 과업을 완수할 수 있어, 뤄보콰이파오가 구간을 넘나들고 장면을 넘나드는 연속 주행 과정에서 훈련과 검증을 받게 한다.

AI가 AI에게 운전을 가르치게 하다, 세계 모델이 무인 운전 산업의 'AGI 순간'을 두드리다

무인 운전이 규모화로 나아가려면 안전, 지능, 규모를 동시에 챙겨야 하는데 이 세 가지 사이에는 '불가능한 삼각형'이 존재한다. 롱테일 장면은 실제 차량 주행거리만으로 충분히 커버하기 어렵고, 신규 지역 배포에는 테스트 비용과 시행착오 위험이 있으며, 구간과 장면을 넘나드는 연속 주행 능력은 다시 규모화 검증이 필요하다. Apollo World는 실제 운영 중의 복잡한 상호작용과 위험 장면을 반복 가능하고, 통제 가능하며, 규모화 운용이 가능한 가상 테스트 환경으로 전환하고, 현실이 아직 커버하지 못한 새로운 장면을 생성하여 무인차가 실차 배포 전에 가상 세계에서 먼저 주행 추론을 완료하게 하고, 테스트 비용과 배포 위험을 가상 세계에서 먼저 소화하게 하여 AI가 AI에게 운전을 가르치게 한다.

가상 검증이 진정으로 현실에 가까워지려면 뤄보콰이파오가 꾸준히 축적한 실제 도로 데이터를 떠날 수 없다. 뤄보콰이파오는 이미 전 세계 28개 도시에 진출했고, 누적 2300만 건 이상의 이동 서비스를 완료했으며, 자율주행 총 주행거리는 3.5억 킬로미터를 돌파했고 그중 완전 무인 주행거리는 2.4억 킬로미터를 넘었으며, 좌핸들·우핸들 시장에서도 무인 운전 실천을 전개했다. 실제 운전 데이터를 바탕으로 Apollo World는 고가치 장면을 추출하고, 가상 테스트 결과는 다시 차량 측 반복 개선에 환류되어 실제 운영과 가상 검증이 서로를 촉진하는 폐루프를 형성한다.

물리 AI 시장은 빠르게 성장하고 있다. Grand View Research는 글로벌 물리 AI 시장 규모가 2025년 약 816억 달러에서 2033년 약 9604억 달러로 증가하고, 2026년부터 2033년까지 연평균 복합성장률이 36.1%에 이를 것으로 전망한다. '화면 생성'에서 '행동 검증'으로 나아가 '불가능한 삼각형'을 풀어내며, Apollo World는 무인 운전의 규모화 실현에 새로운 기술 척도를 제공하고 무인 운전이 AGI의 순간에 도달하도록 이끌고 있다.