시후대, 세계모델 연구센터 신설

henry 2026-11-01 21:28:10 출처: 량쯔웨이(量子位)

서호 세계 모델 연구센터 설립

10월 31일, 서호 세계 모델 연구센터(西湖世界模型研究中心)가 윈구 캠퍼스에서 설립됐다. 이 이름은 많은 사람을 혼란스럽게 할 수 있다. '대규모 언어 모델'은 알겠는데, '세계 모델'이란 무엇인가?

간단히 말해, 이는 '대규모 언어 모델'에 이은 인공지능 분야의 또 다른 '핫 키워드'다.

지난 몇 년간 대규모 언어 모델의 급속한 발전은 우리에게 '박학다식'함과 '무엇이든 이야기하는' 능력으로 감탄을 자아냈다. 그러나 언어를 다루는 능력이 세상을 이해하는 것과 같은 것은 아니다. 세계 모델은 인공지능에 '격물치지(格物致知)'의 지혜와 '견미지저(見微知著)'의 통찰을 부여하는 것, 즉 물리 세계의 법칙을 탐구하고 실제 세계의 작동을 추론하며 '세상을 관찰하는 것'에서 '세계관'으로 나아가는 것이다.

2025년 말부터 2026년까지, 리페이페이(李飞飞), Yann LeCun 등 인공지능 선도자들이 잇따라 세계 모델 창업에 뛰어들었다. 그리고 바로 며칠 전, Google DeepMind는 세계 모델과 추론 모델을 융합한 Genie4를 발표했다.

서호 세계 모델 연구센터의 설립은 하나의 신호로, 서호대학이 이 방향에 역량을 집중해 발전시키겠다는 것을 의미한다. 사실 서호대학의 자율지능연구실 AutoLab은 이미 3년 전부터 세계 모델 연구를 시작했고, 창업 기업을 배출했으며, 기업계와 기술 실용화 협력을 전개해 왔다.

그래서 이 센터의 설립은 한 무리의 인공지능 연구자들뿐 아니라 약 90명의 업계 연구개발 부서 임원과 투자자까지 끌어모았다. 설립 대회 이후 열린 '물리 세계 모델 전沿 포럼' 역시 그들이 주목하는 초점이었다.

그래서 세계 모델이란 대체 무엇인가? 그것은 어떤 변화를 가져올 수 있는가? 그리고 새로운 사물로서 사람들이 왜 그것에 대해 끊임없이 논하는가? 물론, 3년간의 '사전 포석' 이야기도 있다.

01 세계 모델

'세계는 어떤 모습인가'에서 '세계는 어떻게 될 것인가'로

일찍이 1990년, 강화학습 분야의 주요 기초를 놓은 인물 중 한 명인 Richard Sutton은 세계 모델의 한 가지 정의를 제시했다. 현재 상태와 행동이 주어지면 다음 상태를 예측한다는 것이다. 이는 모델이 '세계가 어떤 모습인가'만이 아니라 '세계가 어떻게 될 것인가'를 답해야 함을 요구한다.

오늘날 AI가 영상을 생성하는 것은 어렵지 않지만, 더 어려운 것은 컵이 탁자 가장자리로 미끄러질 때 모델이 무슨 일이 일어날지 미리 판단할 수 있느냐 하는 점이다. 위카이청(于开丞)은 비유하길, 과거 AI를 훈련하는 방식은 AI에게 '대량의 시험 문제를 외우게 하는 것'에 가까웠지만, 세계 모델은 물리 세계의 법칙을 '이해'함으로써 최종적으로 정확한 예측을 해내는 것에 더 가깝다고 말했다.

'합성곱 신경망의 아버지'이자 튜링상 수상자인 Yann LeCun은 더 직접적으로 말했다. "단순히 텍스트를 예측하는 것만으로는 AI가 인간 수준의 지능에 결코 도달할 수 없다. 우리에게는 물리적 현실을 이해하는 모델이 필요하다."

대규모 언어 모델의 본질은 문자 기호의 확률 예측인 반면, 세계 모델의 목표는 '현실 세계의 다음 상태를 예측'하는 것이며, 그 목표는 AI에 시간, 공간, 인과관계와 물리적 상식을 부여하는 것이다.

대중이 가장 잘 체감할 수 있는 초기 세계 모델의 원형은 아마 2024년 영상 생성 모델 Sora일 것이다. 가장 고전적인 장면은 나무 범선이 커피잔에서 파도를 가르며 나아가는 모습으로, 파도의 물결 질감이 매우 사실적이었다. Sora는 당시 '물리 세계의 범용 시뮬레이터'로 자리매김했다.

이어서 자율주행 분야가 가장 먼저 세계 모델을 실용화했다. 이런 세계 모델은 매우 사실적인 주행 영상을 생성할 수 있고, 심지어 악천후, 돌발 사고 등 '엣지 시나리오'를 능동적으로 구축해 자율주행 모델을 훈련할 수도 있다. 이는 자율주행 훈련 과정의 단점을 보완했다. 현실 세계에서는 모델 훈련을 위해 일부러 교통사고를 일으킬 수는 없기 때문이다.

그런데 사실적인 현실 장면을 생성할 수 있다는 것이 모델이 정말로 세계를 이해한다는 것을 의미하는가?

비 오는 날의 시뮬레이션 화면(자율주행 훈련용, 위카이청 팀의 초기 작업 전시)

02 '자기 부정'

—— 기계가 세상을 더 잘 이해하도록 하기 위해

1993년 산둥(山东)에서 태어난 위카이청은 일종의 반전 매력을 지녔다. 그는 스스로를 '밝고 명랑한 열정적인 큰 남자아이'라고 묘사하지만, 기술적으로는 약간 '반항적'이다.

2012년 그는 대학입학시험(가오카오)에 참가해 점수가 칭화대, 베이징대에 갈 수 있었지만, 결국 홍콩대학을 지원했다. 홍콩대학에서 일등 명예 공학 학사 학위를 받은 후, 위카이청은 스위스 로잔 연방공과대학(EPFL)에 직행 박사 과정으로 진학해 자동 머신러닝을 전공했다. 박사 졸업 후 그는 인텔 지능 시스템 연구소, Abacus.AI, 알리바바 다모 아카데미에서 관련 분야 연구 업무를 했다.

다모 아카데미에서 위카이청은 주로 자율주행 관련 연구를 했다. 그 과정에서 그는 전통적 훈련 방식의 한계를 점차 인식하게 됐다. 전통적 자율주행 기술은 본질적으로 '죽어라 외우는 것'으로, 훈련 데이터셋에 고도로 의존하며, '문제 은행'에서 본 장면은 모델이 처리할 수 있지만 드문 돌발 상황을 만나면 쉽게 오류가 발생한다.

2023년 그는 알리바바를 떠나 서호대학에 합류해 자율지능연구실 AutoLab을 꾸리고 세계 모델 방향의 연구를 시작했다. 올해 매우 뜨거운 세계 모델은 당시에는 다소 비주류 개념에 속했다.

자율주행의 롱테일 시나리오 훈련이라는 난제에 대해, 당시 업계에는 주로 두 가지 해결 방안이 있었다. 첫째는 합성 데이터를 생성해 드문 시나리오 샘플을 만들어낸 뒤 모델에 먹여 훈련시키는 것이고, 둘째는 근본적으로 모델이 하나를 알면 열을 깨우치는, 즉 미지의 시나리오를 추론하는 능력을 갖추도록 하는 것이다. 물론 후자가 난도가 더 높다.

서호대학에 처음 들어갔을 때 위카이청과 팀은 난도가 상대적으로 낮은 첫 번째 노선을 우선 선택해 탐구했고, 극단적 시나리오의 영상을 생성해 자율주행 모델을 훈련했다. 이 노선은 빠르게 성과를 냈고, 2024년 그들은 ECCV 자율주행 부문에서 세계 챔피언을 차지했으며 점수는 2위를 크게 앞질렀다.

한 국내 1선 자동차 기업과의 심층 배포 과정에서 위카이청과 팀은 이 노선의 근본을 의심하기 시작했다. 모델이 이미 사실적인 데이터를 생성할 수 있다면 그것은 어느 정도 세계를 이해했다는 뜻인데, 그렇다면 계속 픽셀을 렌더링하는 것은 대체 무엇을 위한 것인가?

2024년 말, AutoLab은 새로운 기술 노선으로 전환해 '개념 세계 모델'을 제안했다. 즉 더 이상 픽셀을 생성하지 않고 추상적 수학 잠재 공간에서 물리 개념의 표상을 구축하는 것이다. 위카이청은 이때 모델이 사람처럼 복잡한 장면을 유한한 개념으로 분해한 뒤 이 개념들을 다시 조합해 훈련 데이터에서 완전히 등장한 적 없는 새로운 장면을 '이해'해야 한다고 말했다.

다시 말해, '개념 세계 모델'은 복잡한 물리 환경, 물체 속성, 공간 관계 및 행동 결과를 공간 관계, 재질 특성, 접촉 상태 등 재사용 가능한 물리 개념으로 분해한다. 완전히 새로운 장면을 만나면 모델은 전체 장면을 다시 학습할 필요 없이 기존 개념을 잠재 공간에서 재조합해 추론한다.

연구가 2025년으로 접어들면서 팀은 실험에서 개념 분해와 연관 메커니즘이 구축된 후 모델이 복잡한 과제에서의 성공률이 전통적 모방 학습 및 강화 학습 기준선보다 현저히 향상됐으면서도 예측 비용은 낮게 유지된다는 것을 관찰하기 시작했다.

이는 암시적 세계 모델의 기술 노선으로, AutoLab은 국내에서 초기 검증을 완료한 소수 팀 중 하나가 됐으며, 이러한 연구 진전은 이후 회사 배출을 위한 토대를 마련했다.

03 자율주행만이 아니다

—— AI가 실제 세계를 관통할 때

2026년 초, 서호수지 Awomo(西湖数智 Awomo)가 정식으로 설립됐다. 회사의 정체성은 물리 세계의 기초 대규모 모델 기업으로, 대규모 언어 모델에 대응하며, 자동차 기업에 맞춤형 솔루션을 납품하는 것만이 아니라 원생 물리 대규모 모델을 구축하는 것을 목표로 한다.

AutoLab이 개발한 ‘개념 세계 모델(Concept World Model)’은 2026년에 이르러 공식 명칭인 Awomo를 갖게 되었다. Awomo는 네 개의 국제 권위 로봇 평가 세트에서 모두 1위를 차지하며, 이 노선이 환경 교란, 정밀 조작 및 장시간 시계열 과제에서 갖는 일반화 능력을 한층 검증했다.

현재 이 스타트업은 누적 1억 위안을 넘는 시드 라운드와 엔젤 라운드 투자를 유치했으며, 투자자로는 인노펀드(英諾基金), 동방가부펀드(東方嘉富基金), 정쉬안인베스트(正軒投資), 톈치캐피털(天啓資本), 시후혁신투자펀드(西湖創新投資基金), 진마인베스트(金螞投資) 등 하드테크 투자기관이 포함되어 있다.

그리고 자율주행은 세계 모델의 응용 시나리오 중 하나일 뿐이다. 세계 모델은 로봇의 ‘물리적 두뇌’가 될 수도 있어, 복잡한 교란에 직면했을 때 로봇은 잠재 공간에서 물체 속성과 동작 결과를 빠르게 추론하여 파지, 조립 및 장시간 시계열 협동 과제를 정확하게 완수할 수 있다.

더 큰 변화는 데이터 학습 모델에서도 일어날 것이다. 전통적인 AI 학습에는 막대한 학습 데이터가 필요하며, 이는 매우 높은 연산 비용을 의미한다. 그러나 위카이청(于開丞)의 구상에서는 범용 물리 기반 모델에 의존한다면, 다운스트림 개발자나 중소기업은 더 이상 백만 시간 규모의 데이터를 수집할 필요가 없고, 아마 20~30시간의 후속 학습(post-training)만으로 특정 분야의 모델을 빠르게 맞춤화할 수 있을지도 모른다.

장기적으로 볼 때, 세계 모델은 궁극적으로 일반인의 개인화된 창작 수요에 봉사하게 될 것이며, 이는 위카이청이 굳게 믿는 점이다. 대규모 학습의 부담이 그다지 크지 않기 때문에, 사용자는 ‘모델로 세계를 구축하는’ 능력을 활용해 마치 개인 차고의 수작업 공방을 꾸리듯 스스로 자신만의 개인 로봇이나 개인화된 지능형 어시스턴트를 구축할 수 있다.

이 모든 응용은 AI가 세계를 마주하고 내놓으려는 행동으로 이해할 수 있으며, 모든 행동은 궤적을 남긴다. 이것이 또한 위카이청이 동시에 오래된 서예를 연구하고 있는 이유이기도 하다. 중국 한자는 표의 문자로서 타고난 구조감과 공간감을 지닌다. 한자가 갑골문에서 오늘날에 이르기까지 발전한 것은 본질적으로 현실 세계의 실체를 어떻게 2차원 평면 기호로 압축하는가의 과정이다.

“갑골문이 바로 최초의 잠재 공간(latent space)이다.”라고 위카이청은 말한다.

그리고 의도나 개념을 획으로 전환하는 과정은 로봇의 동작 제어, 궤적 계획 뒤에 있는 수학적 논리와 저변에서 상통한다. 수천 년이 지났지만 우리는 여전히 이 세계의 법칙을 추상화하려 애쓰고 있을 뿐, 다만 도구를 바꾸었을 뿐이다.

[붙임: 시후 세계 모델 연구 센터 소개]

시후 세계 모델 연구 센터(Westlake World Model Center)는 2026년 10월 정식으로 설립되었으며, 시후대학(西湖大學)이 물리 지능 분야를 겨냥해 설립한 교내 교차 과학연구 플랫폼이다. 센터장은 위카이청 교수가, 수석 과학자는 진야오추(金耀初) 원사가 맡고 있으며, 여러 PI가 각 방향의 연구 과제를 공동으로 담당한다.

센터는 인공지능이 언어 인지에서 물리 상호작용으로 나아가는 발전 방향을 겨냥해 세계 모델과 물리 지능에 초점을 맞추고, 지능 시스템이 물리 법칙을 이해하고 환경 변화를 예측하며 상호작용적 의사결정을 수행하는 핵심 병목을 돌파하여 국제적으로 선도적인 물리 지능 학술 고지와 혁신 엔진을 구축하는 데 힘쓴다.

센터는 세계 모델을 핵심 연구 방향으로 삼아 지각, 인지, 예측과 행동을 결합한 지능 체계를 탐구하고, 인공지능이 실제 환경에서 세계를 이해하고 미래를 추론하며 자율적으로 행동하는 능력을 형성하도록 추진한다. 시후대학의 연구 기반과 교차 학문 우위에 힘입어, 센터는 여러 분야의 연구 역량을 모아 기초 이론, 핵심 기술과 응용 탐구의 협력 발전을 촉진하고, 물리 법칙을 이해하고 행동 결과를 예측하며 실제 피드백 속에서 지속적으로 학습할 수 있는 범용 세계 모델을 연구 개발하여, 우리나라가 차세대 인공지능 분야에서의 자주적 혁신과 전방 배치를 뒷받침할 것이다.