招商局狮子山实验室, 로봇용 구현 추론 모델 'Lion-ER-35B-A3B' 공개

思邈 2026-11-04 18:08:38 출처: 量子位

단 3B 파라미터만 활성화, 10개 벤치마크 전 지표 향상!

允中, 凹非寺에서 전하다

量子位 | 공식 계정 QbitAI

일상생활에서 인간의 직관적 판단은 로봇에게 옮겨지면 종종 까다로운 난제가 된다.

영상 화면에서 물체 위치가 더 높아 보인다고 해서 그것이 실제 3차원 공간에서 더 높은 위치에 있다는 것과 같지는 않다. 촬영 각도를 바꾸면 가구의 외형이 달라지지만 여전히 같은 물체다. 화면 안에서 물체가 변위되면 물체 자체가 움직인 것일 수도 있고, 단지 카메라 렌즈가 회전한 것일 수도 있다……

이러한 미세한 공간·상태 변화는 인간이 한눈에 구별할 수 있지만, 로봇의 '임바디드(具身) 두뇌'에게는 공략하기 어려운 난제다.

시점 변화로 물체 정체가 혼동되거나, 카메라 운동을 오판하거나, 작업 진행도를 잘못 추정하는 것은 모두 로봇의 실행 실패를 직접 초래한다.

로봇이 현실 작업을 안정적으로 완수하게 하려면, 모델은 단지 '물체를 보는' 것에 그치지 말고 3차원 공간 관계를 읽어내고, 물체 상태 변화를 포착하며, 작업이 어느 단계에 있는지 판단해야 한다.

최근 차이나머천트(招商局) 첨단기술연구원 산하 스자산(狮子山) 인공지능연구소가 임바디드 추론 비전-언어 모델 「驭物™ Lion-ER-35B-A3B」를 발표했다. 이 모델은 MoE(전문가 혼합) 모델 아키텍처를 채택했으며, 총 파라미터는 약 35B이고 토큰당 약 3B 파라미터만 활성화된다.

추론 비용을 크게 늘리지 않으면서, 모델은 10개 주요 임바디드 관련 벤치마크에서 전 지표 상승을 달성했고, 여러 핵심 능력에서 더 큰 파라미터량의 주류 모델을 능가하며, 대규모 훈련 데이터 적층과는 다른 기술 경로를 걸어 로봇이 3차원 물리 세계를 진정으로 이해하도록 돕는다.

이 모델은 어떻게 만들어졌나?

지난 몇 년간 Open X-Embodiment, DROID 등의 작업은 현실 세계 로봇 데이터의 경계를 끊임없이 확장해 왔다. 그러나 데이터 규모가 커지면서 한 가지 문제가 점점 더 분명해졌다:

더 많은 데이터가 더 많은 능력을 의미하지는 않는다.

기존 연구에 따르면, 기존 로봇 데이터셋 내에서 서로 다른 데이터 도메인의 훈련 가중치만 조정해도 다운스트림 작업 성능에 뚜렷한 영향을 미칠 수 있다.

「驭物™ Lion-ER-35B-A3B」의 핵심 하이라이트는 단순히 모델 파라미터 수를 늘리는 것이 아니라, 능력 견인의 임바디드 데이터 엔진을 구축한 것으로, 무작정 방대한 데이터를 수집하는 전통적 방식을 버리고 모델이 습득해야 할 능력을 중심으로 정면 설계한 뒤 평가를 통해 약점을 발견하고 폐루프로 데이터를 반복 최적화한다.

능력 견인의 임바디드 데이터 엔진

1단계: 모델이 무엇을 배워야 하는지 명확히 하기

招商局 스자산 팀은 세밀한 '능력 청사진'을 정리해냈다:

그들은 임바디드 추론을 '실체, 공간, 시계열, 물리, 어포던스(可供性), 작업, 사회, 증거' 등 8개 1급 영역으로 분해하고 39개 2급 능력으로 세분화했다. 또한 추론 방식, 입력 형식, 응답 형식을 독립 차원으로 분리해 표기하여 서로 다른 분류 차원의 혼용으로 인한 중첩을 피했다.

청사진은 모델이 어떤 능력을 배워야 하는지 정의할 뿐만 아니라, 이러한 능력이 어떤 조건에서 호출되어야 하는지도 명확히 했다.

실제 작업은 종종 복합 능력을 수반한다. 예를 들어 물건이 제자리에 놓였는지 판단하려면 작업 진행도 판단과 공간 관계 추론이 모두 필요하다.

따라서 팀은 청사진 단계에서 주 능력과 보조 능력을 각각 기록하고, 분리할 수 없는 결합 작업은 따로 나열했다.

훈련 샘플링 시 팀은 서로 다른 요소의 조합과 유보(留出)도 고려해, 특정 능력이 항상 소수의 고정 장면, 물체 또는 질문 방식에 묶여 있지 않도록 했다.

2단계: 추상적 요구를 하나하나의 훈련 문제로 바꾸기

능력 청사진이 마련되면 어떻게 실제 훈련 문제를 생성할 것인가?

팀은 이 프로세스를 '능력 컴파일'이라 명명했다:

추상적 능력 목표를 항목별로 분해해 '어떤 장면이 필요한가, 관찰을 어떻게 구성할 것인가, 어떤 질문을 던질 것인가, 무엇에 근거해 답을 확정할 것인가'로 구체화한다.

교차 시점 추론을 예로 들어 보자. 먼저 모델에 제공할 시점의 수, 여러 화면 사이에서 연관을 구축해야 하는 대상 물체, 그리고 방위를 판정할 때 사용하는 관찰자 위치와 방향을 명확히 한다.

동시에 소재 자체도 검증해야 한다: 모델이 받은 시각 정보가 신뢰할 수 있는 답을 도출하기에 충분한가. 핵심 시점이 결여되어 증거가 부족하면 이 문제는 추측에 의존할 수밖에 없으므로 합격한 훈련 샘플에 포함할 수 없다.

이러한 문제 구성 규범은 목표 능력 자체가 견인하며, 평가에서 오답이 드러난 뒤에야 수동적으로 데이터를 보충할 필요가 없다.

능력 청사진은 커버해야 할 능력 범위를 미리 계획하고, 평가는 누락을 점검해 메우는 역할을 맡아 이후에도 모델이 여전히 취약한 고리를 찾아낸다.

3단계: 모든 훈련 문제에 근거가 있도록 보장하기

문제 구성 방식 측면에서 팀은 서로 조합 가능한 세 가지 경로를 설계했다. 기존 QA와 시각 주석에서 변환하기, 관찰 소재에서 증거 발견하기, 구조화된 조건과 관계에서 도출하기다. 이 세 경로가 함께 추상적 능력 요구를 구체적이고 답할 수 있는 하나하나의 훈련 문제로 전환한다.

세 가지 문제 구성 방식 개념도

감독 검증 측면에서는 데이터 정제, 기하 문제 구성, 지향 합성이라는 세 가지 상호 보완 경로를 채택했다:

- 데이터 정제: 기존 데이터를 정리·수정하고, 이미지 순서, 질문 지시 대상, 선택지와 정답 매핑을 점검하며, 근거가 확인되는 오류를 수정하고 중복 노출을 통제한다.

- 기하 문제 구성: 신뢰할 수 있는 포즈, 깊이, 물체 대응 관계를 갖춘 소재를 대상으로, 먼저 고정 정답과 추론에 필요한 중간 관계를 계산한 뒤, 모델이 이러한 사실 제약 아래에서 문제와 해설을 생성하도록 한다.

- 지향 합성: 기존 감독이 부족할 때 실제 이미지나 영상 소재를 기반으로 지향적으로 문답을 구성한다. 합성되는 것은 질문과 주석이지만, 생성 모델이 내놓은 답을 절대 곧바로 정답으로 삼지 않으며 반드시 독립적 답변 또는 추가 검토를 거친다.

세 가지 감독 경로

전체 프로세스는 한 가지 원칙을 일관되게 견지한다: 증거가 있는 어려운 문제는 보존하고, 증거가 부족한 가짜 어려운 문제는 배제한다.

모델이 틀렸다고 해서 샘플을 삭제할 이유가 되지 않으며, 여러 모델이 같은 답을 내놓는다고 해도 그것만으로 답이 옳다는 것을 증명할 수 없다.

모델이 지속적으로 실수하는 고난도 샘플에 대해서는 팀이 추가로 Human in the loop 인공 검수를 도입하고, 복잡한 임바디드 작업을 위한 시각화 검증 플랫폼을 구축했으며, 다중 시점 대조, 시계열 재생, 증거 표기 등의 기능으로 인공 심사를 강화해 검수자가 핵심 시각 단서와 추론 근거를 복원하도록 돕고, 모델 능력의 경계를 데이터 문제로 오판하는 것을 피한다.

4단계: 평가 결과가 데이터 반복 개선에 직접 환류

합격한 훈련 문제를 갖추었으니, 훈련 자원 배분도 잘해야 한다.

「驭物™ Lion-ER-35B-A3B」의 감독 훈련 세트는 총 312380개 샘플을 포함하며, 훈련 시 데이터 소스의 문항 수로 가중치를 결정하는 것이 아니라 능력 수요에 따라 훈련 예산을 배분한다.

샘플은 공간 기하, 다중 시점 대응, 동작 궤적, 작업 계획 등 핵심 임바디드 능력을 중점적으로 포괄한다. 팀은 동질화된 중복 문항을 줄이고 훈련 자원을 취약한 추론 유형에 투입한다. 샘플은 후보 선정, 심사부터 훈련 투입까지 전 과정에 기록이 남아 훈련 레시피를 추적하고 조정할 수 있다.

31.2만 감독 샘플의 능력 구성도