세계 모델로 칩 설계 첫 적용, NPU 700TOPS·99% 활용

멍야오 2026-10-31 13:11:19 출처: 량쯔웨이(量子位)

AI 컴퓨팅 파워 활용도 "99%"

자하오난, 우페이쓰(凹非寺) 량쯔웨이 | 공식 계정 QbitAI에서 보냄

소프트웨어로 먹고사는 회사일수록 하드웨어를 더 중시한다 ——

자율주행(지능형 운전) 모델로 잘 알려진 Momenta가 설립된 지 겨우 2년 남짓인 한 반도체 회사의 첫 공개 석상에 등장했다.

첫 칩, Day 0 적응.

자매 회사가 마침내 한몸이 되었고, 최강 자율주행 모델 회사는 날개를 달았다.

신신항투(新芯航途) XHEART는 이제 Momenta의 핵심 파트너가 되었다.

모델도 있고 칩도 있으니, Momenta의 자율주행 모델 성능은 물론 회사 전체가 새로운 가치 재평가를 맞게 되었다.

AI 컴퓨팅 파워 활용도 "99%", 어떤 칩이고 누가 만들었나?

칩 이름은 X7 Ultra다. 컴퓨팅 파워 수치만 보면 2026년 말 기준으로 이미 '극한'이라고 할 수는 없다—— 700 TOPS.

그러나 공식 측은 다른 두 가지 지표를 더 강조한다.

첫째는 양자화 모델 출력과 FP32 기준 모델의 유사도가 99.99%를 넘는다는 점이다.

이것이 말하려는 것은, X7 Ultra가 확실히 더 높은 추론 효율을 갖추고 있으면서도 양자화 오차가 무한정 커지도록 방치하지 않고, 양자화 후 모델 출력이 FP32 모델에 최대한 가깝도록 요구한다는 것이다.

대형 모델은 컴퓨팅 파워, 메모리, 전력 소모를 워낙 많이 잡아먹기 때문에, 모델 가중치와 계산 정밀도를 낮추는 주요 경로는 바로 저장과 계산 오버헤드를 줄이는 것이다. 하지만 너무 세게 누르면 출력에도 편차가 생길 수 있다.

이 계산을 제대로 할 수 있느냐는 한정된 전력 예산 안에서 대체 얼마나 큰 모델을 돌릴 수 있느냐와 직결된다.

두 번째 지표는 NPU 계산 활용률이 98.7%에 이른다는 것으로, 칩 안의 AI 계산 유닛이 테스트 작업을 수행할 때 대부분의 시간을 유효한 계산 작업에 쓰고 유휴时间是 거의 없다는 뜻이다.

이는 통상 칩 아키텍처, 데이터 전송, 소프트웨어 스케줄링 간의 협조가 잘 이루어져, 계산 유닛이 데이터나 명령을 기다리느라 헛도는 일이 쉽지 않다는 것을 의미하기도 한다.

공식이 제시한 참고 데이터는 다음과 같다. 업계 플래그십 제품과 비교해 메모리 대역폭 소모가 80% 감소하고, 에너지 효율이 100% 향상된다.

이때 다시 700TOPS라는 컴퓨팅 파워 수치를 돌아보면 그 차이를 이해할 수 있다.

이는 업계 최초로 '대형 모델 컴퓨팅 파워'로 칩 성능을 기술한 것이다.

과거 TOPS를 말할 때는 주로 덴스(dense) 컴퓨팅 파워나 스파스(sparse) 컴퓨팅 파워를 썼다. 이런 개념들은 칩의 이론적 계산 능력을 설명해 주지만, 실제 경험에 더 가까운 한 가지 질문, 즉 실제로 자율주행에 쓰이는 모델을 올리면 대체 얼마나 빠르게, 얼마나 안정적으로 돌릴 수 있는가에는 단독으로 답하기 어렵다.

예를 들어 실험실의 APS 같은 테스트 지표는 특정 모델의 실행 소요 시간을 개별적으로 측정해 엔지니어가 칩 성능을 분석하는 데 도움을 줄 수 있다.

하지만 실제 자율주행 대형 모델은 복잡한 네트워크 구조, 다양한 유형의 연산자, 빈번한 데이터 읽기·쓰기, 그리고 여러 계산 작업 간의 스케줄링을 포함한다. 특정 구간만 빠르게 돌리는 것을 추구하는 것은 의미가 제한적인데, 다른 구간이 데이터 대기, 메모리 대역폭 부족, 또는 스케줄링 효율 저하 때문에 전체 속도를 늦추기 때문이다.

결국 실험실 벤치마크 테스트와 양산 모델의 실제 성능, 그리고 주행 경험 사이에는 거리가 생길 수 있다.

'대형 모델 컴퓨팅 파워'의 평가 사고방식은 실험실 벤치마크 테스트에만 의존하는 대신, 실제 양산 자율주행 모델로 칩을 직접 테스트하는 것이다.

이렇게 하면 평가 대상이 상대적으로 독립적인 계산 작업에서 실제 배포 환경의 자율주행 대형 모델로 바뀐다.

이 평가 방식에는 또 몇 가지 명확한 제약이 있다. 모델 구조를 임의로 바꿀 수 없고, 계산 정밀도를 보장해야 하며, 최종 주행 경험도 타협할 수 없다. 칩은 이런 조건이 모두 성립하는 상황에서 모델 실행 효율을 최대한 높여야 한다.

이것이 바로 '대형 모델 컴퓨팅 파워'가 측정하려는 것이다. 즉 실제 양산 모델과 엄격한 배포 제약 아래에서 칩이 대체 얼마만큼의 계산 능력을 제공할 수 있는지를 따져, 성능 수치가 자율주행 시스템이 실제로 수행해야 하는 작업을 더 정확하게 설명하도록 만드는 것이다.

그리고 그 모델은 지금 이 단계에서는 바로 Momenta의 R7 월드 모델이다 ——

숨기지 않고 말하자면, 이 반도체 회사는 확실히 Momenta와 깊은 인연이 있다.

신신항투 —— XHEART, 두 회사는 직접적인 지분 종속 관계는 없고, 단지 Momenta 창업팀 멤버인 차오쉬둥(曹旭东), 샤옌(夏炎)이 지배주주를 통해 간접적으로 신신항투 지분을 보유하고 있을 뿐이다.

Momenta와는 '자매 회사'에 속하며, 첫 번째 양산 제품인 X7은 이미 상하이폭스바겐(SAIC Volkswagen)의 신차에서 양산됐지만, 이번 X7 Ultra 발표는 신신항투가 처음으로 공식 대외 공개한 자리다.

대형 모델 + 대형 컴퓨팅 파워 칩, 어떤 자율주행 변화를 가져오나?

먼저 자율주행 모델이 차 안에서 작동하는 과정을 상상해 보자.

카메라와 라이다가 데이터를 보내면 모델이 층층이 계산을 시작하고, 최종적으로 인지와 주행 결정에 필요한 정보를 형성한다. 이 전체 흐름은 한정된 시간 안에 다 돌아야 한다.

문제는 칩 내부에서 흔히 이런 난처한 국면이 생긴다는 점이다. 계산 유닛은 분명 강력한데 데이터를 기다리고 있고, 어떤 연산자는 매우 빠르게 계산하는데 다른 작업은 전체 링크를 발목 잡는다. 또 센서 데이터가 점점 많아지면서 전단 처리에 줄이 길게 늘어선다.

그래서 단말 측 AI 계산 칩이 가장 두려워하는 것은 한 곳에서 가속 페달을 세게 밟았는데 다른 구간은 여전히 느릿느릿 따라오는 상황이다.

X7 Ultra의 첫 단계는 NPU를 초대형 코어 아키텍처로 만들고, 코어 간 상호 연결 대역폭을 높이는 것이다.

이런 고려는 대형 모델의 계산 방식에서 직접 비롯된다.

모델 규모가 커지면 대량의 계산 작업을 조직화해 수행해야 하고, 계산 유닛 간에도 데이터를 교환해야 한다. 초대형 코어는 더 효율적인 상호 연결과 맞물려 협업 과정의 손실을 줄이고, 계산 자원이 더 매끄럽게 작동하도록 한다.

하지만 행렬 연산이 빨라졌다고 해서 전체 모델이 빨라지는 것은 아니다. 신경망에는 레이어노름(LayerNorm), 소프트맥스(Softmax), 트랜스포즈(Transpose) 등 '조연' 연산자가 적지 않기 때문이다.

이들은 반드시 가장 많은 계산량을 기여하는 것은 아니지만, 모델 실행 경로에 반복적으로 등장할 수 있다. 한 연산자의 처리가 느리면 후속 계산이 바통을 넘겨받기 위해 기다려야 한다.

X7 Ultra는 이런 작업을 위해 전용 계산 엔진을 배치했다. 모델 내 고빈도 작업에 별도의 자리를 마련해 주어, 범용 계산 자원이 이런 작업에 붙잡히는 시간을 줄이는 것과 같다.

하드웨어 작업이 준비되면, 소프트웨어도 일을 배분할 줄 알아야 한다.

모델이 칩에서 실행되려면 컴파일과 스케줄링을 거쳐야 하는데, 만약 모든 작업을 독립적으로 실행하면 중간 결과가 계속 외부 메모리에 쓰였다가 다시 읽혀져, 계산 유닛이 데이터를 기다리느라 많은 시간을 헛되이 낭비하게 된다.

X7 Ultra, 다시 말해 신신항투는 모든 칩을 위해 통합 솔루션인 AI 툴체인을 구축했으며, 계산 그래프 융합, 병렬 실행, 작업 스케줄링을 통해 합칠 수 있는 계산을 최대한 이어 붙여 중간 데이터의 왕복 이동을 줄인다.

이 제품에서 구현된 것으로 보면, X7 Ultra의 메모리 대역폭 소모는 일반 제품 대비 80% 감소하고 에너지 효율은 100% 향상된다. 이 두 수치는 데이터 이동을 줄이고 계산 자원 이용 효율을 높이는 설계 목표에 정확히 대응한다.

다만 자율주행 시스템에는 신경망만 있는 것이 아니라, 센서 데이터가 모델에 들어가기 전에 적지 않은 전처리 작업이 있다.

라이다를 예로 들면, 채널 수(라인 수)가 늘어나면 같은 장면에서 더 조밀한 포인트 클라우드가 생성되고 세부 정보가 더 풍부해지는 만큼 처리량도 함께 늘어난다. 또 카메라 링크에는 간과하기 쉬운 문제가 하나 있는데, 바로 지연 지터(latency jitter)다.

X7 Ultra는 이에 대해 맞춤형 방안을 제시했다. 예를 들어 처리 서브시스템에 전용 라이다 가속기를 추가해 초당 2000만 포인트를 처리할 수 있으며, 천 라인급 라이다의 포인트 클라우드 처리 수요를 지원할 수 있다.

카메라 처리 경로에 대해서는 로컬 멀티코어 처리와 파이프라인 제어를 최적화해 처리 안정성이 기존 방식 대비 100% 향상됐다.

물론 이 모든 것을 조율하는 칩 전체의 "스케줄러"도 있다. 바로 CPU다.

X7 Ultra는 Arm v9 차량용 등급 CPU를 채택했으며, 이는 Arm v9 아키텍처가 중국에 처음으로 적용된 사례이기도 하다.

이전 세대 대비 코어 성능은 20%, 에너지 효율은 10% 향상됐고, 벡터 처리, 멀티코어 협동, L3 캐시 접근도 최적화됐다.

마지막 관문은 안전이다. X7 Ultra의 SoC는 ASIL-B 표준을, 통합 MCU는 ASIL-D를 달성해 서로 다른 계층의 기능 안전 과제를 담당하며, 고장 모니터링과 제어, 이상 처리를 위한 하드웨어 기반을 제공한다.

이 몇 가지 설계를 이어서 보면, X7 Ultra는 NPU에만 연산력을 쌓아 올리는 데 집중한 것이 아니라 연산, 데이터 이동, 센서 처리, 시스템 스케줄링을 함께 정리한 것이다.

모델 연산의 대기가 줄고, 데이터 입출력이 더 원활해지며, 전단 처리에 발목이 잡히지 않아야 칩 전체가 스마트 운전 과제를 더 효율적으로 처리할 수 있다.

이 역시 신신항투(新芯航途)가 실험실 테스트 표준보다 "양산 스마트 운전 대형 모델로 칩을 테스트하는 것"이 더 합리적이라고 거듭 강조하는 이유다.

스마트 운전의 무어의 법칙, 도대체 무엇인가?

자율주행이 아직 "화전농경(刀耕火種)" 시대, 즉 고정밀 지도와 규칙에 의존하던 시절이자 업계가 "도시 개척(開城)"을 황금 지표로 삼던 시절에, Momenta의 CEO 차오쉬둥(曹旭東)은 이미 업계에서 거듭 전파해 왔다. 데이터 플라이휠, 두 다리로 걷기……

그리고 그가 당시 대세와 "동떨어져" 있던 인식은 이제 공인된 기술적 합의가 되었다. 엔드투엔드, 무도(無圖), 데이터 주도, 강화 학습, 세계 모델……

이는 Momenta가 영웅이 쏟아지는 자율주행 업계에서 두각을 드러낼 수 있었던 이유를 직접 설명해 준다. 협력 완성차 기업의 폭, 차종 수, 솔루션 탑재량 모두에서 독보적이다.

XHEART의 첫 공개 등판과 X7 Ultra 발표를 시작으로, 차오쉬둥은 처음으로 대외에 인식을 업데이트했다.

"대형 모델이 칩을 정의한다"를 Momenta의 세 번째 중요한 판단으로 규정한 것이다.

핵심 정의는 스마트 운전 모델의 능력이 지속적으로 성장하고, 연산 아키텍처 또한 모델과 함께 진화해야 한다는 것이며, 이로 인해 스마트 운전의 무어의 법칙도 재평가되어야 한다는 것이다.

이런 인식은 2022년에 형성됐고, 2023년에 신신항투가 실천하기 시작했는데, 그 시점은 자율주행 기술 체계가 빠르고 심층적인 저층 재구성을 겪던 시기와 맞물린다.

하드웨어 측면에서는 양산 L2의 규모 효과가 작용하기 시작하면서 센서와 칩 원가가 빠르게 하락해, "초대형(超大杯)" 구성의 스마트 솔루션이 차량 양산 탑재의 기반을 갖추게 됐다.

모델 측면에서는 데이터 주도 패러다임이 빠르게 전통적 방법을 대체했고, Transformer 아키텍처뿐 아니라 모델 자체의 반복 최적화 역시 수동 파라미터 조정과 규칙 제약에서 대규모이자 특정 분포 특성을 지닌 데이터의 재투입으로 바뀌어 강화 학습을 이끌었다.

Transformer 기반의 엔드투엔드 스마트 운전 모델은 본질적으로 방대한 데이터를 통해 환경 표상, 시계열 관계, 운전 의사결정을 학습한다. 모델이 처리해야 할 내용은 점점 더 복잡해져, 현재 도로 환경을 이해하는 동시에 연속된 시점의 정보를 결합해 차량, 보행자 및 기타 교통 참여자의 행동을 판단하고 최종적으로 운전 동작을 형성해야 한다.

세계 모델은 물리적 세계의 상태 및 그 미래 변화에 대한 예측을 더욱 강조해, 시스템이 더 강력한 환경 이해와 미래 추론 능력을 갖추게 한다.

차오쉬둥은 자율주행의 규모화된落地에 대응하는 단말 측 모델이 적어도 10B, 나아가 100B 파라미터급에 도달해야 진정한 L4의 규모화된 배치가 수백만 대 규모로 시작될 수 있다고 본다.

모델 파라미터 규모는 하나의 차원일 뿐이며, 연산자 유형, 데이터 접근 방식, 연산 작업의 병렬 관계 역시 모델이 차량 단말에서 실시간으로 구동될 수 있는지에 영향을 미친다.

이는 칩이 직면해야 할 연산 수요를 더 큰 규모로 끌어올린다. 전력 소모, 차량 등급 신뢰성, 원가 제약을 동시에 충족하고, 어떤 연산자가 전용 가속을 할 가치가 있는지, 어떤 데이터가 중복 이동을 줄여야 하는지, 어떤 연산 작업이 병렬 처리에 적합한지 등을 세분화하여, 모두 칩 설계 단계에서 모델 아키텍처와 협동적으로 고려해야 한다.

데이터 플라이휠, 두 다리로 걷기, 네이티브 아키텍처 칩 이 세 가지를 결합할 수 있다면, 모델의 발전은 더 이상 알고리즘 팀의 단일 지점 최적화에만 의존하지 않고, 저층 하드웨어도 모델의 실제 수요를 중심으로 함께 진화하기 시작한다.

Momenta의 기술 체계는 데이터 축적, 모델 훈련과 반복, 칩 연산, 그리고 최종 양산 배치를 관통할 기회를 갖게 된다.

2022년부터 2026년 사이 스마트 운전 경험은 대략 2년마다 10배 향상되는데, 이것이 업계가 과거에 보편적으로 인정하던 스마트 운전의 "무어의 법칙"이다.

그러나 "대형 모델이 칩을 정의한다"는 프레임워크에서 보면, Momenta는 이미 새로운 정(正)피드백 경로를 실천해 왔다. 모델이 연산 수요를 결정하고, 연산 아키텍처가 다시 모델이 어느 정도 규모로, 얼마의 원가로 차량 단말에 배치될 수 있는지에 영향을 미친다.

양산 규모가 확대되면 다시 모델이 데이터를 축적하고 능력을 검증할 지속적 조건을 제공하며, 각 단계가 협동한 후 단일 지점의 기술 돌파가 전체 시스템의 반복 속도로 전환될 기회를 갖게 된다.

2년에 10배 향상은 정해진 수치가 아닐 수 있다. 대형 모델이 칩을 정의하는 것은 스마트 운전의 무어의 법칙이 매년 10배 향상으로 나아가도록 가속하고 있다.

가장 먼저 검증될 가능성이 큰 것은 L4 자율주행의落地 응용, 즉 무인 택시, 무인 배송차, 무인 트럭 등 여러 형태다.

차량 단말의 연산 효율이 더 높고, 칩 연산자와 IP급 최적화 파트너를 갖추었으며, 성숙한 양산 공급망과 원가 통제 능력을 갖춘 Momenta는 영향력 가중치가 가장 큰 변수가 되었다.

신신항투의 영어 이름 XHEART는 계속 확장 가능한 X 하나를 남겨 두었다. 오늘은 자동차지만, 미래에는 로봇 및 기타 지능형 에이전트 단말이 될 수도 있으며, Momenta의 기술 체계는 자율주행에서 광의의 물리 AI로 확장될 가능성을 갖게 됐다.

결국 자율주행과 로봇은 지각, 의사결정, 실시간 응답, 에너지 효율 측면에서 공통된 수요를 가지며, 로봇의 더 엄격한 방열 제약은 신신항투가 늘 중시해 온 저전력 설계에 더 큰 잠재적 가치를 부여한다.

물론 서로 다른 지능형 에이전트 단말은 여전히 구체적 과제를 중심으로 제품 방안을 다시 설계해야 하지만, Transformer 대형 모델을 겨냥한 칩 아키텍처, 저층 툴체인, 소프트웨어·하드웨어 협동 경험에서 Momenta와 XHEART는 이미 한발 앞서 나갔다.