바이두, 문심 5.5 Flash Base 오픈소스 공개…동일 크기 SOTA 갱신
11월 5일 바이두가 최신 기반 모델 문심 5.5 Flash Base를 공식 오픈소스로 공개했으며, 여러 벤치마크에서 동일 크기 모델 최고 성능을 갱신했다고 밝혔다.
중국어 원문을 AI로 번역했습니다. 고유명사와 수치는 원문 표기를 우선하며, 중요한 판단에는 아래 출처 원문을 함께 확인하세요.
양자위의 친구들 2026-11-05 15:15:13 출처: 량자위(量子位)
11월 5일, 바이두가 최신 기반 모델 원심(文心) 5.5 Flash Base를 정식 오픈소스로 공개했다.
11월 5일, 바이두가 최신 기반 모델 원심 5.5 Flash Base(ERNIE 5.5 Flash Base)를 정식 오픈소스로 공개했다. 이 모델은 MoE 아키텍처를 채택했으며, 총 파라미터 수는 2800억 개이고 토큰당 140억 개의 파라미터가 활성화되며, 33.5조 개의 토큰으로 사전 학습을 완료했다. 사전 학습 컨텍스트 길이는 최대 128K이며, 파인튜닝과 추론 단계에서는 최대 100만 토큰 컨텍스트를 지원한다. 지식, 추론, 수학, 코드, 다국어, 장문 컨텍스트 등 여러 벤치마크 테스트에서 동일 크기 모델 SOTA 성능을 달성해 DeepSeek-V4-Flash-Base, Hy3-preview-Base, MiMo-V2.5-Base 등의 모델을 앞섰다.
오픈소스 주소: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
대규모 모델 애플리케이션이 텍스트 질의응답에서 장문 문서 분석, 다중 턴 상호작용, 에이전트 작업으로 확장되면서 모델이 처리해야 할 정보량이 계속 증가하고, 이에 따라 연산과 메모리 오버헤드도 함께 커지고 있다. 모델 능력을 보장하는 동시에 자원 이용 효율을 높이는 것이 대규모 모델 연구개발의 중요한 과제가 되었다.
원심 5.5 Flash Base는 '효율'이라는 설계 주축을 중심으로 어텐션 메커니즘, 전문가 라우팅, 학습 메커니즘 등 핵심 부분에서 체계적인 최적화를 진행하고 여러 알고리즘 혁신을 구현했다.
어텐션 메커니즘 측면에서 원심은 Latent-Gated Sparse Attention을 제안해 희소 어텐션 혼합, 저랭크 게이트 어텐션, 가상 헤드 어텐션을 결합했다. 모델은 HCA와 MLA를 조합해 서로 다른 어텐션 레이어가 각각 역사 정보 압축과 역사 위치 세밀 접근이라는 작업을 담당하게 하며, 저랭크 게이트 어텐션(Low-Rank Gated Attention)은 기존의 저차원 표현을 이용해 정보 게이트를 계산함으로써 게이트 프로젝션 가중치 파라미터를 75% 줄였다. 또한 가상 헤드 어텐션(Virtual Head Attention, VHA)은 모델 표현력과 학습 품질을 높일 수 있으며, 추론 시 어텐션 연산자에 융합되어 오버헤드가 매우 작다. 이러한 설계는 장문 컨텍스트 처리의 자원 오버헤드를 낮추는 동시에 핵심 정보에 대한 모델의 처리 능력을 유지한다.
전문가 라우팅에서는 여러 개의 독립 라우터가 함께 전문가 선택에 참여하는 Multi-Router Latent MoE를 채택해 라우팅 점수와 전문가 실제 효용 사이의 상관성을 개선했다. 단일 라우터에 의존하는 전통적 방식과 비교해, 이 설계는 단일 점수 편향이 전문가 선택에 미치는 영향을 줄이는 것을 목표로 하며, 활성 전문가 수, 전문가 연산량, 통신량은 그대로 유지한다. 학습 목표 측면에서 모델은 ECHO를 도입해 MTP 모듈(Multi-Token Prediction)을 추가로 늘리지 않고, 백본의 마지막 레이어를 재사용해 백본 스스로가 후속 토큰을 예측하도록 학습시킴으로써 시퀀스의 흐름을 미리 계획하고 추론 및 코드 능력을 효과적으로 향상시킨다. 원심 5.5 Flash는 단일 단계 ECHO 사전 학습만 적용했으며, 재사용된 마지막 레이어는 투기적 디코딩의 드래프트 모델로도 활용되어 다단계 외삽 능력을 보여준다. 즉, 동일하게 1단계만 학습했을 때 다단계 드래프팅 품질이 보조 MTP 모듈보다 크게 우수하다.
모델 아키텍처 외에도 대규모 모델 인프라 혁신도 매우 중요하다. 원심은 분산 Muon 옵티마이저를 최적화했고, 대형 head dim을 위한 어텐션 연산자 FlashMask-4를 출시해 대규모 학습에서의 통신, 메모리 활용, 연산 효율을 개선했다. 모델 능력 향상은 알고리즘 자체에만 의존하는 것이 아니라, 학습 시스템이 이러한 설계를 효율적으로 지원할 수 있는지와도 밀접하게 관련된다.
기반 모델은 사전 학습 단계에서 형성된 범용 능력을 담지할 뿐만 아니라, 다운스트림 모델 개발과 애플리케이션 혁신의 중요한 토대이기도 하다. 최종 사용자를 겨냥한 애플리케이션 모델과 달리 Base 모델은 개발자와 기업에 추가 파인튜닝과 커스터마이징 공간을 제공하며, 자체 비즈니스 요구에 기반해 다양한 시나리오에 적응하는 전문 모델과 애플리케이션을 구축할 수 있다. 기반 모델을 개방하는 것은 개발자에게 더 많은 기술적 선택지를 제공하고, 전문 모델 개발의 학습 비용과 기술 진입 장벽을 낮출 수 있다.
현재 대규모 모델 경쟁은 점차 모델 능력, 학습 효율, 시나리오 혁신의 협력 발전이라는 새로운 단계로 향하고 있다. 추론, Agent 등 기술과 애플리케이션이 빠르게 진화하면서 업계의 기반 모델에 대한 수요도 단일한 능력 향상에서 더 효율적인 학습 패러다임, 더 유연한 능력 확장, 더 광범위한 시나리오 적응 수요로 전환되고 있다. 원심 5.5 Flash Base는 모델 기반 능력과 학습·추론 효율을 높이는 동시에 개발자와 커뮤니티에 더 확장성 있는 기술 기반을 제공해, 모델 기술이 다양한 능력 탐구와 애플리케이션 혁신으로 나아가도록 이끈다.