机器之心2026년 11월 1일 20:51중국어 → 한국어
푸단 OpenMOSS, 선형·슬라이딩윈도 결합한 혼합 어텐션 제안
푸단대·상하이창즈학원 OpenMOSS팀이 긴 문맥 처리를 위해 선형 어텐션과 슬라이딩 윈도 어텐션을 함께 쓰는 혼합 구조를 제안했다.
중국어 원문을 AI로 번역했습니다. 고유명사와 수치는 원문 표기를 우선하며, 중요한 판단에는 아래 출처 원문을 함께 확인하세요.
본 논문의 제1저자 류샤오란(柳潇然)은 푸단대학교와 상하이창즈(上海创智)학원의 2022년 석박사 통합 과정 학생이며, 지도교수는 치우시펑(邱锡鹏)과 허쯔웨이(何子薇)이다. 연구 방향은 장문맥 대규모 언어모델이며, ICLR, ICML, AAAI, EMNLP 등 국제 최고 수준 인공지능 학회에서 논문 10여 편을 발표했다.
배경 소개
장문맥은 이미 대규모 언어모델의 중요한 기반 능력이 되었지만, 장문맥은 또한 모델 아키텍처에 현실적인 문제를 야기한다...