spaCy 저자, Astra의 Qwen 가중치 개조 주장 장문 비판
spaCy 개발자가 Astra가 Qwen 가중치를 뜯어고쳤다는 주장을 강하게 반박하는 장문 글을 게재했다.
중국어 원문을 AI로 번역했습니다. 고유명사와 수치는 원문 표기를 우선하며, 중요한 판단에는 아래 출처 원문을 함께 확인하세요.
Jay 2026-11-05 15:10:56 출처: 量子位
spaCy 저자, 장문으로 맹비난
Jay, 凹非寺에서 보냄
量子位 | 공식계정 QbitAI
Astra가 소형 모델의 가중치를 수정했다고? MIT의 그 화제의 연구가, 거물에게 공개적으로 의문을 제기받았다.
Astra는 며칠 전 놀라운 능력 하나로 AI 업계를 휩쓸었다——훈련도, 그래디언트 계산도 없이, 다른 AI 모델의 가중치를 직접 수정한다는 것.
MIT 팀은 Astra가 Qwen3.5-0.8B의 가중치 중 0.016%만 수정해 수학 성적을 7.9%에서 48.1%로 폭등시켰다고 선언했는데, 이는 원래의 6배 이상으로 향상된 것에 해당한다.
심지어 어떤 네티즌은 "AI가 이미 다른 AI의 뇌를 읽기 시작했다"고 감탄하기도 했다.
그런데 일이 반전된 듯하다.
업계 내 상당한 내공을 지닌 한 거물이 공개적으로 글을 올려 의문을 제기했다.
"이 연구에는 심각한 오도가 존재한다."
의문을 제기한 사람은 Matthew Honnibal, spaCy의 저자이자 AI 기업 Explosion의 공동 창업자다.
마술사의 속임수
그 배후에서 대체 무슨 일이 있었던 걸까?
Honnibal은 아주 절묘한 비유로 MIT 연구가 한 일을 풍자했다: 눈속임.
무대 마술사는 흔히 여러 가지 방식으로 같은 마술을 선보인다.
첫 번째에는 아마 특수한 소품을 썼을 것이다. 다음번에는 소품에 별다른 특별함이 없다는 것을 보여주지만, 자신은 다른 곳에 물건을 숨겨 둔다. 세 번째에는 또 어떤 강제 선택 방식을 이용할지도 모른다.
당신은 공연을 볼 때 기술은 하나뿐이라고 가정하기 때문에, 마술사가 한 번 공연할 때마다 그것이 동작 원리에 관한 당신의 가설을 반박하는 것처럼 보인다.
Honnibal은 Astra 연구의 실험 구성이 꼭 이런 마술과 같다고 본다.
논문으로 돌아가 보면, 원문은 사실 세 가지 서로 다른 능력을 보여준다:
- 가중치 읽기: 원시 가중치 숫자만 보고 소형 신경망이 어떤 작업을 수행하고 있는지 식별할 수 있다.
- 가중치 쓰기: 환경 피드백에 의존하지 않고, 맨바닥에서 소형 네트워크의 파라미터를 직접 생성하거나 수정해 《벽돌깨기》 같은 작은 게임을 하게 만든다.
- 대형 모델 수리: Qwen의 일부 가중치를 수정해 수학 테스트 성적을 대폭 끌어올린다.
하지만 이 논문의 초록이 주는 핵심 인상은——
Astra가 "원시 가중치를 관찰하는 것만으로" 다른 모델을 이해하고 수정할 수 있다는 것이었다.
대충 훑어보기만 하면, 다음과 같이 이해하지 않기 어렵다:
소형 네트워크의 기능을 식별하는 것이든, 대형 언어 모델의 수학 능력을 수리하는 것이든, 모두 같은 종류의 "뇌 읽기" 신기에서 비롯된 것이라고.
그런데, 정말 그럴까?
Honnibal은 논문의 8개 실험군을 꼼꼼히 살펴본 뒤, 이 세 가지 일을 실현한 실험 조건이 하늘과 땅 차이임을 발견했다.
즉——
순전히 개념을 훔쳐 바꾼 것이다.
두 가지 기술 경로
그렇다면 서로 다른 실험 사이에는 대체 무슨 꿍꿍이가 있는 걸까?
우선, 소형 네트워크 작업 식별, 멈춰버린 레이싱 모델 수리 등의 실험에서 Astra는 확실히 "원시 가중치만 보는" 것을 해냈다.
실험 조건이 매우 까다로웠기 때문이다:
- 가중치 숫자(raw floats)를 직접 입력으로 삼아 Astra의 컨텍스트에 넣는다.
- Astra가 Python 코드를 실행하는 것을 허용하지 않는다.
- Astra가 목표 네트워크를 실행해 그 행동을 관찰하는 것을 허용하지 않는다.
이 모드에서 Astra가 처리한 모델 파라미터 규모는 모두 매우 작아서, 1만 7천에서 17만 2천 사이였다. 이는 확실히 대단한 일이지만, 현대 대형 언어 모델을 진정으로 이해하기까지는 갈 길이 멀다.
그런데 가장 눈길을 끌고 가장 고무적인 Qwen 수학 능력 수리 실험에 이르면, 전혀 다른 이야기가 된다.
8억 파라미터의 Qwen 모델을 수리할 때, Astra는 원시 가중치를 직접 읽지 않았다.
그 대신, Astra는 Python 프로그래밍을 사용할 권한을 부여받았고, 최대 50회의 순전파 테스트를 수행할 수 있었다. 매번 모델이 한 묶음의 연습 문제를 처리하도록 허용하고, 모델의 성과를 관찰해 가중치를 분석하고 수정했다.
이건 근본적으로 별개의 일이다...
Honnibal은 날카롭게 지적했다. 이 두 방법을 한데 묶으면 독자가 쉽게 다음과 같이 오해하게 된다고:
아, 소형 모델에서 구현된 그 "뇌 읽기술" 역시 8억 파라미터의 대형 모델에도 규모 확장해 적용할 수 있구나.
하지만 사실은, 진짜 대형 언어 모델을 다룰 때 Astra는 오히려 "외부 코치"에 가까워서, 프로그래밍, 실행, 관찰 등 일련의 공학적 수단을 통해 개입해야 한다.
진정한 가치
그렇다면 이것은 MIT 연구에 아무 가치도 없다는 뜻일까?
물론 아니다.
인정해야 한다. "마음 읽기"의 후광을 벗겨내더라도, Astra가 보여준 능력은 여전히 매우 대단하다.
Honnibal도 솔직히 말했다. AI 모델에게 인간 머신러닝 엔지니어만이 완수할 수 있는 과제를 설계하고 수행하도록 프롬프트를 주는 것——코드 조각을 작성해 네트워크 가중치를 분석하거나 심지어 직접 수정하게 하는 것——그 자체가 거대한 진보다.
1~2년 전의 AI 모델은 이 모든 과제에서 실패했을 것이다.
이는 오늘날 최정상 대형 모델이 이미 상당히 복잡한 도구 사용과 추론 능력을 갖추고 있어, "AI 엔지니어"로서 다른 모델을 진단하고 수리할 수 있음을 보여준다. 이것 자체가 주목할 만한 공학적 돌파다.
진짜 문제는 성과를 제시하는 방식에 있다.
전혀 다른 두 가지 능력을, AI의 뇌를 읽고 쓸 수 있는 하나의 통일된 "초능력"으로 모호하게 포장한 것이다.
솔직히, 얼핏 들으면 A사가 한 일인 줄 알겠다...
오늘날 AI 업계의 하입(Hype) 광풍을 측면에서 보여주는 것이기도 하다.
원문: https://honnibal.dev/blog/astra-read-write-misleading