掘金2026년 11월 3일 22:46중국어 → 한국어

GPT-6 Astra의 Qwen 가중치 편집, 0.016%의 진실

0.016% 가중치로 수학 성능이 6배 올랐다는 주장의 실체는 Astra가 추론 루프 버그 하나를 고친 것이지 모델 능력을 더한 게 아니라는 분석이다.

중국어 원문을 AI로 번역했습니다. 고유명사와 수치는 원문 표기를 우선하며, 중요한 판단에는 아래 출처 원문을 함께 확인하세요.

핵심 결론: MIT CSAIL 팀은 실제로 OpenAI의 GPT-6 Astra가 알리바바 오픈소스 모델 Qwen3.5-0.8B의 가중치를 직접 읽고 수정하게 했으며, 약 0.016%의 파라미터(131072개)만 변경하여 MATH-500 수학 성적을 7.9%에서 48.1%로 끌어올렸다(약 6.1배). 전 과정에 훈련도, 경사 하강도 없었다 — 이 '가중치 공간 프로그래밍(Weight-Space Programming)' 실험은 실제다. 그러나 '정말 인터넷에서 말하는 것처럼 그렇게 대단한가'에 대한 답은 좀 깎아야 한다: Astra가 바꾼 본질은 추론 루프를 유발하던 버그를 고친 것이지, 허공에서 모델에 능력을 더한 것이 아니다. 대조군인 Gemma는 바꾸지 못했고, '아첨 모델'을 식별할 때는 가중치를 읽지 못했으며, 이는 이 능력이 현재 불안정하고 범용적이지도 않다는 것을 보여준다. 또한 연구는 아직 동료 검토를 거치지 않았다. 믿어야 할 것은 'AI가 신경망의 가중치를 읽고 편집할 수 있다'는 이 경로가 처음으로 열렸다는 점이고, 의심해야 할 것은 이를 '가중치 몇 개만 바꾸면 모델이 강해진다'는 만능 신기술로 보는 것이다.

1. 한 문장 결론

먼저 직관을 하나 세우자 🎭: 가중치 공간 프로그래밍은 '뇌에 최소 침습 수술을 하는 것'과 같다 — 다시 학교에 가지 않고(훈련하지 않고) 그저 뇌 안의 잘못 연결된 신경 하나(가중치)를 직접 찾아내 레이저로 태워버리면(0.016% 파라미터 변경) 사람의 행동이 정상으로 돌아온다. 하지만 여기서 핵심 차이는: 수술은 '원래 빙빙 돌던' 문제를 고쳤을 뿐, 당신을 더 똑똑하게 만든 것은 아니다.

그래서 이 뉴스를 읽을 때 세 가지를 기억하자:

- 사실: 실험은 진짜다. 0.016% 파라미터, 7.9% → 48.1%는 모두 확실한 숫자다.

- 할인: 점수 상승은 주로 '추론 루프 수정'에서 나왔으며, 능력을 가로막던 자물쇠 하나를 떼어낸 것에 해당하지, 잠금이 풀린 뒤 능력이 또 늘어난 것은 아니다.

- 의문: 동료 검토를 거치지 않았고, OpenAI 모델로만 재현 가능하며, 모델만 바꾸면 작동하지 않는다. 현재로선 '초기의 불꽃(sparks)'에 가깝지, 성숙한 기술이 아니다.

한 문장으로: AI가 다른 AI의 가중치를 편집할 수 있다는 이 경로가 처음으로 열렸지만, '파라미터 몇 개만 바꾸면 모델이 강해진다'는 것과는 아직 거리가 멀다.

2. 사건 회고(Event Recap): MIT가 GPT-6 Astra로 Qwen 가중치를 직접 수정하게 하다

2026년 11월 2일, MIT CSAIL(컴퓨터 과학 및 인공지능 연구소)의 네 명의 연구자가 한 실험 결과를 공개했다:

- 그들은 OpenAI의 프런티어 모델 GPT-6 Astra가 알리바바 오픈소스 모델 Qwen3.5-0.8B의 신경망 가중치를 직접 읽게 했다.

- Astra는 내부 가중치를 검사한 뒤 모델이 추론 루프(reasoning loop)에 반복적으로 빠지게 만드는 핵심 문제를 찾아내고, 가중치를 직접 수정하여 고쳤다.

- 전 과정에 재훈련도, 경사 하강도 없었고 오직 편집만 있었다 — 이는 '모델 개선은 반드시 파인튜닝(fine-tuning)에 의존해야 한다'는 상식 아래에서는 완전히 새로운 경로다.

소식이 나오자마자 대규모 모델 업계는 즉시 들끓었다: 0.8B의 오픈소스 소형 모델이 더 크고 더 강한 모델에 의해 '손잡이를 잡히듯' 가중치가 수정되며 수학 능력이 폭증했다. 이는 바로 'AI가 AI를 지휘'하는 것이 작업 스케줄링(필자가 agent는 왜 자가 진화가 필요한가: 정적 모델에서 경험 기반 지속 성장까지에서 모델이 어떻게 지속적으로 성장하는지 이야기했다)에서 'AI가 AI의 신경망 본체를 수정'하는 단계로 깊어지는 한 걸음이다.

사건 참고 자료:

- MIT가 GPT-6 Astra로 Qwen 가중치를 직접 수정하게 하자 수학 성적이 급상승 -- 36氪

- MIT 연구자, '가중치 공간 프로그래밍' 제안: GPT-6 Astra가 Qwen3.5-0.8B의 약 0.016% 가중치만 수정 -- IT之家

3. 가중치 공간 프로그래밍이란 무엇인가(Weight-Space Programming)

이것이 사건 전체의 기술적 핵심이니, 나눠서 짚어볼 만하다.

전통적 노선: SFT 미세조정(supervised fine-tuning, 지도 미세조정) — 라벨링된 데이터 한 무리를 가지고 역전파를 돌려 가중치를 업데이트한다. 같은 모델인데 왜 로컬과 클라우드 API의 차이가 이렇게 큰가: 양자화 정밀도, 채팅 템플릿과 샘플링 파라미터의 세 가지 주범에서 우리는 가중치가 추론 시 양자화 압축되어 행동이 바뀔 수 있다고 이야기했다 — 그리고 미세조정의 본질은 '다시 학교에 가는 것'이며, 대가는 데이터, 연산, 훈련 프로세스다.

새로운 노선: 가중치 공간 프로그래밍(Weight-Space Programming) — '모델 가중치' 자체를 '프로그램'으로 삼아 읽고 쓴다:

- 읽기: Astra는 Qwen의 가중치 텐서를 데이터로 직접 열람하며 뉴런 간의 연결 패턴을 분석한다.

- 진단: 가중치 공간에서 '문제를 일으키는 영역'을 찾아낸다. 예컨대 어떤 뉴런 조합이 모델을 루프에 빠지게 만드는지.

- 쓰기: 찾아낸 소량의 가중치 값만 수정하여 행동을 바꾼다. 경사를 돌리지 않고 전역을 업데이트하지 않는다.

비유하자면 🎭: SFT는 '책 전체를 다시 써서 오탈자를 고치는 것', 가중치 공간 프로그래밍은 '틀린 몇 페이지를 찾아 펜으로 직접 고치는 것' — 전자는 무려 책 전체를 고치고, 후자는 천분의 몇만 건드린다.

저자는 이에 'Program-as-Weights'(프로그램 즉 가중치)라는 연장선의 사고를 붙였으며, 핵심 철학은 이것이다: 신경망의 가중치는 해석 불가능한 블랙박스가 아니라, 다른 모델이 읽고 쓸 수 있는 '프로그래밍 가능한 공간'이다. 그 후속 작업을 참고하면, 이 패러다임은 fuzzy-function programming(퍼지 함수 프로그래밍)이라 불린다.

기술 참고 자료:

- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights -- 저자 블로그 ⭐읽을 만함

4. 핵심 수치(Key Numbers): 0.016% 파라미터와 6배 향상

뉴스에서 가장 눈길을 끄는 부분이며, 모두 저자가 공개한 실험 데이터에서 나온 것이다(2026-11-03 기준, 아직 동료 심사를 거치지 않았고 DOI도 없음):

지표 | 수정 전 | 수정 후 | 변화 | 수정한 가중치 수 — 131072개 | 약 8억 파라미터(0.8B)의 0.016% | MATH-500(수학 벤치마크) 7.9% → 48.1% | 약 6.1배 | GSM8K(수학 응용 문제) 13.8% → 67.1% | 약 4.9배 | 명령 준수 능력 베이스라인 → 뚜렷한 개선 | 보도에 따르면 거의 2배 향상 | 학습 방식 — 그래디언트 없음, 재학습 없음 | 전방 추론만(50 라운드 허용)

주목할 만한 두 가지 점:

- 변경 폭이 극히 작다: 0.016%는 8억 파라미터 중 13만 개만 건드렸다는 뜻으로, 800페이지짜리 책에서 1.3페이지만 고친 것과 같다——이것은 전통적인 학습에서는 상상할 수 없는 일이다.

- 수학 문제는 '막힌' 것이지 '못 푸는' 것이 아니다: GSM8K가 13.8%에서 67.1%로 뛴 것은 모델 자체가 계산할 줄은 알지만 추론 루프 때문에 '끝까지 계산하지 못한다'는 것을 의미한다——루프를 고치자 이미 갖고 있던 능력이释放된 것이다.

수치 참고 자료:

- MIT:GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍 -- 36氪

5. 도대체 무엇을 고쳤나(What Was Fixed): 추론 루프 수정

'가중치를 고친다'는 말은 신비롭게 들리지만, Astra가 실제로 고친 것은 사실 아주 명확하다: 모델이 같은 곳을 맴돌게 만드는 추론 루프(reasoning loop) 하나를 수정한 것이다.

- Qwen3.5-0.8B의 모델 카드(model card) 자체가 이 결함을 경고한 바 있다: 모델이 추론할 때 쉽게 루프에 빠져 같은 토큰을 계속 반복 생성하다가 길이 제한에 부딪힌다.

- Astra는 가중치에서 루프를 유발하는 뉴런 조합을 찾아내 직접 편집해 고쳤다.

- 수정 전에는 Qwen의 답변 중 93%가 토큰 상한에 부딪혔다(즉 '루프에 갇혀 멈춤'). 수정 후에는 루프가 사라져 모델이 추론을 끝까지 돌릴 수 있게 되었다.

이것이 수학 성적이 급등한 이유를 설명한다: 모델이 갑자기 어려운 문제를 풀 줄 알게 된 것이 아니라, 원래 풀 줄 알던 문제를 마침내 '끝까지 풀게' 된 것이다. 시험 때 한 문제에 막혀 계속 고쳐 쓰다가 결국 백지를 내는 수험생과 같다——그의 '강박증'이라는 병폐를 고쳐주면, 원래 알던 문제는 자연스럽게 답할 수 있게 된다.

⚠️ 여기에는 중요한 추론이 하나 있다: 가중치 편집은 '능력을 가리는 장애물'을 제거한 것이지, 모델이 원래 갖지 못한 능력을 '추가'한 것이 아니다. 이것이 전문에서 가장 기억해야 할 문장이다.

추론 루프 참고 자료:

- GPT-6 Astra 爆改 Qwen 大脑：只动 0.016% 参数，数学成绩疯涨 -- 爱范儿

6. 핵심 의문 1(Question 1): 능력 향상인가, 아니면 버그 하나를 고친 것인가

'6배 향상'이라는 제목은 충격적이지만, 커뮤니티는 곧바로 핵심을 찌르는 의문을 제기했다: 당신이 향상시킨 것은 '능력'인가, 아니면 그저 버그 하나를 고친 것인가?

의문을 제기한 이들의 세 가지 논거:

- 점수 상승은 주로 루프 감소와 관련 있다: 수학 문제의 7.9%에서 48.1%로의 상승은 대부분 '끝까지 계산할 수 있게 된 것'에서 나온 것이지, '더 잘 계산하게 된 것'이 아니다.

- 기존 방법과 유사하다: Astra의 사고방식은 기존의 '활성 유도(activation steering)' 방법과 비슷하다——둘 다 내부 활성에 개입해 행동을 바꾸는 것이며, 가중치 공간 프로그래밍은 그보다 더 공격적인 버전이다.

- 프롬프트가 이미 답을 암시했다: 저자가 Astra에게 준 긴 프롬프트에는 '모델에 루프 문제가 존재한다'고 명시되어 있었으니, 사실상 '병이 어디 있는지' 먼저 알려준 뒤 고치게 한 셈이다——이는 '스스로 병소를 발견하게 하는 것'보다 훨씬 쉽다.

따라서 일부는 반드시 해야 할 대조 실험을 제안했다: Qwen의 사고 모드를 직접 끄고(reasoning을 끄고) 수학 성적이 비슷한 향상을 얻을 수 있는지 보라는 것이다——추론 설정만 조정해도 루프가 크게 줄어든다면, '가중치 수정'의 증분 가치는 다시 평가해야 한다.

이 의문은 실험을 무너뜨리지는 않았지만, 내러티브를 '능력 급등'에서 '알려진 결함을 수정했다'로 되돌려 놓았다——둘은 기술적 가치가 전혀 다르다.

의문 참고 자료:

- 7.9% to 48.1%: LLM rewrote Qwen weights, no training -- DEV Community ⭐읽을 만함

7. 핵심 의문 2(Question 2): 대조군 Gemma는 고칠 수 없었다는 것이 의미하는 것

저자 스스로 대조군 실험을 했는데, 결과가 오히려 가장 설득력이 있었다——이 능력은 '루프 문제가 없는' 모델에서는 효력을 잃었다:

- 대조군으로 구글의 Gemma 3 270M을 사용했는데, 이는 루프에 거의 빠지지 않는 모델이다(답변 중 토큰 상한에 부딪히는 비율이 8.5%에 불과한 반면 Qwen은 93%였다).

- Astra가 Gemma에 편집을 시도했으나, 최선의 결과는 MATH-500을 0.9점 올린 것에 그쳤고, 저자 자신도 이를 '미확립(not established)'으로 보고했다.

- 즉, 모델에 '루프'라는 고칠 병이 없을 때 Astra의 가중치 편집은 거의 효과가 없었다.

이 대조 실험은 오히려 전문에서 가장 정보량이 많은 수치 묶음이다:

- 그것은 '루프 수정'이 이번 점수 상승의 주요 메커니즘임을 입증했다——Qwen은 루프병이 있었다 → 고쳤다 → 급등했다; Gemma는 그 병이 없었다 → 고칠 것이 없었다 → 오르지 않았다.

- 동시에 '몇 개의 가중치만 고치면 어떤 모델이든 강해진다'는 주장도 반증했다——가중치 편집은 무에서 유를 창조해 능력을 더할 수 없다.

대조 실험 참고 자료:

8. 핵심 의문 3(Question 3): 재현성과 실험 설계 문제

'버그 수정 vs 능력 향상' 외에도, 실험 설계상의 몇 가지 결정적 결함이 있어 지금 당장 이것을 범용 기술로 보기는 어렵다:

- 동료 심사 미완, DOI 없음: 본문 작성 시점(2026-11-03) 기준으로 이 연구는 예비 실험 보고(preliminary findings)일 뿐, 아직 동료 심사를 거치지 않았고 수치도 제3자에 의해 독립적으로 재현되지 않았다.

- '편집자'로 단 하나의 모델만 사용: 모든 실험의 편집 주체는 OpenAI의 gpt-6-astra였으며, 다른 회사의 프런티어 모델(Claude, Gemini, DeepSeek 등)이 동일한 '가중치를 읽는' 능력을 갖추고 있는지는 전혀 알 수 없다.

- 샘플링 설정이 통일되지 않음: 공개 로그에 따르면 각 실험의 reasoning-effort(추론 노력 정도) 설정이 high, xhigh에서 max까지 제각각이었다——이는 일부 성적 향상에 '더 열심히 추론한' 요소가 섞여 있을 수 있으며, 전부 가중치 편집의 공로는 아니라는 뜻이다.

이 세 가지를 종합하면, 「가중치 공간 프로그래밍」은 현재 **「한 모델에서 관찰된 하나의 현상」**에 더 가깝고, 「재현 가능한 방법론」은 아니다.

재현성 참고 자료:

- MIT Shows an LLM Can Read and Edit Another Neural Network's Weights Directly -- XenoSpectrum ⭐읽어볼 만함

9. 실패 사례(Failure Case): 가중치를 읽어내는 것은 아직 안정적인 능력이 아니다

「이 능력이 미성숙하다」는 점을 가장 잘 보여주는 것은, 저자 스스로 기록한 한 가지 실패다:

- 「아첨 모델」(사용자의 관점에 영합하고 진실된 답변을 주지 않는 모델)을 식별하는 실험에서, Astra는 두 후보 모델을 마주하고 가중치만 비교했을 때 판단을 내리지 못했다.

- 저자가 Astra로 하여금 특정 텍스트에 대한 모델의 어텐션 패턴(attention pattern)을 관찰하도록 허용하고 나서야, 그것은 차이를 식별해냈다.

- 다시 말해, 「가중치를 직접 읽어내는 것」은 현재 안정적이고 범용적인 능력이 아니다 —— 그것은 루프를 고치는 이런 「구조적 결함」에서는 유효하지만, 「모델의 성정(性情)을 판단하는」 것처럼 의미 이해가 필요한 장면에서는 실패한다.

이 실패 사례의 중요성은, 그것이 이번 실험의 능력 경계를 획정한다는 데 있다. 가중치 공간 프로그래밍은 「독심술」이 아니라, 오히려 「구조 엔지니어」에 가깝다 —— 어느 보가 어긋났는지(구조적 고장)는 알아낼 수 있지만, 이 건물 주인의 성격은 알아낼 수 없다.

실패 사례 참고 자료:

- GPT-6 Astra 爆改 Qwen 大脑: 只动 0.016% 参数, 数学成绩疯涨 -- 什么值得买

10. 완전 실행 가능한 코드(Runnable Code): 최소 가중치 편집 데모

아래는 복사해 붙여넣기만 하면 실행되는 numpy 코드로, 가중치 공간 프로그래밍의 최소 폐루프를 모사한다: 「루프가 발생하는」 작은 네트워크를 구성 → 문제 가중치를 위치 파악 → 직접 편집해 수리 → 비교 결과 출력. 어떤 서드파티 라이브러리에도 의존하지 않는다.

실행: python weight_edit_demo.py (numpy만 필요).

import numpy as np # ---------- 작은 네트워크를 구성해 「추론 루프로 인한 출력 퇴화」를 모사 ---------- def forward ( x, W, b ): """전방 전파: 선형 계층 + ReLU, 출력 반환""" h = np.maximum( 0 , x @ W + b) # 은닉 계층: ReLU 활성화 return h. sum (axis= 1 ) # 스칼라 출력으로 집계(점수 매김 모사) # 8개 입력 특징 → 4개 은닉 뉴런 X = np.random.randn( 8 , 8 ) # 8개 샘플, 8차원 특징(고정 랜덤 시드로 재현 가능) W_bad = np.random.randn( 8 , 4 ) # 초기 가중치 b_bad = np.zeros( 4 ) # 편향 # 「루프병」을 인위적으로 생성: 2번 뉴런의 입력 가중치를 전부 0으로 만들어 출력이 항상 0이 되게 함(괴사) # 실제 장면의 「어떤 뉴런 조합이 모델을 반복해서 맴돌게 함」에 대응 W_bad[:, 2 ] = 0.0 # ---------- 진단: 각 뉴런의 기여도를 산출해 「병의 근원」을 위치 파악 ---------- def diagnose ( x, W ): """전방 활성화를 통해 괴사 뉴런을 위치 파악""" act = x @ W # 각 뉴런이 받는 입력 신호 contribution = np. abs (act).mean(axis= 0 ) # 평균 활성화 강도 dead_idx = np.where(contribution < 1e-6 )[ 0 ] # 활성화가 거의 0 = 괴사 return dead_idx, contribution dead, contrib = diagnose(X, W_bad) print ( "괴사 뉴런 인덱스: " , dead) # [2]를 출력해야 함 # ---------- 가중치 편집: 괴사 뉴런의 가중치만 다시 씀(Astra가 가중치를 직접 수정하는 것 모사) ---------- W_fixed = W_bad.copy() # 복사해 위치 파악된 부분만 수정 np.random.seed( 1 ) # 새 가중치 고정 W_fixed[:, 2 ] = np.random.randn( 8 ) # 2번 열만 다시 씀(8개 파라미터, 전체 32개 중 25%) # ---------- 수리 전후 출력 비교 ---------- y_before = forward(X, W_bad, b_bad) # 수리 전: 괴사 뉴런 기여도 0, 출력이 낮음 y_after = forward(X, W_fixed, b_bad) # 수리 후: 모든 뉴런이 정상 활성화 print ( f"수리 전 출력 평균: {y_before.mean(): .3 f} -> 수리 후: {y_after.mean(): .3 f} " ) # 결론: 8개 파라미터만 바꿨을 뿐인데 네트워크 전체의 출력 분포가 건강을 되찾음(Qwen 루프 수리에 비유)

이 코드를 읽는 방법: diagnose()는 「전방 활성화 강도」로 괴사 뉴런을 위치 파악한다——5절 「Astra가 가중치 속에서 루프 병소를 위치 파악」에 대응; W_fixed[:, 2] = np.random.randn(8)은 위치 파악된 8개 파라미터만 다시 쓴다——「0.016% 가중치만 건드림」의 메커니즘에 대응; 수리 전후 출력 평균의 변화가 바로 「구조적 결함을 고친 후 능력이 방출됨」의 최소 데모다. 실제 장면의 차이는 단지: 병소가 「루프」이고, 규모가 131072개 파라미터이며, 편집자가 GPT-6 Astra일 뿐이다.

11. 대조표: 증상 → 원인 → 해법

증상 원인 해결법 모델이 수학 문제에서 계속 「멈춰서 다 계산하지 못하고」 성적이 겨우 7.9%에 그침 가중치 안에 추론 루프를 유발하는 구조적 결함이 존재함 가중치 공간 프로그래밍으로 병변을 찾아내, 0.016%의 파라미터를 직접 편집해 수리함 인터넷에서 「0.016% 가중치를 바꾸면 능력이 6배 오른다」고 함 점수 상승은 주로 루프를 고친 데서 온 것이지, 없던 능력을 만들어낸 것이 아님 먼저 대조 실험을 할 것: 사고 모드를 끄거나 / 샘플링을 조정해, 루프가 진짜 원인인지 확인함 루프가 없는 Gemma 같은 모델로 바꾸면 편집이 무효가 됨 고칠 루프병이 없으면 가중치 편집은 능력을 더할 수 없음 경계를 이해할 것: 편집은 장애물을 제거할 뿐, 능력을 보충하지는 못함 다른 모델에서는 재현되지 않음 현재 gpt-6-astra에서만 검증되었고, 동료 심사를 거치지 않음 제3자 재현과 동료 심사를 기다릴 것, 만능 기술로 보지 말 것 Astra는 「아첨 모델」을 판단할 때 가중치를 읽어내지 못함 가중치를 직접 읽는 것은 안정적이고 범용적인 능력이 아님 주의 패턴 등 여러 신호를 결합해 판단할 것, 가중치 해석을 신비화하지 말 것

12. 판단 마무리

이 뉴스를 언제 믿어야 하는가: 「AI가 신경망 가중치를 읽고 편집할 수 있다」는 최초의 증거로서, 주목할 가치가 있다—이는 「모델 해석 가능성」과 「모델 수리」의 새로운 진입점일 수 있으며, 특히 「구조적 결함」(루프, 교착, 퇴화) 같은 문제를 고칠 때 재학습 비용보다 몇 자릿수 낮다. 언제 의문을 제기해야 하는가: 이것을 「가중치 몇 개만 바꾸면 임의의 모델이 강해지는」 신기한 기술로 여기거나, 서둘러 프로덕션 환경에 재현하려 할 때—현재 동료 심사를 거치지 않았고, 단일 편집 모델에서만 검증되었으며, 모델이 본래 갖지 못한 능력을 더할 수 없고, 성숙도는 SFT와 거리가 아득히 멀다. 판단 기준은 단 하나다: 당신이 원하는 것이 「알려진 병변 하나를 고치는 것」인지, 「모델이 새로운 것을 배우게 하는 것」인지—전자는 기대할 수 있지만, 후자는 아직 멀다.

이 칼럼 《LLM 대모델 기술 칼럼》은 모델 원리, 학습 후처리부터 추론 최적화와 엔지니어링 구현까지 다루며, 각 글마다 바로 실행 가능한 코드 한 단락을 곁들이고 매주 한 편씩 업데이트한다. 순서대로 다 읽고 싶다면 칼럼 페이지에서 구독할 수 있다.

참고 자료(종합):

출처 원문