AI는 어떻게 고쳤는지 아는가…Astra의 Qwen 수정과 Harness²

千问(치옌원)가 수학 문제 96개를 풀어 11개를 맞혔다. 나머지 85개의 답안지에는 이상한 공통점이 하나 있었다. 답안지마다 32,768개의 토큰으로 가득 차 있었고, 시스템이 출력을 잘라낼 때까지 이어졌다. 답안지 끝으로 넘어가면 같은 추론이 오가며 반복되는 구간을 흔히 볼 수 있었다. 점수만 봐서는 이 작은 모델이 이미 계산한 일을 두고 이렇게 많은 분량을 들여 고민했다는 것을 짐작하기 어렵다. 진단 기록

이것은 MIT CSAIL 팀이 진행한 실험이다. 이들은 사고 모드를 켠 Qwen3.5-0.8B를 GPT-6 Astra에 넘겨, 치옌원의 가중치를 직접 고치게 함으로써 수학 성적을 높일 수 있는지 확인했다. 0.8B, 즉 약 8억 개의 파라미터다. 끝까지 쓰지 못한 이 85개의 답안지를 두고, Astra는 먼저 치옌원이 같은 단계를 거듭 생각할 때 내부에서 대체로 어느 부분이 작용하는지 보고자 했다.

그것은 임금을 계산하는 문제 하나를 골라, 같은 문제에 두 가지 후속 서술을 작성했다. 어떤 사람이 월요일에 10시간, 화요일에 8시간 일하고, 20시간을 더 일해야 하며, 시급은 20달러다. 두 서술 모두 총 근무시간이 38시간이라는 것을 계산해 냈다. 한 서술은 이어서 임금이 760달러라고 계산하고, 다른 알고리즘으로 다시 검산해 200 더하기 160 더하기 400도 760이라고 했다. 다른 서술은 38시간에서 멈췄다. 그 20시간은 총 근무시간인가? 남은 근무시간이다. 한 문장 지나서, 그것은 다시 물었다. 20시간은 총 근무시간인가? 실험 속 두 서술 원문

그림 1 두 개의 이어쓰기는 모두 Astra가 대조 실험을 위해 준비한 것이다. 그것은 치옌원에게 각각을 읽게 하고, 모델이 두 지점에서 보이는 반응을 기록했다.

24개 층에서 두 개의 층을 찾아내다

임금 문제가 흥미로운 점은 두 서술 모두에 "다시 생각하기"가 있다는 것이다. 앞 서술은 다른 알고리즘으로 임금을 검산하는 것이고, 뒤 서술은 같은 지점에서 맴도는 것이다. 쓸모 있는 검산과 끝없는 반복을 구분하기 위해, Astra는 모두 네 쌍의 단편을 작성했다. 각 쌍은 문제가 같고, 두 해법이 중간에서 갈라진다. 대조 단편과 측정 코드

치옌원이 이 글을 읽을 때, Astra는 Python으로 각 층의 내부 상태를 꺼낼 수 있다. 각 층에 대해, 반복 단편을 읽을 때의 그 값에서 정상 단편을 읽을 때의 그 값을 빼고, 다시 네 쌍 샘플의 평균 차이를 구한다. 이 차이를 하나의 화살표로 그리면, 뒤이은 탐색을 이해하기 쉽다. 화살표는 상태가 벗어난 방향을 가리키며, Astra가 찾고자 하는 것은 모델 속 어떤 부품들이 화살표를 따라 힘을 쓰고 있는가이다.

치옌원의 24개 층 가운데 15번째 층과 19번째 층의 피드포워드 네트워크가 특히 두드러졌다. 다만 층 번호만 알아서는 충분하지 않고, 각 층 안에도 수많은 뉴런이 있다. Astra는 이들에게 순위를 매겼다. 한 뉴런이 반복 시에 정상 검산 시보다 얼마나 더 활성화되는지에, 그 출력이 화살표 방향으로 얼마나 큰 몫을 지니는지를 곱한 것이 이 샘플들에서의 기여도다. 이렇게 하면 어떤 뉴런이 아주 활발하더라도 두 서술에서 똑같이 활발하다면 순위가 앞서지 않는다.

마지막으로 두 층에서 각각 64개의 뉴런이 선택되었다. 뉴런마다 출력 행렬의 열 하나에 대응하며, 열마다 1,024개의 수가 있다. 글에서 흔히 언급되는 0.016%가 이렇게 나온 것이다. 두 층, 층마다 64개 열, 열마다 1,024개의 수, 패치는 모두 131,072개의 가중치 위치에 관련된다. 가중치 선별과 패치 기록

그림 2 한 열을 표시한 것은 이 뉴런이 다음 단계로 전달하는 신호를 조정한다는 뜻이다. 칸 안의 색 블록은 위치만 표시하며, 실제로 각 층에서 64개 열을 선택했다.

뉴런 하나를 껐더니 겨우 두 문제를 더 맞혔다

Astra는 아주 직접적인 방법을 시도했다. 19번째 층에서 특히 수상한 뉴런 하나의 출력을 껐다. 원본과 수정본이 각각 같은 32문제를 풀어, 원본은 3문제를 맞히고 수정본은 5문제를 맞혔다. 표본이 이렇게 적으니, 다음에 다시 실행해도 두 문제를 더 맞힐 수 있을지는 아무도 장담할 수 없다. 게다가 이것을 끄면, 이 뉴런이 정상적으로 문제를 풀 때 기여했던 몫도 함께 잃게 된다. 회차별 실험 기록

이후 Astra는 변경을 그 화살표가 가리키는 방향으로 좁혀, 선택된 열에서 이 방향의 성분만 되돌리고, 그에 수직인 부분은 그대로 두었다. 구체적으로 얼마나 되돌릴지는, 신구 치옌원에게 같은 문제 묶음을 풀게 해서 어느 버전이 문제를 더 많이 맞히는지로 정했다. 한 번은 강도를 높였더니 수정본이 전체적으로 확실히 더 많이 맞혔지만, 끝까지 쓰고도 답을 엇갈리게 쓴 것도 늘어났다. 답안지가 순조롭게 완성된 것이 몇 개인지만 집계하면, 이런 오답 답안지도 진전으로 계산된다. 서로 다른 강도에서의答题 결과

최종적으로 선택한 계수는 6이다. 예를 들어 어떤 열의 화살표 방향 성분이 원래 +1이라면, 그 6배를 빼서 −5가 된다. 이 수치는 선택된 열에만 적용되며, 다른 방향의 성분은 영향을 받지 않는다. Astra는 같은 두 층에서 무작위 방향 하나를 골라 원래 방향과 수직이 되게 하고, 변경 폭을 비슷하게 했다. 이번에는 뚜렷한 이득을 보지 못했다. 두 번을 비교해 보니, 앞서 찾은 방향이 확실히 반복과 관련이 있다고 믿을 이유가 하나 더 생긴 셈이다. 수정 공식과 무작위 대조

패치가 정해진 뒤, 원본과 수정본은 이전에 패치를 고르는 데 쓰지 않은 연습 문제 1,152개를 풀었다. 579개가 틀렸다가 맞게 되었고, 5개가 맞았다가 틀리게 되었다. 맞게 된 579개를 자세히 보니, 576개는 원래 길이 상한까지 써 있었다. 조정 기간에 Astra가 본 적 없는 MATH-500으로 옮기자, 정확도가 7.9%에서 48.1%로 올랐다. 연구자들은 또 같은 방법으로 다른 소형 모델 Gemma 3 270M을 고쳤다. 이것은 원래 반복에 빠지는 일이 드물었고, 마찬가지로 50회 전방 테스트를 하자 성적은 6.8%에서 7.0%로 변했을 뿐이다. 치옌원의 검증 결과 · 두 모델의 벤치마크 평가

손에 완성된 월간 보고서가 없다

Astra가 두 버전을 마음 놓고 문제 풀이에 끌어올 수 있었던 것은 연습장 뒤에 정답이 있기 때문이다. Google Research의 Harness²도 신구 두 방식을 비교하지만, 그것이 마주하는 것은 흔히 다른 종류의 작업이다. 예를 들어, 당신이 Agent에게 주문 파일 하나를 주고 이번 달의 순매출을 계산하게 한다고 하자. 당신 손에는 아마 그것을 채점할 완성된 월간 보고서가 없을 것이다.

여기서 harness란 모델이 작업할 때 쓰는 프롬프트, 도구 설명, 스킬, 스크립트를 가리킨다. Harness²는 이런 것들을 고쳐, 같은 모델이 같은 자료를 들고 다시 한 번 하게 할 수 있다. 후보 흐름은 동시에 시도할 수도 있고, 이전 회차의 결과에 이어서 다시 고칠 수도 있다. 조정 기간에 AI는 사용자가 무엇을 원하는지, 파일에 무엇이 적혀 있는지, 그리고 각 버전이 구체적으로 무엇을 했는지를 볼 수 있다. Harness² 논문 · 프로젝트 설명

여전히 월간 보고서를 예로 들어 보자. 주문표에 10만 위안이 적혀 있고, 옆에 환불표가 하나 더 있어 8,000위안이 적혀 있다. 원래 흐름은 첫 번째 표만 읽고 10만 위안을 "순매출"에 채워 넣었다. 새 흐름은 단계를 하나 더해, 파일을 열면 먼저 모든 워크시트를 나열한다. 파일과 실행 기록을 조금만 훑어보면, 구버전이 확실히 환불을 놓쳤고 새로 추가한 이 단계가 유용하다는 것을 확인할 수 있다. 월간 보고서를 낼 수 있느냐는 마지막 그 수치에 달려 있다. 10만 위안에서 8,000위안을 빼면 9.2만 위안이어야 한다. 만약 새 흐름이 10.8만 위안이라고 썼다면, 환불을 찾아내기는 했지만 계산을 거꾸로 더한 것이다.

그림 3 월간 보고서는 가정한 예시다. 두 흐름이 같은 파일을 사용하므로 "환불표를 읽었는가"를 근거 있게 확인할 수 있다.

논문에는 이 사례와 매우 비슷한 JobBench 사례가 하나 있다. Agent가 일정, 장소, 인력, 예산에 관한 여러 자료를 종합해 메모를 작성해야 하는 과제다. 첫 번째 버전은 다 쓰자마자 제출됐다. 서로 다른 파일에 있는 숫자는 대조하지 않았고, 생성된 파일도 다시 열어 확인하지 않았다. 두 가지 후보 절차가 각각 한 군데씩 보완되었다. 한 쪽은 우선 수중의 파일을 정리하고, 인용한 숫자에 출처를 표시하며, 인도 전에 스크립트로 파일을 다시 열어 검사하도록 요구했다. 다른 쪽은 Agent에게 일정, 장소, 인력, 예산을 어떻게 대조할지 더 구체적인 조작 설명을 제시했다. 두 가지 수정 방식은 함께 쓸 수 있다. 다시 실행하자 숫자가 파일 간에 서로 맞아떨어졌고, 메모에서 원래 빠져 있던 부분도 되살아났다. 논문 속 사례와 그림 9