xdigest2026년 11월 6일 08:55
[X] 오늘 @_micah_h, @grmcameron과 AAv5 팟캐스트를 녹음하는데, 모든 평가를 대상으로 @ArtificialAnlys의 AA-*…
이 글은 @_micah_h, @grmcameron과 AAv5 팟캐스트를 녹음하는 맥락에서, 모든 평가에 @ArtificialAnlys의 AA-* 재구성이 필요하다고 주장한다. 연구소가 의도적이든 우발적이든 특정 벤치마크에 맞춰 점수를 높일 수 있으므로, 객관식 순서 무작위화부터 같은 논리 구조를 새 문제로 재현하는 대체 평가가 필요하다는 뜻이다. 핵심은 점수보다 작은 변형에도 모델 주장이 유지되는지 독립적으로 확인하는 데 있다.
오늘 @_micah_h, @grmcameron과 AAv5 팟캐스트를 녹음하는데, 모든 평가를 대상으로 @ArtificialAnlys의 AA-* 재구성이 왜 필요한지 다시 떠올랐습니다.
연구소들이 의도적이든 실수로든 벤치마크에 맞춰 점수를 끌어올리지 않으리라고 믿을 수 없기 때문입니다. 모델의 주장이 작은 변형에도 유효한지 빠르게 점검하려면, 평가의 형식은 그대로 따르지 않되 취지는 살려 전체 평가를 다시 해볼 수 있는 신뢰할 만한 제3자가 몇 곳은 필요합니다. 객관식 문항의 순서를 무작위로 바꾸는 것부터, 겉보기에는 완전히 다르지만 실제로는 같은 논리와 추론 과정을 시험하는 새 문제를 만드는 것까지요. 이런 벤치마크 트레이스를 자세히 읽는 사람이 너무 적습니다 👇 벤치마크 맞춤 대응을 체계적으로 잡아내려면 사실상 모든 평가에 대체 벤치마크가 있어야 합니다.