[X] 1/ 좋은 뷰로 학습한 1억 900만 파라미터 텍스트 모델은 WIT-1024에서 42배 적은 샘플만으로 비슷한 다음 토큰 예측 성능을 냈습니다…

이 결과는 대형 언어모델의 성능이 파라미터와 데이터 양만으로 결정되지 않을 수 있음을 보여준다. 좋은 뷰로 학습한 1억 900만 파라미터 텍스트 모델은 WIT-1024에서 2,160만 샘플로 .109를 기록해 9억 샘플의 .111과 비슷한 다음 토큰 예측 성능이었다. 규모를 키운 모델의 DINOv2 상호 10-NN 점수는 .184로 Qwen2.5-72B(.154)와 Llama-3-70B(.151)를 앞섰다. 학습량 확대보다 데이터의 관점과 표현 품질 설계가 일반화에 더 큰 영향을 줄 가능성을 보여준다. 다만 단일 벤치마크를 범용 우위로 확대해석해서는 안 된다.