Executive Summary

모델 크기 말고 데이터를 묶는 방식에도 지렛대가 있다는 논문 한 편이 열흘 만에 "1억짜리 모델이 720억짜리를 이겼다"로 옮겨졌다. 랜들 발레스트리에로(Randall Balestriero)와 얀 르쿤(Yann LeCun)이 2026년 10월 29일 arXiv에 올린 「JEPA로 플라톤적 표현 가설을 증명하고 개선하기」다. 이 글은 그 논문이 무엇을 증명했고 그 증명이 어디를 가리키는지를 원문과 부록으로 따라간다.

논문은 지렛대를 모델 크기에서 무엇과 무엇을 같은 것으로 묶을지로 옮긴다. 묶인 둘을 논문은 좋은 뷰(good view)라 부르는데, 같은 장면을 따로 관측한 둘이라는 뜻이다. 그런데 9억 4천만 장짜리 코퍼스에서 "이 둘은 같은 장면"이라고 적어 준 쪽은 사람이 아니라 이미지를 본 캡셔너였다. 그 캡셔너가 쓴 글을 빼면 정렬 점수가 0.107에서 0.060으로 내려앉는다. 거꾸로 같은 캡셔너가 같은 틀로 쓴 글 둘만 묶으면 묶는 효과가 거의 사라진다. 둘을 묶었다는 사실만으로는 값이 나지 않고, 묶인 둘이 서로 다른 데서 왔을 때 값이 난다. 아키텍처 이야기가 아니라 학습 데이터의 짝짓기 사양 이야기다.

여기까지가 논문에 적힌 수다. 여기서부터는 우리 읽기다. 위의 숫자는 하나도 빠짐없이 논문이 본문과 부록에 스스로 적어 둔 것이다. 72B 모델 아래로 떨어진 네 번째 시드도, 캡셔너를 빼고 다시 돌린 결과도, 어떤 실험도 정리의 가정을 정확히 만족하지 않는다는 문장도 거기 있다. 그래서 바깥에서 다시 셀 수 있었다. 논문이 과장했다는 이야기도, 언론이 거짓말했다는 이야기도 아니다.

0.107 → 0.060

캡셔너가 쓴 글을 뺀 조합의 정렬 점수

이미지 224만 장, BERT-S 33M 인코더. 벤치마크 WIT-1024, 비전 인코더 DINOv2 ViT-B, 지표는 상호 10-최근접

0.096 대 0.092

같은 캡셔너가 쓴 글 둘만 묶었을 때 좋은 뷰와 나쁜 뷰

1.04배. 사람이 쓴 대체 텍스트가 섞인 조합에서만 두 배가 난다

42 / 14 / 435

표본·텍스트 토큰·고유 이미지로 각각 센 배수

논문이 세 단위를 한 문장에 같이 적었다. 셋 중 어느 것도 "데이터 42배"가 아니다

0.121

같은 설정으로 돌린 네 번째 시드의 정렬 점수

Qwen2.5-72B의 0.154 아래다. 본문에 실린 0.184는 앞 세 시드의 평균이다

이 글의 수치는 arXiv v1(2026년 10월 29일)에서 가져왔고, 2026년 11월 8일 기준이다. 같은 날 abs 페이지를 다시 열어 판본이 v1 하나뿐임을 확인했다.

1

증명된 것은 한 문장이고, 그 문장에 가정이 넷 붙는다

논문이 증명한 것은 이렇다. 서로를 본 적 없는 인코더들이, 각자 자기 양식의 데이터만 보고 학습해도, 회전 하나만큼만 다른 같은 표현에 도달한다. 세계의 임베딩이 하나 있고 각 양식의 최소해가 그것을 회전시킨 꼴이라는 뜻이다. 논문은 이것을 플라톤적 표현 정리(Platonic Representation Theorem)라 부른다. 2024년 Huh 등이 플라톤적 표현 가설(Platonic Representation Hypothesis, PRH)로 제기한 경향을, 조건을 붙여 증명으로 바꾼 자리다.

조건이 바로 그 가정 넷이다. 결합 임베딩 예측 구조(Joint-Embedding Predictive Architecture, JEPA)가 무엇이고 왜 르쿤이 그 구조를 밀어 왔는지는 하우스 선행 글 픽셀을 버린 남자의 10억 달러 베팅에 있으니 여기서는 다시 적지 않는다. 이 절에서 세어 둘 것은 정리가 서기 위해 무엇을 참이라고 놓았는가다.

  • 세계가 유한하다. 상태의 집합이 유한개라고 놓는다.
  • 렌더링이 단사다. 각 양식이 세계를 관측하는 방식이 서로 다른 상태를 서로 다른 관측으로 보낸다. 관측이 정보를 잃지 않는다는 뜻이다.
  • 양성 쌍 분포가 양식끼리 같다. 양성 쌍은 모델에게 "이 둘은 같은 것"이라고 알려 주는 두 입력이다. 이미지 쪽이 같은 것으로 묶는 기준과 텍스트 쪽이 같은 것으로 묶는 기준이 일치해야 한다.
  • 최소해가 회전까지만 유일하다. 2차 anti-collapse, 즉 평균 0에 공분산이 단위행렬인 백색화 제약 아래에서 성립한다.

네 가정이 다 서면 결론은 깨끗하다. 세계의 임베딩 하나가 존재하고, 모든 양식의 최소해가 그것에 각자의 회전을 곱한 것이 된다. 논문은 여기에 세 가지를 더 붙인다. 두 양식의 양성 쌍이 서로 다르면 어긋남이 커널 차이를 고유값 간격으로 나눈 값 아래로 막힌다는 정리, 그 회전은 짝지어진 표본 몇 개만 있으면 정해지지만 짝 없는 데이터의 1차·2차 적률만으로는 못 찾는다는 명제, 그리고 군더더기(nuisance)에 쓴 차원은 정렬에서 잃는다는 정리다. 군더더기는 장면과 상관없이 그 관측에만 붙은 것 — 사진의 촬영 각도, 캡션의 말버릇 같은 것이다. 무작위로 만든 세계 300개 전부에서 실측 어긋남이 그 상한 아래였고, 가장 큰 경우가 상한의 18% 수준이었다.

1.1정리가 덮지 않는다고 논문이 직접 적은 자리

이 논문을 둘러싼 가장 흔한 오독은 "월드 모델이 대형 언어 모델보다 낫다는 증명"이다. 논문은 그 반대를 적는다. 월드 모델로 쓰이는 JEPA는 분석 대상에서 명시적으로 빠져 있다.

"JEPAs used as world models predict one embedding from the other through a learned predictor, often conditioned on an action, which our analysis does not cover."

§2.1. 월드 모델로 쓰이는 JEPA는 학습된 예측기로 한 임베딩에서 다른 임베딩을 예측하고 흔히 행동을 조건으로 받는데, 그쪽은 이 분석의 범위 밖이라는 말이다. 이 논문의 예측기는 항등함수다.

범위 밖이라고 적힌 자리가 더 있다. 회전까지의 유일성은 2차 anti-collapse에만 증명됐고 실험은 LeJEPA의 SIGReg로 돌렸는데, LeJEPA가 요구하는 전분포 제약은 유한한 세계가 정확히 만족할 수 없다고 논문이 적는다. 관측이 정보를 잃지 않는다는 가정도 마찬가지다 — 실제 양식은 손실이 있다. 그래서 한계 절에 이런 문장이 들어간다.

"no experiment meets the hypotheses of Section 2.1 exactly"

한계 절. 어떤 실험도 2.1절의 가정을 정확히 만족하지 않는다. 실험이 LeJEPA를 쓰고 이미지 쪽 양성 쌍이 대체로 한 사진의 크롭이기 때문이라고 같은 문장이 이유를 붙인다.

정리와 실험 사이에 이만큼의 틈이 있다는 것을 논문이 먼저 적어 둔 셈이다. 이 틈은 뒤에서 두 번 더 나온다. 4절에서 같은 설정을 네 번 돌린 결과의 폭으로, 5절에서 텍스트 구성을 바꿔 가며 잰 표로.

2

좋은 뷰와 나쁜 뷰, 모델이 '이 둘은 같다'고 배우는 자리

모델에게 "이 둘은 같은 것"이라고 알려 주는 방식이 두 가지로 갈린다. 하나는 같은 장면을 따로 관측한 둘을 묶는 것이다. 한 사건을 찍은 서로 다른 사진 둘, 한 장면을 보고 서로 다른 사람이 쓴 캡션 둘. 논문은 이것을 좋은 뷰(good view)라 부른다. 다른 하나는 한 관측을 두 번 훼손한 것을 묶는 것이다. 한 사진에서 잘라 낸 두 크롭, 한 문장에서 가린 두 구간. 이쪽이 나쁜 뷰(bad view)다.

차이는 두 입력이 무엇을 공유하느냐에 있다. 좋은 뷰에서 둘이 공유하는 것은 장면뿐이고, 촬영 각도나 말버릇 같은 군더더기는 각자 다르다. 나쁜 뷰에서는 군더더기까지 함께 공유한다. 한 사진의 두 크롭은 같은 조명, 같은 렌즈, 같은 시각을 그대로 안고 있다. 1절의 정리 하나가 여기에 값을 매긴다 — 군더더기에 쓴 차원은 정렬에서 잃는다. 두 입력이 공유하는 군더더기가 많을수록 모델은 세계가 아니라 자기 양식을 배운다.

양성 쌍을 만드는 세 가지 방식 좋은 뷰 한 장면 관측 A 관측 B 다른 사진, 다른 사람이 쓴 캡션 장면만 공유하고 군더더기는 각자 다르다 나쁜 뷰 한 관측 훼손 1 훼손 2 한 사진의 두 크롭, 한 문장의 두 구간 마스킹 군더더기까지 함께 공유한다 다음 토큰 예측 한 문장 앞머리 그 뒤 같은 관측을 둘로 가른 것 형태로만 보면 나쁜 뷰 쪽에 선다

논문의 정의를 도식으로 옮긴 것이다. 세 번째 칸의 위치는 명제 4가 형태 수준에서 보인 것이고, 그것이 정렬 저하로 이어진다는 연결은 논문이 따로 실험으로 확인한 쪽이다.

이 구분은 숫자로 확인된다. 논문은 학습된 표현에서 장면이 설명하는 비율을 재는데, Flickr 캡션으로 학습한 세 모델에서 좋은 뷰 JEPA가 0.804, 나쁜 뷰 JEPA가 0.655, 다음 토큰 예측이 0.608이다. 같은 데이터, 같은 인코더인데 무엇을 같은 것으로 묶었느냐만 바꾼 결과다. 나머지 비율은 장면이 아닌 것 — 군더더기가 가져간 몫이다.

2.1다음 토큰 예측이 이 그림의 어디에 서는가

논문은 다음 토큰 예측도 같은 틀에 올려놓는다. 명제 4가 보이는 것은 그 학습이 형태상 JEPA라는 것이다 — 앞머리의 표현과 다음 토큰의 벡터를 맞추는 항이 있고, 전부 같은 곳으로 몰리는 것을 막는 항이 있다. 그런데 명제 4는 제약도 같이 적는다. 그 최소해는 일반선형군까지만 정해지고 회전까지 좁혀지지 않는다. 1절 정리의 결론이 바로 회전까지의 유일성이었으니, 이 한 칸이 그대로 빈다.

그리고 "형태가 나쁜 뷰다"에서 "그래서 정렬이 낮다"로 넘어가는 다리를 논문은 증명으로 놓지 않는다. 해당 절은 가정이 다르다고 적고 자기 추론을 두 번 heuristically라고 부른 뒤 이렇게 맺는다.

"this is a prediction to test rather than a corollary"

§2.4. 따름정리가 아니라 시험해 볼 예측이라는 말이다. 3절과 5절의 수치는 그 예측을 실험으로 확인한 결과이지, 정리에서 흘러나온 결론이 아니다.

2.2같은 질문이 2020년에 한 번 정식화됐다

"무엇을 같은 것으로 묶을 것인가"는 2026년에 처음 나온 물음이 아니다. Tian·Sun·Poole·Krishnan·Schmid·Isola가 2020년에 낸 「What Makes for Good Views for Contrastive Learning?」이 같은 자리를 다른 말로 짚었다. 거기서 나온 것이 InfoMin 원칙이다 — 두 뷰 사이의 상호정보량을, 과제에 필요한 정보는 남긴 채 줄여라. 상호정보량이 너무 높아도 너무 낮아도 나빠지고 그 사이에 스윗 스팟이 있다는 것이 그 논문의 주장이었다.

두 논문이 같은 이론인 것은 아니다. InfoMin은 대조학습 틀에서 나왔고 이 논문은 비대조 계열인 JEPA를 다룬다. 정확한 말은 같은 질문의 더 이른 정식화다. 2026년 논문이 한 일은 그 질문에 정리를 붙이고 텍스트 양식으로 끌고 온 것이다. 그리고 5절에서 보겠지만, InfoMin의 스윗 스팟 개념이 있어야 이 논문의 표 하나가 왜 그런 모양인지 설명된다.

3

'1억이 720억을 이겼다'가 잰 것은 언어 능력이 아니다

머리기사가 된 비교에 올라간 것은 표현 정렬 하나다. 두 모델의 내부 표현이 얼마나 닮았는지를 재는 값이지, 어느 쪽이 더 잘 쓰고 더 잘 추론하는지를 재는 값이 아니다. 주 지표는 상호 10-최근접(mutual 10-NN)이다. 한쪽 공간에서 어떤 점의 가장 가까운 이웃 열 개를 뽑고, 다른 쪽 공간에서 같은 점의 이웃 열 개를 뽑아, 두 집합이 몇 개나 겹치는지를 센다. 아무것도 새로 학습하지 않고 잰다. 벤치마크 WIT-1024에서 우연히 겹치는 수준은 0.01이다.

비교 상대는 이미지 쪽 기준점인 DINOv2 ViT-B다. 텍스트만 보고 학습한 인코더가 만든 공간이, 이미지만 보고 학습한 인코더가 만든 공간과 얼마나 같은 이웃 관계를 갖는가. 거기에 짝지어진 표본 몇 개로 회전 하나를 맞춰 끼운 뒤 검색 점수(R@1)도 잰다. 생성·추론·코드 작성·지시 따르기는 이 논문이 한 번도 평가하지 않는다.

Table 3의 주요 행을 옮기면 아래와 같다. 첫 행이 이 논문의 좋은 뷰 텍스트 JEPA이고, 매개변수는 1억 900만 개다. 바로 아래 두 행은 같은 텍스트를 같은 인코더 크기로 학습하되 묶는 방식만 바꾼 대조군이다.

둘째 행의 다음 토큰 예측이 무엇인지도 표를 읽기 전에 적어 두는 편이 낫다. 공개된 GPT 계열 모델을 가져다 쓴 것이 아니라 같은 BERT를 인과 방식으로 바꾸고 소프트맥스 헤드를 붙여 같은 캡션으로 처음부터 학습한 것이다. 그래서 위 세 행은 구조와 데이터와 학습량을 고정하고 묶는 방식만 바꾼 비교가 된다. 반면 그 아래 네 행은 다른 데이터로 미리 학습된 기성 모델이다. 한 표 안에 성격이 다른 두 비교가 함께 들어 있다는 뜻이고, 머리기사가 가져간 쪽은 뒤의 비교다.

텍스트 인코더 WIT 10-NN
(DINOv2 ViT-B)
WIT CKA WIT 10-NN
(CLIP ViT-H)
COCO 10-NN Flickr R@1
좋은 뷰 JEPA (이 논문) 0.1840.5070.2300.1610.478
다음 토큰 예측 (같은 텍스트·같은 인코더) 0.111–0.146–0.335
나쁜 뷰 JEPA (같은 텍스트·같은 인코더) 0.088–0.116–0.318
Qwen2.5-72B 0.1540.4180.2100.108–
Llama-3-70B 0.1510.3800.2060.113–
CLIP B/32 텍스트 인코더 0.1240.3390.1590.1320.489
all-mpnet-base-v2 0.1180.3900.1590.1560.481

출처: arXiv:2610.39302 v1 Table 3. 좋은 뷰 JEPA 행은 940M 이미지의 텍스트로 학습한 결과이고 WIT 값은 세 시드 평균이다. "–"는 논문이 그 칸을 채우지 않은 자리다.

같은 텍스트·같은 인코더 안에서 묶는 방식만 바꾼 세 행의 차이가 크다. 0.184 대 0.111 대 0.088이다. 이 폭이 이 논문이 실제로 보인 것이고, 보도가 가져간 것은 그 아래 네 행과의 비교다.

대조군을 불리하게 학습시킨 것 아니냐는 반론은 논문이 먼저 막아 둔다. Flickr 캡션 14만 5천 개로 돌린 설정에서 다음 토큰 모델의 검증 손실은 29번째 에폭에서 3.04로 가장 낮고 189번째 에폭에서는 4.49까지 오른다. 과적합이다. 모든 표가 마지막 체크포인트를 쓰지만, 검증 손실이 가장 낮은 29번째 에폭에서 끊어도 Flickr 검색 R@1이 0.134이고 테스트 쌍을 보고 가장 좋은 체크포인트를 골라 줘도 0.146까지다. 같은 설정의 좋은 뷰 JEPA는 0.246이다. 조기 중단으로 메워지는 격차가 아니라고 논문이 미리 계산해 둔 셈이다.

3.1지는 자리가 세 군데 있다

표의 맨 오른쪽 열부터 보면 "모든 면에서 이겼다"가 성립하지 않는다. Flickr 검색 R@1에서 CLIP 텍스트 인코더가 0.489, all-mpnet-base-v2가 0.481로 이 JEPA의 0.478보다 앞선다. 짝 없이 공간을 맞추는 실험(Table 4)에서도 CLIP 텍스트가 ImageNet-100 top-5 68.7%로 JEPA의 64.4%를 앞서고, 짝 맞춤 오차 FOSCTTM도 0.006으로 JEPA의 0.018보다 낮다. 초록도 비교 범위를 8B까지의 언어 모델로 한정해 적는다. "제로샷에서 전부 이겼다"는 초록보다 넓은 주장이다.

수 하나를 더 조심해야 한다. 비교군인 all-mpnet-base-v2의 매개변수도 1억 900만 개다. 이 논문의 JEPA와 같은 규모다. "1억 900만"이라는 수가 표 안에 둘 있고, 그중 하나는 10억 쌍의 지도 문장쌍으로 학습된 기성 모델이다. 그 모델을 정렬 지표에서는 앞서고 검색 지표에서는 뒤진다는 것이 Table 3이 말하는 전부다.

다만 짝 없는 정렬 쪽은 끝까지 읽어야 방향이 보인다. 두 CIFAR 과제에서는 이 JEPA와 CLIP 텍스트 인코더가 대등하고, 짝 없는 풀을 COCO에서 Flickr로 바꾸면 순위가 뒤집힌다. 이미지 1만 5천여 장과 다른 1만 5천여 장의 캡션으로 풀을 만들어 짝 하나 없이 맞추는 실험에서, 우연 수준을 벗어나는 것은 좋은 뷰로 학습한 JEPA뿐이다. 109M 좋은 뷰 JEPA는 테스트 이미지의 16.4%에서 맞는 캡션을 1순위로 찾아낸다. 시드에 따른 폭이 ±10.4%포인트로 넓고 중앙값은 16.1%인데, 같은 조건에서 CLIP 텍스트 인코더와 all-mpnet-base-v2, BERT, Qwen2.5-0.5B, 그리고 같은 텍스트로 학습한 나쁜 뷰·다음 토큰 모델은 모두 0.3% 이하다. 우연 수준은 0.1%다. 풀이 작아지면 이기고 지는 자리가 통째로 바뀐다.

정렬과 검색 말고 논문이 재 본 축이 하나 더 있다. 위의 셋과는 다른 축이라 따로 적어 둔다. 문장 둘의 임베딩 코사인 유사도가 사람이 매긴 유사도와 얼마나 맞는지를 스피어만 상관으로 보는 STS-Benchmark인데, 추가 학습 없이 재도 좋은 뷰, 나쁜 뷰, 다음 토큰의 순위가 정렬에서와 같다. Flickr 캡션만 쓴 셋이 0.579, 0.528, 0.430이고 224만 장 Recap 텍스트를 쓴 셋이 0.612, 0.501, 0.377이다. 5,000만 장 쪽 좋은 뷰 모델은 0.632로 BERT-base의 0.551과 Qwen2.5-0.5B의 0.352(평균 풀링) 위에 선다. 그런데 같은 지표에서 all-mpnet-base-v2는 0.834다. 10억 개의 지도 문장쌍으로 학습한 모델이고, 이 축에서의 거리는 Table 3에서 본 것보다 훨씬 멀다.

3.2언어 모델 쪽 수열은 단조가 아니다

언어 모델을 크기 순으로 세우면 정렬이 꾸준히 오르지 않는다. Qwen2.5 계열의 WIT 10-NN(DINOv2 ViT-B)은 0.5B에서 0.102, 1.5B에서 0.108, 3B에서 0.125, 7B에서 0.118, 14B에서 0.130, 32B에서 0.128, 72B에서 0.154다. 3B가 7B보다 높고, 14B가 32B보다 높다. 논문 자신도 몇 B를 넘어서면 크기로 정렬이 거의 늘지 않는다고 적는다.

"Alignment grows little with size beyond a few billion parameters"

부록 C. 같은 문단이 Qwen2.5의 7B에서 32B 구간을 0.118~0.130으로, 72B를 0.154로 적는다.

이 수열에서 눈에 띄는 모델이 하나 더 있다. Llama-3-8B가 0.145인데, 바로 그 모델이 5절에 나올 캡셔너의 언어 모델이다. 지금은 숫자 하나로만 적어 두고 그 자리에서 다시 본다. 한편 르쿤이 대형 언어 모델을 두고 벌여 온 논쟁의 배경은 하우스 선행 글 지능적 앵무새의 탄생에 정리돼 있다.

4

같은 논문 안에 머리기사를 흔드는 숫자가 있다

머리기사가 된 0.184는 한 번 돌려 나온 값이 아니다. 같은 설정으로 돌린 네 번의 실행이 있고, 그 값은 0.191, 0.181, 0.179, 그리고 0.121이다. 본문에 실린 0.184는 앞 세 번의 평균이다. 네 번째는 SIGReg 가중치를 두 배로 준 실행인데, Qwen2.5-72B의 0.154 아래로 떨어진다. 이 숫자들은 전부 논문이 자기 부록에 직접 실어 둔 것이다.

940M 실행 네 번이 낸 WIT 점수의 폭 Qwen2.5-72B 0.154 0.10 0.12 0.14 0.16 0.18 0.20 0.121 0.179 · 0.181 0.191 네 시드 평균 0.168 앞 세 시드 평균 0.184

출처: arXiv:2610.39302 v1 부록 C. 지표는 WIT-1024 상호 10-최근접, 비전 인코더는 DINOv2 ViT-B. 네 시드 평균 0.168도 논문이 직접 적은 수이고, 그 값 역시 평가된 언어 모델 전부보다 위다.

폭을 적는 것과 깎아내리는 것은 다르다. 네 시드 평균 0.168도 논문이 평가한 아홉 개 언어 모델보다 위이고, 그 0.168은 우리가 역산한 값이 아니라 논문이 문장으로 적어 둔 수다. 다만 네 번째 실행 옆에 이런 한 문장이 붙어 있다.

"We chose the weight of the first run for every other 940M run after seeing this result, so that weight was selected on WIT"

부록 C. 이 결과를 본 뒤에 나머지 940M 실행의 가중치를 첫 실행 값으로 골랐고, 따라서 그 가중치는 WIT에서 고른 것이라는 자기 보고다.

4.1논문이 "잡음 안"이라고 적은 쪽이 머리기사가 됐다

부록 C에는 신뢰구간 분석도 있다. WIT-1024가 작아서 800쌍 부분표본을 200번 뽑아 95% 구간을 만든 것이다. 여기서 둘이 갈린다. 모델 대 언어 모델 비교는 구간이 0을 품고, 뷰 대 뷰 비교는 품지 않는다.

비교 (33M 인코더)차이95% 구간0을 품나
50M 이미지 JEPA − Qwen2.5-7B+0.010[−0.005, +0.025]예
50M 이미지 JEPA − Qwen2.5-3B+0.003[−0.011, +0.018]예
100M 이미지 JEPA − Mistral-7B−0.011[−0.026, +0.004]예
2M 이미지 JEPA − Qwen2.5-0.5B+0.005[−0.008, +0.018]예
2M: 좋은 뷰 − 다음 토큰 예측+0.037[+0.025, +0.049]아니오
2M: 좋은 뷰 − 나쁜 뷰+0.054[+0.041, +0.067]아니오
50M: 좋은 뷰 − 다음 토큰 예측+0.050[+0.037, +0.062]아니오
50M: 좋은 뷰 − 나쁜 뷰+0.063[+0.050, +0.075]아니오

출처: arXiv:2610.39302 v1 부록 C "Uncertainty on WIT". 범위에 주의할 것 — 이 구간 분석의 대상은 33M 인코더(학습 이미지 2M·50M·100M)다. 109M 인코더가 낸 0.184와 Qwen2.5-72B의 0.154에는 논문이 같은 구간을 제시하지 않는다.

논문은 이 표를 한 문장으로 요약한다.

"the comparisons with language models are within noise, while the gaps between views, at least +.040 over next-token prediction and +.056 over the bad-view JEPA for every seed, are far outside it."

부록 C. 언어 모델과의 비교는 잡음 안이고, 뷰끼리의 격차는 모든 시드에서 다음 토큰 예측보다 0.040 이상, 나쁜 뷰 JEPA보다 0.056 이상으로 잡음 밖이라는 말이다. 같은 문단이 50M 이미지 JEPA의 세 시드를 0.129·0.118·0.127로 적는다.

갈림이 여기서 생긴다. 잡음 안쪽 절반, 즉 작은 모델과 거대 언어 모델의 비교는 그대로 보도로 옮겨졌다. 잡음 바깥쪽 절반, 즉 뷰와 뷰의 격차는 거의 옮겨지지 않았다. 그런데 뷰와 뷰의 격차가 바로 데이터를 어떻게 묶었는가의 이야기다. 다시 적자면 이 구간 분석은 33M 인코더 범위의 결과이고, 940M 코퍼스로 학습한 109M 인코더에 그대로 옮겨 붙일 수 없다.

4.2"42배"의 단위는 데이터가 아니다

효율 쪽 머리기사도 단위를 확인하면 달라진다. 논문이 적은 것은 세 수다 — 표본 42배, 텍스트 토큰 14배, 고유 이미지 435배. 분모와 분자는 이렇다. 표본은 9억 대 2,160만이라 41.7배, 좋은 뷰 한 표본이 텍스트 셋을 읽으므로 토큰으로는 13.9배, 고유 이미지는 9억 4천만 대 216만이라 435.2배다. 세 수를 우리가 따로 나눠 본 것이 아니라 논문이 한 문장에 세 단위를 같이 적어 두었다. 논문조차 "데이터"로 뭉개지 않은 자리를 요약이 뭉갰다.

여기에 조건이 하나 더 붙는다. 비교점이 된 다음 토큰 예측의 0.111은 논문이 점수를 매긴 유일한 체크포인트다. 논문이 "we scored no earlier next-token checkpoint"라고 직접 적는다. 실제로 두 곡선이 만나는 지점은 9억 표본보다 앞일 수 있고, 그렇다면 42배는 상한에 가까운 수다. 매개변수로 센 660배는 또 다른 축이고, 학습 토큰으로 보면 15조~18조 대 1,160억이라 129~155배다. 단위를 붙이지 않은 "몇 배"는 이 논문에서 아무 말도 아니다.

거꾸로 표본 수를 맞춰 놓고 재면 격차가 오히려 벌어진다. 33M 인코더를 2,160만 표본으로 돌린 비교에서 좋은 뷰는 0.108, 다음 토큰 예측은 0.071, 나쁜 뷰는 0.053이다. 이미지를 23배로 늘리고 스텝을 1.9배로 늘린 같은 인코더 설정에서도 0.125 대 0.079 대 0.063으로 순서가 같다. 둘 다 WIT-1024 상호 10-최근접을 DINOv2 ViT-B 기준으로 잰 값이다. 42배는 같은 점수에 닿는 데 드는 표본 수를 센 수이고, 표본 수를 고정하고 센 격차는 그와 다른 수다. 단위를 따지는 일이 늘 논문을 깎는 쪽으로만 가지는 않는다.

4.3오염과 적합, 논문이 스스로 센 것들

벤치마크 오염도 논문이 직접 셌다. WIT-1024 캡션 중 최소 43개가 940M 대체 텍스트 안에 있었다. 정확히 일치가 26개, 앞 40자가 일치하는 것이 17개다. 그 43개를 빼고 남은 981쌍에서 다시 재면 109M 모델은 0.193이고, 아홉 모델 모두 변화가 0.002 이하였다. Flickr30k 사진은 최소 178장, COCO 2014 사진은 최소 1,207장이 940M 안에 있는데, 각각 검색 점수에 최대 0.006과 0.001 수준으로 영향을 준다고 적는다. 영향은 작지만 0은 아니고, 그 수를 센 쪽이 논문이다.

논문이 제시한 스케일링 법칙도 자기 입으로 깎아 둔다. 본문의 적합과 부록의 첫 적합이 서로 다른 지수를 주는데 두 적합의 오차가 사실상 같다. 그래서 논문은 지수가 제대로 식별되지 않는다고 적고, 이것은 한 레시피의 경험적 요약이지 2.3절의 귀결이 아니라고 덧붙인다. 적합 범위의 네 배인 3억 2천만 표본까지 밀면 실측이 예측보다 낮아진다는 것도 같이 보고한다.

그래도 적합 범위 안에서는 쓸 만하다는 근거를 같은 절이 댄다. 격자로 맞춘 법칙으로 아직 돌리지 않은 조건 85개를 무작위로 골라 학습 전에 예측해 두고 실제로 돌려 봤더니, Flickr 검색 R@1 예측 오차가 RMSE 0.0093이었다. 같은 조건을 시드만 바꿔 두 번 돌렸을 때의 차이가 0.0096이다. 한 번도 본 적 없는 조건을 같은 조건의 재실행만큼 맞혔다는 뜻이다. 지수가 흔들린다는 것과 예측이 맞지 않는다는 것은 다른 말이고, 논문은 그 둘을 갈라 적는다.

4.4정렬을 재는 잣대 자체를 의심한 문헌이 있다

흔들어 본 세 번째 사례는 논문 바깥에 있다. Gröger·Wen·Brbić가 2026년 2월에 낸 「Revisiting the Platonic Representation Hypothesis: An Aristotelian View」(arXiv:2602.14486)는 표현 유사도 지표들이 신경망 규모에 혼입돼 있다고 보고한다. 깊이나 너비를 키우는 것만으로 유사도 점수가 올라간다는 것이다. 그래서 순열 기반 영가설 교정을 도입해 다시 재면, CKA 같은 전역 스펙트럴 지표에서 보이던 규모 추세는 대체로 사라지고 이웃 기반 지표는 남는다. You 등이 9월에 낸 후속 연구(arXiv:2609.27252)도 교정 뒤 관계 구조는 수렴하고 거리 일치는 약해진다고 한 겹 더 갈라 놓는다.

이 논문의 주 지표가 상호 10-최근접, 즉 교정을 견디는 쪽 계열이고 보조 지표가 CKA, 즉 사라지는 쪽 계열이다. 지표 선택이 운 좋게 맞은 자리다. 다만 세 가지를 같이 적어야 과장이 되지 않는다. 첫째, 이 논문이 그 교정을 직접 돌린 것은 아니다. 견디는 계열을 썼다까지가 사실이고 교정을 통과했다는 확인은 아직 없다. 둘째, Gröger 등이 겨눈 혼입은 큰 모델에 유리한 방향이므로, 교정하면 0.184와 0.154의 격차가 줄기보다 늘 수도 있다 — 이 문장은 우리 읽기이지 어느 논문의 진술도 아니다. 셋째, 잣대를 잘 골랐다는 것과 결과가 재현됐다는 것은 다른 말이다.

5

좋은 뷰는 어디서 오나 — 캡셔너를 빼 보면

좋은 뷰를 쓰려면 "이 둘은 같은 장면"이라고 적어 주는 누군가가 있어야 한다. 9억 4천만 장 규모에서 그 일을 한 쪽은 사람이 아니다. 학습에 쓴 코퍼스는 Recap-DataComp인데, 이미지 한 장에 붙은 텍스트 셋이 사람이 쓴 대체 텍스트 하나와 LLaVA가 쓴 재캡션 둘이다. 그 LLaVA는 LLaMA-3-8B 위에 CLIP ViT-L/14 비전 인코더를 얹은 캡셔너다. 그러니까 "텍스트만 보고 배운 모델"의 학습 자료 안에, 이미지를 본 모델의 산출이 셋 중 둘로 들어 있다.

논문은 이 사실을 숨기지 않고 한계 절 첫 줄에 올린다.

"The main caveat is where good views come from"

한계 절. 가장 큰 유보 사항은 좋은 뷰가 어디서 오느냐라는 말이다. 같은 절이 대규모 비교가 그 텍스트들에 기대고 있다고 덧붙인다.

그래서 논문은 캡셔너를 빼고 다시 돌린다. 대체 텍스트와, 그 대체 텍스트만 보고 Qwen2.5-7B-Instruct가 바꿔 쓴 문장을 묶은 조합이다. 이쪽은 이미지를 한 번도 보지 않은 텍스트들이다. Table 7 아홉 행을 옮기면 아래와 같다.

텍스트 구성을 바꿔 가며 잰 WIT 정렬 점수 이미지 224만 장 대체 텍스트 + 재캡션 둘 (좋은 뷰) 0.107 대체 텍스트 + 바꿔 쓴 문장 (좋은 뷰, 캡셔너 없음) 0.060 재캡션 둘 (좋은 뷰) 0.080 대체 텍스트 (나쁜 뷰) 0.055 이미지 5,000만 장 대체 텍스트 + 재캡션 둘 (좋은 뷰) 0.125 대체 텍스트 + 재캡션 둘 (나쁜 뷰) 0.063 재캡션 둘 (좋은 뷰) 0.096 재캡션 둘 (나쁜 뷰) 0.092 대체 텍스트 (나쁜 뷰) 0.056 1.98배 1.04배 주황 막대가 좋은 뷰, 회색 막대가 나쁜 뷰. 괄호 안은 세 시드 평균이고 지표는 WIT-1024 상호 10-최근접(DINOv2 ViT-B)이다.

출처: arXiv:2610.39302 v1 Table 7(BERT-S 33M 인코더, 세 시드 평균). 아래쪽 묶음에서 텍스트 구성이 완전히 같은 쌍 둘을 나란히 두었다 — 위 쌍은 두 배가 나고 아래 쌍은 나지 않는다.

5.1캡셔너를 빼면 이득의 큰 쪽이 사라진다

224만 장 묶음의 첫 두 행이 그 답이다. 캡셔너가 쓴 재캡션을 텍스트전용 패러프레이즈로 갈면 WIT 점수가 0.107에서 0.060으로 떨어진다. 43.9% 감소다. 사라진다고 적으면 과장이고, 이득의 큰 쪽이 그 텍스트에 기대고 있었다고 적는 것이 맞다. 장면이 설명하는 비율도 0.793에서 0.654로 내려간다. 그리고 0.654는 Flickr에서 잰 나쁜 뷰 JEPA의 0.655와 사실상 같은 수다. 캡셔너가 빠지면 좋은 뷰가 군더더기를 거의 나쁜 뷰만큼 떠안는다.

그렇다고 캡셔너가 전부인 것은 아니다. 반대 방향으로도 과장하지 않으려면 같은 표의 네 번째 행을 봐야 한다. 똑같은 대체 텍스트 위에서 좋은 뷰는 0.060, 나쁜 뷰는 0.055이고 시드끼리 구간이 겹치지 않는다. Flickr 검색 R@1로 보면 0.233 대 0.180으로 차이가 더 벌어진다. 뷰를 제대로 묶는 일은 캡셔너 없이도 듣는다. 다만 머리기사가 된 큰 수는 캡셔너가 만든 쪽이다.

5.2표 자신의 캡션에 반례가 같이 실려 있다

Table 7의 캡션은 이렇게 적는다.

"with the same texts, good views double alignment"

Table 7 캡션. 텍스트가 같을 때 좋은 뷰가 정렬을 두 배로 만든다는 말이다.

그런데 같은 표에서 텍스트 구성이 완전히 같은 쌍은 둘뿐이고, 두 배가 나는 쪽은 하나다. 대체 텍스트와 재캡션 둘을 함께 쓴 쌍은 0.125 대 0.063으로 1.98배다. 재캡션 둘만 쓴 쌍은 0.096 대 0.092, 1.04배다. 거의 같다. 기계가 같은 틀로 쓴 글 둘을 묶으면, 좋게 묶든 나쁘게 묶든 결과가 거의 달라지지 않는다.

이 반례를 깎아내릴 일이 아니다. 캡션과 반례가 같은 표에 같이 실려 있다. 읽어야 할 것은 그 둘을 합쳐서 나오는 문장이다 — 좋은 뷰의 값은 둘을 묶었다는 데서 나지 않고, 묶인 둘이 서로 다른 방식으로 다를 때 난다. 같은 캡셔너가 같은 프롬프트로 쓴 두 문장은 군더더기까지 서로 닮아 있다. 그 둘을 묶는 것은 한 글을 두 번 훼손해 묶는 것과 크게 다르지 않다. 사람이 쓴 대체 텍스트가 섞여 들어가야 비로소 두 배가 된다.

2절에서 적어 둔 InfoMin이 여기서 쓸모가 있다. 두 뷰 사이의 상호정보량이 너무 높으면 묶어도 새로 들어오는 것이 없고, 너무 낮으면 과제에 필요한 것까지 잃는다. 같은 캡셔너의 두 산출은 상호정보량이 과한 쪽이고, 사람이 쓴 글이 섞인 조합은 그 사이 어딘가다. 어느 논문도 이 대응을 적지는 않았다 — 두 틀을 맞대 본 것은 우리 쪽이다. 다만 2020년에 이미 정식화된 질문이 2026년 표에서 같은 모양으로 다시 나타났다는 사실은 그대로 값이 있다.

5.3이미지 쪽은 논문 자신의 정의로도 나쁜 뷰다

한 가지가 더 남는다. 이 논문에서 텍스트 쪽은 좋은 뷰로 학습했지만, 비교 기준이 된 이미지 인코더들은 그렇지 않다.

"By the same definition our image encoders, and DINOv2, are bad-view JEPAs: their positives are crops of one photograph."

한계 절. 같은 정의로 보면 우리 이미지 인코더도, DINOv2도 나쁜 뷰 JEPA이고 그 양성 쌍은 한 사진의 크롭이라는 말이다. MSR-VTT 영상 7천 클립으로 좋은 이미지 뷰를 시도한 실험은 DINOv2보다 훨씬 약했고, 이미지 쪽의 좋은 뷰 스케일링은 후속 과제로 남았다.

정렬을 재는 기준점 자체가 나쁜 뷰로 학습한 모델이라는 뜻이다. 텍스트 쪽만 묶는 방식을 바꿔도 점수가 이만큼 움직였다는 것은 오히려 주장을 강하게 만들지만, 양쪽을 다 좋은 뷰로 맞춘 실험은 아직 없다. 논문이 이 자리도 비워 둔 채로 적어 두었다.

그러면 기준점을 바꾸면 순위도 바뀌는가. 그 질문에는 논문이 답을 해 뒀다. WIT 측정을 얼린 비전 인코더 여섯 개로 다시 돌렸는데, 픽셀을 복원하며 학습한 MAE, 이미지 블록에서 잠재 표현을 예측하며 학습한 I-JEPA, 크롭으로 학습한 DINOv2, 이미지와 텍스트를 맞춰 학습한 CLIP의 이미지 인코더가 거기 들어간다. 여섯 가운데 어느 것을 기준으로 잡아도 텍스트 쪽 순위는 같았다. 같은 텍스트로 학습한 셋 중에서는 좋은 뷰가 다음 토큰 예측과 나쁜 뷰 위에 서고, 109M 좋은 뷰 JEPA가 그 표에 함께 올린 언어 모델 셋보다 위에 선다. MAE와 I-JEPA는 서로 비슷하면서 둘 다 DINOv2보다 아래인데, 비전 쪽 학습 목표에 대해서는 결론을 내리지 않는다고 논문이 덧붙인다.

기준점을 바꿔도 순서가 유지된다는 것이 이 절에서 가져갈 것이다. 기준점 쪽이 안고 있는 한계는 그대로 남지만, 그것이 뷰 비교 전체를 무르게 만들지는 않는다. 논문이 흔들어 볼 조건을 여기서도 하나 더 적어 둔 셈이다.

6

해설과 보도는 어느 반쪽을 가져갔나

논문이 올라온 2026년 10월 29일부터 이 글을 쓴 11월 8일까지, 해설과 보도가 어느 조각을 가져갔는지 세어 봤다. 기준은 둘이다. 잰 것을 표현 정렬이라고 적었는가, 그리고 한계를 한 줄이라도 적었는가. 아래 표는 그 결과다. 먼저 밝혀 둘 것이 있다. 이것은 전수가 아니라 표본이다. 영어권 열 건에 한국어 한 건을 더해 열한 건을 봤고, 국내 매체를 더 훑지 못했다.

매체·채널 날짜 머리기사 요지 정렬이라 적었나 한계를 적었나
AI타임스 (임대준)11-03 르쿤, 다른 AI가 같은 세상 이해하는 조건 증명 … 학습 샘플 42배 절감 예 예 — 캡셔너가 만든 텍스트를 빼면 정렬이 낮아진다고 적는다
InfoQ 中文11-02 1억 900만 매개변수가 720억을 이겼다, 모델이 크다고 세상을 더 아는 것은 아니다 예 예 — 수학 추론·코드 생성·지식 질의응답에서 이겼다는 뜻이 아니라고 명시한다
mindstudio.ai11-05 작은 모델이 거대 언어 모델을 이긴 이유 아니오 — 세계 이해를 재는 벤치마크로 적는다 일부 — 단일 벤치마크라고만
aiweekly.co (알림)10-30 JEPA를 위한 플라톤적 표현 정리를 증명하다 예 일부 — 독립 재현이 남았다고만
aiweekly.co (편집자 글)10-29~ 좋은 뷰는 표본이 42배 적게 든다 예 아니오
dev.to (Daniel Sam Pete Thiyagu)11-04 1억 900만이 720억을 이긴다 예 아니오 — 대신 배수를 직접 다시 계산했다
invisibleinsights.substack11-02 크기, 데이터의 품질, 그리고 짝짓기 예 아니오 — 짝짓기가 중요하다는 말에 수치 근거가 없다
carlwardconsultant.substack11-08 플라톤의 동굴에는 도서 목록이 필요하다 예 일부 — 한 데이터셋에서는 캡셔닝 모델이 그 묶음을 만들었다고 짚는다
X, 1저자 본인 계정11-01 무렵 플라톤적 표현 가설이 이제 정리가 됐다 예 저자 본인 게시물
X, 뉴스 계정 하나11-02 무렵 1억 900만 매개변수 모델이 720억을 이긴다는 정리 아니오 아니오
어떤 해설 영상의 썸네일 배너11-05 무렵 데이터 40배 적게 아니오 아니오

2026년 10월 29일~11월 8일 표본 열한 건. 한국어·중국어 머리기사는 뜻을 옮겼다. 마지막 줄의 썸네일 문구는 글로만 옮겼고 이미지는 싣지 않았다.

표를 다 읽고 나면 다들 틀렸다고 말하기 어렵다. 해설과 보도는 갈린다. 열한 건 중 여덟 건이 잰 것을 정렬이라고 제대로 적었고, 한계를 한 줄이라도 붙인 것이 다섯 건이다. 그리고 가장 정확하게 적은 둘이 한국어 매체와 중국어 매체다. 앞의 것은 캡셔너를 빼면 점수가 내려간다는 사실을 본문에 넣었고, 뒤의 것은 이 승부가 수학 추론이나 코드 생성의 승부가 아니라는 것을 못 박았다. 둘 다 영어권 요약이 대체로 건너뛴 자리다.

한편 마지막 줄의 "데이터 40배 적게"는 논문의 세 수 가운데 어느 것도 아니다. 표본은 42배, 텍스트 토큰은 14배, 고유 이미지는 435배다. 넷째 수를 만들려면 단위를 지워야 하는데, 지운 쪽이 더 외우기 쉬운 수가 된다. 4.2절에서 적었듯 논문은 그 단위를 한 문장 안에 갈라 적어 두었다.

6.1산술은 이미 바깥에서 다시 됐고, 부록은 아직이다

표본 가운데 한 곳은 숫자를 직접 다시 계산했다. dev.to에 올라온 글은 함께 공개한 노트북에서 660.6배, 41.7배, 16.8포인트를 다시 구했다고 적는데, 우리가 따로 돌린 재검산과 일치한다. 배수를 다시 나누는 일은 공개 생태계가 이미 했고, 맞았다.

그런데 논문이 부록과 한계 절에 함께 실어 둔 흔들림 쪽은 사정이 다르다. 4절과 5절에서 읽은 항목을 표본 열한 건과 대조하면 아래와 같다.

논문이 부록에 같이 실은 것표본 열한 건 중 적은 곳
네 번째 시드 0.121 (Qwen2.5-72B의 0.154 아래)0
그 가중치를 WIT 결과를 보고 골랐다는 문장0
Table 7의 반례 0.096 대 0.0920
33M 인코더 쪽 95% 구간이 0을 품는다는 것0
오염 43건 · Flickr 178장 · COCO 1,207장0
캡셔너를 빼면 0.107에서 0.060으로 내려간다는 수치0

왼쪽 여섯 항목은 모두 arXiv:2610.39302 v1의 부록과 한계 절에 실린 것이다. 오른쪽은 위 census 표본에서 그 항목을 적은 글의 수다. 캡셔너 항목은 둘이 "낮아진다"로 적었으나 수치는 어느 쪽도 쓰지 않았다.

여섯 줄이 모두 0이다. 다만 이것을 "아무도 읽지 않았다"로 늘려 쓰면 틀린 말이 된다. 정확한 말은 우리가 본 표본 열한 건 중에는 없었다이다. 그래도 방향은 보인다. 남은 자리는 산술이 아니라 부록 읽기다. 그리고 그 읽기는 논문이 부록을 공개했기 때문에 누구나 할 수 있는 일이다.

7

데이터를 만드는 쪽이 지금 물어야 할 것

지금까지의 읽기를 데이터 쪽 말로 옮기면 한 문장이 된다. 무엇과 무엇을 같은 것으로 묶을지가 모델이 무엇을 배우는지를 정한다. 그런데 그 정보는 데이터셋의 어느 칸에도 적히지 않는다. 이미지 파일에도, 캡션 텍스트에도, 라벨 열에도 없다. 그것은 폴더 구조나 적재 스크립트나 담당자의 기억 속에 있다. 이 논문이 한 일을 데이터 사양의 관점에서 보면, 지금까지 적히지 않던 항목에 값을 매긴 것이다.

그 항목이 얼마나 덜 세어졌는지는 값을 찾아보면 안다. 940M 코퍼스의 재캡션을 만드는 데 든 비용은 공개 자료에 없다. Recap-DataComp 쪽 자료가 공개한 것은 규모와 디코딩 설정까지이고, 재캡션 생성에 들어간 연산 시간이나 금액은 논문에도 데이터셋 카드에도 적혀 있지 않다. 산업 쪽도 같다. 자율주행 멀티뷰 데이터셋의 1차 문헌에는 제원이 자세히 적혀 있다. 한 데이터셋은 카메라 여섯 대로 360도를 덮고, 다른 하나는 카메라 다섯 대에 라이다 다섯 대를 붙였다. 그런데 수집에 든 비용은 어느 쪽에도 적혀 있지 않다. 묶음을 만드는 값은 공개 생태계에서도 아직 세어지지 않은 항목이다.

비교할 거리가 아주 없지는 않다. 사람이 쓴 이미지 묘사의 단가는 역사적으로 센트 단위였다. 아마존 메커니컬 터크로 이미지당 다섯 개 묘사를 모으던 2010년의 선행 연구는 이미지 다섯 장에 0.10달러를 지급했다고 적고, 2016년의 다국어 이미지 묘사 데이터셋은 묘사 한 건당 0.05달러를 적는다. 같은 자릿수다. 다만 이 둘은 이 논문이 쓴 코퍼스의 단가가 아니라 같은 방식을 쓴 선행 연구의 단가다. 사람에게 맡기던 시절의 값은 공개돼 있고, 모델에게 맡기는 지금의 값은 공개돼 있지 않다.

7.1멀티뷰 데이터를 만들거나 사기 전에 물을 다섯 가지

이 논문을 읽고 나면 데이터 사양서에 칸이 다섯 개 더 생긴다. 표현학습을 하는 팀에만 해당하지도 않는다. 같은 대상을 여러 번 기록하는 데이터라면 어디서나 같은 자리가 빈다.

  • 무엇을 같은 것으로 묶었는가. 그 규칙이 데이터와 함께 나가는가, 아니면 만든 쪽만 아는가.
  • 묶인 둘은 어떻게 다른가. 다른 각도인가, 다른 사람이 쓴 것인가, 같은 생성기가 뱉은 두 샘플인가. 마지막 경우가 이 논문의 1.04배 자리다.
  • 그 짝을 누가 만들었는가. 사람이라면 몇 명이고, 모델이라면 그 모델은 무엇을 보고 학습했는가. 이 논문에서는 캡셔너가 그 짝을 지었고, 그 캡셔너는 이미지를 본 모델이었다.
  • 짝 정보가 평가셋으로 새지 않았는가. 이 논문도 평가 캡션 1,024개 중 43개가 학습 코퍼스 안에 있다는 것을 세어 보고했다.
  • 흔들어 봤는가. 시드를 바꾸면, 짝을 절반만 주면, 캡셔너를 빼면 숫자가 얼마나 움직이는가. 이 논문의 가장 쓸모 있는 부분이 바로 그 세 가지를 자기가 해 본 기록이다.

7.2짝이 아예 없을 때는 어떻게 되나

짝이 없는 경우를 다루는 길도 열려 있다. 이 논문이 성적을 올린 비교 과제 가운데 하나가 짝 없는 정렬이고, 거기서 쓰는 방법은 두 공간의 기하만 보고 사상 하나를 추정하는 것이다. 같은 발상이 보안 쪽에서는 다른 얼굴로 나타난다. 벡터 데이터베이스에 저장된 임베딩만 가지고 원래 텍스트 쪽 공간으로 옮겨 가는 연구가 그것인데, 하우스 선행 보고서 벡터 DB에 남은 임베딩만으로 이메일 내용이 드러났다가 그 계보와 방어를 따로 정리해 두었다. 짝짓기 규칙이 데이터에 적혀 있지 않아도 공간의 모양이 그것을 상당 부분 품고 있다는 것이, 이 논문과 그 보고서가 각자의 방향에서 같이 보이는 사실이다.

7.3이 글이 가능했던 이유

4절과 5절에서 읽은 숫자는 전부 논문이 자기 머리기사 옆에 같이 실어 둔 것이다. 72B 모델 아래로 떨어진 시드, 그 가중치를 벤치마크에서 골랐다는 자기 보고, 캡셔너를 빼고 다시 돌린 실험, 오염 건수, 그리고 어떤 실험도 정리의 가정을 정확히 만족하지 않는다는 한 문장. 하나하나가 읽는 쪽에 쥐여 준 손잡이다. 바깥의 다른 독자가 배수를 다시 나눠 같은 값을 얻을 수 있었던 것도, 우리가 부록을 열어 반례를 셀 수 있었던 것도 그 때문이다.

그러니 데이터를 만드는 쪽이 가져갈 것은 경고가 아니라 습관 하나다. 검증 가능성은 숫자의 성질이 아니라, 흔드는 조건을 숫자와 함께 내보내는 습관의 성질이다. 정렬 점수 하나를 적을 때 시드 몇 개를 돌렸는지, 어느 구성에서 그 값이 무너지는지, 평가셋에 몇 건이 샜는지를 같은 페이지에 적어 두면, 그 수는 열흘 뒤에 다른 사람 손에서도 버틴다.

페블러스 관심의 이유

데이터 사양서에 없던 항목이 하나 올라왔다

페블러스가 하는 일은 데이터가 AI에 쓸 만한 상태인지 판정하고 그 판정을 뒤에 읽을 수 있는 기록으로 남기는 일이다. 그 판정에서 지금까지 비중이 컸던 것은 무엇을 모았는가 쪽이었다. 범위가 넓은가, 분포가 치우치지 않았는가, 라벨이 정확한가. 이 논문은 거기에 항목을 하나 더 올려놓는다. 무엇과 무엇을 같은 것으로 묶었는가. 그리고 그 항목에 정리를 붙였다. 사양서의 빈칸이 측정 가능한 칸이 됐다는 뜻이다.

멀티뷰 수집은 페블러스가 이미 다루는 데이터 모양이다. 자율주행 차량의 여러 카메라가 한 순간을 각자 찍고, 로봇의 여러 센서가 한 동작을 각자 기록하고, 한 사건이 여러 보고서에 각자 적힌다. 지금까지 그 모양의 값어치는 경험으로 설명됐다. 많이 보면 좋다, 각도가 다르면 좋다. 이 논문은 왜 좋은지를 조건까지 붙여 적는다. 장면만 공유하고 군더더기는 각자 다를 때, 그리고 그 다름이 서로 다른 결일 때다.

데이터 품질 쪽으로 옮기면 교훈이 셋이다

세 가지 모두 합성데이터 검수에서 매번 나오는 자리다. 데이터 진단을 하다 보면 같은 모양의 문제가 도메인을 가리지 않고 되풀이된다.

  • 짝짓기는 라벨이 아니라 사양이다. "이 둘은 같은 장면"이라는 정보는 어느 칸에도 적히지 않는데 모델이 배우는 것을 그것이 정한다. 데이터와 함께 나가는지, 폴더 구조에만 있는지를 진단에서 물어야 하는 이유다.
  • 다양성은 개수가 아니라 결이다. 기계가 같은 틀로 쓴 둘을 묶으면 개수는 늘어도 얻는 것이 거의 없다. 이 논문의 1.04배가 그 장면이다. 샘플 수를 세는 지표만으로는 이 상태를 잡아내지 못한다.
  • 합성으로 만든 짝에는 만든 모델의 지문이 남는다. 940M 코퍼스의 재캡션에는 CLIP ViT-L/14가 본 것이 들어 있고, 그래서 텍스트만 본 모델이라는 설명에 단서가 붙는다. 합성 데이터를 받을 때 생성 모델의 계보를 같이 받아야 하는 이유가 여기에 있다.

고객과 파트너에게는 진단 항목이 늘어난다

7.1절의 다섯 가지는 데이터를 만드는 쪽이면 누구나 물을 수 있는 것이다. 페블러스 쪽에서 보면 그것이 진단 항목의 목록이 된다. DataClinic이 지금 보고 있는 것은 주로 한 칸 안의 품질, 즉 결측과 이상치와 라벨 불일치이고, 짝짓기 규칙은 칸과 칸 사이에 있다. 칸 사이를 보는 항목은 만들기도 어렵고 자동화하기도 어렵지만, 이 논문이 그 어려운 항목이 결과를 얼마나 움직이는지를 수치로 보여 줬다. 0.107과 0.060의 거리가 그 답이다.

앞선 글들과는 축이 다르다

페블러스는 르쿤의 월드 모델 노선을 두 번 다룬 적이 있다. 하나는 JEPA 구조 자체를 풀어 쓴 글이고, 다른 하나는 쓰임새를 모르고 만든 데이터로 좋은 AI가 나올까?이다. 뒤의 글은 월드 모델에 쓸 데이터를 어디서 구할지가 공개되지 않는다는 쪽을 봤고, 이 글은 그 데이터를 어떻게 묶을 때 값이 나는지를 본다. 같은 노선을 다른 칸에서 보는 셈이다. 덧붙이자면 이 논문의 저자 소속에는 르쿤이 세운 AMI Labs가 브라운대·뉴욕대와 함께 적혀 있다. 논문에 공개된 사실이고, 이 글은 그 이상을 읽지 않는다.

하우스 선행 글들이 주로 내건 숫자와 원자료의 거리를 따졌다면 이 글은 지렛대가 옮겨 간 자리와 그 자리의 값을 봤다. 그리고 앞의 글들과 달리 닫는 방향이 긍정형이다. 이 논문은 자기를 흔드는 조건을 숫자와 같은 페이지에 실었고, 그래서 열흘 뒤 바깥에서 그 숫자를 다시 셀 수 있었다. 데이터를 내보내는 쪽이 가져갈 것이 그 습관이다. 페블러스가 진단 리포트에 판정만이 아니라 판정이 흔들리는 조건까지 적어 두려는 것도 같은 이유다.

1절부터 7절까지의 수치와 큰따옴표 인용은 arXiv:2610.39302 v1 전문의 본문·표·부록·한계 절에서 직접 대조했고, 정렬 지표 교정 문헌 두 편과 InfoMin 논문은 각 초록 원문으로, 재캡션 코퍼스의 비전 인코더는 그 원 논문으로 확인했다. 큰따옴표 안은 모두 영문 원문이고 그 아래 한국어는 옮긴 뜻이다. 6절의 census는 2026년 10월 29일부터 11월 8일까지의 표본 열한 건이고 전수가 아니며, 국내 매체를 더 훑지 못했다. 이 8절은 앞 절들과 달리 페블러스가 붙인 해석이니 나눠서 읽어 주시기 바란다. 이 글의 수치는 2026년 11월 8일 기준이고, 같은 날 arXiv 판본이 v1 하나뿐임을 다시 확인했다. 페블러스는 논문 저자, AMI Labs, 본문에 거명된 기관·매체와 이해관계가 없다. 긴 글 읽어 주셔서 감사하다.

R

참고문헌

1차 — 이 글이 읽은 논문

  • 1.Randall Balestriero, Yann LeCun. "Proving and Improving the Platonic Representation Hypothesis with JEPAs." arXiv: 2610.39302 — v1 2026년 10월 29일, CC BY 4.0. 본문의 Table 3·4·7과 부록 C, 한계 절 인용은 이 전문에서 확인했다. 2026년 11월 8일 기준 판본은 v1 하나다.
  • 2.Minyoung Huh, Brian Cheung, Tongzhou Wang, Phillip Isola. "The Platonic Representation Hypothesis." arXiv: 2405.07987 — v1 2024년 5월 13일, v5 2024년 7월 25일. 1번 논문이 증명 대상으로 삼은 원 가설이다. 이 글은 서지와 초록까지만 확인했고 본문의 한계 논의는 인용하지 않았다.

정렬 지표를 다시 잰 연구

  • 3.Simon Gröger, Jiahui Wen, Maria Brbić. "Revisiting the Platonic Representation Hypothesis: An Aristotelian View." arXiv: 2602.14486 — v1 2026년 2월 16일, v2 2026년 6월 25일. 순열 기반 영가설 교정의 출처이며, 4.4절에 쓴 전역 지표와 이웃 지표의 갈림이 여기서 나온다.
  • 4.You, Jang, Mo, Jung. "What Converges in the Platonic Representation Hypothesis? Structure over Geometry." arXiv: 2609.27252 — 2026년 9월 23일. 교정 뒤 관계 구조는 남고 거리 일치는 약해진다는 후속 분리다.

좋은 뷰 질문의 계보

  • 5.Yonglong Tian, Chen Sun, Ben Poole, Dilip Krishnan, Cordelia Schmid, Phillip Isola. "What Makes for Good Views for Contrastive Learning?" arXiv: 2005.10243 — v1 2020년 5월 20일, NeurIPS 2020. InfoMin 원칙의 출처다. 대조학습 틀에서 나온 연구이며 1번 논문의 비대조 틀과 같은 이론은 아니다.
  • 6.Dominik Schnaus, Nicolas Dagès, Daniel Cremers, Tongzhou Wang, Phillip Isola. "Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data." arXiv: 2610.09411 — v1 2026년 10월 7일. 1번 논문이 성적을 올린 짝 없는 정렬 벤치마크이며, 1번 논문보다 22일 먼저 공개됐다.
  • 7.Dominik Schnaus, Nikita Araslanov, Daniel Cremers. "It's a (Blind) Match! Towards Vision-Language Correspondence without Parallel Data." arXiv: 2503.24129 — CVPR 2025. 6번의 선행이다.

데이터셋과 비교 모델

  • 8.Xianhang Li 외. "What If We Recaption Billions of Web Images with LLaMA-3?" (Recap-DataComp) arXiv: 2406.08478 — ICML 2025, CC BY 4.0. 캡셔너의 비전 인코더가 CLIP ViT-L/14라는 사실을 이 논문 본문에서 확인했다. 재캡션 생성 비용은 적혀 있지 않다.
  • 9.Maxime Oquab 외. "DINOv2: Learning Robust Visual Features without Supervision." arXiv: 2304.07193 — TMLR 2024. 정렬 비교의 이미지 쪽 기준점이다.
  • 10.Alec Radford 외. "Learning Transferable Visual Models From Natural Language Supervision" (CLIP). arXiv: 2103.00020 — ICML 2021. · Qwen Team, "Qwen2.5 Technical Report", arXiv: 2412.15115.
  • 11.Peter Young 외. "From image descriptions to visual denotations" (Flickr30k), TACL 2014. · Xinlei Chen 외. "Microsoft COCO Captions", arXiv: 1504.00325. 두 논문 모두 작업 단가를 적지 않는다.
  • 12.Cyrus Rashtchian, Peter Young, Micah Hodosh, Julia Hockenmaier. "Collecting Image Annotations Using Amazon's Mechanical Turk", NAACL-HLT 2010 Workshop (ACL Anthology W10-0721) — 이미지 다섯 장당 0.10달러 지급의 1차 출처다. · Desmond Elliott 외. "Multi30K: Multilingual English-German Image Descriptions", arXiv: 1605.00459 — 묘사 한 건당 0.05달러. 7절의 단가는 이 둘이며 11번 데이터셋의 단가가 아니다.
  • 13.Holger Caesar 외. "nuScenes: A multimodal dataset for autonomous driving", arXiv: 1903.11027 — 카메라 6대 구성. · Pei Sun 외. "Scalability in Perception for Autonomous Driving: Waymo Open Dataset", arXiv: 1912.04838 — 카메라 5대와 라이다 5대. 두 논문 모두 수집 비용을 공개하지 않는다.

코드와 해설 · 보도 표본

  • 14.github.com/galilai-group/prh-proof (MIT) 및 Hugging Face Space galilai-group/prh_demo — 1번 논문의 공개 구현이다.
  • 15.임대준. "르쿤, 다른 AI가 같은 세상 이해하는 조건 증명…학습 샘플 42배 절감", AI타임스, 2026년 11월 3일 — 6절 census 표본에서 캡셔너 문제를 본문에 적은 두 곳 중 하나다.
  • 16.InfoQ 中文, "66岁 Yann LeCun 发新论文挑战 Scaling Law", 2026년 11월 2일 (영문 전재: todayforai) — 수학 추론·코드 생성의 승부가 아니라는 한정을 명시한 곳이다.
  • 17.mindstudio.ai (2026년 11월 5일) · aiweekly.co 알림(2026년 10월 30일)과 편집자 글 · dev.to의 Daniel Sam Pete Thiyagu "109 Million Beats 72 Billion"(2026년 11월 4일, 동반 노트북) · invisibleinsights.substack.com(2026년 11월 2일) · carlwardconsultant.substack.com "Plato's Cave Needs a Card Catalogue"(2026년 11월 8일) · X @randall_balestr의 2026년 11월 1일 무렵 게시물 — 6절 census 표본의 나머지다.

페블러스 선행 글