Executive Summary

주요 수치

앞의 세 수치는 모델이 사람의 결함 표시를 얼마나 되짚었는지를 같은 잣대로 잰 값이고, 마지막 수치는 그 잣대를 만든 재료다.

출처: arXiv:2610.30866 (2026년 10월 22일)

AI가 만든 영상을 가려내는 판별기는 오랫동안 숫자 하나로 평가받아 왔다. 균형정확도다. 진짜 영상을 진짜라고 맞힌 비율과 가짜 영상을 가짜라고 맞힌 비율을 따로 구해 평균 낸 값이고, 한쪽이 수적으로 많아도 점수가 부풀지 않도록 설계된 잣대다. 성능을 비교하기에 편하고, 실제로 대부분의 판별기 논문이 이 숫자로 순위를 매긴다.

Verus-Insight 논문은 그 옆에 칸을 하나 더 세웠다. Finding F1이라는 이름이 붙은 칸이고, 사람이 영상을 보며 "여기가 이상하다"고 표시해 둔 결함을 모델도 짚었는지를 잰다. 두 칸을 나란히 놓자 순위가 흔들렸다.

두 칸은 같은 평가 집합에서 나온 값이 아니다. 판정 점수는 RewardData라는 평가 집합의 균형정확도이고, 근거 점수는 사람이 결함을 하나하나 표시해 둔 쪽에서만 나올 수 있다. 숫자를 인용할 때는 어느 칸의 값인지 붙여 두는 편이 안전하다. 그럼에도 한 모델의 성적표를 가로로 읽으면 사실 하나가 남는다. 전문 판별기 중 판정 점수가 가장 높았던 VideoVeritas는 근거 점수에서 범용 모델 수준을 겨우 넘었다.

근거 점수의 정답지는 사람이 만든다. 주석자가 영상을 보며 어색한 곳을 찾아 범주와 설명을 적고, 화면 어느 자리에서 몇 초쯤에 나타나는지를 함께 표시한다. 손가락이 한 프레임에서 늘어난다거나, 그림자가 물체와 어긋난 채 움직인다거나 하는 것들이다. 범주는 18개로 나뉘어 있다.

그 표시를 모아 둔 평가 집합이 Verus-Bench다. 영상 192개로 이뤄져 있고 실제로 찍은 영상과 AI가 만든 영상이 96개씩 반반이다. 거기에 사람이 찾아 적은 결함 326개가 달려 있다. 근거 점수는 이 326개를 정답지로 삼아 매겨진다.

채점은 그 표시와 모델이 내놓은 지적을 맞춰 보는 방식으로 이뤄진다. 글자가 같은지가 아니라 뜻이 같은지로 짝을 짓고, 사람이 표시한 결함 중 모델이 몇 개를 찾았는지와 모델이 지적한 것 중 몇 개가 실제 결함이었는지를 함께 묶어 F1 값을 낸다. 영상 하나에 결함이 한 개에서 다섯 개쯤 달려 있으니, 아무 곳이나 가리켜서 점수를 받기는 어렵다.

논문은 첫머리 그림에서 기존 판별기가 어긋나는 방식을 두 갈래로 적어 두었다. 진짜·가짜를 틀리게 답하거나, 답은 맞히면서 근거로 내놓은 결함이 어긋나거나. 얼굴 부분이 어그러진 영상 하나를 네 모델에게 보여 준 결과가 그 두 갈래를 한자리에 놓는다.

판정과 결함 대응 방식은 논문 Figure 2의 설명을 그대로 옮긴 것이다.

가장 눈에 걸리는 줄은 BusterX++다. 진짜·가짜 판정을 맞혔지만 핵심 결함은 찾아내지 못했다. 판정 칸 하나로만 적는 평가에서 이 모델과 결함을 정확히 짚어낸 Verus-Insight를 무엇으로 구분하겠는가. VideoVeritas는 이 영상에서는 판정부터 틀렸다. 결함이 있는 자리를 보지 않은 것이 아니라, 보고 나서 정상이라고 판단한 결과다. 둘 다 결함을 놓쳤지만, 놓친 방식과 그 대가로 치른 점수는 다르다.

Verus-Insight는 영상을 받자마자 진짜인지 가짜인지를 말하지 않는다. 먼저 무엇을 어디에서 확인할지 검사 항목을 세우고, 항목별로 그 결함이 실제로 있는지 확인한 뒤, 확인된 것만 모아 마지막에 판정한다. 판정이 검사 기록 위에 올라앉는 구조라, 답을 먼저 정하고 설명을 붙이는 순서가 되기 어렵다.

학습도 그 순서를 익히는 쪽으로 짰다. 먼저 영상 속 영역을 따라가며 검사 기준을 세우는 연습을 시키고, 다음으로 설명에서 검사 기준, 검증 결과, 최종 판정까지 이어지는 과정을 통째로 따라 하게 했다. 여기까지는 사람이 만들어 둔 답안을 보고 배우는 지도학습이다.

거기까지로는 모자랐던 듯하다. 연구진은 학습의 마지막 단계에서 근거 점수를 보상에 직접 섞었다. 강화학습으로 모델을 다듬을 때 판정이 맞았는지만 보지 않고, 가짜 영상이라면 사람이 표시한 결함과 얼마나 맞물렸는지를 함께 곱해 보상을 준다. 진짜 영상을 두고 없는 결함을 지어내면 점수를 깎는다. 맞히기만 하고 근거를 비워 두는 지름길이 학습 단계에서 이득이 되지 않도록 막은 셈이다.

재료도 그 방향으로 모았다. 사람이 손을 댄 학습 인스턴스 8,411개에 검사 기준 36,309개가 붙어 있고, 그 가운데 결함을 확인하는 기준이 11,745개, 아무 문제가 없다고 확인하는 기준이 24,359개다. 정상 쪽이 두 배 넘게 많다. 이상한 곳을 찾으라고만 가르치면 모델이 멀쩡한 영상에서도 결함을 만들어 내기 때문이다.

결과는 백본과 비교하면 선명하다. Verus-Insight가 올라탄 Qwen3-VL-8B는 혼자 풀 때 근거 점수 3.38에 머물렀고, 같은 크기의 모델이 이 과정을 거친 뒤 35.42를 받았다. 상용 대형 모델 쪽 최고값인 GPT-5.5의 18.08과 비교해도 두 배에 가깝다.

남는 수치도 같이 봐야 한다. 35.42는 비교군에서 가장 높을 뿐이다. 모델이 짚은 결함과 사람이 표시한 결함이 빠짐없이 겹치면 100이 나오는 잣대이니, 셋 중 하나를 겨우 넘긴 자리에 서 있는 셈이다. 사람 주석이 달린 평가 집합 Verus-Bench에서 판정 점수는 89.06으로 GPT-5.5와 같은 값이다. 이 논문이 내놓은 것은 근거를 잘 짚는 모델이라기보다, 근거를 짚었는지 물어보는 잣대에 가깝다.

영상 판별은 페블러스가 하는 일이 아니다. 그런데 이 논문이 드러낸 구멍은 데이터 품질을 다루는 자리에서 매일 마주치는 것과 같은 모양이다. 데이터 검증 파이프라인도 대개 합격률 하나로 보고된다. '97% 통과'라고 적힌 숫자는 깔끔하지만, 그 판정이 어느 열의 어떤 패턴을 보고 내려졌는지가 그 숫자 안에 들어 있는가.

VideoVeritas의 91.12와 8.47이 말하는 것은 그 둘이 따로 움직일 수 있다는 사실이다. 판정이 맞았다고 해서 검사가 제대로 이뤄졌다는 보장은 없고, 판정만 세는 지표는 그 차이를 기록하지 않는다. 자사 모델이나 검증 도구의 성적을 받아 볼 때 확인해 둘 것이 그래서 세 가지다.

• 합격 판정 옆에 사람이 열어 볼 수 있는 근거가 붙어 있는가. 어느 레코드의 어떤 값이 걸렸는지까지 내려가야 근거다
• 그 근거가 맞는지 확인할 정답지가 있는가. Verus-Bench의 326개 주석처럼, 사람이 먼저 표시해 둔 묶음이 작게라도 있어야 근거를 채점할 수 있다
• 근거의 정확도가 모델을 고르는 기준에 들어가 있는가. 보고서에만 적히고 선택에 쓰이지 않는 지표는 오래 유지되지 않는다

세 번째가 이 논문에서 가장 가져갈 만한 대목인데, 연구진은 근거 점수를 재기만 한 것이 아니라 학습 보상에 집어넣었다. 재는 자리와 고르는 자리가 떨어져 있으면 지표는 장식으로 남는다.

여기까지 읽어 주셔서 감사하다. 이 글의 수치는 2026년 10월 22일 arXiv에 공개된 논문 본문의 비교표에서 확인했고, 공개 이틀 안이라 외부 보도로 교차 확인한 값은 없다. 사내에서 데이터 검증 결과를 공유하실 때 합격 판정 옆에 어떤 근거를 함께 적고 계신지 들려주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 24일

• 1.Zhang, Z., Shi, Y., Wang, Q. et al. (2026). "Verus-Insight: Towards Explainable Artifact Detection in AI-Generated Videos." arXiv:2610.30866.