Executive Summary

주요 수치

출처: LAION-BVD 논문(arXiv 2608.24845) 본문 및 Table 1

LAION-BVD의 출발점은 영상이 아니라 주소다. 연구진은 2024년 3월까지 쌓인 CommonCrawl 덤프 전체에서 영상 링크 47억 개를 추려낸 뒤, 유튜브·비메오·데일리모션 세 플랫폼으로 범위를 좁혀 13억 개의 주소를 남겼다. 세 곳만 고른 이유를 논문은 접근 안정성과 함께 이렇게 적는다. 이 플랫폼들이 유해·불법 콘텐츠를 자체 모더레이션하기 때문이라는 것이다.

그다음이 실제 수집이다. 2,000대의 가상서버를 Celery 클러스터로 묶고 yt-dlp로 내려받았다. 차단을 피하기 위해 가정용 IP를 빌려 쓰는 레지덴셜 프록시망도 동원했다. 이렇게 1억 3천만 편을 시도해 약 60%가 성공했고, 결과가 8천만 편, 총 1천만 시간이다.

수집된 영상의 성격은 우리가 흔히 떠올리는 학습용 코퍼스와 다르다. 94%가 유튜브에서 왔고, 카테고리로는 인물·블로그(20%)와 음악(17%)이 가장 많다. 언어는 영어가 57%지만 러시아어 9%, 스페인어 8%로 절반 가까이가 비영어권이며 한국어도 2%를 차지한다. 평균 길이는 7.7분, 중앙값은 3.7분이고, 업로드 시점은 2006년부터 2024년까지 20년 가까이 흩어져 있다. 요컨대 잘 다듬어진 실험용 클립이 아니라 웹에 올라와 있던 영상 그 자체다.

이 지점에서 이미 첫 번째 기록의 공백이 생긴다. 수집 단계에서 별도의 안전 필터를 적용하지 않았다고 논문은 명시한다. 유해 콘텐츠 걸러내기를 플랫폼의 모더레이션에 통째로 위임한 설계다. LAION이 2023년 12월 LAION-5B에서 아동 성착취물 의심 링크가 발견돼 데이터셋을 회수하고 8개월 뒤 정제판(Re-LAION-5B)으로 재공개한 전력을 떠올리면, 이번에는 필터를 더 촘촘히 하는 대신 필터의 자리를 플랫폼 쪽으로 옮겨 둔 셈이다.

내려받은 영상은 그대로 학습에 쓰이지 않는다. PySceneDetect로 장면이 바뀌는 지점을 찾아 클립으로 자르고, 저해상도 프레임에서 움직임을 추정해 사실상 정지된 클립은 버린다. 이렇게 무작위로 고른 240만 편에서 5,500만 개의 클립을 뽑아 냈다. 그리고 각 클립에 설명문을 붙이는데, 그 작업을 한 것이 사람이 아니라 세 개의 모델이다.

모달리티마다 담당 모델과 지시문이 다르다. 아래가 논문 3.2절이 밝힌 캡션 파이프라인의 전부다.

영상 캡셔너로 쓴 Qwen3-VL-2B는 20억 파라미터급의 작은 모델이다. 더 큰 모델을 쓰지 않은 이유를 논문은 확장성이라고 말한다. 5,500만 개의 클립을 다 훑어야 하니 모델이 가벼워야 한다는 뜻이다. 캡션이 20단어를 넘지 않는 것도 같은 이유이며, 오디오 캡션의 10단어 한도는 AudioCaps와 Clotho 같은 기존 오디오 데이터셋의 평균 길이(각각 8단어, 11단어)를 따른 것이다.

캡셔너를 고른 기준도 사람의 판독이 아니었다. 프레임 캡션 모델을 정할 때 연구진은 OpenVLM 리더보드 상위권에서 출발해, 연산과 메모리 제약에 맞춰 40억 파라미터 미만으로 후보를 일곱 개로 추렸다. 그러고는 DataComp-1B 이미지 10만 장에 캡션을 붙여 보게 하고, 그 캡션이 이미지와 얼마나 맞는지를 CLIPScore로 점수 냈다. 0.62로 가장 높은 점수를 받고 처리 속도도 두 번째로 빨랐던 DeepSeek-VL2-tiny가 뽑혔다. 설명문을 쓸 모델을 고르는 잣대 역시 또 다른 모델의 점수였던 셈이다.

2.1새삼스러운 일은 아니다

설명문을 모델이 쓰는 것은 LAION-BVD가 처음 한 일이 아니다. 논문 Table 1이 비교한 공개 영상-텍스트 데이터셋 19개 중 캡션 출처가 사람(Manual)인 것은 MSR-VTT와 DideMo 둘뿐이다. 나머지는 이미 모델 생성이거나 음성인식 자막, 대체 텍스트다. 사람이 쓴 라벨은 2023년 InternVid 무렵부터 이미 예외가 됐다.

달라진 것은 규모다. 종전 최대였던 InternVid가 영상 710만 편, 76만 시간이었고 LAION-BVD는 8천만 편, 1천만 시간이다. 열 배 넘게 넓어진 면적 위에서 같은 관행이 돌아간다. 사람이 한 번도 읽어 보지 않은 설명문이 붙은 영상이 지금까지의 공개 코퍼스 전체를 합친 것보다 많아졌다는 뜻이다.

그렇다면 그 설명문이 영상과 맞는지는 누가 확인했을까. LAION-BVD는 캡션을 직접 들여다보는 대신, 그 캡션으로 모델을 학습시켜 성적을 재는 길을 택했다. 영상-텍스트는 ViCLIP, 오디오-텍스트는 CLAP, 프레임 기반 이미지-텍스트는 CLIP으로 각각 학습해 표준 벤치마크에 올렸다.

결과는 나쁘지 않다. 같은 1천만 샘플 조건에서 InternVid-10M-FLT로 학습한 ViCLIP의 종합 평균이 58.0인 반면, BVD-V-10M으로 학습한 쪽은 61.3을 기록했다. K400·UCF-101·HMDB51 제로샷 분류와 MSR-VTT·MSVD 검색을 묶은 평균이다. 다만 이 비교에는 조건이 붙는다. InternVid 쪽이 원래 성적을 낼 때 썼던 체크포인트 병합(WiSE-FT)을 양쪽 모두에 적용하면 60.2 대 62.3이 되어 격차가 2.1점으로 좁아진다.

프레임 쪽에서는 성적이 아니라 분포를 쟀다. LAION-BVD 프레임과 Re-LAION 이미지의 분포 거리(FID)가 33.92로 측정됐다. Re-LAION 안에서 뽑은 두 표본 사이의 거리가 0.16이었으니, 영상에서 뜯어낸 프레임은 기존 웹 이미지와 통계적으로 다른 그림이라는 근거가 된다.

오디오 쪽 결과는 조금 더 조심스럽게 읽어야 한다. 합성 오디오 캡션만으로 학습한 BVD-A-10M은 네 가지 모델 크기 모두에서 기존 LAION-Audio와 비슷하거나 그보다 나은 점수를 냈다. 그런데 오디오 과제용으로 따로 큐레이션된 AudioSet을 섞은 조합은 같은 조건에서 55.5~56.6점을 기록했고, 합성 캡션만 쓴 쪽은 42.9~46.8점에 머물렀다. 열 점 안팎의 격차가 모델을 키워도 좁혀지지 않았다. 규모로 큐레이션을 따라잡았다기보다, 큐레이션된 데이터가 없는 자리를 규모로 메운 결과에 가깝다.

문제는 이 검증이 답한 질문이 무엇이냐다. 벤치마크 성적이 올라갔다는 것은 이 데이터로 학습하면 모델이 더 잘한다는 뜻이지, 캡션이 영상을 정확히 설명한다는 뜻이 아니다. 두 명제는 겹치는 구간이 넓지만 같지 않다. 계통적으로 편향된 라벨도 그 편향이 평가 벤치마크와 방향이 같으면 점수를 올린다. 논문은 이 간극을 숨기지 않는다.

연구용으로는 정직한 서술이다. 다만 이 문장을 조직의 데이터 품질 기준으로 옮겨 놓으면 성격이 달라진다. 사람 라벨 데이터셋에는 라벨러 합의율, 재검수 비율, 오류 유형별 분포 같은 잣대가 있다. 합성 라벨에는 그에 대응하는 지표가 아직 표준화돼 있지 않고, 그 자리를 하류 성능이 대신 채우고 있다. 하류 성능은 결과 지표라서, 라벨이 어디서 어떻게 틀렸는지는 알려 주지 않는다.

다만 논문 부록에는 그 간극을 정면으로 겨눈 실험이 하나 있다. 이미지는 그대로 두고 캡션만 바꿔 본 것이다. DataComp-1B를 원래의 alt-text로 학습시킨 CLIP과, 같은 이미지를 이 파이프라인의 캡션 모델에게 다시 설명하게 한 뒤 학습시킨 CLIP을 비교했다. 1억 2,800만 샘플 기준으로 ImageNet-1k 제로샷 정확도는 0.40에서 0.23으로 떨어졌고, COCO 검색 재현율은 0.33에서 0.42로 올랐다. 사진도 학습 방법도 같고 설명문의 저자만 달라졌을 때 생긴 차이다.

그 차이가 어디서 오는지도 논문이 세어 봤다. 합성 캡션이 붙은 3억 장 표본과 DataComp의 alt-text 3억 장 표본에서 ImageNet-1k 클래스 이름이 등장한 횟수는 각각 약 2,100만 회와 1억 4,100만 회였다. 캡션 모델은 장면을 매끄럽게 서술하는 대신 사물의 이름을 부르는 일이 드물고, 사람이 웹에 적어 둔 alt-text는 짧고 거친 대신 이름을 훨씬 자주 부른다. 라벨을 누가 썼는지가 데이터셋의 성격을 바꾼다는 말은 이 정도로 구체적이다. 합성 라벨은 흔적을 남기고, 그 흔적은 셀 수 있다.

"공개 데이터셋"이라는 말은 이 경우 두 겹이다. HuggingFace에 올라간 것은 영상 URL과 캡션 일부다. 원본 영상 자체는 다르다. 신원이 확인된 연구자가 이용약관에 동의하고 폐쇄형 연구데이터 공간을 통해서만 받을 수 있다.

그 이용약관 원문을 읽으면 근거 법령이 첫 문단에 나온다. 독일 저작권법(UrhG) 제60d조 제4항이다. EU 디지털 단일시장 저작권지침 제3조가 정한 학술연구용 텍스트·데이터마이닝 예외를 독일이 국내법으로 옮긴 조항으로, 특정 공동연구 프로젝트에 참여하는 한정된 연구자 집단에게 폐쇄 환경에서 자료를 제공하는 경우를 다룬다. 여기서 말하는 학술연구는 약관 정의 조항이 못박듯 비영리 연구다.

그래서 약관에는 상업적 활용을 봉쇄하는 문장들이 이어진다. 몇 가지만 옮기면 다음과 같다.

• 직접적이든 간접적이든 상업적 이용은 금지되며, 여기에는 상업적 목적의 AI 모델 학습·검증·파인튜닝이 명시적으로 포함된다(제5조).
• 재배포와 제3자 접근 허용, 영상 속 인물의 재식별과 프로파일링, 금지된 생체인식·감시 시스템 훈련은 모두 금지된다(제6조).
• 연구가 끝나면 데이터 사본을 삭제하고, 요구가 있으면 삭제 사실을 서면이나 텍스트 형식으로 확인해야 한다(제11조).

마지막 조항에는 실무자가 눈여겨볼 예외가 붙어 있다. 적법하게 만들어진 파생 결과물과 모델, 특히 학습된 모델과 가중치, 임베딩은 그 삭제·목적·기간 제한의 대상이 아니다. 원자재는 회수해도, 그것으로 빚은 모델은 남는다. 데이터 계보를 추적해야 하는 쪽에서 보면, 삭제 의무가 끝나는 지점이 곧 추적 가능성이 끊기는 지점이 된다.

출처 문제에서 더 중요한 문장은 약관 앞쪽에 있다. 접근을 허락받았다고 해서 영상에 걸린 저작권이 함께 넘어오지는 않으며, 제공자인 LAION도 그 권리를 갖고 있지 않다고 제4조와 제9조가 밝힌다. 데이터를 실제로 내려받아 복제하는 행위는 이용자 본인의 법적 근거를 따로 요구하고, 그 근거가 성립하는지 확인할 책임 역시 이용자에게 있다. 제12조는 한 걸음 더 나아가 데이터의 정확성과 완전성은 물론 권리에 하자가 없다는 점도 보증하지 않는다고 못박는다. 규모를 만든 것은 LAION이지만, 이 영상들을 학습에 써도 되는지에 대한 답까지 만들어 주지는 않았다는 뜻이다.

웹에서 긁어모은 영상의 출처 정당성을 어떻게 문서화하느냐는 질문에는 함정이 하나 있다. 이 질문을 받아 주는 법이 둘이라는 점이다. LAION-BVD가 지금 서 있는 자리는 저작권법 쪽 문이다. 수집과 제공의 적법성을 학술 TDM 예외로 설명한다. 반면 EU AI법 제53조 제1항 (d)호가 요구하는 학습데이터 요약 공개는 다른 문이다. 이쪽은 누가 데이터를 모았느냐를 묻지 않는다. 완성된 범용 AI 모델을 EU 시장에 내놓는 사업자에게, 그 모델을 무엇으로 학습시켰는지를 표준 서식으로 밝히라고 요구한다.

두 문을 나란히 놓으면 차이가 분명해진다.

두 트랙이 만나는 곳은 따로 있다. 누군가 이런 크롤 기반 영상 코퍼스를 상업용 모델 학습에 쓰는 순간이다. 집행위가 2025년 7월 24일 확정한 학습데이터 요약 템플릿은 출처를 몇 가지 범주로 나눠 적게 한다. 공개 데이터셋, 라이선스·비공개 데이터셋, 크롤링·스크레이핑으로 모은 데이터, 이용자 데이터, 합성 데이터, 기타다. 이 구분을 LAION-BVD 같은 자료에 대 보면 답이 하나로 떨어지지 않는다. 원본 영상은 크롤로 모은 데이터이고, 그 위에 덧씌운 캡션은 합성 데이터다. 같은 코퍼스가 서식의 두 칸에 나뉘어 들어간다.

이 요약 의무는 신규 모델에 대해 2025년 8월 2일부터 적용됐고, 기존 모델은 2027년 8월 2일까지 유예된다. 6개월마다 또는 실질적 변경이 있을 때 갱신해야 하며, 위반 상한은 전 세계 매출 3%와 1,500만 유로 중 큰 쪽이다. 실제로 제출된 요약들이 어떤 상태인지는 8월 초에 쓴 글에서 비교한 바 있다. 요점은 칸이 있다는 것이 아니라, 칸에 채울 기록이 파이프라인을 돌리는 동안 남아 있었느냐다.

학술 논문

• 1.Hochlehnert, A. et al. (2026). "LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training." arXiv:2608.24845.

공식 문서

• 2.LAION. (2026). "LAION Big Video Dataset (BVD) — Project Page."
• 3.LAION gemeinnütziger e.V. (2026). "Terms of Use for Access to Research Data (BVD)."
• 4.European Parliament and Council of the European Union. (2024). "Regulation (EU) 2024/1689 (Artificial Intelligence Act)," Article 53(1)(d).
• 5.European Parliament and Council of the European Union. (2019). "Directive (EU) 2019/790 on Copyright in the Digital Single Market," Article 3.
• 6.Bundesrepublik Deutschland. (2021). "Urheberrechtsgesetz (UrhG), § 60d."

업계·보도

• 7.WilmerHale. (2025). "European Commission Releases Mandatory Template for Public Disclosure of AI Training Data."
• 8.LAION. (2024). "Releasing Re-LAION-5B: Transparent Iteration on LAION-5B with Additional Safety Fixes."
• 9.Cole, S. (2023). "Largest Dataset Powering AI Images Removed After Discovery of Child Sexual Abuse Material." 404 Media.