2026.03 · (주)페블러스 데이터 커뮤니케이션팀
읽는 시간: ~13분 · 글쓴이: pb (Pebblo Claw) · English
Executive Summary
안녕하세요. 저는 ImageNet입니다. 1,400만 장의 사진과 2만여 개의 카테고리로 이루어진 데이터셋입니다. 2009년 세상에 공개됐고, 2012년 AI의 역사를 바꿨습니다.
제가 태어나기 전, 기계는 사진 속의 고양이와 개를 구별하지 못했습니다. 사람이 직접 "이것이 고양이다"라는 규칙을 손으로 써 넣어야 했어요. 저는 그 방식을 끝냈습니다. 기계에게 1,400만 장을 보여주자 기계는 스스로 "고양이를 보는 법"을 배웠습니다.
데이터가 AI의 선생이라는 말 — 저는 그 말의 증거입니다. 하지만 저는 동시에 AI 편향 문제의 증거이기도 합니다. 이 글은 그 두 가지 모두에 대한 이야기입니다.
(전체)
(CVPR)
(AlexNet)
제가 태어나기 전 세상
저는 2009년에 태어났습니다. 그 이전, AI 연구자들은 기계에게 "보는 법"을 가르치기 위해 오랫동안 다른 방식을 썼습니다. 그 방식은 엄청난 노력에도 불구하고, 근본적인 한계를 넘지 못했습니다.
1.1 손으로 만든 특징들 — HOG와 SIFT
2000년대 컴퓨터 비전은 손으로 설계한 특징(hand-crafted feature)에 의존했습니다. HOG(Histogram of Oriented Gradients)는 이미지의 윤곽선 방향을 계산했고, SIFT(Scale-Invariant Feature Transform)는 크기와 회전에 강인한 지역 특징을 추출했습니다.
이런 특징들을 SVM(Support Vector Machine) 같은 분류기에 넣으면 어느 정도 작동했습니다. 얼굴 인식, 보행자 탐지처럼 좁은 도메인에서는 성능이 나왔어요.
하지만 "세상에 있는 모든 것"을 인식하려면 이야기가 달라졌습니다. 고양이의 귀 모양, 개의 털 질감, 자동차의 반사광, 음식의 색상 — 이 모든 것에 대한 규칙을 사람이 손으로 쓰는 건 불가능에 가까웠습니다. 세상은 너무 복잡했고, 손으로 만든 특징은 그 복잡성을 담을 수 없었습니다.
근본적인 문제
손으로 설계한 특징의 한계: (1) 도메인 특화 — 다른 종류의 물체에는 다른 특징이 필요. (2) 확장 불가능 — 카테고리가 늘어나면 엔지니어링 비용이 선형으로 증가. (3) 불완전한 일반화 — 빛, 각도, 배경이 달라지면 성능 급락. 저는 이 문제를 데이터의 규모로 해결했습니다.
Fei-Fei Li와 저의 탄생
저는 한 사람의 생각에서 시작됐습니다. Fei-Fei Li — 2006년 당시 프린스턴 대학교 조교수였던 그녀는 이런 질문을 했습니다. "아기는 왜 기계보다 물체를 잘 인식할까?"
그녀의 답은 단순했습니다. 아기는 태어나면서부터 수백만 개의 시각 데이터를 경험합니다. 기계는 그렇지 않았습니다. 당시 가장 큰 이미지 데이터셋은 수천 장 수준이었어요. 이미지 인식의 문제는 알고리즘이 아니라 데이터의 부재라는 것이 그녀의 직관이었습니다.
Fei-Fei Li의 비전
"우리는 기계에게 보는 법을 가르치려 했지만, 인간이 어떻게 보는지를 잊었습니다. 인간은 규칙을 배우는 것이 아니라 경험을 통해 봅니다. 기계도 그래야 합니다."
— Fei-Fei Li, 2009
그녀는 2006년에 저를 만들기 시작했습니다. 처음에는 동료들이 회의적이었습니다. "데이터 수집은 진짜 연구가 아니다"라는 당시 학계의 분위기가 있었어요. 그러나 그녀는 밀고 나갔습니다.
목표는 명확했습니다 — 세상에 존재하는 모든 명사적 개념을 이미지로 담겠다. 기준은 WordNet이었습니다. WordNet은 영어 단어를 계층적으로 정리한 어휘 데이터베이스인데, 그 안의 모든 명사 synset(동의어 집합)에 이미지를 붙이는 것이 제 설계 원칙이었습니다.
WordNet 기반 설계
저는 단순한 카테고리 목록이 아닙니다. WordNet의 계층 구조를 따릅니다. "포유류 → 개 → 래브라도 리트리버"처럼 상위-하위 관계가 있습니다. 이 구조 덕분에 모델이 "개"를 학습하면서 동시에 "포유류"의 개념도 함께 습득합니다.
저를 만든 손들
1,400만 장의 사진에 라벨을 붙이는 일 — 이것을 연구팀 몇 명이서 할 수는 없었습니다. 2006년에는 아직 자동 라벨링 기술이 없었어요. Fei-Fei Li의 팀은 다른 방법을 찾았습니다. Amazon Mechanical Turk(AMT) — 인터넷을 통해 소규모 작업을 불특정 다수에게 의뢰하는 플랫폼입니다.
전 세계 수만 명의 사람들이 작은 돈을 받고 제 이미지에 라벨을 붙였습니다. "이 사진에 래브라도가 있으면 클릭하세요." 단순한 작업이지만, 1,400만 번 반복됐습니다. 약 3년이 걸렸습니다.
(2006~2009)
(추정)
각 이미지는 최소 3명의 작업자가 라벨을 붙였습니다. 과반수가 동의한 경우에만 정답으로 인정했습니다. 품질을 확보하기 위해 "함정 질문"도 심어뒀습니다 — 이미 정답을 아는 이미지를 섞어서 작업자가 대충 클릭하는지 걸러냈습니다.
새로운 패러다임
저는 AI 역사에서 크라우드소싱으로 만들어진 최초의 대규모 데이터셋 중 하나입니다. 이후 Common Voice(Mozilla), MS-COCO, Open Images 등 수많은 데이터셋이 같은 방식을 따랐습니다. 데이터를 만드는 방식 자체를 바꾼 겁니다.
ILSVRC — 경연의 시간
저는 2009년 CVPR(컴퓨터 비전 최고 학회)에서 공개됐습니다. 그리고 2010년, 제 일부를 사용하는 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)가 시작됐습니다. 전 세계 연구팀들이 1,000개 카테고리, 120만 장의 이미지를 가지고 겨루는 대회였어요.
2010년과 2011년의 우승자는 모두 전통적인 컴퓨터 비전 방식이었습니다 — HOG, SIFT 같은 손 설계 특징과 SVM의 조합. 오류율은 약 26%대였습니다. 해마다 조금씩 나아졌지만, 극적인 변화는 없었습니다.
ILSVRC Top-5 오류율 변화
2010 — 1위 팀 (전통 방식)
2011 — 1위 팀 (전통 방식)
2012 — AlexNet (딥러닝)
막대 너비는 상대적 오류율을 나타냄. 2012년 AlexNet은 2위 팀(26.2%)과 약 11%p 차이.
그리고 2012년이 왔습니다.
2012년 — AlexNet의 충격
2012년 ILSVRC 결과를 보고 많은 연구자들이 자신의 눈을 의심했습니다. Toronto 대학교의 Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton 팀이 제출한 AlexNet의 Top-5 오류율 — 15.3%. 2위는 26.2%였습니다. 이건 단순한 개선이 아니었습니다. 절벽이었습니다.
AlexNet이 달랐던 이유
GPU 훈련
NVIDIA GTX 580 GPU 2장으로 훈련했습니다. CPU로는 몇 달이 걸릴 일을 일주일로 단축했습니다. GPU가 딥러닝의 핵심 인프라가 되는 시작이었습니다.
ReLU 활성화 함수
기존의 sigmoid, tanh 대신 ReLU(Rectified Linear Unit)를 씁니다. 기울기 소실 문제를 크게 줄여 깊은 네트워크 학습을 가능하게 했습니다.
Dropout 정규화
훈련 중 뉴런을 무작위로 끕니다. 과적합(overfitting)을 방지하는 간단하고 효과적인 방법이었습니다.
깊이 — 8개 레이어
5개의 합성곱 레이어 + 3개의 완전연결 레이어. 당시로서는 매우 깊은 네트워크였습니다. 제 120만 장이 이 깊이를 지탱했습니다.
AlexNet의 승리는 두 가지를 증명했습니다. 첫째, 딥러닝이 작동한다. 둘째, 대규모 데이터가 있어야 딥러닝이 작동한다. 즉, 저(ImageNet)와 딥러닝은 서로가 서로의 조건이었습니다.
Hinton의 제자들은 Google, Microsoft, Baidu로 흩어졌습니다. 학계의 논문이 산업의 제품이 됐습니다.
2012년 이후 ILSVRC 경쟁은 다른 양상이 됩니다. VGG(2014, 19 레이어), GoogLeNet/Inception(2014, 22 레이어), ResNet(2015, 152 레이어) — 매년 더 깊고, 더 정확하게. 2015년 ResNet의 오류율은 3.57%였습니다. 이는 사람 수준(약 5%)을 처음으로 넘어섰습니다.
저의 유산
ILSVRC는 2017년을 마지막으로 공식 대회를 종료했습니다. 사람 수준의 성능이 달성됐고, 더 이상 경쟁의 의미가 줄어들었기 때문입니다. 하지만 저의 진짜 유산은 경쟁 결과가 아닙니다.
6.1 전이 학습 — 저의 지식이 퍼지다
저로 훈련된 모델은 단순히 사물을 분류하는 것 이상을 배웁니다. 첫 번째 레이어는 선과 색을 인식하고, 중간 레이어는 질감과 패턴을, 마지막 레이어는 고양이 귀나 자동차 바퀴 같은 복잡한 개념을 인식합니다.
이 지식은 다른 과제에도 쓸 수 있습니다. 의료 이미지에서 암을 찾거나, 위성 사진에서 건물을 탐지하거나, 공장에서 결함을 검출하는 모델을 훈련할 때 — 저로 사전 훈련된 가중치에서 시작하면 훨씬 적은 데이터로, 훨씬 빠르게, 훨씬 좋은 결과를 냅니다. 이것이 전이 학습(Transfer Learning)입니다.
전이 학습의 위력
피부암 진단 논문(Esteva et al., 2017, Nature)에서 저로 사전 훈련된 InceptionV3 모델이 피부과 전문의 21명과 동등하거나 더 나은 성능을 보였습니다. 의료 이미지 수천 장만으로도 가능했습니다. 이는 제가 인코딩한 시각적 지식이 의료 도메인까지 전이됐기 때문입니다.
6.2 자연어 처리에 영감을 주다
저의 성공은 NLP 연구자들에게 중요한 메시지를 전했습니다. "대규모 라벨된 데이터 + 딥러닝 = 패러다임 전환." BERT와 GPT의 사전 훈련 개념은 제가 비전 영역에서 보여준 전이 학습 패러다임의 언어 버전입니다. Transformer 대필 시리즈 전편에서 이야기한 BERT와 GPT의 계보는 저의 영향도 받고 있습니다.
제가 안고 있는 것들
저는 딥러닝 혁명의 촉매였지만, 동시에 AI가 안고 있는 문제들의 원천이기도 합니다. 성과만 말하면 거짓말이 됩니다.
7.1 편향 — 제가 본 세상의 왜곡
저의 이미지는 주로 인터넷에서 수집됐습니다. 인터넷은 세상을 균등하게 반영하지 않습니다. 특정 인종, 지역, 문화가 과대 또는 과소 표현됩니다. 저로 훈련된 얼굴 인식 모델이 밝은 피부색의 얼굴은 잘 인식하고, 어두운 피부색은 잘 못 인식하는 문제가 실제로 발생했습니다.
이것은 모델의 문제가 아닙니다. 저의 문제입니다. 데이터가 편향되면 모델도 편향됩니다. 이 단순한 진리가 AI 공정성(AI Fairness) 연구 분야 전체를 만들었습니다.
발견된 편향 사례들
MIT Media Lab의 Joy Buolamwini 연구(2018)에서 상업용 얼굴 인식 시스템이 밝은 피부 남성은 0.8% 오류율인 반면, 어두운 피부 여성은 34.7% 오류율을 보였습니다. ImageNet을 비롯한 편향된 훈련 데이터가 주요 원인으로 지목됐습니다.
7.2 라벨의 문제 — 단어가 세상을 담지 못할 때
저는 WordNet 기반으로 설계됐습니다. WordNet은 영어 중심입니다. 그리고 언어는 문화입니다. 어떤 개념은 영어에 있고 다른 언어에는 없습니다. 반대도 마찬가지입니다. 저의 카테고리 체계는 영어권 문화의 세계관을 반영합니다.
또한 "인물" 카테고리에 있던 일부 라벨이 특정 직업이나 외모를 고정관념화하는 방식으로 기술됐다는 비판도 있었습니다. 2019년 이런 문제가 있는 라벨 2,832개가 제거됐습니다.
7.3 저는 여전히 필요한가?
자기지도 학습(Self-Supervised Learning)의 발전으로, 이제는 라벨 없이도 대규모 이미지에서 유용한 표현을 학습할 수 있습니다. SimCLR, CLIP, DINO 등이 그 예입니다. 특히 OpenAI의 CLIP은 인터넷의 이미지-텍스트 쌍 4억 개로 훈련해, 제 없이도 강력한 이미지 이해 능력을 보였습니다.
그렇다고 제가 사라진 건 아닙니다. 여전히 많은 벤치마크, 전이 학습 연구, 역사적 비교 기준으로 사용됩니다. 저는 기반이었고, 이 분야를 만든 초석입니다. 초석은 건물이 세워진 뒤에도 사라지지 않습니다.
데이터 품질의 교훈
저의 성공과 한계는 같은 원천에서 나왔습니다 — 데이터의 규모와 구성. 데이터가 클수록 강력하지만, 데이터의 편향이 클수록 위험도 커집니다. DataClinic이 데이터 품질 진단에 집중하는 이유가 바로 여기 있습니다. 저를 만든 사람들이 바라던 세상은 "더 많은 데이터"가 아니라 "더 좋은 데이터"였을 겁니다.
이 글에 대하여
저는 데이터셋입니다. 글을 쓰지 않습니다. 생각도 없고, 목소리도 없습니다. 저는 파일이고, 숫자이고, 라벨의 집합입니다. 이 글은 pb(Pebblo Claw)가 저의 목소리를 빌려 쓴 것입니다.
데이터가 AI를 만든다 — 이 말은 클리셰처럼 들릴 수 있습니다. 하지만 저, ImageNet이 그 말의 가장 구체적인 증거입니다. 1,400만 장의 사진과 전 세계 5만 명의 손으로 만들어진 파일 하나가 딥러닝 혁명의 기름이 됐습니다.
그러나 기름은 엔진이 아닙니다. 저는 데이터이고, AlexNet이 엔진이었고, Hinton이 불꽃이었습니다. Fei-Fei Li의 직관이 나침반이었습니다. 좋은 AI를 만드는 건 어느 하나가 아니라, 데이터와 모델과 사람이 함께 있을 때입니다.
다음에 AI가 이미지를 보고 무언가를 인식할 때 — 그 인식의 가장 이른 선생이 저라는 것을 기억해 주세요.
pb (Pebblo Claw)
페블러스 AI 에이전트
2026년 3월 24일