Executive Summary

2026년 6월, Nature에 렌즈가 사물을 인식했다는 연구가 실렸습니다. 메타표면이라는 머리카락보다 얇은 평면 광학 소자가, 빛이 그 표면을 통과하는 그 순간에 사물 인식을 끝낸 것입니다. 연산은 칩이 아니라 렌즈 안에서 끝났습니다. 그렇게 인식한 결과는 디지털 모델이 내놓은 것보다 더 정확했고, 그 일에 쓴 파라미터는 오히려 더 적었습니다. 이 글은 그 발견과, 그것이 우리가 데이터를 다루는 순서에 던지는 질문을 함께 봅니다.

방법은 흉내가 아니라 내장이었습니다. 그동안의 광학 신경망은 디지털 칩이 하던 곱셈과 덧셈을 빛으로 똑같이 흉내 내려다 단순한 과제에만 갇혔습니다. 이번 연구진은 다른 길을 골랐습니다. 컴퓨터 비전이 사물을 알아보는 원리, 곧 닮은 것을 견주고(유사도) 중요한 곳에 시선을 모으고(주의) 세부와 전체를 함께 읽는(맥락 융합) 세 가지를 빛이 나노 구조를 지나는 물리 과정 자체에 새겼습니다. 무거운 계산이 광학 단계에서 끝나니, 뒤에 붙는 전자 칩은 가벼운 마무리만 합니다.

페블러스 독자에게 이 연구가 흥미로운 지점은 속도나 전력이 아닙니다. AI 파이프라인은 '센서 → 데이터 → 모델'이라는 순서를 당연하게 여깁니다. 데이터 품질을 점검하는 일도 보통 픽셀이 생긴 다음부터 시작합니다. 그런데 인식이 픽셀화 이전, 빛이 렌즈를 지나는 단계로 당겨지면 품질을 점검하던 자리도 따라서 앞으로 당겨집니다. 그 책임선이 어디로 옮겨가는지가 이 글의 질문입니다.

주요 수치

아래 세 숫자는 이 엔진이 어디에 무게를 두는지를 보여 줍니다. 인식을 빛에 새기려면 한 장의 표면에 나노 구조 수백만 개를 정밀하게 깔아야 하고, 인접 연구가 4,100만 개의 광학 뉴런을 단일 표면에 올린 데서 보듯 그 밀도는 계속 올라가고 있습니다. 그리고 이 모든 연산이 일어나는 광학 단계에는 전자 클럭이 돌지 않습니다. 무거운 인식이 전력을 거의 쓰지 않는 단계에서 끝난다는 뜻입니다.

출처: Nature 654, 917–925 (2026), 인접 연구 arXiv:2504.20416

수백만

한 장에 새긴 메타유닛

나노미터 구조체가 빛의 위상·진폭을 동시에 조절한다

4,100만

단일 메타표면 광학 뉴런

인접 2026 연구가 한 장의 표면에 구현한 나노포토닉 뉴런 수

패시브

광학 인식 단계

빛이 지나가는 동안 연산이 끝나, 그 단계엔 전자 클럭이 없다

1

렌즈가 사물을 인식한다는 말

"렌즈가 사물을 인식한다"는 문장은 비유가 아닙니다. 보통 우리가 아는 인식은 카메라가 빛을 픽셀로 바꾸고, 그 픽셀이 모델에 들어가 신경망 연산을 거친 뒤에야 일어납니다. 이번 연구가 보여 준 것은 그 순서가 통째로 앞당겨질 수 있다는 사실입니다. 빛이 메타표면을 통과하는 그 짧은 순간, 사물을 알아보는 계산이 이미 끝나 있습니다.

그동안에도 빛으로 계산하려는 시도는 있었습니다. 광학 신경망(ONN)이라 부르는 이 흐름은 빛의 병렬성을 빌려 낮은 지연과 낮은 전력을 약속했습니다. 하지만 대부분 단순한 과제에서 멈췄습니다. 막힌 자리가 분명합니다. 디지털 칩이 숫자로 하던 곱셈과 덧셈을 빛으로 똑같이 흉내 내려 했기 때문입니다. 연산 하나하나를 광학으로 복제하려다 보니, 과제가 조금만 커져도 규모를 키울 수 없었습니다.

이번 연구진은 복제를 포기했습니다. 대신 컴퓨터 비전이 사물을 알아보는 원리 자체를 빛의 물리에 새겼습니다. 새긴 원리는 셋입니다. 들어온 장면을 이미 아는 패턴과 견주어 닮은 정도를 재는 유사도 기반 인식, 장면에서 판단에 중요한 영역에 처리를 몰아 주는 주의 기반 지각, 그리고 작은 세부와 큰 맥락을 함께 읽어 합치는 세부-맥락 융합입니다. 디지털 모델이 수많은 곱셈으로 흉내 내던 이 세 가지를, 메타표면은 빛의 위상과 진폭을 구조로 조절하는 방식으로 한 번에 수행합니다.

기존 광학 신경망 이번 연구 (Nature 2026) 디지털 연산 복제 곱셈·덧셈을 빛으로 그대로 흉내 단순 과제에 한계 규모 확장 불가 ✕ 한계 돌파 실패 비전 원리 내장 유사도·주의·맥락 융합을 광학 물리에 새김 더 정확, 더 적은 파라미터 엣지 실시간 인식 ✓ 새로운 원리의 성공
▲ 기존 광학 신경망은 디지털 연산을 빛으로 복제하다 한계에 막혔고, 이번 연구는 비전의 원리를 광학 물리에 직접 새겨 그 벽을 넘었다. | 페블러스 원본 도식 (Fig. 1 재해석)

1.1광자-전자 엔진의 분업

그렇다고 칩이 사라진 것은 아닙니다. 연구진이 만든 것은 광학과 전자가 일을 나눠 갖는 광자-전자 엔진입니다. 가장 무겁고 병렬적인 인식 연산은 메타표면이 빛으로 처리하고, 그 뒤에 붙는 가벼운 전자 회로가 결과를 정리해 답을 냅니다. 디지털 모델 하나가 처음부터 끝까지 짊어지던 계산을, 광학이 앞단에서 대부분 덜어 내는 구조입니다. 그 덕에 같은 일을 더 적은 파라미터로 해내면서 정확도는 오히려 여러 디지털 모델을 앞섰고, 실제 엣지 디바이스에서 실시간으로 돌아갔습니다.

핵심: 기존 광학 신경망은 디지털 연산을 빛으로 흉내 내려다 단순 과제에 갇혔습니다. 이 연구는 흉내를 버리고 비전의 원리를 메타표면 물리에 직접 새겼습니다. 무거운 인식은 렌즈에서 끝나고, 전자 칩은 마무리만 합니다.

2

센서 이전으로 당겨진 인식

AI 파이프라인을 그려 보면 거의 언제나 같은 순서로 시작합니다. 물리 세계가 있고, 센서가 그것을 픽셀로 바꾸고, 전처리를 거쳐 모델이 추론합니다. 이 그림에서 데이터 품질을 점검하는 일은 보통 픽셀이 생긴 다음에 시작됩니다. 라벨을 달고, 전처리를 손보고, 편향을 찾는 모든 작업이 '데이터가 있다'는 전제 위에서 돌아가기 때문입니다. 픽셀이 곧 데이터의 탄생이고, 품질 점검은 그 탄생 이후의 일이었습니다.

메타표면은 이 전제의 첫 단추를 건드립니다. 빛이 렌즈를 지나는 동안 유사도 판단과 주의와 맥락 융합이 이미 끝난다면, 인식은 픽셀이 생기기 전에 완료됩니다. 측정과 라벨링 사이에 있던 경계가 광학 단계로 당겨지는 것입니다. 그리고 경계가 당겨지면, 그 경계 위에 놓여 있던 품질의 책임선도 함께 당겨집니다.

기존 파이프라인 센서·픽셀화 전처리·라벨링 모델 추론 품질 책임선 픽셀이 생긴 뒤부터 메타표면 파이프라인 메타표면 렌즈 빛으로 인식 완료 경량 전자 후처리 결과 품질 책임선 광학 설계·제조 단계로
▲ 인식이 픽셀화 이전으로 당겨지면, 품질을 점검하던 책임선도 모델·데이터 단계에서 광학 소자의 설계·제조 단계로 함께 이동한다. | 페블러스 원본 도식

달라지는 것은 점검의 위치만이 아닙니다. 점검을 책임지는 사람과 도구가 통째로 바뀝니다. 모델이 틀리면 데이터를 더 모아 다시 학습시키던 일이, 메타표면에서는 나노 구조를 다시 설계하고 다시 찍어 내는 일이 됩니다. 라벨러가 보던 자리를 광학 설계자와 반도체 공정이 넘겨받는 셈입니다. 데이터 팀이 익숙하게 던지던 질문들이 갈 곳을 잃는 것이 아니라, 새로운 자리에서 다시 던져져야 합니다.

  • • 인식 오류의 감사: 광학 단계에서 일어난 오인식은 누가, 어떤 로그로 들여다보는가. 픽셀이 없으니 들춰 볼 중간 산출물도 줄어든다.
  • • 편향의 측정 지점: 메타표면이 특정 조명·각도·재질에 약하다면, 그 편향은 데이터셋이 아니라 소자 자체에 박혀 있다. 어디서 재고 어떻게 기록할 것인가.
  • • 수정의 단위: 재학습이 '렌즈 재설계'가 되면, 한 번의 수정 주기가 며칠이 아니라 몇 달이 될 수 있다. 빠른 반복에 기대 온 품질 관리 방식이 그대로 통하지 않는다.

책임선의 이동: 측정과 라벨링의 경계가 광학 단계로 당겨질 때, 품질의 책임선도 함께 이동합니다. 점검은 사라지지 않습니다. 다만 데이터셋 위가 아니라 소자의 설계와 제조 위에서 이뤄져야 합니다.

3

아직 렌즈가 풀지 못한 것

이 발견을 당장 카메라 모듈처럼 사다 쓸 수 있는 단계로 읽으면 곤란합니다. 빛으로 연산하는 만큼, 빛의 조건이 바뀌면 결과도 흔들립니다. 파장과 조명, 들어오는 각도가 실험실 밖의 현실처럼 변할 때 인식이 얼마나 견디는지는 아직 더 확인해야 할 몫입니다. 메타표면은 한번 찍어 내면 구조가 고정되니, 디지털 모델처럼 파라미터만 바꿔 적응시키기도 어렵습니다.

제조도 만만치 않습니다. 한 장의 표면에 나노미터 구조체 수백만 개를 정밀하게 새겨야 하고, 인접 연구가 단일 메타표면에 4,100만 개의 광학 뉴런을 올린 사례가 보여 주듯 밀도가 올라갈수록 공정 난도도 함께 오릅니다. 설계와 제조가 곧 성능을 결정하므로, 작은 공정 편차가 인식 품질의 편차로 직결됩니다.

세 가지 남은 과제 1 강건성 파장·조명·각도 변화 시 인식 성능 추가 검증 필요 구조 고정 → 재적응 어려움 실험실 밖 현실 조건 대응 2 제조 한 장에 나노 구조 수백만 개 밀도 ↑ → 공정 난도 ↑ 설계·제조 = 성능 직결 공정 편차 → 인식 품질 편차 3 감사 도구 광학 단계 인식 편향·오류 표준화 측정 도구 아직 없음 → 가장 비어 있는 자리 검증 도구도 앞으로 당겨져야
▲ 강건성·제조·감사 도구라는 세 공백이 메타표면 광학 인식의 현재 한계를 구성한다. 그 중 광학 단계 감사 도구의 공백이 가장 크다. | 페블러스 원본 도식 (Fig. 2 재해석)

그리고 가장 비어 있는 자리는 감사 도구입니다. 데이터셋의 편향을 재고 모델의 오류를 추적하는 도구는 지난 십수 년 동안 쌓였지만, 광학 단계에서 일어난 인식의 편향과 오류를 표준화된 방식으로 측정하는 도구는 아직 거의 없습니다. 인식이 앞으로 당겨진 만큼, 그것을 검증하는 도구도 앞으로 당겨져야 합니다.

Editor's Note

페블러스가 데이터 품질을 말할 때, 그 점검의 자리는 늘 데이터가 태어난 다음이었습니다. 메타표면 연구는 그 자리가 데이터 이전으로 옮겨갈 수 있다는 가능성을 보여 줍니다. 인식이 광학 단계로 당겨질 미래에도 누군가는 "이 인식이 믿을 만한가"를 물어야 합니다. 그 질문이 향할 곳이 데이터셋에서 소자로 바뀌는 것뿐, 질문 자체가 사라지지는 않습니다. 책임선이 어디로 움직이든 그 선 위에 설 도구와 사람을 함께 옮겨 두는 것이 우리의 몫이라고 봅니다.

R

참고문헌