Executive Summary

주요 수치

출처: Kenny, Dharmavaram, Lee, Phan-Minh, Rajesh, Hu, Major, Tomov, Shah, Explainable deep learning improves human mental models of self-driving cars, Nature(2026-09-02)

자율주행 기술을 개발하는 회사는 전 세계에 수백 곳입니다. 시장은 크게 두 갈래로 갈립니다. 운전자 없이 도는 완전자율 호출 서비스가 하나이고, 사람이 앉아 있는 소비자 차량의 주행 보조가 다른 하나입니다. 뒤쪽이 이 논문의 무대입니다. 기계학습이 들어오면서 성능은 크게 올랐지만, 학습된 플래너가 옳은 행동을 못 고르는 이례적 상황에서는 여전히 사람이 개입해야 합니다. 이런 실패가 드물다는 사실이 오히려 문제입니다. 드물기 때문에 운전자가 늘 대비하고 있기는 어렵습니다.

차와 사람 사이의 소통이 끊겨 인명 사고가 여러 차례 났습니다. 논문은 서론에서 그 사례들을 근거로 플래너를 해석 가능하게 만드는 일이 시급하다고 적습니다. 선행 연구가 없지는 않았습니다. 설문과 시뮬레이션 시나리오로 접근한 연구가 있었고, 사람이 자율주행차를 흉내 내는 실험 설계도 있었으며, 언어모델이 주행 정책의 이유를 자연어로 말해 주게 한 시도도 있었습니다. 저자들이 이 계보 전체에 붙인 진단은 네 가지입니다. 이론에 머물렀거나, 인과적으로 충실한 설명을 내놓지 못했거나, 시뮬레이션에서만 평가됐거나, 설명이 최종 사용자에게 실제로 쓸모 있다는 것을 설득력 있게 보이지 못했다는 것입니다. 이 논문이 겨눈 것이 마지막 항목입니다.

그래서 남은 질문이 하나 있었습니다. 실제 배치 환경에서 이해할 수 있고, 쓸모 있고, 차의 의사결정 과정에 충실한 설명을 어떻게 줄 것인가. 저자들이 빌려 쓴 설명가능 AI의 작업 정의도 논문에 밝혀져 있습니다. 자기 논리를 사람 사용자에게 설명할 수 있고, 자신의 강점과 약점을 특징지어 말할 수 있으며, 앞으로 어떻게 행동할지에 대한 이해를 전달하는 AI 시스템입니다. 마지막 조항을 성적표로 삼으면 4절에서 볼 채점 방식이 자연스럽게 따라 나옵니다. 이 논문은 2024년 11월에 접수돼 2026년 7월에 채택됐고 9월 2일에 실렸습니다. 심사에 걸린 시간만 1년 8개월입니다.

손을 댄 곳은 자율주행 스택 가운데 계획 모듈 하나입니다. 인지 모듈이 만든 장면 정보를 받아 뒤따르는 제어 모듈이 따라갈 궤적을 내놓는 부분입니다. 안쪽은 네 덩어리로 되어 있습니다. 장면을 벡터로 압축하는 장면 인코더, 후보 궤적을 잔뜩 만들어 내는 궤적 생성기, 장면과 궤적을 함께 묶는 인코더, 그리고 각 후보에 점수를 매기는 보상층입니다. 후보는 매 순간 146개가 나옵니다. 경로 위 기준점을 향해 저크, 그러니까 가속도의 변화율을 최소화한 궤적 143개를 규칙 기반 생성기가 만들고, 장면 인코더로 쓴 사전학습 예측 모델이 3개를 더 얹은 숫자입니다. 이 가운데 가장 높은 점수를 받은 하나가 선택됩니다. 점수의 뜻은 사람다움입니다. 사람 운전 기록 80시간을 역강화학습으로 학습해, 사람이라면 이렇게 몰았을 궤적에 높은 점수가 가도록 맞춰 놓았습니다.

CW-Net은 이 네 덩어리 가운데 마지막 보상층 하나만 들어냅니다. 그 자리에 개념 분류기를 넣고, 그 뒤에 새 보상층을 답니다. 개념 분류기는 장면과 궤적의 묶음을 받아 사람이 읽을 수 있는 이름표에 확률을 매깁니다. 정차 차량에 접근 중인지, 다른 차와 3미터 안에 있는지, 자전거 옆인지 같은 것들입니다. 새 보상층은 그 확률 벡터만 보고 궤적 점수를 계산합니다. 앞의 세 덩어리는 학습 중에 얼어붙어 있고, 새로 배우는 것은 분류기와 새 보상층 둘뿐입니다.

이 발상의 뿌리를 저자들은 사례 기반 추론이라고 밝힙니다. 사람의 추론과 기억에 대한 인지 모형에서 영감을 받은 고전 인공지능 방법입니다. 지금 장면을 기억 속 사례와 맞춰 보고 그 사례에 딸린 행동을 꺼내 온다는 발상인데, 3절 두 번째 장면에서 이 구조가 그대로 드러납니다.

오늘날 널리 쓰이는 사후설명 기법들은 이미 학습을 마친 모델 바깥에 붙어 결정의 이유를 추정합니다. 구성상 그 추정이 모델의 실제 결정 과정과 일치한다는 보장이 없습니다. CW-Net에서는 개념 확률이 최종 결정 모듈에 들어가는 유일한 입력입니다. 개념이 곧 차의 행동을 정하니, 저자들은 이 설명을 인과적으로 충실하다고 부릅니다.

성능은 어떻게 됐을까요. nuPlan 벤치마크의 폐루프 시뮬레이션에서 원래 블랙박스 플래너와 CW-Net을 나란히 돌렸더니 모든 지표에서 1% 미만 차이가 났습니다. 평균 L2 거리로는 0.01 미만입니다. 원래 플래너의 실력도 짚어 둘 만합니다. 차선을 따라가거나 고속에서 감속하는 상황에서는 사람 주행 거리의 93% 넘게 진행했고 90% 넘게 무충돌이었으며, 5초 뒤 위치가 사람 궤적에서 1미터 넘게 벗어나지 않았습니다. 정지 상태에서 출발할 때는 74%와 81%로 떨어졌고 어긋남도 1.2미터로 벌어졌습니다. 저자들은 이 약점을 감추는 대신, 바람직하지 않은 행동을 설명해 볼 기회라고 적었습니다.

저자들은 CW-Net을 다른 설명 기법과 겨루지 않았습니다. 이유는 두 가지로 적혀 있습니다. 집필 시점에 해석 가능하게 설계된 역강화학습 시스템을 다룰 수 있는 선행 연구를 찾지 못했다는 것이 하나이고, 문헌에 흩어진 수많은 개념 기반 기법 전체로 결과를 넓히려면 개념 기반 설명과 설명 없음을 견주는 편이 낫다고 본 것이 다른 하나입니다. 그래서 이 논문이 보인 것은 CW-Net이 경쟁 기법보다 낫다는 것이 아니라, 설명이 있는 쪽이 없는 쪽보다 낫다는 것입니다. 뒤에 나올 온라인 실험의 대조군이 다른 설명이 아니라 속도·조향 정보인 것도 같은 설계에서 나옵니다.

실차 실험은 사설 주행로에서 진행됐습니다. 차에는 세 사람이 탔습니다. 자율주행 모드를 켜고 끄며 위험하면 넘겨받는 안전운전자, CW-Net을 띄우고 목적지를 세팅하는 지원 엔지니어, 그리고 시험을 지휘하는 연구자입니다. 계기판에는 인지 모듈이 잡은 물체와 차가 고른 궤적이 지도 위에 겹쳐 뜨고, 그 옆에 개념별 확률이 백분율로 표시됐습니다.

장면은 미리 짜지 않았습니다. 연구진은 그날의 큰 계획만 정하고, 뜻밖의 일이 저절로 벌어지기를 기다렸습니다. 준자연관찰이라 부르는 방식입니다. 그렇게 나온 세 장면에서 안전운전자는 매번 먼저 자기 짐작을 소리 내어 말했고, 설명을 본 뒤 다시 말했으며, 그 사이에 반증 실험이 끼어들었습니다.

두 번째 장면에는 차 앞에 정차 차량이 없었습니다. 그런데 플래너는 지금 상황을 학습 데이터의 ASV 시나리오와 맞춰 보고, 거기 딸린 정차 행동을 골랐습니다. 설명은 사실을 말하지 않고 모델을 말합니다. 저자들은 이 점을 분명히 합니다. 앞에 차가 없다는 사실과 무관하게, 이 설명은 플래너가 왜 멈췄는지를 정확히 짚어 냈다는 뜻에서 인과적으로 충실합니다.

세 번째 장면의 사후 분석은 결함의 위치를 바꿔 놓았습니다. 인지 모듈은 자전거를 제대로 잡고 있었습니다. 문제는 플래너였습니다. 자전거 입력을 받아 쓰도록 구성돼 있지 않아, 자전거와 부딪혔을 궤적을 골랐습니다. 차가 매번 멈춘 것은 CW-Net과 무관한 별도의 안전 백업이 충돌 직전 제동을 걸었기 때문입니다. 설명이 없었다면 운전자는 차가 자전거를 잘 처리한다고 믿은 채로 남았을 것입니다. 개념 확률 하나가 그 오해를 깼습니다.

세 장면은 사설 주행로에서 안전운전자가 겪은 관찰 몇 건입니다. 그것만으로 일반화하기는 어렵습니다. 그래서 저자들은 같은 장면을 전방 카메라 영상으로 재생하고 개념 확률을 겹쳐 보여 주는 온라인 실험을 붙였습니다. 참가자는 영상마다 두 가지를 답합니다. 차가 왜 그렇게 했는지 자기 믿음에 가장 가까운 이유를 고르는 문항, 그리고 조건을 바꾸면 차가 어떻게 할지 예측하는 문항입니다. 두 문항 모두 객관식이고 뒤에 확신도를 적게 했으며, 자유서술은 예측 문항에만 붙였습니다. 핵심은 순서입니다. 설명을 보기 전에 한 번, 본 뒤에 다시 한 번 답하게 했습니다. 차 안 운전자가 겪은 순서를 그대로 옮겼습니다.

참가자는 두 집단으로 나눠 따로 돌렸습니다. Motional의 안전운전자와 시험 엔지니어, 시험 전문가를 합쳐 9명이 전문가 집단이고, Prolific에서 무작위로 뽑은 미국 시민 30명이 비전문가 집단입니다. 전문가 9명은 모두 이 차를 만드는 회사 사람이고 보수 없이 자원했습니다. 비전문가 30명에게는 시간당 15달러를 지급했습니다. 이유 고르기 문항에서 전문가 9명 중 8명, 비전문가 30명 중 27명의 판단이 개선됐습니다. 자유서술 응답의 채점은 GPT-5를 판정자로 세워 처리했고, 프롬프트는 전문가 응답으로 세 번 조정한 뒤 비전문가 응답에 한 번만 적용했다고 공시했습니다.

자유서술 쪽 결과는 비전문가 응답을 정확 이항검정으로 본 것입니다. 설명을 보기 전 응답은 차 안 안전운전자가 설명을 보기 전에 품었던 믿음과 가까웠고, 설명을 본 뒤에는 운전자의 최종 믿음과 차가 그렇게 행동한 실제 이유 쪽으로 옮겨 갔습니다. 세 비교의 P는 차례로 10억분의 1 미만, 0.0002 미만, 10만분의 1 미만입니다. 영상만 본 사람들이 차 안에서 벌어진 인식의 전환을 같은 순서로 되밟은 것입니다.

여기서 이 논문의 성적표가 정해집니다. 판단이 개선된 정도와 예측 정확도가 오른 정도 사이에 유의한 관계가 나왔습니다. 전문가에서 회귀계수 2.02, 표준오차 0.87로 P는 0.02였고, 비전문가에서는 9.86에 표준오차 2.07로 P가 0.001 미만이었습니다. 참가자별 편차를 임의효과로 통제한 선형혼합모형입니다. 설명이 사람의 머릿속 모형을 고쳤고, 고쳐진 모형이 실제로 더 나은 예측을 낳았다는 연결입니다. 정확도가 아니라 예측력으로 재겠다는 선택은 여기서 근거를 얻습니다.

다만 같은 분석을 자유서술 지표로 돌리면 그림이 한 칸 약해집니다. 비전문가는 5.03에 표준오차 1.23으로 유의했지만, 전문가는 1.70에 표준오차 0.91로 P가 0.06이어서 유의 수준에 닿지 못했습니다. 저자들도 가설을 정리하면서 전문가의 자유서술 항목만 유의하지 않았다고 적어 두었습니다. 이 논문에서 가장 널리 인용될 8/9라는 숫자가 전문가 아홉 명에서 나왔다는 사실도 잊지 않는 편이 좋습니다.

4.1공공도로 자료로 다시 돌린 상황인식 실험

사설 주행로는 통제된 공간입니다. 저자들은 라스베이거스 공공도로에서도 자료를 모았습니다. 다만 조건이 사뭇 달랐습니다. 안전상의 이유와 플래너가 실험 단계라는 사정 때문에, 안전운전자는 여러 시간을 수동 모드로 운전했고 CW-Net은 그동안 배경에서 돌며 개념 확률만 기록했습니다. ASV 1시간 3분, CLOSE 51분, 자전거 관련 3시간 넘는 분량이 그렇게 쌓였습니다. 공공도로에는 콘도 자전거도 자연스럽게 나타나지 않아, 콘 자리에는 보행자를, BIKE 자리에는 PEDESTRIAN 개념을 넣었습니다.

이 영상으로 상황인식을 재는 표준 절차를 돌렸습니다. SAGAT는 장면을 중간에 얼리고 참가자에게 세 가지를 묻습니다. 차에 무엇이 입력되고 있는가(지각), 차가 왜 저러는가(이해), 조건이 바뀌면 어떻게 할 것인가(예측). 운전 연구에서 이 절차를 쓴 선행 사례는 거의 전부 통제된 주행 시뮬레이터 안에서 이뤄졌습니다. 실제 공공도로 주행 기록으로 돌렸다는 점이 저자들이 내세우는 차이이고, 시뮬레이터 실험의 생태적 타당성을 두고 오래 이어진 지적에 대한 답이기도 합니다. 목표 인원은 100명이었고 주의 검사를 통과한 99명이 남았습니다. 실험군 51명은 개념 확률을 봤고, 대조군 48명은 속도와 조향 정보를 봤습니다. 아무것도 안 보여 주는 대신 인지 부하를 맞춘 자리 표시용 설명입니다. 영상은 뜻밖의 장면 6개와 평범한 장면 6개, 주의 검사 1개로 짰습니다.

영상이 멈출 때마다 암전 화면이 뜨고, 예·아니오로 답하는 문항 여섯 개가 나옵니다. 넷이 지각, 하나가 이해, 하나가 예측입니다. 아래 세 수치를 같은 무게로 읽으면 안 되는 이유가 여기 있습니다. 지각은 네 문항의 평균이고, 예측은 문항 하나에 걸려 있습니다.

개념이 켜졌다고 볼 문턱값도 사람이 정했습니다. ASV와 PEDESTRIAN은 0.5, CLOSE는 0.94이고, 사설 주행로에서 먼저 얻은 자료에서 뽑은 숫자입니다. 한편 개념 활성의 분포는 사설 주행로 시험과 공공도로 시험 사이에 뚜렷이 달라지지 않았습니다. 두 시험은 1년 넘게 떨어져 있고 차량도 소프트웨어 스택도 조건도 달랐는데, 저자들은 이 사실을 알고리즘이 견고하다는 근거로 듭니다.

뜻밖의 상황에서 세 차원이 모두 올랐습니다. 지각은 코헨의 d 1.290으로 95% 신뢰구간이 0.857에서 1.723이고, 이해는 0.996에 0.578에서 1.413, 예측은 0.606에 0.203에서 1.009입니다. 앞의 둘은 큰 효과, 예측은 중간 효과에 해당합니다. 평범한 상황에서는 본페로니 보정 뒤 유의한 차이가 나오지 않았습니다. 이 두 결과를 함께 놓아야 뜻이 온전해집니다. 설명이 늘 도움이 됐다면 그것대로 의심스러웠을 것입니다. 필요 없을 때 화면만 채우는 정보는 인지 부하를 늘려 상황인식을 깎아 먹기 때문입니다.

설명이 이만큼 도움이 됐으니 개념 분류기도 정확할 것 같지만, 수치는 그렇지 않습니다. 학습 데이터의 5%를 떼어 낸 검증 세트에서 평균 정확도 0.54, 정밀도 0.23, 재현율 0.77, F1 0.31이 나왔습니다. 개념별 편차도 큽니다. SLOW는 F1 0.82로 잘 잡히는 반면 BIKE는 거의 0에 가깝습니다. 3절에서 BIKE 확률이 내내 1% 아래에 머문 이유가 이 숫자입니다. 저자들은 자전거라는 개념이 차 안에 제대로 부호화되거나 이해돼 있지 않은 듯하다고 적었습니다.

저자들이 개념 분리 문제를 이야기하며 이름을 든 개념은 CLOSE와 PEDESTRIAN입니다. 시험한 실험 원형에서 두 개념은 정밀도가 낮고 재현율이 높게 나왔다고 적혀 있습니다. 그 상황이 아닌데도 켜진 경우가 많았다는 뜻입니다. 3절 첫 장면을 끌고 간 개념이 바로 그 CLOSE입니다. 설명이 쓸모 있었던 사례와 분류기가 부실했던 사례가 같은 이름표 위에 겹쳐 있습니다.

학습에 쓴 재료는 적지 않았습니다. 시나리오 50만 개에 개념 8개를 붙인 데이터셋과, 300만 개에 개념 10개를 붙인 데이터셋 둘입니다. 시나리오마다 궤적이 146개씩 딸리므로 개념 분류기가 본 데이터포인트는 7,300만에서 4억 3,800만 개 사이입니다. 한 데이터포인트에 개념 여러 개가 동시에 붙을 수도 있습니다. 양이 문제였다고 말하기는 어렵습니다.

양보다 정의가 문제입니다. Methods에 열거된 목록을 보면 CLOSE는 다른 차량과 3미터 이내, SLOW는 초속 1~2미터, FAST는 초속 2미터 초과, PUDO는 승하차 구역 안입니다. 사람이 읽는 이름표를 달고 있지만 그 속은 거리와 속도의 임계값, 그리고 시나리오 유형 구분입니다. 개념 여덟에서 열 개를 무엇으로 삼을지, 3미터라는 선을 어디에 그을지는 모델이 배운 것이 아니라 연구팀이 정한 것입니다. 정확도 지표는 이 결정의 품질을 재지 않습니다. 이미 정해 놓은 이름표를 얼마나 잘 맞히는지만 잽니다.

저자들은 이 낮은 정확도를 결함으로 보지 않습니다. 오히려 흔한 해석 하나를 미리 막아 둡니다.

분류 정확도에 관한 한 저자들의 전망은 모델 쪽에 걸려 있습니다. 그런데 같은 논문이 결론에서 향후 과제로 꼽은 것은 다른 문제입니다. 개념 집합을 더 넓히는 일이고, 그러려면 라벨링의 어려움을 넘기 위해 비지도 방식이 필요하리라는 것입니다. 모델이 아무리 좋아져도 여덟 개짜리 이름표가 열 개로 늘어나지는 않습니다. 자율주행 상황에 걸린 방대한 개념을 덮으려면 축을 새로 세우는 일이 남습니다.

논문이 확장 대상으로 지목한 곳들도 같은 조건을 물려받습니다. 결론은 실시간 설명이 필요한 인간·로봇 협업 시스템으로 AI 윙맨, 드론 내비게이션, 수술로봇을 들고, 아키텍처 쪽으로는 엔드투엔드 학습 시스템과 시각·언어·행동 모델을 듭니다. 규제 이야기도 붙어 있습니다. 이미 여러 규제기관이 설명가능 AI를 법제화의 핵심 요소로 삼았고 자율주행차도 광범위 배치와 함께 뒤따를 가능성이 크다는 것입니다. 드론이든 수술로봇이든, 그 도메인에서 사람이 읽을 개념의 목록을 누군가는 처음부터 다시 써야 합니다.

아래 세 가지는 논문에 없습니다. 설명가능성을 요구받는 시스템을 다룰 때 데이터 쪽에서 짚어 볼 물음으로 옮겨 본 것입니다.

• 우리 시스템이 사람에게 내보이는 이름표가 몇 개이고, 그 목록을 누가 어떤 근거로 정했는지 기록이 남아 있는가. 임계값을 쓴다면 그 숫자의 출처가 무엇인가.
• 이름표별 성능을 따로 보고 있는가. 평균 정확도 하나로는 특정 이름표가 사실상 작동하지 않는다는 사실이 드러나지 않습니다. 이 논문에서 BIKE의 F1이 거의 0이라는 사실은 평균 0.54 안에 묻혀 있었습니다.
• 설명의 값어치를 무엇으로 재고 있는가. 모델 지표로 재면 이 논문의 개념 분류기는 실패작입니다. 사람이 다음 행동을 얼마나 맞히는지로 재자 결과가 달라졌습니다.

핵심 논문

• 1.Kenny, E. M., Dharmavaram, A., Lee, S. U., Phan-Minh, T., Rajesh, S., Hu, Y., Major, L., Tomov, M. S., Shah, J. A. (2026). "Explainable deep learning improves human mental models of self-driving cars." Nature. doi:10.1038/s41586-026-10950-5. 이 글의 모든 수치와 인용문이 여기서 나왔습니다. 2024년 11월 24일 접수, 2026년 7월 24일 채택, 2026년 9월 2일 게재. 그림 재현용 데이터와 코드는 GitHub 저장소에, 참가자에게 보여 준 영상은 프로젝트 사이트에 있습니다.

논문이 딛고 선 연구

• 2.Phan-Minh, T. et al. (2023). "DriveIRL: Drive in Real Life with Inverse Reinforcement Learning." Proc. IEEE ICRA 2023, 1544–1550. 2절에서 CW-Net이 감싼 블랙박스 플래너의 원 아키텍처.
• 3.Tomov, M. S. et al. (2026). "TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning." Proc. IEEE ICRA 2026(게재 예정). 같은 계열의 후속 플래너.
• 4.Yuksekgonul, M., Wang, M., Zou, J. (2023). "Post-hoc Concept Bottleneck Models." Proc. ICLR 2023. 2절 개념 병목 모델 계보.
• 5.Karnchanachari, N. et al. (2024). "Towards Learning-Based Planning: The nuPlan Benchmark for Real-World Autonomous Driving." Proc. IEEE ICRA 2024, 629–636. 2절 주행 성능 비교에 쓴 벤치마크.
• 6.Heim, M., Suárez-Ruiz, F., Bhuiyan, I., Brito, B., Tomov, M. S. (2025). "Lab2Car: A Versatile Wrapper for Deploying Experimental Planners in Complex Real-World Environments." Proc. IEEE ICRA 2025. 3절 실차 배치에 쓴 래퍼.