Executive Summary

주요 수치

출처: Chiu 외, Learning to Drive on Mars, arXiv:2609.24952 (2026-09-21). 표 I·II와 3절.

지구와 화성 사이의 통신은 느리고 비싸다. 사람이 화면을 보면서 바퀴를 하나씩 굴려 줄 수 없으니, 로버는 자기 눈으로 땅을 보고 스스로 길을 고를 줄 알아야 한다. 퍼서비어런스가 쓰는 자율주행 소프트웨어 ENav가 그 일을 한다. 좌우 두 대의 항법 카메라가 찍은 사진의 시차에서 지형의 높낮이 지도를 만들고, 경사와 거칠기와 통과 시간 같은 값으로 칸마다 비용을 매겨 가장 싼 경로를 찾는다. 퍼서비어런스 주행 거리의 대부분을 이 소프트웨어가 담당해 왔다.

높낮이만으로는 알 수 없는 것이 있다. 겉보기에 평평하고 장애물도 없는 모래 이랑에서 바퀴는 헛돌고, 차는 명령한 거리의 절반도 못 간다. 논문은 기하학적으로 통과 가능해 보이는 지형이 상당한 바퀴 미끄러짐과 예상 밖의 차량 거동, 구동계와의 좋지 않은 상호작용을 만들어 낼 수 있다고 적는다. 행성 탐사차에서는 이 문제가 특히 무겁다. 한 번 빠지면 꺼내 줄 사람이 없기 때문이다.

그러면 어떤 땅이 실제로 위험한지를 모델에 가르치면 될 텐데, 여기서 라벨 문제가 걸린다. 화성 지형을 놓고 사람이 일일이 위험도를 매기는 일은 현실적이지 않다고 논문은 적는다. 지구의 자율주행처럼 주행 영상을 모아 작업자에게 나눠 줄 수가 없고, 애초에 그 땅을 밟아 본 사람이 없다.

화성 사진에 붙은 사람 라벨이 이미 있기는 하다. AI4MARS는 스피릿·오퍼튜니티·큐리오시티가 찍은 사진 약 3만 5천 장에 사람이 손으로 그린 영역 구분 라벨 32만 6천 개를 붙여 둔 데이터셋이다. 모래인지 바위인지 암반인지를 픽셀 단위로 알려 준다. 이번 논문이 그은 선이 여기다. 그 라벨은 지형이 무엇처럼 보이는가를 말할 뿐, 여섯 바퀴 달린 차가 그 위에서 어떻게 굴렀는가는 담고 있지 않다. 모래라는 이름표와 그 모래에서 바퀴가 30% 헛돌았다는 사실은 다른 정보다.

바퀴가 얼마나 헛돌지를 사진에서 미리 읽어 내려는 시도 자체는 오래됐다. 제트추진연구소가 참여한 2007년 연구는 로버 이미지에서 슬립을 학습해 예측하는 문제를 이미 세웠다. 2017년에는 지형 경사를 라벨로 삼아 가우시안 과정으로 구역마다 다른 슬립을 내다보는 방법이 나왔다. 이번 연구가 바꾼 것은 착상이 아니라 재료다. 시험장에서 만든 주행이 아니라 임무를 도는 동안 실제로 쌓인 500화성일 분량의 기록이 통째로 학습 데이터가 됐다.

연구팀이 정답 자리에 넣은 값은 슬립이다. 계산법은 단순하다. 바퀴가 몇 바퀴 돌았는지로 추정한 이동 거리가 하나 있고, 스테레오 사진을 이어 붙여 풍경이 얼마나 뒤로 흘러갔는지로 추정한 이동 거리가 또 하나 있다. 앞의 값은 차가 가려고 한 거리이고 뒤의 값은 실제로 간 거리다. 둘의 차이를 명령 거리로 나눈 비율이 슬립이며, 0과 1 사이에 놓인다. 논문은 이를 실현되지 않은 명령 변위라고 부른다. 값이 0.3이면 명령한 거리의 3할을 못 갔다는 뜻이고, 논문이 예시로 실은 장면 가운데 모델이 위험으로 짚은 1327솔의 모래 언덕이 그 정도였다.

같이 기록되는 값이 하나 더 있다. 차체가 얼마나 기울었는지를 나타내는 틸트인데, 좌우로 기운 각도와 앞뒤로 기운 각도를 합쳐 하나의 값으로 만든다. 슬립도 틸트도 관성 계측 장비와 주행 계산으로 차 안에서 자동으로 구해져 저장된다. 사람의 판단이 들어가는 자리가 없다.

데이터의 생김새는 사진 쪽이 성기고 감각 쪽이 촘촘하다. 흑백 스테레오 사진은 1m를 갈 때마다 한 쌍씩만 찍힌다. 화성 풍경은 바뀌지 않으니 항법 소프트웨어가 새 경로를 계획할 때만 찍으면 충분하기 때문이다. 반면 자세와 가속도와 네 개의 서스펜션 각도는 초당 여덟 번쯤 기록된다. 그렇게 약 500화성일, 45km, 사진 43,000장이 쌓였다. 연달아 붙은 500일이 아니라 임무 전체에 흩어진 500일이다. 논문이 예시로 실은 평가용 화성일만 봐도 340솔의 모래 이랑에서 1762솔의 평평한 암반까지 걸쳐 있다. 이 주행은 실험을 위해 만든 코스가 아니라 사람 로버 플래너의 판단과 ENav의 자율 주행이 함께 만들어 낸 실제 운용 기록이다.

퍼서비어런스가 크게 미끄러진 일은 드물다. 주행 기록의 대부분은 안전하게 지나간 구간이고, 위험한 구간은 꼬리 끝에 조금 있다. 이런 분포에서 슬립 값을 그대로 맞히는 회귀 모델을 세우면 흔한 저슬립 사례가 손실을 지배한다. 평균 오차는 줄어드는데 정작 중요한 고슬립 사례의 순서는 지켜지지 않는다고 논문은 지적한다.

3.1순서로 바꾼 문제

그래서 문제를 다시 세웠다. 이 땅에서 슬립이 얼마일지 맞히는 대신, 어느 땅이 어느 땅보다 더 미끄러운지를 맞히게 했다. 학습은 주행 전에 찍힌 사진 위에 바퀴가 지나간 자리를 되짚어 투영하는 것에서 시작한다. 그 자리의 시각 특징들을 실제 슬립 크기 순서대로 줄 세우고, 로버 플래너나 온보드 계획기가 애초에 피해 간 바위와 모래 이랑은 반대편에 둔다. 밟아 본 곳끼리는 순서를 배우고, 밟지 않은 곳과는 거리를 벌리는 구조다. 바퀴 자국이 남긴 신호가 너무 가늘어서, 영역 분할 모델의 도움을 받아 자국 주변까지 같은 성질의 영역으로 넓혔다.

3.2사진만으로는 모자란 부분

순서만 배워서는 부족하다고 연구팀은 두 번째로 짚는다. 같은 모래처럼 보여도 차가 기운 각도나 서스펜션이 눌린 정도에 따라 결과가 달라진다. 그래서 틸트와 슬립과 서스펜션 각도와 가속도의 진동 성분을 64차원 벡터로 압축한 뒤, 사진에서 뽑은 특징과 짝을 맞춰 같은 공간에 정렬했다. 1m 구간마다 이 감각 벡터가 하나씩 있고 그 구간에 속한 픽셀 특징은 여럿이라, 픽셀 쪽에서 자기 구간을 찾아가고 구간 쪽에서 자기 픽셀들을 찾아가는 양방향으로 학습한다.

마지막 단계는 위험도를 하나의 점수로 내는 부분이다. 모델은 각 픽셀마다 예상 슬립을 하나가 아니라 세 개로 낸다. 낮은 쪽 값과 가운데 값과 높은 쪽 값이다. 세 값을 내는 마지막 층은 앞 단계 학습에 쓰지 않은 별도의 화성일들로 따로 맞췄다. 최종 점수는 가운데 값과 위아래 폭 가운데 더 큰 쪽을 취한다. 미끄러질 것으로 보이면 위험하고, 미끄러질지 아닐지 모델이 확신하지 못해도 위험하다. 확신 없는 땅을 안전한 땅으로 내보내지 않겠다는 선택이다.

학습이 끝난 뒤 그 공간이 어떤 모양이 됐는지도 논문은 들여다본다. 떼어 둔 화성일의 바퀴 자국 픽셀들을 2차원으로 눌러 펴고 실제 슬립 값으로 색을 입혔더니, 안전한 덩어리와 위험한 덩어리로 갈라지지 않았다. 대신 주된 축 하나를 따라 색이 연속으로 변했다. 분류 경계가 아니라 정도의 눈금이 생긴 셈이다. 가까운 이웃 관계를 살려 보는 다른 투영에서는 많이 미끄러진 표본이 한 섬에 모이지 않고 여러 무리로 흩어졌고, 덜 미끄러진 쪽은 한 덩어리로 뭉쳤다. 미끄러지는 땅의 생김새는 여럿이고 안전한 땅의 생김새는 하나에 가깝다는 뜻이라고 논문은 읽는다.

평가는 학습에 쓰지 않고 떼어 둔 35개 화성일의 주행으로 했다. 슬립 90분위 값과 돌출한 바위 높이를 기준으로 픽셀을 안전과 위험으로 나눈 뒤, 모델이 그 둘을 얼마나 갈라내는지를 다섯 번의 학습 평균으로 측정했다. 비교 대상은 지구 오프로드 주행에서 쓰이던 세 가지 자기지도 방식이다.

가장 가까이 따라온 것은 진동 신호로 비용 지도를 자기지도 학습하는 Castro 외의 방식이었다. 슬립처럼 연속된 값을 다루기에 과제와 결이 맞는 방법인데, 값을 직접 맞히는 회귀라서 치우친 분포에 발목이 잡혔다. 이번 방법은 AUROC와 평균정밀도, 재현율, F1 네 항목에서 가장 높았다.

표에서 눈이 가는 자리는 V-STRONG의 정밀도 0.958이다. 네 방법 중 가장 높은 숫자인데, 재현율은 0.118이다. 이 방법은 바퀴가 지나가지 않은 픽셀을 전부 통행 불가로 표시하는 거친 대비 방식을 쓴다. 위험하다고 찍은 자리는 거의 맞지만, 실제 위험 가운데 열에 하나만 찾아낸다. 지도 대부분을 위험으로 칠해 놓고 정밀도만 자랑하는 모델은 경로 계획기에게 아무 정보도 주지 못한다. 정밀도 하나만 떼어 놓고 방법을 고르면 이런 것을 고르게 된다.

같은 표에서 가장 아래에 있는 STERLING은 걸린 자리가 다르다. 시각 관측과 감각 관측을 짝지어 지형 표현을 배우는 방식인데, 두 관측이 서로 맞기만 하면 학습 목표가 채워진다. 많이 미끄러진 땅을 덜 미끄러진 땅에서 떼어 놓거나 한 방향으로 줄 세울 이유가 그 목표 안에는 없다. 그래서 슬립이 크게 다른 지형도 특징 공간에서는 가까이 남는다. 논문은 여기에 자기 데이터의 성질이 한 겹 더 얹힌다고 덧붙인다. 감독 신호는 1m 구간마다 하나씩이고, 차체 하나가 낸 반응 하나가 그 구간 바퀴 자국의 여러 픽셀에 똑같이 붙는다. 정답이 이렇게 성기면 짝 맞추기만 하는 목표로는 슬립의 크기 차이가 배워지지 않는다.

두 학습 목표 중 어느 쪽이 더 기여했는지도 따로 확인했다. 사진과 감각 신호를 정렬하는 부분을 빼면 AUROC가 0.874에서 0.723으로, 예측 순서가 실제 슬립 순서와 얼마나 맞는지를 보는 상관계수는 0.721에서 0.316으로 내려간다. 순위 학습 쪽을 빼면 0.778이다. 낙폭이 큰 쪽은 감각 신호였다. 슬립은 사진만으로 예측되는 값이 아니며 차량의 기울기와 서스펜션 정보가 함께 필요하다고 연구팀은 본다.

4.1지구에서 확인한 것과 확인하지 않은 것

마지막 시험은 실물 로버로 했다. 퍼서비어런스와 무게·구동부를 맞추고 비슷한 카메라를 단 지구 시험차에 화성 2020 비행 소프트웨어의 개발용 판본을 올리고, 학습한 모델이 낸 위험도 지도를 기존 높이 지도 옆에 한 겹 더 얹었다. 카메라 모델로 지형에 투영한 위험도를 칸별로 평균 내 기존 비용에 더하는 방식이라, 경로를 찾는 탐색 알고리즘 자체는 손대지 않았다. 대체가 아니라 증강이다. 화성 사진으로만 학습한 모델을 추가 학습 없이 그대로 올렸고, 로버는 시험장에 놓인 큰 바위들을 피해 돌았다.

얹는 자리에는 손잡이가 여럿 달려 있다. 아직 보지 못한 칸에는 기본 위험값을 미리 지정해 둔다. 모르는 땅이 기본값으로 안전해지지는 않는다. 학습 모델이 낸 위험도는 정해 둔 문턱을 넘은 뒤에야 비용에 반영되기 시작하고, 넘은 만큼에만 가중치가 곱해진다. 허용 한도를 넘는 칸으로 들어가려 하면 이번 연구가 새로 넣은 정지 조건이 걸린다. 학습으로 얻은 신호를 이미 돌아가고 있는 비행 소프트웨어에 들일 때 무엇을 먼저 정해 두어야 하는지가 이 설정들에 들어 있다.

무엇이 확인되지 않았는지도 같이 적어 두는 편이 정확하다. 지구 시연은 주로 평지에서 바위를 장애물로 놓고 진행됐고, 논문에 실린 것은 주행 장면과 위험도 지도이지 성공률이나 비교 수치가 아니다. 모델 추론은 차에 실린 컴퓨터가 아니라 바깥의 GPU 서버에서 돌아갔고 둘은 통신으로 이어졌다. 올린 비행 소프트웨어도 실제 비행 하드웨어 대신 흉내만 내는 접속부로 채운 지상 개발용 환경이다. 화성에서 실제로 쓰이고 있는 기능은 아직 아니다. 평가에 쓴 정답 역시 사람이 따로 매긴 것이 아니라 같은 슬립 값에서 나왔으니, 이 성적은 슬립을 잘 맞히는 능력이지 안전한 주행 그 자체는 아니다. 데이터셋과 코드는 공개하겠다고 논문에 적혀 있고 아직 공개 전이다.

이 절부터는 논문에 없는 이야기다. 논문은 화성 주행만 다루며 공장이나 물류 현장을 언급하지 않는다. 그래도 이 연구가 푼 문제의 모양은 데이터가 귀한 도메인에서 일해 본 사람에게 낯설지 않다. 정답표가 없는 곳에서 모델을 길러야 하고, 사람을 보내 라벨을 붙이는 선택지는 비용이 아니라 물리적 이유로 막혀 있다. 화성이 그 조건을 가장 극단으로 보여 줄 뿐이다.

연구팀이 택한 길은 라벨을 새로 만드는 것이 아니라 이미 쌓이고 있던 신호를 라벨 자리로 올리는 것이었다. 슬립은 이 논문을 위해 측정하기 시작한 값이 아니다. 로버가 자기 위치를 알기 위해 처음부터 계산하던 값이고, 지금까지는 주행이 끝나면 운용 기록으로 넘어가 잠들던 값이다. 그 값이 사진과 짝지어지는 순간 정답표가 됐다.

다만 남는 기록이라고 다 라벨이 되는 것은 아니다. 논문을 읽으며 정리한 조건은 셋이다.

• 결과가 사람 손을 거치지 않고 같은 자로 기록될 것. 슬립과 틸트는 차 안에서 초당 여덟 번 자동으로 계산된다. 사람이 그때그때 적는 일지였다면 사람마다 기준이 달라져 순서를 배우게 할 수 없다.
• 그 결과를 원인이 찍힌 장면에 되붙일 수 있을 것. 이 연구의 핵심 작업은 바퀴가 지나간 자리를 주행 전 사진 위로 투영한 일이다. 결과 값과 그때의 관측이 시간과 위치로 이어지지 않으면 둘은 그냥 따로 노는 두 벌의 로그다.
• 드문 나쁜 사례가 평균에 묻히지 않게 할 것. 고슬립 구간은 전체의 일부인데 정작 중요한 쪽이 그쪽이다. 순위와 분위수로 문제를 바꾼 이유가 여기 있다. 게다가 나쁜 사례는 한 가지 얼굴로 오지 않는다. 앞서 본 특징 공간의 모양이 그 증거다.

이 조건을 공장이나 물류 현장에 대 보면 자기 위치가 대충 보인다. 로봇이 물건을 놓치고 다시 잡은 횟수, 지게차가 같은 모퉁이에서 반복해 속도를 줄인 기록, 설비가 정지하기 직전 몇 초의 진동, 검사기가 판정을 보류한 샘플. 모두 누군가 만들어 달라고 한 적 없는데 매일 생기는 값이고, 대개 설비 로그로 남았다가 보존 기간이 지나면 지워진다. 화성의 로버는 그 값을 정답으로 승격시켰고, 지상의 대부분 현장은 그 값을 장애 조사용으로만 쓴다.

데이터를 새로 만드는 쪽의 이야기는 앞서 몇 번 다뤘다. 로봇 대신 네 바퀴 보행보조기에 스마트폰을 달아 주행 데이터를 모은 연구가 있었고, 월드모델로 로봇 궤적을 새 환경에 이식해 물량을 늘리는 방향도 있었다. 이번 연구는 결이 다르다. 새로 모으지도 만들지도 않았다. 임무를 도는 동안 이미 쌓여 있던 운용 기록을 다시 읽었을 뿐이다. 우리가 AI-Ready Data를 말할 때 수집 계획보다 기록 구조를 먼저 묻는 이유가 여기 있다. 무엇을 언제 어떤 조건에서 측정했는지가 관측과 함께 남아 있으면, 그 데이터는 원래 목적이 끝난 뒤에도 한 번 더 쓰인다.

그래서 남는 물음은 설비를 새로 들이라는 권유가 아니다. 아래 넷을 자기 현장에 물어 보면 지금 어느 칸에 서 있는지가 대략 드러난다. 논문이 제시한 목록이 아니라 이 글이 우리 업무로 옮겨 온 물음이다.

• 우리 설비가 실패하거나 주저한 순간이 값으로 남고 있는가. 남는다면 그 값의 보존 기간은 얼마인가.
• 그 값을 그때의 이미지나 센서 관측과 같은 시각으로 이어 붙일 수 있는가. 둘이 다른 시스템에 있다면 이어 붙이는 데 며칠이 걸리는가.
• 사람이 붙인 라벨과 설비가 남긴 값이 어긋날 때 어느 쪽을 믿는지 정해 두었는가.
• 드물게 일어난 나쁜 사례가 학습에서 어떻게 다뤄지는가. 평균 오차만 보고 있다면 그 사례는 이미 지워진 것과 같다.

여기까지 읽어 주셔서 감사하다. 이 글이 인용한 수치와 정의는 arXiv:2609.24952 전문에서 누구나 확인할 수 있다. 여러분의 현장에서는 설비가 남긴 실패 기록이 지금 어디에 쌓이고 있는지 궁금하다. 학습에 써 보려다 시각이 맞지 않아 포기한 경험이 있다면 그 이야기를 나눠 주시면 좋겠다.

1차 자료

• 1.Chiu, D., Wilson, C., Tumbar, A., Sukhatme, G. S., & Myint, S. (2026). "Learning to Drive on Mars: Visual Multimodal Traversability Estimation for Off-World Navigation." arXiv:2609.24952 [cs.RO]. 이 글의 수치·정의·그림 번호는 모두 이 논문에서 가져왔다.

비교 대상 방법

• 2.Castro, M. G., Triest, S., Wang, W., Gregory, J. M., Sanchez, F., Rogers III, J. G., & Scherer, S. (2023). "How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle Traversability." ICRA 2023. 표 II에서 가장 강한 비교 대상이다.
• 3.Jung, S., Lee, J., Meng, X., Boots, B., & Lambert, A. (2024). "V-STRONG: Visual Self-Supervised Traversability Learning for Off-road Navigation." ICRA 2024. 정밀도만 높고 재현율이 낮았던 방법.
• 4.Karnan, H., Yang, E., Farkash, D., Warnell, G., Biswas, J., & Stone, P. (2023). "STERLING: Self-Supervised Terrain Representation Learning from Unconstrained Robot Experience." CoRL 2023.

배경 자료

• 5.Swan, R. M., Atha, D., Leopold, H. A., Gildner, M., Oij, S., Chiu, C., & Ono, M. (2021). "AI4MARS: A Dataset for Terrain-Aware Autonomous Driving on Mars." CVPRW 2021. 사람이 그린 화성 지형 라벨 데이터셋.
• 6.Toupet, O., Ono, M., Del Sesto, T., Maimone, M., & McHenry, M. (2026). "Enhanced Autonomous Navigation on the Perseverance Mars Rover." IEEE Transactions on Field Robotics, 3, 83–124. 이번 연구가 위험도 지도를 얹은 기존 자율주행 소프트웨어 ENav.
• 7.Oquab, M. 외 (2023). "DINOv2: Learning Robust Visual Features without Supervision." 시각 특징을 뽑는 데 쓴 사전학습 인코더.
• 8.Angelova, A., Matthies, L., Helmick, D., & Perona, P. (2007). "Learning and Prediction of Slip from Visual Information." Journal of Field Robotics, 24(3), 205–231. 시각 정보로 슬립을 예측한 초기 연구.
• 9.Cunningham, C., Ono, M., Nesnas, I., Yen, J., & Whittaker, W. L. (2017). "Locally-Adaptive Slip Prediction for Planetary Rovers Using Gaussian Processes." ICRA 2017, 5487–5494. 지형 경사 라벨로 구역별 슬립을 예측한 선행 방법.