Executive Summary

주요 수치

출처: Bansak 외 (2026). arXiv:2609.35448, 본문 Table 1 및 부록 Table S9·S13.

난민이 어느 지역에 정착하느냐가 그 뒤의 일자리를 오래 좌우한다. 유럽 20개국을 비교한 연구에서 난민은 조건이 비슷한 다른 이주민보다 취업할 확률이 약 12% 낮았고, 그 격차는 도착 뒤 10~15년까지 이어졌다. 도착 직후의 몇 달과 몇 해가 그 뒤를 크게 바꿔 놓는다는 것이 이 분야의 오랜 관찰이다. 그런데 대부분의 나라에서 정착지는 인구 비례 같은 행정 규칙으로 정해진다. 누가 어디서 잘 풀릴지는 기준에 들어가지 않는다. 배정을 맡은 사람에게 그 판단에 쓸 정보가 거의 없기 때문이다.

스위스에 망명을 신청해 보호 지위를 받은 사람은 26개 주 가운데 한 곳에 배정된다. 어느 주로 가느냐는 본인이 고르는 것이 아니라 연방 이주사무국의 배정 담당관이 정한다. 배정은 주 인구에 비례해 짜 둔 배분 키를 지켜야 하고, 몇몇 출신국 집단은 주별로 따로 균형을 맞춰야 한다. 그 제약 안에서 누구를 어디로 보낼지를 담당관이 하루하루 판단한다.

스탠퍼드대와 취리히연방공대의 이민정책연구소가 만든 지오매치(GeoMatch)는 여기에 추천을 하나 얹는 도구다. 주마다 따로 학습시킨 예측 모델이 이 사람이 각 주에서 3년 동안 얼마나 일할지를 예측하고, 제약을 지키는 범위에서 전체 예측 취업을 가장 크게 만드는 주를 고른다. 사례는 도착하는 대로 하나씩 처리되므로 뒤에 올 사람을 모르는 상태에서 지금 한 건을 결정해야 한다. 도구는 앞으로 들어올 사례의 구성을 미리 그려 보고, 그 예상 배분을 가장 덜 흐트러뜨리는 주를 고르는 방식으로 이 문제를 다뤘다. 나중에 도착할 사람에게 필요할 자리를 미리 축내지 않으려는 규칙이다.

시험은 이 추천 화면을 두 벌로 만들어 놓고 진행됐다. 대상은 빠른 절차로 분류돼 보조 보호 지위나 난민 지위를 이미 받았고, 법에 따라 특정 주로 보내야 하는 경우가 아니며, 성인이 적어도 한 명 있는 사례였다. 여기에 해당하는 사례 한 건마다 동전을 던지듯 절반의 확률로 갈라, 한쪽에는 알고리즘이 고른 주를, 다른 쪽에는 기존 절차를 흉내 내 무작위로 뽑은 주를 띄웠다. 두 화면은 같은 형식이었고 어느 절차가 만든 추천인지는 표시되지 않았다. 담당관은 화면에 뜬 추천에 반응할 수는 있어도 그 추천의 출처에 반응할 수는 없었다. 난민 본인도 자신이 어느 쪽인지 몰랐다.

쿼터는 처음부터 두 벌이었다. 배분 키와 출신국 균형 규칙을 처치군용과 대조군용으로 똑같이 복사해, 두 집단이 같은 자리를 놓고 다투지 않게 했다. 그래서 알고리즘이 사람들을 노동시장이 좋은 주로 몰아 성적을 올리는 일이 구조적으로 불가능하다. 주와 출신국의 전체 분포는 양쪽이 같고, 달라지는 것은 그 분포 안에서 누구를 어느 주에 넣느냐뿐이다. 실제로 두 집단의 배정 결과 분포는 통계적으로 구분되지 않았다.

추천은 명령이 아니었다. 담당관은 추천을 받아들일 수도 있고 뒤집을 수도 있었고, 최종 권한은 끝까지 사람에게 있었다. 화면에 뜬 추천을 따른 비율은 97%였다. 배정된 주를 3년 안에 떠난 사례는 대조군에서 5.4%로 드물었고, 이 비율은 처치군에서도 다르지 않았다. 주 사이의 이동을 법으로 묶어 둔 규정이 있어서다. 처음 정해진 주가 3년 내내 그 사람이 실제로 산 곳이었다. 3년 뒤 관측에서 빠진 비율은 대조군 성인 2.5%, 처치군 성인 2.3%로 낮고 서로 비슷했으며, 배정 전 특성도 두 집단 사이에 고르게 흩어져 있었다. 결과 데이터는 실험과 무관하게 수집되는 행정 등록부의 취업 이력에서 왔다. 채점하는 사람이 따로 없다는 뜻이다.

미리 등록해 둔 주된 결과는 취업 여부가 아니라 취업 기간이다. 배정 뒤 36개월 가운데 몇 달을 일했는지를 비중으로 재고, 한 사례에 성인이 여럿이면 그 평균을 쓴다. 대조군의 값은 22.3%였다. 36개월 가운데 여덟 달쯤 일한 셈이다. 여기서 AI 추천을 받은 쪽이 2.19%p 높았다. 상대로 따지면 약 10%이고, 95% 신뢰구간은 +0.05에서 +4.33%p, p값은 0.045다. 구간의 아래쪽 끝이 0에 거의 닿아 있으므로 "효과가 있었다"와 "효과가 거의 없었다" 사이의 경계에 겨우 걸친 결과다.

이 값은 추천을 실제로 따랐는지와 무관하게 무작위 배정 자체를 기준으로 잰 것이다. 추천대로 배치된 경우에 맞춰 다시 계산하면 2.49%p가 된다. 두 계산이 크게 벌어지지 않은 까닭은 무작위 배정이 실제 배치를 거의 그대로 나눴기 때문이다. 추천받은 주에 실제로 배치될 확률은 두 집단 사이에서 약 88%p 차이가 났다. 이 글에 나오는 나머지 수치도 따로 밝히지 않는 한 무작위 배정을 기준으로 잰 값이다.

이렇게 전체를 뭉쳐 놓으면 시기에 따라 달라지는 사정이 가려진다. 시험은 2020년 1월에 시작했고, 그 직후 팬데믹이 노동시장을 흔들었다. 모델은 팬데믹 이전 행정 데이터로 학습된 상태였다. 그래서 논문은 2020년 배정분을 뺀 값과 2022~2023년 배정분만 본 값을 나눠 싣는다. 뒤로 갈수록 효과가 커진다.

두 시기의 차이가 우연인지도 논문이 검정한다. 2022~2023년 배정분과 2020~2021년 배정분의 효과 차이를 직접 재면 공변량을 보정한 검정에서 p값이 0.039다. 연도별로 쪼개 보면 2020년과 2021년 배정분의 효과는 0과 구분되지 않고, 2022년과 2023년에서 뚜렷해진 뒤 그대로 유지된다. 왜 그런지도 진단으로 밝혀 놓았다. 알고리즘이 배정을 바꾸는 일은 두 시기 모두 해냈다. 추천을 받은 사례는 자기 예측 순위에서 위쪽에 있는 주로 더 많이 갔고, 이 경향은 팬데믹 시기에도 나타났다. 달라진 것은 그 순위가 실제 결과와 얼마나 맞물렸느냐다. 팬데믹 시기에는 순위 상위권에서 순위와 실제 취업의 관계가 거의 평평했다. 추천이 가장 많이 몰리는 구간에서 모델이 주들 사이를 구분하지 못했다. 노동시장이 정상으로 돌아온 뒤에는 그 관계가 순위를 따라 꾸준히 올라갔다. 모델이 배정을 움직이는 힘은 내내 남아 있었고, 한동안 끊겨 있던 것은 그 배정과 실제 취업 사이의 연결이다.

효과는 시간이 갈수록 커졌다. 다만 여기서 지표가 한 번 바뀌므로 수치를 옮길 때 주의해야 한다. 36개월 시점에서 논문이 보는 것은 일한 달의 비중이 아니라 "그 사례에 취업한 성인이 한 명이라도 있는가"다. 이 지표의 대조군 값은 47.7%이고, AI 추천을 받은 쪽이 5.2%p 높았다. 개인 단위로 바꿔 보면 대조군 44.8%에 4.6%p 차이다. 22.3%라는 숫자와 5.2%p라는 숫자를 나란히 놓고 상대 비율을 계산하면 안 되는 이유가 여기 있다. 분모가 다르다.

일자리를 종류별로 나눠 보면 차이가 어디에 몰려 있는지 보인다. 3년 안에 한 번이라도 일한 적이 있는지만 묻는 지표에서는 차이가 2.26%p에 그쳤고 신뢰구간이 0을 넉넉히 가로지른다. 이 지표에서는 두 집단이 사실상 구분되지 않는다. 반면 여섯 달 넘게 끊기지 않고 이어진 일자리를 가진 사례의 비율은 5.57%p 높았고, 2022~2023년 배정분에서는 9.56%p까지 올라간다. 3년 시점에 무기계약으로 일하는 사례의 비율도 4.45%p, 2022~2023년 배정분에서는 7.07%p 높았다. 첫 취업까지 걸린 기간은 평균 0.78개월, 2022~2023년 배정분에서는 1.45개월 짧았다. 추천이 바꾼 쪽은 일자리를 얻느냐 못 얻느냐가 아니라 그 일자리가 언제 시작해 얼마나 오래가느냐였다. 다만 이 넷 가운데 사전분석계획에 미리 적혀 있던 것은 첫 번째 지표뿐이고, 지속성과 속도를 보는 나머지 셋은 나중에 붙인 분석이다.

저자들은 이 크기를 다른 정책과 견준다. 덴마크가 1999년 개혁으로 430시간짜리 언어 교육을 얹었을 때 18년 평균 상근 환산 취업이 4.2%p 올랐고, 독일의 600시간 통합 과정은 1년 뒤 취업을 약 5%p 올렸다. 가장 견줄 만한 자리인 3년 시점 개인 취업에서 이 시험이 낸 값은 4.6%p다. 언어 수업과 직업 실습과 구직 지원을 묶은 스웨덴 프로그램은 15%p, 직업 멘토링과 보조금 인턴십을 붙인 이탈리아 프로그램은 10%p로 더 컸지만, 참가자 한 명당 비용이 각각 2,400프랑과 3,000프랑이고 사람과 시설이 많이 든다. 비용은 차이가 훨씬 크다. 논문의 계산에서 도구를 기존 업무에 얹는 데 드는 추가 운영비는 성인 한 명당 50스위스프랑이고, 늘어난 취업 한 달의 재정 가치를 1,950프랑으로 잡으면 편익 대 비용 비율이 약 27 대 1로 나온다. 개인 단위로 옮기면 성인 한 명이 3년 동안 더 일한 기간이 0.70개월이고, 운영비를 뺀 순재정 편익이 한 명당 약 1,300프랑이다. 다만 이 계산은 정부가 아끼는 지원금과 걷는 세금·사회보험료만 세고 난민 본인에게 남는 소득은 세지 않는다. 저자들도 이 비교를 두고 알고리즘 배정이 집중 언어 교육을 대신할 수 있다는 뜻으로 읽지 말라고 못 박는다.

이 방식이 처음 알려진 것은 2018년 사이언스 논문이다. 같은 연구진이 스위스 등록부 1999~2013년 자료로 모델을 학습시키고 2013년 도착 집단을 시험용으로 남겨, 최적화한 배정이 그 집단의 취업을 15%에서 26%로 올렸을 것이라고 계산했다. 11%p, 상대로는 73% 상승이다. 이 수치가 그 뒤 8년 동안 여러 기사와 소개 자료에 그대로 인용됐다.

이번 시험은 같은 방식으로 잰 자리에서 그 예측의 절반에 못 미치는 값을 확인했다. 부록이 직접 비교하는 대목이 있다. 2018년 계산과 가장 가까운 지표는 배정 36개월 시점의 개인 취업이고, 그 자리에서 나온 값은 4.6%p다. 사례 단위로는 5.2%p다. 11%p를 예고한 계산이 5%p 남짓을 맞혔다.

상대 비율의 격차는 대부분 분모에서 온다. 73%는 15%짜리 기준선 위에서 계산한 값이고, 10%는 45% 언저리의 기준선 위에서 계산한 값이다. 똑같은 크기의 %p 상승이라도 앞쪽에서는 훨씬 큰 비율로 보인다. 8년 사이에 스위스 난민의 취업 자체가 올라간 것이지, 알고리즘이 기대의 7분의 1로 쪼그라든 것이 아니다.

%p로 봐도 절반쯤 줄어든 몫은 남는다. 여기에는 이유가 여럿 겹친다. 2018년 계산에는 출신국 쿼터가 없어서 같은 출신 사람들이 이미 자리 잡은 주나 모어가 통하는 언어권으로 보내는 이점을 마음껏 쓸 수 있었는데, 실제 시험은 출신국 분포를 주별로 고정했다. 계산은 한 해 치를 통째로 놓고 사후에 짝을 맞췄지만 실제 배정은 뒤에 올 사람을 모르는 채 한 건씩 진행됐다. 배치된 모델은 예측 변수가 더 적었고 팬데믹 이전 데이터로 학습된 상태였다.

그러면 되짚기 계산 자체가 못 미더운 도구인가. 그렇지도 않다. 부록은 실제로 배치된 정책을 대상으로 같은 방식의 계산을 다시 돌렸다. 2022~2023년 배정분에서 그 계산이 예고한 이득은 3.0%p였고 실제로 나온 값은 3.9%p였다. 조건을 맞춰 놓고 비교하면 예측과 실측이 가깝다. 어긋난 것은 계산의 원리가 아니라 계산이 가정한 세계와 실제로 도구가 놓인 세계 사이의 거리였다.

모델이 한 사람을 볼 때 쥐고 있던 정보는 일곱 가지다. 성별, 도착했을 때의 나이, 혼인 상태, 사례에 속한 인원, 도착한 연도와 달, 국적, 모어. 스위스 행정 등록부에서 이주사무국이 배치용으로 고른 항목이 이것뿐이었다.

• • 학력이 없다. 고등학교를 나왔는지 대학을 나왔는지 모델은 모른다
• • 직업과 경력이 없다. 본국에서 무슨 일을 했는지 모른다
• • 현지어 능력이 없다. 독일어나 프랑스어를 할 줄 아는지 모른다

취업을 예측하는 데 가장 쓸모 있다고 알려진 변수들이 통째로 빠져 있다는 뜻이다. 다른 나라에서는 대개 구할 수 있는 항목이기도 하다. 저자들이 이 시험을 보수적인 시험이라고 부르는 첫 번째 이유다. 나머지 이유도 같은 방향이다. 새 방법론이 나왔지만 처치의 정의를 흔들지 않으려고 모델과 최적화 절차를 그대로 뒀고, 배분 키와 출신국 균형 규칙이 고를 수 있는 주를 좁혔고, 쿼터를 두 벌로 가른 탓에 최적화가 실제로는 전체 사례의 절반만 다뤘다. 그 위에 팬데믹이 겹쳤다.

반대편도 적어 둘 필요가 있다. 사전분석계획은 2023년 3월에 등록됐다. 시험이 시작되고 3년이 지난 시점이지만, 취업 결과 데이터를 받기 전이었다. 코호트를 나눠 본 비교는 그 계획에 미리 적힌 분석이 아니라 나중에 붙인 것이고, 논문도 그렇게 표시한다. 분포를 통째로 비교한 검정에서는 처치군이 대조군보다 나쁘지 않다는 가설이 기각되지 않았는데, 이것은 아무도 손해 보지 않았다는 증명이 아니라 그렇게 볼 수 있는 여지가 남았다는 정도의 말이다. 같은 분포를 다른 각도에서 본 검정에서는 두 집단의 분포가 같다는 가설이 처치군에 유리한 쪽으로 기각됐다. 전체 표본에서 p값이 0.035, 2022~2023년 배정분에서 0.007이다. 논문은 이 이동이 분포의 특정 구간이 아니라 거의 전 구간에 걸쳐 나타난다고 적는다. 사전 동의를 받는 절차는 기관생명윤리위원회가 면제했다. 배정이 이미 진행되는 행정 절차 안에 들어가 있고 분석이 행정 기록으로 이뤄진다는 이유였다.

지금부터는 같은 시험을 데이터 품질 문제로 다시 읽는다.

3년 뒤에 효과를 되짚을 수 있게 만든 것은 모델이 아니라 기록 방식이었다. 추천을 받은 건과 받지 않은 건이 무작위로 갈려 각각 기록됐고, 화면에 뜬 추천을 담당관이 따랐는지 여부가 남아 순응률 97%와 그에 맞춘 추정치를 계산할 수 있었다. 결과는 실험과 무관하게 돌아가는 행정 등록부에서 왔다. 쿼터를 두 벌로 갈라 둔 덕분에 두 집단이 같은 자리를 두고 다투며 서로의 결과를 흐리는 일도 막혔다. 이 넷 가운데 하나만 빠져도 2026년에 나온 숫자는 "그랬던 것 같다"의 수준에 머물렀을 것이다.

같은 구조를 훨씬 작은 규모로 옮기면 어느 조직에나 있는 질문이 된다. AI가 추천한 후보를 사람이 확인하고 결정하는 흐름은 채용 서류 선별에도, 고객 응대 우선순위에도, 설비 점검 순서에도 이미 들어와 있다. 그 결정이 몇 달 뒤에 좋았는지를 물었을 때 대답할 수 있으려면 다음이 기록에 남아 있어야 한다.

• • 추천을 받은 건과 받지 않은 건이 구분되는가. 전부 추천을 받았다면 비교할 상대가 없다
• • 둘을 가른 기준이 무작위인가, 아니면 어려운 건만 사람에게 갔는가. 뒤쪽이면 차이는 도구가 아니라 난이도에서 나온다
• • 담당자가 추천을 따랐는지가 건별로 남는가. 이 칸이 없으면 도구를 쓴 효과와 도구가 있었던 효과를 가를 수 없다
• • 결과를 채점하는 쪽이 어느 건이 추천을 받았는지 아는가. 안다면 채점이 결과의 일부가 된다
• • 모델을 언제 다시 학습시켰는지가 시점과 함께 남는가. 남지 않으면 성적 변화가 모델 탓인지 세상 탓인지 가를 수 없다

마지막 항목이 이 시험에서 가장 크게 드러난 대목이기도 하다. 학습에 쓴 데이터와 도구가 실제로 마주한 노동시장이 서로 벌어지자 효과가 내려앉았고, 시장이 돌아오자 효과도 돌아왔다. 지오매치는 분기마다 새 행정 데이터로 다시 학습됐는데, 그런 재학습 이력이 시점과 함께 남아 있었기에 코호트별로 갈라 볼 수 있었다. 예측이 잘 맞고 있는지를 지켜보고 조건이 바뀌면 다시 학습시키라는 저자들의 권고는, 바꿔 말하면 그 판단에 필요한 기록을 미리 남겨 두라는 말이다.

페블러스가 데이터 품질을 다룰 때 자주 마주치는 장면이 이것과 닮아 있다. 모델을 고르는 데 몇 달을 쓰고 정작 그 모델이 내린 결정을 나중에 검증할 방법은 남기지 않는다. 스위스의 사례에서 값진 부분은 2.2%p라는 숫자가 아니라, 그 숫자를 3년 뒤에 꺼낼 수 있게 만든 준비다. 준비가 없으면 몇 년 뒤에 남는 것은 "도입한 뒤로 나아진 것 같다"는 인상뿐이고, 그 인상은 반대 방향으로도 똑같이 그럴듯하다.

여기까지 읽어 주셔서 감사하다. 논문 원문은 arXiv에서 부록까지 볼 수 있다. 여러분의 조직에서 AI가 낸 추천을 사람이 받아 결정하는 흐름이 있다면, 그 결정을 나중에 되짚을 수 있는 칸이 기록에 남아 있는지 한번 확인해 보시고 무엇이 비어 있었는지 들려주시면 좋겠다.

1차 문헌

• 1.Bansak, K., Hainmueller, J., Hangartner, D., Ferwerda, J., Paulson, E., Delevoye, A., Adams-Cohen, N., Ramaswami, A., Kurer, S., Pianzola, J. & Hotard, M. (2026). "AI-based matching improves refugee employment in a double-blind randomized trial." arXiv:2609.35448. 본문 Table 1, 부록 Sec. S9·S12·S13.
• 2.Bansak, K., Ferwerda, J., Hainmueller, J., Dillon, A., Hangartner, D., Lawrence, D. & Weinstein, J. (2018). "Improving refugee integration through data-driven algorithmic assignment." Science 359(6373), 325–329.

비판적 검토

• 3.Achugamonu, S. (2025). "Place Matters: The Possibilities and Pitfalls of Machine Learning Algorithms for Refugee Resettlement." University of Chicago Public Policy Projects.
• 4."GeoMatch/MisMatch: A Critical Investigation of a Refugee Resettlement and Labour Market Integration Algorithm in the Netherlands." Social Inclusion.

배경 자료

• 5.Immigration Policy Lab. "Improving Refugee Integration Through Data-Driven Algorithmic Assignment." Stanford University · ETH Zurich.