Executive Summary

주요 수치

출처: Moon, Tamura & Guha, arXiv:2608.11491 §2·§3 및 보충자료 표 3

알고리즘 공정성 논의는 오랫동안 격차를 데이터와 모델의 결함으로 다뤄 왔습니다. 학습 데이터를 교정하고, 집단 간 캘리브레이션을 맞추고, 오류율을 같게 만드는 제약을 걸면 격차가 줄어든다는 처방입니다. 논문 저자들이 지적하는 것은 그 논의가 암묵적으로 자원은 충분하다는 가정 위에 서 있다는 점입니다. 알고리즘이 사람을 제대로 줄 세우는지는 물었지만, 줄 세운 사람들을 넣을 자리가 거의 없을 때 무슨 일이 벌어지는지는 묻지 않았습니다.

이 지적이 서 있는 자리는 사회학이 오래전에 닦아 둔 곳입니다. 찰스 틸리는 조직의 절차가 집단 사이의 작은 차이를 오래가는 우위로 바꾸는 방식을 정리했고, 로버트 머튼은 초기의 우위가 누적되며 커지는 과정을 매튜 효과로 불렀습니다. 알고리즘 연구에서도 예측이 정확하다고 결과가 나아진다는 보장은 없으며 도구가 놓이는 맥락이 성패를 함께 정한다는 지적이 나와 있습니다. 의료 위험 예측 알고리즘의 인종 격차를 드러낸 2019년 사이언스 연구처럼 편향이 확인된 사례에서도, 교정의 초점은 알고리즘 내부의 보정에 머물렀지 정확도와 자원 부족이 만나는 지점으로는 옮겨 가지 않았습니다.

노숙인 지원, 아동복지, 암 치료 의뢰에서는 수요가 공급을 자릿수 단위로 넘어섭니다. 이 조건에서 배분은 짝짓기가 아니라 배급이 됩니다. 시스템은 순위를 매긴 뒤 대다수를 잘라내는 임계선을 그어야 하고, 선발은 점수 분포의 평균 언저리가 아니라 극단 꼬리에서 일어납니다. 꼬리의 통계적 성질은 분류의 평균적 성질과 다르게 움직입니다.

저자들이 제시하는 직관은 이렇습니다. 부정확한 순위 매기기는 잡음 때문에 임계선 근처의 선발을 무작위로 뒤섞습니다. 이 뒤섞임이 배분 구조상 아래쪽에 놓인 집단에게도 선발될 확률을 0이 아닌 값으로 남겨 둡니다. 시스템이 정밀해지면 그 무작위성이 사라지고, 꼬리에서의 선발은 기대값상 임계선에 더 가까운 집단으로 수렴합니다. 부정확함이 내내 의도치 않은 형평 완충재로 작동해 왔다는 것이 논문의 표현입니다.

아래 도식은 같은 양의 자원을 배분하되 순위 정밀도만 달라졌을 때 임계선 위의 구성이 어떻게 바뀌는지를 보여 줍니다. 뽑는 사람 수는 양쪽 모두 넷으로 같습니다.

이 결과는 관료 재량을 보는 눈도 바꿉니다. 담당자 재량은 오랫동안 비효율로 취급됐고, 구조화된 평가 도구로 옮겨 가는 일이 그 교정으로 정당화돼 왔습니다. 저자들은 재량이 만든 해악을 부정하지 않으면서, 그 도구들이 제거한 잡음이 도구 자신은 대신하지 못하는 구조적 일을 하고 있었다고 말합니다. 희소성 아래에서 고정밀 순위 매기기를 형평의 이름으로 정당화하기는 생각보다 어렵다는 뜻입니다.

모델은 단순합니다. 인구를 두 집단 A와 B로 나누고, 각자의 잠재 위험 Z가 평균만 다른 정규분포를 따른다고 둡니다. 두 평균의 차이가 구조적 격차 Δ입니다. 배분자가 실제로 보는 것은 Z가 아니라 점수 Y이고, Y는 Y = ρZ + √(1−ρ²)ε 로 씁니다. 여기서 ρ는 점수와 실제 위험 사이의 상관계수이며, 논문은 이를 캘리브레이션이 아니라 순위 판별 충실도로 읽습니다. 임계선 선발은 점수의 절대값이 아니라 상대적 순서에만 반응하기 때문입니다.

상대 격차 D는 두 집단의 선발 확률 비, 곧 P(Y_A > t) / P(Y_B > t)입니다. t는 희소성이 정하는 컷오프여서, 지원 가능한 인구 비율 σ가 0으로 갈수록 t는 오른쪽 꼬리로 밀려납니다. 저자들은 밀의 비(Mill's ratio)를 이용한 꼬리 근사로 ln D = t·ρ·Δ + O(1)을 얻고, 이를 지수화해 다음 형태를 제시합니다.

세 항이 지수 자리에서 곱해진다는 점이 이 식의 전부입니다. 자원이 넉넉해 t가 작으면 정확도를 아무리 올려도 격차는 완만하게 움직입니다. 반대로 자원이 극도로 부족해 t가 크면, 같은 폭의 정확도 개선이 훨씬 큰 격차를 만듭니다. 정확도에 대한 민감도가 ∂D/∂ρ ≈ t·Δ·D로 나오기 때문입니다. 풍요로울 때는 눈에 띄지도 않을 정밀도 개선이 배급 상황에서는 지수적으로 증폭된다는 것이 정확도의 함정이라는 이름의 뜻입니다.

t가 얼마나 커지는지는 지원 가능 비율이 정합니다. 점수 분포가 표준정규에 가깝다면 논문이 적어 둔 대응식으로 t는 상위 몇 퍼센트를 자르는 지점의 z값이 됩니다. 절반을 지원할 수 있을 때 t는 0 언저리에 머물지만, 5%만 지원할 수 있으면 1.6 부근까지 올라갑니다. 예산이 깎이는 일이 이 식 안에서는 지수에 들어간 곱셈 항 하나가 커지는 일로 나타납니다.

저자들은 이 결과가 정규분포 가정의 인공물이 아님을 확인하기 위해 점수가 로그정규 분포를 따르는 경우도 풉니다. 이때 상대 격차는 D ∝ T^(ρΔ) 라는 거듭제곱 관계가 됩니다. 함수의 형태는 바뀌지만 방향은 그대로입니다. 희소성을 키우거나 정확도를 올리면 격차는 단조적으로 커집니다. 실무자에게 유용한 연결 고리도 부록에 붙어 있습니다. 등분산 정규 모형에서 AUC = Φ(ρΔ/√2)가 성립하므로, 배포된 모델의 AUC와 측정된 Δ가 있으면 ρ를 역산할 수 있습니다.

이 식이 이상적인 조건에서만 성립하는 것 아니냐는 반문에도 부록이 답합니다. 실무에서는 컷오프가 아니라 지원 가능 비율이 정해져 있어 정확도가 오르면 임계선도 따라 움직이는데, 저자들은 그 경우를 따로 풀어 희소 구간에서는 꼬리 쪽 거동이 지배해 기제가 남는다고 정리합니다. t가 무한대로 갈 때의 근사 역시 유한한 임계선에서 정확한 값과 대조해 수렴을 확인했습니다. 같은 현상을 유한한 배분 사례에 대해 이산 조합론으로 먼저 다룬 선행 연구가 있고, 이 논문은 그 결과를 연속 점근 형태로 확장한 것입니다.

이 검증에는 새 알고리즘을 현장에 배포하는 절차가 없습니다. 저자들은 이미 운영 중인 점수에 사후로 잡음을 주입해 Y = ρR + √(1−ρ²)ε 를 만들었습니다. ρ = 1이 배포된 모델의 현재 운영 지점이고, ρ를 낮추면 덜 정밀한 순위가 됩니다. 순위 정밀도가 달라질 때 배분 결과가 얼마나 출렁이는지를 재는 절차입니다.

검증 무대는 셋입니다. 먼저 몬테카를로 시뮬레이션으로 20,000명을 만들었습니다. 두 집단에 1만 명씩 두고 잠재 위험의 평균을 0.8과 0.3, 표준편차를 1로 잡은 뒤, ρ를 0.2에서 1까지 움직이며 희소성과의 조합마다 25회씩 반복했습니다. 가정이 그대로 성립하는 무대여서 신뢰구간이 가장 좁고 곡선도 이론에 제일 가깝습니다. 나머지 둘은 실제 운영 중인 점수를 쓴 현장이고, 이 두 곡선이 시뮬레이션의 상승선을 따라가는지가 검증의 관건이었습니다.

3.1캐나다 아동복지

토론토 아동보호기관 CAST에서 2022년부터 2025년까지 모은 583가구의 서술형 케이스노트 37,201건을 썼고, 연구윤리위원회 승인을 받았습니다. 로컬 LLM인 Meta-Llama-3.1-8B가 각 기록이 서비스 목표를 향한 진전을 담고 있는지를 1과 0으로 분류하고, 가구별 위험 점수는 목표에 부합한 기록의 비율을 1에서 뺀 값으로 정의했습니다. 목표에서 멀어질수록 점수가 높아지는 구성입니다. 이 분류기는 선행 연구에서 6,031건에 대해 아동복지 실무자와 연구자가 직접 검수한 이력이 있습니다.

도심부를 맡는 이너 토론토 팀의 담당 가구 평균 위험 점수는 0.443(95% 신뢰구간 0.408에서 0.478)이었고, 아우터 토론토 팀은 0.385(0.363에서 0.406)였습니다. 실측 구조적 격차 Δ는 0.058입니다. 토론토는 빈곤이 지역별로 뭉쳐 있는 도시이고, 선행 연구가 지역을 아동복지 서비스 편차의 유의한 예측 변수로 지목한 바 있어 두 지역의 차이를 Δ의 대리 지표로 삼았습니다. 상대 격차 추정은 1,000회 부트스트래핑으로 안정화했습니다.

여기서 나뉘는 자원은 담당자의 시간과 지원 서비스입니다. 목표에 진전이 없다는 기록은 안전 우려가 아직 해소되지 않았다는 신호로 읽히고, 그런 가구에 인력을 먼저 붙이는 것이 이 점수의 용도입니다. 표본은 이너 토론토 178가구와 아우터 토론토 405가구로 나뉩니다. 두 지역의 평균 차이를 효과크기로 환산하면 0.261(0.084에서 0.441)로 큰 값은 아니지만 신뢰구간이 0을 품지 않습니다. 배분 분석을 돌리기 전에 이미 데이터에서 잡히는 격차라는 뜻입니다.

3.2미국 유방암 치료 의뢰

유방암은 치료가 늦어지면 사망률이 올라가고, 자원이 부족한 조건에서 그 지연이 길어집니다. 누구를 먼저 의뢰할지 정하는 일이 곧 배분인 이유입니다.

두 번째 현장은 미국 SEER 암 등록 자료입니다. 2012년부터 2021년까지 진단된 유방암 사례로 그래디언트 부스팅 모델을 학습시켜 5년 유방암 특이 사망 위험 점수를 만들었습니다. 비히스패닉 백인 118,662명의 평균 예측 위험은 0.325(0.324에서 0.327), 비히스패닉 흑인 16,820명은 0.418(0.414에서 0.422)로 Δ는 0.093이었습니다. 25회 독립 시뮬레이션으로 같은 사후 잡음 주입 절차를 반복했습니다. 나라도 인구도 모델 구조도 겹치지 않는 두 현장이, 20,000명 규모의 몬테카를로 시뮬레이션과 같은 상승 궤적을 그렸습니다.

이 궤적이 인종 변수를 직접 받아 그려진 것은 아닙니다. SEER 모델은 학습 피처에서 인종을 뺐습니다. 나이, 병기, 등급, 종양 크기, 호르몬 수용체와 HER2 상태, 검사한 림프절 수와 양성 림프절 수를 넣었고 인종은 넣지 않았습니다. 관측된 격차가 인종을 변수로 직접 받아 생긴 것이 아니라 정확도와 희소성의 상호작용에서 나온다는 점을 분명히 하려는 조치입니다. 보류 데이터에서 이 모델의 AUC는 0.8471(0.8370에서 0.8564)이었습니다.

아래 표는 배포 모델의 운영 지점에서 지원 가능 비율을 줄여 갈 때 두 집단의 선발 확률이 어떻게 갈라지는지를 보여 줍니다. 대상자의 95%를 지원할 수 있을 때는 두 집단이 거의 구분되지 않습니다. 5%만 지원할 수 있는 구간에 들어가면 아동복지에서 격차가 2.86배로 벌어집니다.

표가 보여 주는 것은 배포 모델의 운영 지점 한 곳뿐입니다. 정확도를 낮춰 가며 같은 그림을 다시 그리면, 세 영역 모두에서 ρ가 낮은 모델의 격차 곡선은 자원이 줄어들어도 거의 평평하게 누워 있고 ρ가 올라갈수록 곡선이 가팔라집니다. 정확도에 대한 민감도 식이 실제 데이터에서 그대로 나타난 대목이고, 격차의 기울기를 정하는 것이 희소성만이 아니라 정확도이기도 하다는 점이 여기서 확인됩니다.

극단 희소 구간에서는 두 집단 모두 선발 확률이 작아지므로 비율이 불안정해 보일 수 있습니다. 저자들은 절대 확률을 함께 공개해 이 우려에 답합니다. 지원 가능 비율 5% 구간에서도 아동복지는 0.091 대 0.032, SEER는 0.088 대 0.045로 분모가 0에 붙지 않습니다. 한계도 스스로 적어 두었습니다. 아동복지 쪽 신뢰구간이 다른 두 영역보다 넓은 것은 극단 꼬리의 표본이 작기 때문이고, 두 검증 모두 공공복지 체계 안에 있어 시장형 배분이나 중간 정도 희소성에서도 같은 현상이 나타나는지는 아직 열린 질문입니다.

모형이 두 집단에 같은 ρ 하나를 쓴다는 점도 저자들이 먼저 밝힙니다. 현실에서는 기록이 성긴 집단일수록 측정 품질이 떨어져 ρ가 낮은 경우가 많습니다. 저자들은 그 경우 함정이 완화되는 게 아니라 더 깊어질 것으로 보고, 지금의 공유 ρ 결과를 실제 시스템이 보일 격차의 하한선으로 제시합니다. 부록 시뮬레이션에서 B 집단 쪽 ρ만 낮추자 B의 관측 점수 평균이 0 쪽으로 밀리면서 두 집단의 분리가 오히려 커졌습니다.

이 논문에서 가장 오해하기 쉬운 대목이 집단 A와 B의 정의입니다. 논문은 A를 배분 시스템에 의해 구조적으로 유리해진 집단으로 정의하고, 이 정의가 역사적 의미의 소외 집단과 어긋나거나 정반대일 수 있다고 명시합니다. 실제로 두 실증에서 A는 위험 점수가 높은 쪽입니다. 아동복지에서는 빈곤이 집중된 도심부를 맡는 이너 토론토 팀의 가구들이고, SEER에서는 예측 사망 위험이 더 높은 흑인 환자들입니다. 높은 위험에 자원을 먼저 주는 규칙 아래에서는 이들이 임계선 위에 섭니다.

그래서 함정은 배분되는 자원의 규범적 성격에 대해 중립적입니다. 증폭된 격차가 누구에게 이익이고 누구에게 해가 되는지는 모델 밖의 두 가지가 정합니다. 그 자원이 혜택인지 부담인지, 그리고 해당 집단이 임계선 위인지 아래인지입니다. 개입이 지원이라면 아래 집단은 필요한 도움을 못 받게 되고, 개입이 감시나 조사처럼 부담이라면 위쪽 집단이 그 부담을 집중적으로 떠안게 됩니다.

실무에서 이 구분이 중요한 이유는 점검의 방향이 달라지기 때문입니다. 우리 모델이 특정 집단에 낮은 점수를 주지 않는지 확인하는 것만으로는 이 함정이 잡히지 않습니다. 물어야 할 것은 점수의 방향이 아니라 임계선이 어디에 그어지는지, 그 아래에 누가 남는지, 잘려 나가는 것이 지원인지 부담인지입니다.

저자들이 절대 격차 대신 상대 격차를 쓴 이유도 같은 자리에서 나옵니다. 배급 상황에서는 어느 집단이든 선발 확률이 작기 때문에, 절대 차이로 만든 형평 지표는 시스템이 어떻게 배분하든 늘 작은 숫자를 보고합니다. 정치적으로나 도덕적으로 중요한 질문은 어느 집단이 얼마나 자주 뽑히느냐가 아니라 뽑힐 기회가 인구 전체에 어떻게 흘러가느냐입니다. 형평을 통계적 제약이 아니라 권력과 자원 분배의 문제로 봐야 한다는 선행 연구의 문제 제기를 저자들은 이 자리에서 끌어옵니다. D가 2에서 10으로 커질 때 아래 집단이 겪는 변화는 부분적으로 열려 있던 시스템이 사실상 닫히는 것이고, 절대 확률의 변화폭은 그 와중에도 대단찮아 보일 수 있습니다.

지금의 공공부문 알고리즘 감사는 대체로 한 가지를 봅니다. 모델의 오류율이나 점수 분포가 보호 집단 사이에 다른가입니다. 저자들은 이 감사가 필요하지만 충분하지 않다고 말합니다. 위양성률을 점수 분포의 몸통 어딘가에서 맞춰 놓는 공정성 개입은, 정작 배급이 일어나는 꼬리에서 무슨 일이 벌어지는지에 대해 아무 말도 하지 않기 때문입니다.

그래서 추가로 감사하라고 제안하는 항목이 배분 변동성입니다. 정확도와 공급이 바뀔 때 상대 접근 확률이 얼마나 민감하게 반응하는지를 가리킵니다. 운영 수준으로 옮기면 D(σ, ρ)를 그럴듯한 희소성과 정확도 조합의 범위에 대해 계산해 보고서에 싣는 일이 됩니다. 예산이 줄어들 때 형평이 어디서 무너지는지 미리 보는 스트레스 테스트입니다.

지수적 민감도가 드러나면 선택지는 둘입니다. 하나는 의도적인 부정확함을 넣는 것입니다. 특정 분위 이상은 모두 같은 우선순위로 묶고 밴드 안에서는 추첨으로 순서를 정하는 밴딩 방식이 예시로 제시됩니다. 세밀한 위험 구분 능력은 떨어지지만 논문이 예측하는 지수적 증폭은 줄어듭니다. 다른 하나는 희소성 자체를 건드리는 것, 곧 공급을 늘리는 쪽입니다. 이 교환을 받아들일지는 정책 문제이지 기술 문제가 아니며, 논문의 역할은 그 선택을 보이게 만드는 데까지라고 저자들은 적었습니다. 정렬 알고리즘만 최적화해서는 정밀도와 희소성의 상호작용에서 비롯된 격차를 풀 수 없다는 것이 마지막 문장입니다.

무작위성을 넣자는 주장 자체가 이 논문에서 처음 나온 것은 아닙니다. 기계학습에 기대는 희소 자원 배분은 무작위화되어야 한다는 입장문이 2024년에 이미 제출돼 있었고, 이 논문이 보탠 것은 그래야 하는 속도입니다. 격차가 어느 구간에서 얼마나 빨리 벌어지는지를 계산해 두면, 추첨을 섞을지 말지가 취향의 문제에서 수치를 놓고 다투는 문제로 옮겨 갑니다.

계산 부담이 걸림돌은 아닙니다. 이 논문의 시뮬레이션과 두 건의 실증 분석 모두 노트북 한 대에서, 난수 시드를 고정해 다시 돌릴 수 있는 형태로 수행됐습니다. 배분 변동성을 재는 일은 인프라를 갖추는 문제라기보다 재 볼 것이냐를 정하는 문제입니다.

점수를 만들거나 도입을 심사하는 자리에 있다면, 당장 던져 볼 질문은 셋입니다.

• 이 점수는 분류에 쓰입니까, 배분에 쓰입니까. 위험군을 가려내는 데 쓰이는 점수와 한정된 자리를 나누는 데 쓰이는 점수는 같은 지표로 평가할 수 없습니다. 도입 심사에서 이 구분부터 문서에 적어 둘 수 있습니다.
• 임계선은 지금 어디에 있고, 공급이 줄면 어디로 움직입니까. 예산이 깎이거나 대기자가 늘면 t는 꼬리 쪽으로 밀려납니다. 현재 지원 가능 비율과 최악의 경우를 함께 적어 두면 감사 항목이 됩니다.
• 정확도를 올리는 다음 작업이 배분 결과를 어떻게 바꿉니까. 배포된 모델의 AUC와 측정된 Δ가 있으면 ρ를 역산할 수 있고, 개선 목표치를 넣어 D의 변화를 미리 계산해 볼 수 있습니다.

같은 축의 이전 글로는 감사 문항을 감췄을 때 공정성 조작 비용이 어떻게 달라지는지 본 공정성 감사 조작 비용, 편향 교정을 위해 민감 데이터를 푼 EU AI법의 예외 조항, 채용과 복지 결정을 되물을 권리를 다룬 설명을 요구할 권리가 있습니다. 논문 원문은 arXiv:2608.11491에서 볼 수 있습니다.

1차 소스

• 1.Moon, E. S., Tamura, M., & Guha, S. (2026). "The Accuracy Trap: Structural Scarcity Amplifies Relative Inequality in Algorithmic Allocation." arXiv:2608.11491. — 이 글의 1차 논문. 스케일링 법칙과 캐나다 아동복지·미국 SEER 유방암 실증의 출처.

학술 논문

• 2.Moon, E. S., & Guha, S. (2026). "The Paradox of Prioritization in Public Sector Algorithms." Proceedings of the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT). — 본 논문의 직접 선행연구(이산 조합론 버전).
• 3.Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). "Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations." Science, 366(6464), 447–453. — 인종별 건강 위험 예측 알고리즘 편향의 대표적 선행 사례.
• 4.Kasy, M., & Abebe, R. (2021). "Fairness, Equality, and Power in Algorithmic Decision-Making." Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT), 576–586. — 형평을 권력·자원 배분의 문제로 보는 프레임의 근거.
• 5.Tilly, C. (1998). Durable Inequality. University of California Press. — 조직적 절차가 집단 간 작은 차이를 지속적 우위로 바꾸는 메커니즘을 다룬 사회학적 배경.
• 6.Merton, R. K. (1968). "The Matthew Effect in Science." Science, 159(3810), 56–63. — 초기 우위가 누적되는 매튜 이펙트, Δ가 사라지지 않는 이유의 사회학적 배경.