Executive Summary

주요 수치

출처: Rezaeimanesh 외, INCONVENIENT 논문(arXiv:2610.21038, 2026년 10월 15일).

INCONVENIENT의 전체 이름은 "INCONVENIENT: A Benchmark to Assess LLM Generalization Capabilities from Convenience Samples"다. 미시간 주립대의 사라 레자에이마네시와 모하마드 가세미, 헨리 포드 헬스의 채드 클로치코와 쿤단 틴드가 함께 썼고, 10월 15일 arXiv에 올라왔다. 1면 머리글에는 ICLR 2027 학회 논문으로 실린다고 적혀 있다.

벤치마크가 다루는 데이터는 표 형태다. 행 하나가 사람이나 사건 하나이고 열 하나가 변수 하나인 그 표에, 병원의 진료 기록이나 기업의 심사 이력처럼 판단에 곧바로 쓰이는 데이터가 담긴다. 저자 넷 가운데 둘은 의료기관인 헨리 포드 헬스 소속이다.

이 벤치마크가 세운 구도는 단순하다. 데이터를 모집단과 편의표본의 둘로 본다. 모집단은 모델이 실제로 일하게 될 전체 세계이고, 편의표본은 그 세계에서 체계적으로 한쪽으로 치우쳐 모인 몫이다. 학습은 편의표본에서 시키고, 평가는 언제나 원래 모집단에서 한다. 현장의 순서가 그대로다. 모을 수 있는 데이터로 모델을 만들고, 그 모델을 모두에게 쓴다.

기존의 분포 변화 벤치마크는 이 구도를 쓰지 않았다. WILDS나 TableShift 같은 모음은 병원, 지역, 시점처럼 자연히 생긴 도메인으로 데이터를 갈라 한쪽에서 배우고 다른 쪽에서 평가한다. 그러면 성적이 떨어졌을 때 원인이 둘로 갈린다. 처음 보는 도메인에 적응하지 못한 것인지, 치우친 표본에서 모집단의 관계를 복원하지 못한 것인지 가릴 수 없다. INCONVENIENT는 평가 쪽을 모집단에 고정해 두고 학습 표본만 비틀어, 성적 하락의 원인을 수집 방식 하나로 못 박는다.

제목에 LLM이 들어간 것도 이 구도와 이어진다. 언어모델은 사전학습으로 모집단 수준의 상식을 들고 있다. 흡연이 폐암 위험을 높인다는 것 같은 관계다. 학습 데이터가 그 관계를 흐리거나 뒤집어 놓아도, 바깥에서 들고 온 지식으로 그 이상함을 짚어 낼 여지가 있다. 그 여지가 실제로 작동하는지를 재는 실험이 논문 뒤쪽에 붙어 있고, 4절에서 본다.

재료는 표 형태 데이터셋 200종이다. 회귀 80개, 이진분류 39개, 다중분류 81개를 OpenML과 Kaggle, TALENT에서 모았다. 관측치는 수백에서 수만까지, 변수는 열 개 미만에서 백 개 이상까지 흩어져 있다. 각 데이터셋을 학습풀과 평가셋으로 반씩 가르고, 학습풀 전체에 참조용 선형모델을 적합한다. 분류는 로지스틱 회귀, 회귀는 최소제곱이다. 거기서 나온 계수가 "모집단에서는 변수와 정답이 이런 관계"라는 기준선이 된다.

치우침은 그 기준선을 목표치만큼 밀어내는 방식으로 정의한다. 수집이 한쪽으로 쏠리면 그 표본에서 적합된 계수가 모집단의 계수와 어긋나기 때문이다. 어긋날 방향과 크기를 먼저 정해 두고 거기에 들어맞는 표본을 찾아내면, 치우침의 세기를 숫자로 지정한 학습 데이터를 얻는다. 그래서 변수 하나를 골라 계수를 세 방향으로 바꾼다. 크기를 1.15배에서 5.0배까지 키우는 증폭, 0.2배에서 0.9배로 줄이는 감쇠, 부호를 통째로 뒤집는 반전이다. 논문이 드는 예는 두경부암 데이터에서 흡연과 위험의 관계가 뒤집히는 경우다.

여기서 이 벤치마크의 성격이 갈린다. 목표 계수를 만들려고 숫자를 조작하거나 잡음을 섞지 않는다. 학습풀의 샘플마다 "이것을 넣으면 계수가 목표 쪽으로 얼마나 밀리는가"를 점수로 매기고, 그 순서대로 후보 집합을 넓혀 가며 조건을 만족하는 부분집합을 찾는다. 결과물은 실제로 존재하는 관측치만 들어 있는 표본이다. 데이터를 위조해 만든 가상의 상황이 아니라, 현실의 수집 과정이 특정 사람들만 걸러 담았을 때 생기는 표본과 같은 꼴이다.

이렇게 만든 변이를 다 쓰지는 않는다. 치우치지 않은 학습과 견줘 성능 차이가 0.1에 못 미치는 변이는 너무 약해서 빼고, 차이가 1을 넘거나 −1 아래로 가는 극단값도 뺀다. 더 센 변이에 이미 포섭돼 새 정보를 주지 못하는 변이도 지운다. 그렇게 걸러 남은 것이 분류 6,489개와 회귀 8,970개, 합쳐 약 1만 5500개다.

난이도 손잡이도 셋을 마련했는데, 저자들 스스로 하나는 쓸 만하지 않다고 적었다. 부분집합의 최소 크기를 줄일수록, 그리고 중요한 변수를 겨냥할수록 성능이 단조롭게 더 떨어진다. 이 둘은 믿고 쓸 수 있다. 증폭과 감쇠의 배율은 그렇지 않다. 회귀에서는 증폭 배율이 커질수록 하락이 느는 경향이 보이지만 감쇠는 일관되지 않고, 분류에서는 증폭조차 추세가 없다. 배율을 키울수록 겨냥하지 않은 계수들까지 덩달아 밀리기 때문인데, 그 측정값은 다음 절에 있다.

시험대에 오른 것은 표 데이터에서 흔히 쓰는 표준 모델 일곱 종이다. 결과를 한 줄로 요약한 논문의 결론부 문장은 이렇게 적혀 있다. 200종 데이터셋과 약 1만 5500개의 변이에 걸쳐 일곱 베이스라인이 평균적으로 성능의 20~45%를 잃는다.

과제별로 나눠 보면 폭이 달라진다. 비교 기준은 같은 모델을 원래 분포에서 학습하고 평가했을 때의 성적이다. 논문은 이것을 분포 내 성적이라 부른다. 분류에서는 그 성적보다 AUC가 0.18~0.24 낮아졌고, 상대값으로는 20~29% 하락이다. 회귀는 더 심해서 R²가 0.35~0.45 낮아졌고, 상대값은 53~82%에 이른다. 결론부의 20~45%는 일곱 모델 전체를 평균해 묶은 수치이고, 회귀만 떼어 보면 그 띠보다 높게 나온다.

순위에는 직관을 거스르는 대목이 하나 있다. 분포 내 성적이 가장 낮은 축에 있던 릿지 회귀와 다층 신경망이 하락폭은 가장 컸다. 치우치지 않은 데이터에서 R²가 각각 0.524와 0.472였는데, 0.425와 0.386씩 떨어져 0.1 아래로 내려앉는다. 원래 성능이 낮으니 잃을 것도 적으리라는 예상이 뒤집힌 셈이다. 규제가 센 모델일수록 표본에 적힌 관계를 그대로 받아 적고, 그 관계가 치우쳐 있으면 치우침까지 학습한다는 것이 저자들의 설명이다. 검증셋도 같은 표본에서 나오니 모델 안쪽에서는 이상 신호가 잡히지 않는다.

조작이 겨냥한 자리에만 머물지 않는다는 점도 측정됐다. 변수 하나의 계수를 목표치로 밀었을 뿐인데 건드리지 않은 다른 계수들이 함께 움직인다. 중앙값 기준 상대 변화가 회귀에서 증폭 26%, 감쇠 61%, 반전 55%였고, 분류에서는 104~109%였다. 변수들 사이의 상관을 타고 왜곡이 번지는 것이다. 앞 절의 배율 손잡이가 말을 듣지 않은 것도 그래서다.

이 상황을 기존 방법으로 고칠 수 있는지부터 논문은 부록에서 정리한다. IRM이나 DANN, VREx 같은 도메인 일반화 기법은 학습 도메인이 여럿일 때 공통 구조를 찾는 방식이라, 도메인이 하나뿐인 편의표본에는 적용할 자리가 없다. 중요도 재가중은 표본 선택이 입력 변수에만 달려 있을 때는 통하지만, 선택이 정답이나 변수와 정답의 관계에 달려 있으면 식별 자체가 불가능하다. INCONVENIENT가 만드는 상황이 바로 뒤쪽이다. 이 벤치마크의 질문이 불편한 까닭이 여기에 있다.

그래서 남는 실마리가 데이터 바깥의 지식이다. 저자들은 Claude Haiku 4.5에 원래 데이터의 코드북만 주고, 치우친 표본에서 적합된 계수 목록을 보여 준 뒤 수상한 변수를 꼽게 했다. 모델이 짚은 변수가 실제로 가장 많이 변한 상위 다섯 안에 드는지로 채점했다. 조작 유형별로 100개씩 뽑은 변이 300개에서 전체 적중률은 37.4%였다. 무작위로 찍었을 때의 적중률 16.8%와 견주면 2.2배다.

유형별로는 증폭이 42.7%로 가장 잘 잡혔고, 부호 반전이 36.7%, 감쇠가 32.7%로 뒤따른다. 관계가 과장된 쪽은 눈에 띄지만, 흐려진 쪽은 알아보기 어렵다는 순서다. 그래도 전체 그림을 부풀려 읽을 일은 아니다. 2.2배는 의미 있는 간격이지만 열 번 중 네 번에 못 미치는 적중이고, 모델에 코드북이라는 도메인 설명을 쥐여 준 조건에서 나온 숫자다.

데이터 품질을 점검하러 나가면 대개 같은 항목을 본다. 라벨이 맞는지, 빈 칸이 얼마나 되는지, 중복과 이상치가 있는지다. 셀 수 있고 고칠 수 있는 것들이다. 이번 벤치마크가 건드리는 것은 그 목록에 없다. 라벨이 전부 정확하고 결측도 없는 깨끗한 표라도, 그 표가 어떤 사람들만 모아 만든 것이라면 변수와 정답의 관계 자체가 세상과 다르게 적혀 있다. 그리고 그 어긋남은 표 안을 아무리 들여다봐도 보이지 않는다.

한국어 데이터 실무로 옮기면 질문은 이렇게 바뀐다. 우리 학습 데이터는 모집단을 닮아서 모인 것인가, 그저 모으기 쉬워서 모인 것인가. 답하려면 다음 네 가지가 문서에 적혀 있어야 한다.

• • 이 데이터가 어디서 왔는가. 어느 기관, 어느 기간, 어느 채널에서 모였는지를 적는다. 수집 경로를 적어 두지 않으면 나중에 치우침을 의심할 근거조차 남지 않는다
• • 검증셋이 학습셋과 같은 경로에서 나왔는가. 같은 표본을 갈라 쓰면 내부 지표는 끝까지 좋게 나온다. 이번 시험의 모델들이 무너지면서도 아무 경고를 띄우지 않은 것도 그 구조 때문이다
• • 모집단 쪽 표본이 조금이라도 있는가. 작아도 좋으니 무작위에 가깝게 모은 몫이 따로 있어야 한다. 비교 대상이 없으면 치우침은 측정 대상이 되지 못한다
• • 관계가 상식과 어긋나는 변수를 누가 점검하는가. 흡연이 위험을 낮추는 쪽으로 적합되는 식의 어긋남은 도메인 지식이 있어야 보인다. 논문의 실험은 언어모델이 그 점검의 1차 거름망 노릇을 할 수 있다는 것까지는 보여 주지만, 적중률 37.4%는 사람 검토를 대신할 수준이 아니다

다만 이 벤치마크를 과하게 읽어서는 안 된다. 여기서 비트는 것은 참조 선형모델의 계수다. 현실의 수집 편향이 전부 선형 계수의 증폭이나 감쇠로 표현되지는 않는다. 그럼에도 설계의 쓸모는 남는다. 수집 방식 자체를 변수로 올려 보면, 데이터 품질의 어느 항목에도 적히지 않던 위험이 숫자로 나온다. 품질 지표를 다시 짤 때 그 항목이 하나 더 필요하다는 뜻이다.

여기까지 읽어 주셔서 감사하다. 이 글의 사실관계는 arXiv에 공개된 논문 원문에서 확인했고, 벤치마크 데이터와 코드가 공개되면 실제 변이 구성을 다시 살펴볼 생각이다. 사내에서 학습 데이터의 수집 경로를 어떻게 기록해 두고 계신지, 모집단과 견줄 표본을 따로 두신 사례가 있다면 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 19일