Executive Summary
미국 규정은 수도관을 파 보는 대신 통계·예측 모델로 재질을 판정하는 것을 허용한다. 뉴욕주는 주소마다 어떤 방법으로 판정했는지를 함께 공개하는 몇 안 되는 주여서, 그 모델 출력이 같은 사업자가 같은 동네에서 실제로 파 본 결과와 나란히 놓인다. 한 독립 연구자가 주 전역 대장을 그렇게 놓고 훑었다. 판정을 내린 방법 가운데 예측 모델만, 4만 3천여 개 주소 전부에서 납도 불명도 기록하지 않았다. 없는 것은 관이 아니라 대장에 적힌 값이다.
가장 강한 근거는 다른 도시와의 비교가 아니라 같은 도시 안에 있다. 뉴욕시는 납이라는 값도, 모른다는 값도 수십만 번 쓰면서 모델이 맡은 구간에서만 한 번도 쓰지 않았다. 추정 없이 성립하는 사실이 둘 더 있다. 주 지침은 1986년 6월 이후 시공 기록이 있을 때만 그 값을 허용하는데, 그 구간의 상당수가 1940년 이전 건물에 있고 시공일자 칸은 전부 비어 있다. 그리고 2025년 스냅샷에는 공공 구간 판정이 아예 없었다. 지금 그 자리에 있는 값은 소유자가 다른 관, 곧 고객 구간의 모델 출력을 옮겨 온 것이다. 뉴욕에서 550km 떨어진 인구 몇천의 마을이 같은 패턴을 독립적으로 되풀이한다.
이것은 모델이 틀렸다는 이야기가 아니다. 논문은 정확도를 아예 보고하지 않고 벤더도 거명하지 않는다. 확신에 찬 오답 모델, 애매한 건만 크루에게 보내고 통과분만 모델로 적는 합리적 워크플로, 제출 전에 불확실성을 버리는 파이프라인. 셋 다 이 데이터와 부합하고, 대장을 읽는 사람은 셋을 구별할 수 없다. 값이 어떻게 만들어졌는지와 그 값이 얼마나 불확실한지를 함께 적어 두지 않으면, 나중에 그것을 되짚을 방법은 인터넷 아카이브에서 1년 전 스냅샷을 꺼내 대조하는 일밖에 남지 않는다.
43,215
모델이 판정한 뉴욕시 주소
기록된 재질은 전부 한 가지 값, 납도 불명도 0건
0.0085%
그 구간 납 비율의 95% 상한
같은 도시 기록 기반 판정은 19.80%에서 납을 찾는다
7,782
그중 1940년 이전 건물에 있는 주소
지침의 허용 조건은 1986년 6월 이후 시공, 시공일자 칸은 100% 공란
1,150–1,450
여섯 추정기가 낸 예상 납 공공관 수
신뢰구간이 아니라 설정 간 불일치 폭
규정은 모델을 허용하되 조건을 붙였다
미국의 납·구리 규칙 개정(LCRR)은 2024년 10월까지 모든 지역 수도시스템이 인입관 대장을 공개하도록 했다. 납은 소량이라도 문제가 된다. 미국 질병통제예방센터는 2021년 10월 아동 혈중 납 기준치를 3.5 µg/dL로 낮추면서, 안전한 혈중 납 농도는 없다는 입장을 함께 유지했다. 재질을 모르는 관이 있으면 굴착 대신 통계적 방법이나 예측 모델로 판정하는 길을 열어 두었고, 그 허용 위에서 상업 시장이 자랐다. 사업자들이 모델을 사는 이유는 단순하다. 관 하나를 파 보는 비용이 자릿수 단위로 비싸기 때문이다.
비용 차이의 규모는 미국 환경보호청이 배포한 자료에서 확인된다. 판정 방법별 관당 단가를 정리한 표를 보면 굴착은 1,120달러, 순차 수질 샘플링은 715달러, 육안 점검은 29달러다. 예측 모델 자체의 건당 단가는 공개된 1차 자료가 없어 같은 표에 정량으로 실리지 않았다. 판정 뒤에 이어지는 실제 교체는 훨씬 더 든다. 환경보호청은 관당 평균 4,700달러(범위 1,200~12,300달러)로 잡고, 미국수도협회는 8,247달러에서 1만 2천 달러 이상으로 잡는다. 두 숫자의 간격 자체가 업계에서 오래된 논쟁이다. 연방정부는 인프라법을 통해 2022~2026 회계연도에 인입관 교체 전용으로 150억 달러를 배정했고, 뉴욕주는 3차 배분까지 3억 6,900만 달러를 받았다.
모델이 돈을 아끼는 경로는 판정 자체가 싸기 때문이 아니라 파 볼 대상을 줄이기 때문이다. 대표적 벤더가 공개한 사례를 보면 디트로이트 수도하수국은 예측 모델 도입으로 1억 6,500만 달러를 아낀 것으로 추산되고, 사우스벤드는 5만여 건의 인입관 가운데 125건(0.25%)만 물리 검증한 뒤 나머지를 모델로 처리했다. 두 수치 모두 벤더 자체 발표라 액면 그대로 받을 값은 아니지만, 절감이 어디서 나오는지는 분명하게 보여 준다. 검증 대상 모집단을 줄이는 것이 모델의 용법이고, 검증을 없애는 것은 아니다.
돈이 이렇게 걸린 판정을 규정이 어떻게 통제하는지가 이 글의 기준선이다. 뉴욕주 보건부의 인입관 대장 작성 지침 v3은 재질을 확인하는 방법 일곱 가지를 나열한다. 기록 조회, 현장 점검, 굴착, 수질 샘플링, 통계분석·예측 모델, 고객 자가 식별과 직원 확인, 그리고 기타 승인 방법이다. 이 중 굴착과 현장 점검만 관을 직접 본다. 나머지는 책상에서 이뤄지는 간접 방법이고, 지침은 간접 방법에 각각 다른 조건을 걸었다.
1.1모델 출력은 그 자체로 인정되지 않는다
예측 모델을 다루는 항목은 물음부터 직설적이다. "예측(확률) 모델이나 통계분석이 물리 검증 없이 인입관을 확인된(known) 상태로 만들 수 있는가?" 지침의 답은 조건부다.
"모델의 출력은 어떤 모델이나 통계분석에도 내재된 부정확성 때문에 일반적으로 물리 검증이 필요하다. 다만 사안별로 일부 모델·통계분석 결과는 물리 검증 없이 인정될 것이다. 물리 검증이 어느 정도면 충분한지를 주가 평가할 수 있도록 충분한 정보를 제출해야 한다." 제출 항목의 예로 지침이 든 것 가운데 둘이 이 감사의 핵심이다. "물리 검증할 인입관 수 같은 무작위 물리 검증 절차"와 "모델의 신뢰구간"이다. 그리고 같은 항목이 이렇게 닫는다. "주가 처음 정한 물리 검증률은 물리 확인 결과의 정확도에 따라 조정될 수 있다."
마지막 문장이 규정 안에 피드백 루프를 심어 놓는다. 검증률은 삽이 무엇을 찾아내느냐에 반응해 움직이도록 설계돼 있다. 이 설계가 실제로 작동하는지는 2장에서 파일에 되물어 본다.
1.2여덟 개 어휘가 "납 아님"과 "납일 수 있음"을 구분한다
수도시스템은 재질 칸에 여덟 개 값 중 하나를 고른다. 원문 순서대로 옮기면 Lead including lead-lined galvanized(납관 및 납 라이닝 아연도관), Copper(구리), Galvanized(아연도), Plastic(플라스틱), Known Other, Unknown but could be lead, Unknown but unlikely lead, Unknown이다. 여덟 중 셋이 명시적인 "모름"이고, 그 셋 중 하나는 "납일 수 있음"을 따로 표시한다.
이 글에서 가장 자주 나올 값이 다섯 번째의 Known Other다. 이 값을 "기타"로 옮기면 뜻이 완전히 달라진다. 주 서식에서 이 값은 세 개의 "모름" 값 쪽이 아니라 구리·플라스틱 같은 명시 재질들 옆에 앉아 있고, 재질 이름은 대지 못하지만 납이 아님은 확인된 관을 뜻한다. 대장을 집계하면 비-납으로 분류된다. 이 글은 이하 "납 아님으로 분류되는 재질 미상"으로 적는다. 헤지값 Unknown but could be lead는 "납일 수 있는 불명"으로 적는다.
"납 아님으로 분류되는 재질 미상"을 쓸 수 있는 조건도 지침이 못박아 두었다. 배수 시스템 전체가 1986년 6월 이후 또는 해당 지자체의 납관 금지 이후에 시공됐음을 보여 주는 문서 기록이 있고, 고객 소유 구간 전체도 그 이후에 지어졌어야 한다. 그리고 같은 항목에 대체 절차가 붙어 있다. "그런 기록이 없다면 Item 14에 포함된 하나 이상의 방법으로 인입관 재질을 확인해야 한다." 즉 기록이 없으면 물리적 방법으로 돌아가라는 뜻이다.
1.3같은 지침이 샘플링에는 숫자를, 모델에는 절차를 붙였다
지침을 통독하면 예측 모델 항목 바로 앞에 흥미로운 대목이 나온다. 모델과 나란히 놓인 또 하나의 간접 방법인 수질 샘플링에는 숫자로 된 검증 기준이 붙어 있다. "부식 억제제를 쓰지 않는 시스템의 경우, 인입관 재질 식별을 위한 순차 샘플링은 뉴욕주 보건부가 승인한 연구의 일부일 때만 인정된다. 샘플링으로 잠정 식별된 재질에 대해 최대 20퍼센트의 물리 검증이 요구될 것이다. 물리 검증 결과의 정확도가 90% 미만이면 그 샘플링은 물리 확인 없이 사용해서는 안 된다."
두 항목을 같은 표에 놓으면 비대칭이 드러난다.
| 항목 | 수질 샘플링 (Item 16) | 예측 모델 (Item 17) |
|---|---|---|
| 사전 승인 | 보건부가 승인한 연구의 일부일 때만 | 사안별 판단 |
| 물리 검증량 | 최대 20%, 수치로 명시 | "얼마가 적절한지 평가할 정보를 제출하라" |
| 실패 기준선 | 검증 정확도 90% 미만이면 사용 금지 | 숫자로 된 기준선 없음 |
| 제출 요구 | 승인 연구 계획 | 무작위 검증 절차 + 신뢰구간 |
출처: 뉴욕주 보건부, Service Line Inventory Guidance (LCRR) v3, 2025년 8월, Item 16·17. 이 리포트가 PDF 원문을 직접 대조했다
이것을 "규정이 모델을 봐줬다"로 읽으면 틀린다. 지침은 모델에도 요구를 했다. 무작위 검증 절차와 신뢰구간을 내라고 적혀 있고, 이건 가벼운 요구가 아니다. 다만 그 요구가 지켜졌는지를 대장 안에서 확인할 방법이 없다. 샘플링 쪽에는 "정확도 90% 미만이면 못 쓴다"는 판정 가능한 문장이 있고, 모델 쪽에는 "충분한 정보를 제출하라"는 절차적 요구가 있다. 이 차이가 뒤에 나올 모든 관찰의 배경이다.
집계 한 번으로 153곳을 훑었다
감사의 출발점은 검사 하나다. 지자체마다, 예측 모델이 낸 판정이 몇 종류의 재질 값을 취하는가. 그리고 그 지자체 자신의 물리 검증은 무엇을 찾았는가. 첫 질문은 SQL 한 줄짜리 집계이고, 두 번째 질문은 같은 파일 안에 이미 답이 들어 있다. 논문은 이 두 단계를 뉴욕주 전역에 몇 초 만에 돌렸다.
대상은 모델로 100건 이상을 판정한 153개 지자체다. 뉴욕주 대장이 공개하는 가장 세밀한 지리 단위가 지자체(Service Line Locality)라 그 단위로 훑었다. 이 중 75곳(49%)이 재질 값을 정확히 하나만 기록했고, 그 75곳이 덮는 주소는 12만 5,990개로 스크린 대상 전체의 57.0%다.
여기서 논문의 절제가 시작된다. 값이 하나뿐인 것 자체는 잘못이 아니다. 1986년 이후에 지어진 동네를 담당하는 시스템이라면 재질 값이 하나로 나오는 편이 오히려 정상이다. 그래서 스크린이 2단계다. 변동 없음이 표시하고, 모순이 확증한다. 75곳 중 68곳은 자기 물리 검증에서도 납이 사실상 나오지 않았거나, 검증량이 너무 적어 대조 자체가 불가능하다. 논문은 이 68곳을 명시적으로 방어하고 혐의를 두지 않는다.
2단계 기준은 미리 정해 두었다. 물리 검증한 관이 200건 이상이고 그중 1% 이상이 납인 지자체. 이 문턱을 넘으면서도 모델 구간은 값이 하나뿐인 곳이 7곳이다. 다섯은 뉴욕시의 자치구이고, 하나는 뉴욕시에서 550km 떨어진 이스트로체스터, 나머지 하나가 트로이다.
| 지자체 | 모델 판정 | 기록된 유일한 값 | 물리 검증 | 검증 납 비율 | 기대 납 건수 | 0건 관측 확률 |
|---|---|---|---|---|---|---|
| 스태튼아일랜드 | 16,434 | Known Other | 20,500 | 2.31% | 380 | 10-167 |
| 브루클린 | 10,308 | Known Other | 52,024 | 7.54% | 777 | 10-351 |
| 퀸스 | 8,513 | Known Other | 66,460 | 14.19% | 1,208 | 10-566 |
| 브롱크스 | 4,867 | Known Other | 17,769 | 5.46% | 266 | 10-119 |
| 맨해튼 | 3,315 | Known Other | 11,751 | 3.40% | 113 | 10-50 |
| 이스트로체스터 | 472 | Known Other | 557 | 9.69% | 46 | 10-21 |
| 트로이 | 187 | Copper | 325 | 1.54% | 3 | 0.055 |
모델 출력이 한 값만 취하고 그 지자체 자신의 크루가 이를 반증한 곳. 마지막 두 열은 "그 지자체 자신의 검증 납 비율이 모델 구간에도 적용된다면 몇 건이 나왔어야 하는가"와 "그럼에도 0건이 관측될 확률"이다. 출처: arXiv:2608.19922 Table 1
표의 마지막 줄은 논문 스스로 빼자고 권하는 사례다. 트로이의 기대 건수는 3건이고 0건이 나올 확률이 0.055라 놀랍지 않다. 그런데도 표에 남겨 둔 이유를 논문이 밝힌다. 스크린의 문턱을 미리 고정해 두었는데 p값을 본 뒤에 사례를 빼는 것은 이 논문이 비판하는 바로 그 관행이라는 것이다. 나머지 여섯 곳은 0건 관측 확률이 10-21에서 10-566 사이라 어떤 논증도 트로이에 기대지 않는다.
표의 일곱 줄 중 다섯이 뉴욕시 자치구라는 점에서 반론이 하나 나온다. 한 도시를 다섯 번 센 것 아닌가. 논문이 쓴 단위는 대장이 공개하는 가장 세밀한 지리 단위인 지자체이지 규제를 받는 법인이 아니다. 보건부 기준으로 다섯 자치구는 뉴욕시 상수도 시스템(NY7003493) 하나에 속한다. 그래서 다섯을 하나로 합쳐 다시 세면 단위는 149곳이 되고, 값이 하나뿐인 곳은 71곳(48%), 반증되는 곳은 일곱이 아니라 셋이 된다. 그 단일값 지자체들이 덮는 주소 수 12만 5,990개는 그대로다. 논문은 두 숫자를 모두 적어 두고, 이후의 논증은 어느 쪽을 쓰든 달라지지 않는다고 밝힌다.
2.1이스트로체스터라는 마을이 반론 하나를 막는다
뉴욕시 다섯 자치구만 걸렸다면 "대도시 특유의 사정" 또는 "한 사업자의 예외"로 읽힐 여지가 있다. 이스트로체스터가 그 반론을 막는다. 가구 수천 호의 마을이고, 뉴욕시에서 550km 떨어져 있으며, 사업자가 다르고, 데이터에서 공통 벤더 관계를 확인할 단서도 없다. 그곳의 모델은 472개 주소를 판정해 전부 "납 아님으로 분류되는 재질 미상"으로 적었다. 같은 마을의 크루는 557개 관을 열어 9.69%에서 납을 찾았다.
한 가지가 더 있다. 그 557건은 전량 굴착이다. 관을 부분적으로만 볼 수 있는 현장 점검이 아니라, 땅을 파서 관을 직접 본 결과다. 반증이 두 물리 방법 중 약한 쪽에 기대지 않는다는 뜻이다.
2.2애초에 검사할 수 없는 주소가 4만 개 넘게 있다
스크린은 "그 지자체 자신의 물리 검증"이 있어야 2단계로 갈 수 있다. 그런데 대부분의 지자체에는 대조할 물량이 별로 없다. 중위 지자체는 모델 판정 1건당 물리 검증을 0.14건 한다. 153곳 중 23곳은 물리 검증이 아예 0건이고, 이 23곳이 덮는 모델 판정 주소가 4만 468개다. 어떤 스크린으로도 검사할 수 없는 구간이다.
가장 뚜렷한 사례가 그리스(Greece)라는 지자체다. 모델로 1만 6,135개 주소를 판정했고 값은 하나뿐인데, 대조에 쓸 수 있는 검증 관은 74건이다. 그래서 이곳은 반증 목록에 오르지 않는다. 반증되지 않았다는 말과 확인되었다는 말은 다르다.
"모델에 더 기대는 시스템이 검증을 덜 하는가"라는 자연스러운 질문도 논문이 검사했다. 두 값을 각각 그 시스템 전체 관 수 대비 비율로 놓고 보면 관계가 없다(스피어만 상관 -0.076, p=0.35). 모델 비중과 모델 판정 1건당 검증량으로 놓으면 관계가 나온다(-0.433, p=2×10-8). 그런데 두 형태 모두 분모와 분자에 같은 항이 들어가 비율 인공물을 안고 있어서, 논문은 어느 쪽도 결론으로 삼지 않는다. 검증 수준이 전반적으로 낮다는 것까지만 말한다.
2.3피드백 루프가 닫히지 않는다
1장에서 확인한 지침의 마지막 문장은 검증률이 삽의 결과에 따라 조정되도록 설계돼 있다고 했다. 두 스냅샷 사이에서 그 조정이 일어났는지 볼 수 있다. 2025년 6월과 2026년 8월 사이, 주 전역에서 모델로 판정된 주소는 29만 8,641개에서 29만 8,704개로 움직였고, 그중 납 또는 헤지값을 기록한 건수는 2만 8,971건에서 2만 8,974건이 되었다. 14개월 동안 주소 63개, 판정 3건이다. 같은 기간 주 전역의 물리 검증은 66만 4,259건 이뤄졌다.
삽은 14개월 동안 66만 번 땅을 팠고, 모델이 판정한 30만 개 구간의 기록은 사실상 얼어 있다. 규정이 상정한 학습 회로가 이 파일 안에서는 돌고 있지 않다.
같은 대장, 같은 도시, 갈린 분포
뉴욕주 전체에는 납 인입관이 약 49만 4천 개 있는 것으로 추정된다. 미국 환경보호청의 상수도 인프라 조사 기준으로 전국 6위다. 그 가운데 이 감사가 가장 자세히 들여다본 대상은 뉴욕시 한 곳이고, 좌표를 읽을 수 있는 주소로 좁히면 81만 3,911개다. 이 주소들을 판정 근거별로 갈라 놓으면 아래 표가 된다.
| 판정 근거 | 주소 수 | 비중 | 납 | 불명 | 중위 건축연도 |
|---|---|---|---|---|---|
| 기록 조회 | 532,906 | 65.5% | 19.80% | 9.26% | 1931 |
| 현장 점검 | 95,087 | 11.7% | 8.45% | 0.01% | 1931 |
| 굴착 | 72,174 | 8.9% | 9.86% | 2.60% | 1930 |
| 미검증 | 70,529 | 8.7% | 0.00% | 100.00% | 1930 |
| 예측 모델 | 43,215 | 5.3% | 0.00% | 0.00% | 1984 |
뉴욕시 공공 구간 판정, 81만 3,911개 주소. "불명"은 세 가지 모름 값의 합. 중위 건축연도는 MapPLUTO 필지 조인 결과. 출처: arXiv:2608.19922 Table 2
납 비율이 0인 행이 둘이다. 이 둘을 같은 줄에 놓으면 훅이 무너지므로 먼저 갈라놓아야 한다. 미검증 행이 0인 이유는 아무것도 판정하지 않았기 때문이다. 그 7만 529개 주소는 전부 "모름"으로 적혀 있다. 판정을 하지 않은 자리에 납이 없는 것은 당연하다. 예측 모델 행은 다르다. 4만 3,215개 주소 전부에 판정을 내리고도 납도 불명도 하나 없다. 정확히 말하면 이렇다. 판정을 내린 방법 가운데 예측 모델만 두 값을 한 번도 쓰지 않았다.
물리 검증 쪽에도 표를 읽는 단서가 하나 붙는다. 표는 현장 점검과 굴착을 나눠 놓았지만, 앞뒤에서 "물리 검증"이라고 한데 묶어 부르는 이 두 방법은 같은 도구가 아니다. 재질 라벨이 깨끗한 주소로 좁히면 굴착은 10.13%, 현장 점검은 8.48%에서 납을 찾아 두 값의 차이가 통계적으로 뚜렷하다(χ², p=2.8×10-30). 방향이 더 이상한 쪽은 불명이다. 굴착은 자기가 본 주소의 2.60%에 재질 불명을 기록하는데 현장 점검은 0.01%다. 관을 덜 보는 방법이 모름을 훨씬 적게 낸다. 지침도 두 방법을 따로 나열하고 현장 점검은 접근 가능한 부분만 볼 수 있으니, 둘을 합친 라벨은 실험실적 의미의 정답이 아니라 둘 중 약한 쪽에 가깝다.
3.1같은 제출자, 같은 서식, 같은 기간
이 발견에서 가장 단단한 형태는 다른 사업자를 필요로 하지 않는다. 뉴욕시에는 납 여부가 확정되지 않은 관을 위한 값이 있고, 그 값을 아주 많이 쓴다. Unknown을 12만 1,779개 주소에 썼고, 그중 4만 9,365건은 기록 조회로 판정한 것이며 1,880건은 이미 굴착까지 마친 주소다. 납으로 기록한 주소는 12만 692개다. 그런데 모델 구간에서는 두 값이 모두 0이다. 4만 3,215개 전부에서 0이다.
같은 제출자, 같은 서식, 같은 보고 기간이다. 표에 있는 다른 모든 판정 근거는 두 값을 다 만들어 낸다. 0건 관측에서 계산한 납 비율의 95% 상한은 0.0085%다. 이것은 신뢰구간이 아니라 상한이라는 점을 짚어 둔다. "실제 비율이 0.0085%다"가 아니라 "0건이 관측됐으니 참 비율은 그보다 높기 어렵다"는 뜻이다.
뉴욕시 대장에서 또 하나 눈에 띄는 사실이 있다. 81만 7,375개 주소, 다섯 개 판정 방법 전체에 걸쳐 공공 구간에 쓰인 재질 어휘가 단 네 가지다. "납 아님으로 분류되는 재질 미상", 납, Unknown, 아연도. 여덟 개 어휘 중 나머지 넷은 어떤 방법으로도 0회다. 이 사실은 반론의 재료이면서 동시에 반론의 한계이기도 하다.
3.2주 나머지와의 비교는 약점 두 개와 함께 읽어야 한다
뉴욕시 밖에서는 같은 방법이 어휘를 더 넓게 쓴다. 17만 6,888개 주소에서 납이 3.57%, 헤지값 "납일 수 있는 불명"이 8.64%로 합쳐 12.21%다. 구리·플라스틱·아연도·"납일 가능성 낮은 불명"도 등장한다. 숫자만 보면 뉴욕시와의 대비가 극적이지만, 논문은 이 수치를 제시한 직후에 기대지 말아야 할 이유 두 가지를 붙인다.
첫째, 명시적 납의 93%가 포킵시 한 도시다. 주 나머지 모델 납 판정 6,320건 중 5,885건이 그곳이고, 포킵시는 물리 검증을 하나도 하지 않았다. 논문은 "포킵시가 우리가 뉴욕시의 과소 호출을 주장하는 만큼 과다 호출하고 있을 수도 있다"고 직접 적는다. 포킵시를 빼면 명시적 납 비율은 0.26%, 합계는 9.26%로 떨어진다. 둘째, 12.21 중 8.64포인트를 차지하는 헤지값은 뉴욕시가 어떤 방법으로도 한 번도 쓴 적이 없는 값이다. 쓰지 않는 값의 부재를 근거로 삼을 수는 없다.
그래서 이 12.21%는 "서식의 전 범위가 실제로 살아서 쓰이고 있다"는 사실을 보여 주는 보조 논거로만 쓴다. 논문이 기대는 것은 앞 절의 뉴욕시 내부 비교이고, 그 비교는 포킵시에도 헤지값에도 의존하지 않는다.
3.3"파이프라인이 이진적이라서"라는 반론
제출자 쪽에서 나올 법한 가장 강한 해명을 논문이 대신 세워 준다. 뉴욕시의 파이프라인이 사실상 이진적이라면, 납도 아니고 모름도 아닌 모든 판정은 "납 아님으로 분류되는 재질 미상"으로 접힌다. 네 가지 어휘만 쓰인다는 사실이 바로 그 증거이고, 모델은 분포를 냈는데 파이프라인이 그걸 납작하게 눌렀을 수도 있다. 논문은 여기까지 받아들이고, 그래서 모델 내부에 대해 아무 주장도 하지 않는다고 밝힌다.
그런데 이 해명이 설명하지 못하는 것이 남는다. 이진 파이프라인이라도 Unknown은 여전히 쓸 수 있는 값이고, 같은 도시가 그 값을 12만 1,779번 썼다. 모델 구간에서만 한 번도 쓰지 않았다. 게다가 현장 방문이 없는 또 하나의 책상 방법인 기록 조회는 같은 네 어휘 안에서 작동하면서 납을 19.80% 찾아낸다. 어휘가 좁다는 사실은 모델 구간이 왜 "구리"라고 말하지 못하는지를 설명한다. 그 구간만 왜 "모름"과 "납"을 한 번도 말하지 않는지는 설명하지 못한다.
3분의 1은 건축 연도가 설명한다
모델이 아무 주소에나 배정되지 않았다는 사실을 논문이 먼저 인정한다. 모델이 맡은 주소의 중위 건축연도는 1984년이고, 물리 검증을 받은 주소는 1930년이다. 1960년 이후 건물의 비중은 각각 77%와 24%다. 뉴욕시가 납관 사용을 금지한 것은 1961년, 연방 차원의 금지는 1986년이다. 그러니 모델 구간의 참 납 비율이 낮은 것 자체는 예상되는 결과이고, 이 차이를 무시한 비교는 발견을 과장한다.
건축 연도를 고정하면 무엇이 남는지가 이 장의 질문이다. 뉴욕시 필지 데이터 MapPLUTO를 주소마다 조인해 연도대별로 갈라 본 결과는 이렇다. 기록 조회는 현장 방문이 없는 책상 방법이고 뉴욕시에서 가장 많은 주소(53만 2,906개)를 맡았는데, 모든 연도대에서 납을 찾는다. 비율은 4.32%에서 31.85% 사이다. 물리 검증도 모든 연도대에서 납을 찾는다. 1.45%에서 14.45% 사이다. 예측 모델은 어느 연도대에서도 찾지 않는다. 1920~1940년에 지어진 건물에 있는 모델 판정 주소만 4,681개인데, 같은 도시의 다른 모든 방법이 그 연도대에서 납을 14~32% 찾아낸다.
"책상에서 하는 방법이니 보수적으로 나오는 게 당연하다"는 해명이 여기서 무너진다. 같은 도시의 다른 책상 방법이 납을 가장 많이 찾아내는 방법이기 때문이다. 관을 보지 않는다는 점은 기록 조회도 같다.
4.1추정기가 필요 없는 7,782개 주소
모델이 정리한 4만 3,215개 주소 중 7,782개(18.0%)가 1940년 이전 건물에 있다. 자치구별로 브루클린 2,679, 맨해튼 1,991, 퀸스 1,572, 브롱크스 861, 스태튼아일랜드 679다. 뉴욕주의 교체 지원 사업 자체가 1939년 이전 주택 수를 납 위험의 대리지표로 쓴다. 그리고 1940년 이전 뉴욕시 건물의 물리 검증 납 비율은 12.93%다(95% 신뢰구간 12.72~13.14%, n=98,749). 이 비율을 저 7,782곳에만 적용해도 약 1,000개의 납관이 "납 아님으로 분류되는 재질 미상"으로 기록돼 있다는 뜻이 된다.
이 소집단이 강한 이유는 추정 때문이 아니다. 1장에서 확인한 지침의 조건이 여기서 바로 걸린다. 그 값은 1986년 6월 이후 시공 기록이 있을 때 허용된다. 이 건물들은 그보다 반세기 앞서 지어졌고, 설치·교체일자 필드는 100% 비어 있다. 지침이 상정한 종류의 기록이 공개된 대장 안에 존재하지 않는다. 그리고 같은 항목이 그 경우에 무엇을 하라고 적어 두었는지도 이미 봤다. 물리적 방법으로 확인하라는 것이다. 대체 절차가 지침 자신의 조건에 의해 발동된 상태다.
공정을 위해 논문은 여기에 단서를 하나 붙인다. 제출된 대장에 날짜가 없다는 것이 그 사업자가 기록을 갖고 있지 않다는 증명은 아니다. 공개된 대장이 그 기록을 보여 주지 않는다는 증명일 뿐이다.
반대 방향의 단서도 논문이 함께 적어 둔다. MapPLUTO의 건축연도는 끝자리가 둥근 값에 몰려 있다. 조인된 주소의 44.9%가 10의 배수, 71.0%가 5의 배수에 걸린다. 연도 구간의 경계가 바로 그 더미 위에 놓이는데 구간이 좌폐구간이라, 1940년으로 기록된 필지는 1940년 이후 쪽으로 세어진다. 7,782라는 수는 부풀려졌다기보다 모자랄 가능성이 높다는 뜻이다.
4.2남는 몫을 얼마로 볼 것인가
연도 차이를 통제하지 않은 다섯 개 추정기는 모델 구간의 예상 납관 수를 1,640~2,775개로 낸다. 연도를 통제한 여섯 개 추정기는 1,152~1,461개로 낸다. 건축 연도가 격차의 약 3분의 1을 설명하고 나머지는 설명하지 못한다는 뜻이다. 논문이 보고하는 값은 연도를 통제한 쪽, 곧 1,150~1,450개이며 모델 구간 모집단의 2.7~3.4%에 해당한다. 다섯 자치구, 공공 구간에 한정된 수치다.
이 범위의 성격을 오해하기 쉬워서 논문이 한 절을 따로 할애한다. 이것은 신뢰구간이 아니라 설정 간 불일치 폭이다. 물리 검증 표본에 대해 400회 부트스트랩을 돌리면 단일 추정기의 표본오차는 ±3% 수준이다. 자치구×연도대 추정기는 1,461개에 95% 구간 1,419~1,503, 자치구×건물유형×연도대는 1,379개(1,331~1,421), 우편번호×연도대는 1,275개(1,227~1,330)다. 그 폭은 거의 전부 방법 사이의 의견 차이다.
그리고 통계적 불확실성보다 큰 불확실성이 따로 있다. 이 범위 전체가 조건부 교환가능성이라는 가정 위에 서 있다. 층화 추정에서 같은 층에 속한다면 어느 주소를 팠는지가 실제 재질과 더는 상관없다는 가정인데, 이건 무작위 배정이 아니다. 논문은 이 가정이 어긋나는 방향까지 이름을 붙여 적는다. 모델을 믿고 삽을 건너뛰는 사업자라면 쉬워 보이는 건을 모델에 남기고 이미 뭔가 이상해 보이는 곳으로 크루를 보낼 것이므로, 검증 표본의 납 비율은 위로 편향된다. 그래서 "1,450개의 납관이 숨어 있다"는 단정은 이 논문의 주장이 아니다.
물리 검증을 굴착으로만 좁혀 전체 분석을 다시 돌린 결과도 실려 있다. 스크린은 단일값 75곳, 반증 7곳으로 그대로이고 이스트로체스터의 557건은 애초에 전량 굴착이다. 1940년 이전 납 비율은 12.93%에서 13.35%로 올라 그 소집단의 함의 건수가 약 1,000개에서 1,040개로 늘고, 추정 범위는 850~1,325로 아래쪽으로 넓어진다. 층마다 20건이라는 최소 요건 때문에 굴착만으로는 지지되는 층이 줄어들기 때문이다.
건축 연도라는 대리지표 자체에도 금이 하나 가 있다. 모델 구간의 절반은 1980년 이후 건물에 있는데, 물리 검증은 2000년 이후 건물에서 납을 2.98%(n=1만 3,683) 찾는다. 1980~2000년 건물의 1.45%보다 높다. 새 건물 아래에 옛 관이 그대로 남아 있는 상황이 이런 모양으로 나타난다. 이 역전을 허위로 보고 2000년 이후 비율을 앞 구간 수준으로 눌러 내리면 연도를 통제한 추정치가 약 11% 내려가 1,140~1,300이 된다. 가장 새로운 연도대에서 건축 연도가 쓸 만한 대리지표인지에 따라 추정치가 그만큼 움직인다.
4.3공개 데이터만으로 만든 하한선
논문은 마지막으로 자기 손으로 베이스라인 모델을 하나 만든다. 물리 검증을 받고 재질 라벨이 깨끗한 뉴욕시 주소 16만 5,063개(그중 납 1만 5,154개, 9.18%)로 학습했고, 쓴 특징은 좌표와 건물 유형뿐이다. 고객 구간 필드는 일부가 그 자체로 모델 유래여서, 쓰면 벤더 모델의 출력이 독립 베이스라인에 새어 든다는 이유로 제외했다.
결과는 점 하나가 아니라 범위다. 학습과 시험 데이터를 얼마나 멀리 떼어 놓느냐에 따라 AUC가 0.64에서 0.74 사이에서 움직인다. 이 진단을 논문은 공간 예측 주장에 필수라고 보는데, 기존 문헌에서는 찾지 못했다고 적는다. 구현자를 위한 경고도 하나 남긴다. 우편번호를 특징으로 넣으면서 폴드도 우편번호로 나누면 측정 AUC가 0.08 떨어진다. 시험 시점에 죽은 특징이 분기만 잡아먹기 때문이다. 이렇게 해 놓고 전체 데이터로 다시 학습해 헤드라인 숫자를 발표하는 파이프라인은, 실제로 배포한 모델을 설명하지 않는 정확도를 보고하는 셈이다.
AUC보다 중요한 진단 두 가지도 함께 나온다. 예측확률의 합을 실제 합으로 나눈 값이 전체 0.875, 모델이 판정한 주소들이 놓인 구간에서 0.866이다. 추정기가 약 13% 과소계상한다는 뜻이고, 그래서 보고된 범위는 보수적이다. 또 모델 구간 모집단과 물리 검증 모집단을 구분하도록 훈련한 분류기의 AUC가 0.753이다. 두 집단이 공변량으로 잘 갈린다는 뜻이고, 연도 조인이 필요했던 이유가 여기 있다.
0.64~0.74라는 숫자를 읽는 법도 함께 적혀 있다. 이것은 과제 난이도의 하한이지 작업 지시서·허가 이력·과세 기록까지 쓰는 벤더 모델 성능의 상한이 아니다. 실제로 무료 공개 데이터 한 벌인 MapPLUTO의 건축연도·형태 컬럼을 더하기만 해도 같은 설계에서 AUC가 0.720에서 0.755로 오른다. 그리고 이 사실이 감사 대상 쪽으로도 작용한다. 좌표와 건물 유형만으로 납과 비-납이 이 정도로 갈린다면, 아무 변동도 없는 출력은 설명하기가 더 어려워진다.
이 0.64~0.74를 업계가 발표해 온 수치와 나란히 놓기는 어렵다. 논문이 정리한 바에 따르면 공개된 성능 수치는 대략 73%에서 99.9%까지 흩어져 있고 공유된 벤치마크가 없다. 범위가 이렇게 넓다는 사실 자체가 그 숫자들이 서로 비교 가능한 값이 아니라는 증거다.
굴착과 대조해 독립적으로 검증된 사례는 문헌 전체에 한 건뿐이다. 플린트에서 2017년 지리통계 모델을 굴착 2만 6,750건과 맞춰 본 연구인데, 구리와 아연도에서는 AUC 0.9가 나왔지만 납에서는 0.6으로 우연보다 겨우 나은 값이었다. 크리깅을 조성적 변형으로 바꾼 뒤에야 0.8로 올라갔다. 논문은 이 한 건으로 질문이 닫히지 않는다고 본다. 플린트는 2016년 이후 세계에서 가장 집중적으로 연구된 수도계이고, 그 모델은 LCRR보다 7년 앞서며 지금 규정 준수 시장에 팔리는 상업 제품이 아니고, 검증은 모델을 만든 사람 자신이 했다.
무엇보다 실패의 양상이 다르다. 플린트에서 모델은 납이라고 때때로 말했고 자주 빗나갔다. 여기서는 모델을 쓰는 뉴욕주 수도시스템의 절반에서 기록된 출력이 아예 변하지 않는다.
대장에 남은 복사 흔적
지금까지의 논증은 비교 모집단과 추정기에 어느 정도 의존한다. 이 장의 두 사실은 그렇지 않다. 파일 자체에 남아 있는 흔적이고, 날짜까지 붙는다. 논문이 "가장 먼저 방어하겠다"고 밝힌 두 발견 중 하나가 앞 장의 1940년 이전 소집단이고, 다른 하나가 여기 있다.
먼저 파일을 읽는 데 필요한 함정부터 짚어야 한다. 논문은 원본 데이터에서 다섯 가지 함정을 찾아 공개했는데, 그중 하나는 뉴욕시의 규모를 두 배로 부풀린다.
- 행은 관이 아니다. 2026년 8월 스냅샷의 461만 8,115행은 실제로 374만 4,223개의 지자체·도로·우편번호 키로 정리된다. 초과분은 한곳에 몰려 있다. 뉴욕시의 모든 자치구가 주소당 2.001행이고, 5,000행이 넘는 다른 지자체는 어디도 1.14를 넘지 않는다. 뉴욕시는 주소마다 두 행을 낸다. 한 행은 공공 구간 컬럼을, 다른 행은 고객 구간 컬럼만 담는다.
- 범주가 아니라 재질을 읽어야 한다. 주소 단위 범주 필드는 네 개 등급으로 접히면서, 뉴욕시 밖에서는 두 구간 중 나쁜 쪽을 보고한다. 공공 구간 재질이 분명히 납이 아닌데 고객 구간 때문에 납 범주가 붙은 주소가 9,625개다.
- 방법과 재질 필드가 자유 텍스트다. 지자체 문자열은 대소문자로 갈리고, 뉴욕시 자치구는 QN·BK·SI·BX·MN 같은 코드로 들어간다. "Queens"로 문자 그대로 필터링하면 주 전역에서 11행이 나온다. 모델 방법 표기는 표준형 Statistical Analysis/Predictive Model이 21만 9,899회, 다른 네 가지 변형이 4,603회다.
- 공개된 컬럼 설명이 한 칸씩 밀려 있다. 데이터셋 자체의 메타데이터에서 공공 구간 재질 컬럼에 붙은 설명이 사실은 그다음 컬럼을 설명하고 있고, 오류가 이어서 전파된다. 필드 의미의 권위는 포털 메타데이터가 아니라 주 지침 문서 쪽에 있다.
자유 텍스트 함정은 감사자에게 선택을 강요한다. 표기 변형까지 넓게 매칭하면 주 나머지 비교값이 12.21%(17만 6,888개 주소)에서 11.93%(18만 1,065개)로 움직인다. 논문은 스크린에서는 넓게 매칭하고 주 나머지 비교에서는 표준 표기만 쓰면서, 그 선택이 결과를 얼마나 바꾸는지를 함께 공개했다. 뉴욕시 수치는 이 선택과 무관하다. 변형 표기가 뉴욕시에는 하나도 없기 때문이다.
5.1공공 구간 판정은 고객 구간에서 옮겨 왔다
두 번째 함정이 이 리포트의 제목만큼 중요한 사실로 이어진다. 뉴욕시 공공 구간 행에서, 공공 구간 검증 방법이 고객 구간 방법과 일치하는 비율이 100.0%다. 다섯 개 방법 전부에 걸친 완전한 대각선이다. 재질 역시 100.0% 일치한다.
일치만으로는 어느 쪽이 원본인지 알 수 없다. 방향을 고정한 것은 인터넷 아카이브에서 꺼낸 2025년 6월 22일 스냅샷이다. 그 시점에 뉴욕시의 81만 7,375개 주소는 각각 한 행씩만 있었고, 공공 구간 컬럼은 전부 비어 있었다. 4만 3,440건의 모델 판정은 고객 구간에만 존재했다. 14개월 뒤, 같은 주소들의 공공 구간에 동일한 값이 들어와 있다.
공공 구간 판정은 독립적으로 내려진 것이 아니다. 고객의 관을 대상으로 만들어진 모델 출력에서 만들어졌다. 규정상 공공 구간과 고객 구간은 소유자가 다른 별개의 관이다. 값 하나가 다른 관의 예측값에서 복사돼 왔다는 사실은, 대장을 읽는 것만으로는 알 수 없고 1년 전 아카이브를 꺼내 대조해야만 드러난다.
계보를 기록하지 않으면 복원 비용이 이렇게 든다. 이 사례에서 그 비용은 다행히 감당 가능했다. 소크라타 공개 데이터셋이었고, 인터넷 아카이브가 1년 전 판본을 갖고 있었으며, 논문은 두 스냅샷을 SHA-256으로 고정해 재현 가능하게 만들었다. 셋 중 하나만 없었어도 복사 방향은 확정되지 않았다.
5.2두 감사가 같은 파일에서 반대 방향의 오류를 찾았다
이 대장은 공식 감사를 이미 한 번 받았다. 뉴욕주 감사원이 2026년 1월 5일에 발행한 보고서 2024-S-9이고, 감사 기간은 2018년 3월부터 2025년 6월까지다. 감사 목적에는 인벤토리가 정확하고 기한 내에 완료되었는지가 명시적으로 들어 있다. 그런데 이 논문은 그 보고서가 예측 모델 경로를 들여다보지 않았다고 적는다.
그 보고서가 대신 무엇을 지적했는지를 확인하면 대비가 선명해진다. 감사원이 지적한 바에 따르면 보건부의 통제와 지침이 미비했고, 주 예산 상당액이 집행되지 않았거나 교체가 아닌 행정 비용으로 쓰였으며, 아동 혈중 납 농도가 높은 일부 지역이 우선순위에서 빠졌다. 인벤토리 쪽으로는 대상 수도시스템의 약 3분의 1이 2024년 10월 마감을 놓쳤고 2025년 8월 기준 140곳이 미준수 상태였다는 점, 그리고 데이터가 부정확하거나 불완전하다는 점을 들었다. 데이터 오류의 예로 든 것이 이미 교체된 인입관이 여전히 납 또는 불명으로 등재된 사례다. 보건부는 대체로 반박했고, 마감 몇 달 만에 준수율 90%에 도달했다고 답변했다.
두 감사가 같은 파일을 보고 서로 반대편의 오류를 찾았다. 감사원은 납이 아닌 것을 납으로 남겨 둔 과다 계상을 지적했고, 이 논문은 납일 수 있는 것을 납 아님으로 적은 과소 계상을 지적한다. 어느 쪽도 틀리지 않았다. 서로의 축을 보지 않았을 뿐이다.
대장의 오류를 방향을 정해 놓고 찾으면 반대 방향은 보이지 않는다. 두 방향을 동시에 볼 수 있게 해 준 것이 판정 방법 컬럼이다. 그 컬럼이 없으면 "이 값이 어디서 왔는가"를 물을 수 없고, 물을 수 없으면 한 방향으로만 검사하게 된다.
페블러스 관심의 이유
이 감사가 요구하는 것은 새로운 관행이 아니다. 캐나다 통계청은 결측값 대체(imputation)에 관한 품질 지침에서 이렇게 적어 두었다. "좋은 대체 절차는 자동화되고, 객관적이고, 재현 가능하며, 가용한 보조 정보를 효율적으로 쓰고, 평가 목적의 감사 추적(audit trail)을 갖추며, 대체된 레코드가 내부적으로 일관되도록 보장한다." 무엇을 남겨야 하는지도 구체적이다. "대체 절차에 관한 정보는 대체 후 파일에 보존되어야 한다. 그런 정보에는 어떤 값이 대체되었고 어떤 방법으로 대체되었는지를 표시하는 변수, 어떤 도너가 어떤 수용자에게 쓰였는지를 표시하는 변수 등이 포함된다."
값 하나마다 그 값이 어떻게 만들어졌는지를 적어 두라는 요구는 국가 통계기관의 공식 품질 요건이고, 최소 2009년부터 문서로 존재한다. 뉴욕주 서식이 판정 방법 컬럼을 필수로 둔 것은 예외적인 선진성이 아니라 통계 실무의 기본을 지킨 것이다. 그리고 이 감사가 가능했던 유일한 이유이기도 하다.
1예측값을 대장에 넣지 말라는 이야기가 아니다
반대편 사례를 싣지 않으면 이 글은 "모델 출력을 공식 기록에 쓰지 말라"는 글로 읽힌다. 그건 이 글의 주장이 아니다. 의학 행정 데이터에서는 정반대 결론이 나온 연구가 있다. Ross 등이 2024년에 발표한 방광절제술 예측 모델 연구는 행정 데이터베이스에서 시술 코드를 그대로 쓰는 것보다 확률적 대체로 사례 여부를 판정하는 편이 오분류 편향을 줄였다고 보고하고, 그렇게 하라고 권고한다. 저자들의 표현으로는 "행정 데이터베이스 연구의 정확도는 개별 코드 대신 확률적 대체로 사례 상태를 결정함으로써 높일 수 있다"이다.
모델 예측값이 기록된 코드보다 더 정확할 수 있다. 문제는 예측값의 존재가 아니라 그 값이 예측값임을 표시하지 않는 것이다. Ross 등의 연구도 어떤 값이 모델에서 왔는지 아는 상태에서만 성립한다. 뉴욕시 대장에서 사라진 것은 정확도가 아니라 그 표시다.
2같은 결정 하나가 전국 추정치를 절반 넘게 흔든다
이 문제의 규모를 보려면 한 도시 밖으로 나가면 된다. 미국 환경보호청은 전국 납 인입관 수를 오랫동안 약 920만 개로 추정해 왔고, 그 수치가 연방 재원 배분의 산정 기준이었다. 2025년 갱신에서 그 숫자가 약 400만 개가 되었다. 구성은 확인된 납 300만 개와 "불명"에서 납으로 예측한 100만 개다. LCRR 인벤토리 의무 제출 이후 처음 들어온 실측 데이터를 반영한 결과다.
환경보호청은 여전히 불명으로 남은 2,400만 건 이상 가운데 12건 중 1건 미만만 납일 것으로 가정해 최종 추정에 반영했다. 미국 천연자원보호협의회는 이 하향 조정에 공개적으로 이의를 제기했다. 데이터를 아예 내지 않은 시스템을 전량 비-납으로 처리했고, 과거엔 불명 중 훨씬 큰 비율을 납으로 가정했는데 이번엔 1/12로 줄였다는 것이다. 이들의 표현으로는 더 나은 데이터가 아니라 가정의 변경이다. 어느 쪽이 옳은지는 이 글이 판정할 문제가 아니다. 확인되는 것은 "불명 중 몇 %를 납으로 볼 것인가"라는 결정 하나가 전국 추정치를 절반 넘게 흔든다는 사실이고, 그 가정이 어디에 적혀 있는지는 대장을 봐서는 알 수 없다.
감사 가능성의 격차도 여기서 보인다. 예측 모델을 인정하는 주는 최소 34곳이다. 그런데 주소 단위로 "어떤 방법으로 그 분류에 도달했는가"를 인벤토리 필드로 공개하는 주는 훨씬 적다. 연방 기준은 재질 분류만 필수로 요구하고 판정 방법은 요구하지 않는다. 확인된 것은 뉴욕과 워싱턴 두 곳이며, 전수 비교 자료가 존재하지 않아 정확한 카운트는 말할 수 없다. 논문의 세 번째 결론이 여기서 나온다. 그 한 컬럼이 파일을 검사 가능하게 만들고, 전국적으로 요구해도 비용이 들지 않는다는 것이다.
3지금 대장에 넣을 수 있는 세 가지
사례를 조직 데이터로 옮기면 장치 세 개로 정리된다. 셋 다 비용이 거의 들지 않고, 셋 다 규정이 요구하기 전에 데이터 품질 실무가 먼저 할 수 있는 일이다.
| 장치 | 없으면 벌어지는 일 |
|---|---|
| 라벨마다 생성 방법을 기록한다 | 값이 어느 방법에서 나왔는지 모르면 어떤 감사도 성립하지 않는다. 뉴욕주에 그 컬럼이 없었다면 이 논문도 없다 |
| 무작위 물리 검증 표본을 남긴다 | 뉴욕주는 이미 요구했다. 문제는 요구의 부재가 아니라 이행 여부를 확인할 수단이 대장에 없다는 것이었다 |
| 불확실성 값을 버리지 않는다 | 스키마에 헤지값 칸을 만드는 것과 파이프라인이 그 칸을 채우는 것은 별개다. 후자는 따로 검사해야 한다 |
뉴욕주 지침 Item 17의 요구와 논문 §9의 세 결론을 조직 데이터 관점으로 옮긴 것
세 번째 항목이 특히 값싸다. 뉴욕주 서식에는 "납일 수 있는 불명"이라는 칸이 있었고, 주 전역에서 1만 5,285번 쓰였다. 4만 3천 건 규모의 배포에서 그 칸이 단 한 번도 쓰이지 않았다. 논문의 표현으로는 "불확실성을 담도록 만들어진 대장이 4만 3,215개 주소 배포에서 불확실성을 하나도 받지 못했다면, 그 대장은 설계된 것보다 적게 기록하고 있는 것"이다. 같은 문제를 우리는 라벨링 파이프라인에서 반복해 본다. argmax만 남기고 분포를 버리는 서빙 경로는 어느 도메인에나 있다.
무변동 스크린 자체도 그대로 옮길 수 있는 검사다. "한 소스에서 온 라벨이 단일 값만 취하는가"는 집계 한 번으로 끝나고, "그 구간이 다른 방법으로 확인된 결과와 모순되는가"가 2단계다. 논문은 이 둘을 주 전역에 몇 초 만에 돌렸고, 68개 시스템에는 정확히 표시하지 않았다. 값싼 검사가 값싼 이유는 대개 판정 방법 컬럼이 이미 있기 때문이다. 메타데이터 한 줄이 감사 가능성을 만드는 구조는 과학 데이터 계보 감사에서도, 결과는 맞았는데 경로가 남지 않은 사례를 다룬 수학 증명 계보 리포트에서도 같은 모양이었다. 같은 대장 안에서 슬라이스별로 분포가 갈리는 문제는 안전 데이터셋 언어 슬라이스 감사에서 다뤘다.
4이 논문을 어디까지 믿을 것인가
이 논문은 동료 심사를 거치지 않은 단독 저자 preprint이고, 2026년 8월 20일에 공개됐다. 이 글을 쓰는 시점까지 이 논문을 다룬 보도나 논평은 확인되지 않는다. 동시에 분석에 쓰인 데이터는 전부 공개된 것이고, 두 스냅샷은 SHA-256으로 고정됐으며, 코드와 재현 지침이 저장소에 있다. 판단은 독자가 직접 파일을 열어 확인할 수 있다.
규정 쪽 상황도 짚어 둔다. 후속 규정인 납·구리 규칙 개선(LCRI)은 2024년 10월 30일 관보에 실렸고 그해 12월 30일 발효했다. 규칙 본문은 수도시스템이 "늦어도 2027년 11월 1일까지" 이 조항들을 준수해야 한다고 적는다. 그때까지 기준 인벤토리를 공개하고 교체 계획을 갖춰야 한다. 업계 단체가 제기한 소송의 구두변론이 2026년 가을로 예정돼 있어 최종 결과는 아직 미정이지만, 규칙 자체는 현재 유효하고 사법적 정지 상태가 아니다. 지금 대장에 적히는 값이 그 기준선이 된다.
마지막으로, 논문은 자기 주장을 무엇이 무너뜨릴 수 있는지를 직접 적어 두었다. 모델 예측과 후속 굴착을 주소 단위로 연결한 기록. 또는 예측 모델 라벨이 다른 수단으로 확인된 뒤에만 붙는다는 문서. 또는 지침이 요구한 신뢰구간과 검증 계획. 셋 중 하나면 된다. 그리고 이렇게 닫는다.
"이 중 어느 것이든 사업자나 벤더가 오후 한나절이면 내놓을 수 있다."
감사를 반박하는 데 필요한 자료가 반나절짜리라는 것은, 그 자료가 애초에 대장에 남아 있었다면 감사할 일 자체가 없었다는 뜻이기도 하다.
Editor's Note. 페블러스는 데이터 품질 진단과 계보 설계를 하는 회사이므로 이 주제에 이해관계가 있다. 이 글은 제품을 권하려고 쓴 문서가 아니라, 검증 없는 예측값이 공식 기록에 확정값으로 흡수될 때 무슨 일이 벌어지는지가 우리 도메인 밖에서 실측으로 확인된 기록을 남기려는 시도다. 값마다 생성 방법을 적어야 한다는 요구는 우리가 만든 주장이 아니라 국가 통계기관이 2009년부터 문서로 갖고 있던 요건이고, 그 요건이 지켜진 한 개 컬럼 덕분에 이 감사가 가능했다는 사실이 이 사례의 전부다.
참고문헌
주 출처
- 1.Sohail, M. S. (2026). Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York. arXiv:2608.19922v1 [cs.LG], 2026-08-20, CC BY 4.0. (독립 연구자 단독 저자, 동료 심사 전 preprint. 이 글의 본문 수치는 대부분 이 논문의 §2~§10, Table 1·2·3, Figure 2에서 왔다)
- 2.Sohail, M. S. (2026). predictive-lead-service-line-audit (재현 코드·체크섬). 두 스냅샷이 SHA-256으로 고정돼 있다
규정·정책 원문
- 3.New York State Department of Health (2025). Service Line Inventory Guidance, Lead and Copper Rule Revisions (LCRR), Version 3. 2025년 8월, 15쪽. (Item 14의 판정 방법 일곱 가지, Item 16의 샘플링 20%·90% 기준, Item 17의 모델 조건, Item 18의 Known Other 허용 조건. 이 리포트가 PDF 원문을 직접 대조했다)
- 4.New York State Department of Health (2026). New York State Lead Service Line Inventory. Socrata 데이터셋 j63k-4n92. (감사 대상 원본 파일. 2026-08-11 및 2025-06-22 스냅샷)
- 5.US Environmental Protection Agency (2021). National Primary Drinking Water Regulations: Lead and Copper Rule Revisions (LCRR). 40 CFR Parts 141·142.
- 6.US Environmental Protection Agency (2024). National Primary Drinking Water Regulations for Lead and Copper: Improvements (LCRI). Federal Register, 2024-10-30. (발효 2024-12-30. §141.80(a)(3)이 "늦어도 2027년 11월 1일까지" 준수를 요구한다. 이 리포트가 관보 전문을 직접 대조했다)
- 7.Office of the New York State Comptroller (2026). Lead Service Line Replacement Program and Lead Service Line Inventory. Report 2024-S-9, 2026-01-05, 감사기간 2018-03~2025-06. (보고서 PDF 본문은 접근이 막혀 보도자료와 2차 보도로 확인했으며, 이 글은 축자 인용하지 않았다)
- 8.Statistics Canada. Quality Guidelines — Imputation. 12-539-X. (감사 추적 요건, "어떤 값이 어떤 방법으로 대체되었는지를 표시하는 변수". 이 리포트가 원문을 직접 확인했다)
학술 문헌
- 9.Goovaerts, P. (2023). Geospatial model of composition of water service lines in Flint, Michigan. AWWA Water Science 5(2). doi:10.1002/aws2.1331. (굴착 2만 6,750건과 대조한 유일한 독립 검증. 구리·아연도 AUC 0.9, 납 0.6, 방법 교체 후 0.8. 이 글은 원문을 직접 열지 않았고 논문 §1의 서술에 귀속시켜 인용했다)
- 10.Hensley, K., Bosscher, V., Triantafyllidou, S., Lytle, D. A. (2021). Lead service line identification: A review of strategies and approaches. AWWA Water Science 3(3). (독립 정량 벤치마크가 존재하지 않음을 확인한 정성 리뷰)
- 11.Nigra, A. E. et al. (2023). Geospatial assessment of racial/ethnic composition, social vulnerability, and lead water service lines in New York City. Environmental Health Perspectives 131(8):087015. (같은 MapPLUTO 조인을 독립적으로 확립한 선행 연구. 그 데이터에는 판정 방법 필드가 없다)
- 12.Abernethy, J. et al. (2018). ActiveRemediation: The search for lead pipes in Flint, Michigan. arXiv:1806.10692. (능동학습으로 굴착 대상을 고르는 설계. 굴착을 대체하는 설계와 목적이 다르다)
- 13.Ross, J., Lavallee, L. T., Hickling, D., van Walraven, C. (2024). Development of the multivariate administrative data cystectomy model and its impact on misclassification bias. BMC Medical Research Methodology. (모델 대체가 시술 코드보다 오분류 편향을 줄인 반대편 사례. 이 리포트가 원문을 직접 확인했다)
- 14.Kutzing, S. et al. (2023). Journal AWWA 115:22–33. (판정 방법별 관당 단가: 굴착 $1,120 · 순차 샘플링 $715 · 육안 점검 $29. EPA CESER FAQ 자료를 경유해 인용)
통계·업계 자료
- 15.US Environmental Protection Agency (2025). 7th Drinking Water Infrastructure Needs Survey and Assessment: 2025 Update. (전국 납 인입관 추정 920만 → 400만, 확인 300만 + 불명에서 예측 100만. 뉴욕주 약 49만 4천 개로 전국 6위라는 수치는 같은 조사의 2023년 4월 집계다)
- 16.NRDC. The EPA Now Says There Aren't 9 Million Lead Pipes—There Are 4 Million. Be Skeptical. (하향 조정을 "가정의 변경"으로 반박. 불명 2,400만 건 중 1/12 가정, 미제출 시스템의 전량 비-납 처리)
- 17.CDM Smith. What states accept predictive modeling for inventory development? (예측 모델을 인정하는 주 34곳, 지침 미비 13곳, 연방 지침 대기 3곳. 2026-08 스냅샷)
- 18.Washington State Department of Health. Service Line Inventory Guidance. (판정 근거 기록과 인벤토리 공개를 요구하는, 확인된 두 번째 주)
- 19.Centers for Disease Control and Prevention. Updates to the Blood Lead Reference Value. (2021-10-28 갱신, 3.5 µg/dL. 1~5세 아동 NHANES 2015–18 분포의 97.5백분위 기준이며, 안전한 혈중 납 농도는 없다는 것이 공식 입장이다)
- 20.BlueConduit. Lead Service Line Predictions · No Lead Validation. (디트로이트 1억 6,500만 달러 절감 추산, 사우스벤드 5만여 건 중 125건만 물리 검증. 둘 다 벤더 자체 발표 수치이며 이 글은 절감 메커니즘의 예시로만 인용했다)
페블러스 선행 리포트
- 21.페블러스 (2026). 메타데이터 한 줄이 감사 가능성을 만든다.
- 22.페블러스 (2026). 결과는 맞았는데 경로가 남지 않았다.
- 23.페블러스 (2026). 하우사어 자기위해 항목이 하나도 없는 AI 안전 데이터셋. 2026-08-18.