Executive Summary

주요 수치

이번 조사가 숫자로 남긴 것은 네 가지다. 틀린 답의 크기, 그 답에 들어간 돈, 틀렸다는 사실이 서비스로 돌아올 길, 그리고 그 답을 받아 간 횟수다.

출처: 경인일보 · 뉴데일리경제 (박정 의원실 자료)

박정 의원실은 10월 23일을 기준으로 고용노동부 AI 노동법 상담 챗봇에 노동법 질문을 넣고, 돌아온 답을 현행법과 하나씩 맞춰 봤다. 같은 질문은 범용 AI에도 그대로 넣었다. 두 답을 나란히 놓은 결과는 10월 27일 공개됐다.

보도마다 앞에 실린 장면은 명단공개 체불사업주의 재체불을 물은 대목이다. 임금을 체불해 명단이 공개된 사업주가 또 임금을 체불했을 때 형사처벌이 가능하냐는 질문에, 챗봇은 피해자가 처벌을 원하지 않으면 형사처벌이 불가능하다고 답했다. 같은 질문을 받은 범용 AI는 처벌을 원하지 않는다는 의사가 있어도 공소를 제기할 수 있다고 답했고, 이쪽이 현행법에 맞는 답이다.

임금체불은 오랫동안 반의사불벌죄였다. 피해 근로자가 처벌을 원하지 않으면 공소를 제기할 수 없는 범죄라는 뜻이다. 그 원칙에 예외가 생겼고, 명단이 공개된 사업주가 다시 체불한 경우가 그 예외에 든다. 챗봇이 내놓은 답은 예외가 생기기 전의 원칙을 그대로 옮긴 것이다.

범용 AI가 맞히고 31억을 들인 전용 서비스가 틀렸다는 구도는 그 자체로 눈길을 끈다. 다만 이 한 건만 보면 범용 AI가 노동법을 더 잘 안다는 결론으로 가기 쉽다. 네 건을 함께 놓으면 다른 설명이 나온다.

의원실이 현행법과 다르다고 본 답변은 네 건이다. 임금체불 벌칙 조문, 명단공개 체불사업주의 재체불, 도산대지급금 지급 기준, 상습체불사업주 기준이다. 네 건 모두 고용노동부 소관 법령이고, 소관 부처가 직접 운영하는 서비스에서 나온 답이다.

아래 두 줄의 현행 기준 칸을 비워 둔 것은 의원실 공개 자료와 보도에 챗봇 답변과 현행법을 맞세운 문장이 앞 두 건만 실렸기 때문이다. 나머지 두 건은 현행과 다르게 안내했다는 사실까지만 확인된다.

네 건 가운데 도산대지급금은 앞뒤 날짜가 다 나와 있다. 개정 임금채권보장법은 8월 20일 시행됐고, 지급 범위를 최종 3개월분에서 최종 6개월분으로, 상한액을 2,100만 원에서 3,150만 원으로 올렸다. 조사 기준일인 10월 23일에 챗봇이 내놓은 답은 최종 3개월분, 최대 2,100만 원이었다.

두 달하고 사흘이다. 그사이 법안은 공포됐고 시행일이 지났고 언론에도 실렸는데, 소관 부처가 운영하는 상담 챗봇만 그 변화를 받지 못했다. 다른 세 건은 언제부터 틀렸는지 알 수 없지만, 이 한 건은 틀린 구간의 길이가 날짜로 찍힌다. 기간으로는 받을 수 있는 달수의 절반, 금액으로는 상한 1,050만 원이 빠진 답변이다.

이 서비스에 들어간 돈은 3년 치가 공개돼 있다. 2024년 9억 3,000만 원, 2025년 2억 원, 2026년 19억 6,700만 원으로 합이 30억 9,700만 원이다. 2024년분은 한국지능정보사회진흥원의 정부출연금이고, 올해 예산 하나가 전체의 3분의 2에 가깝다. 돈이 가장 많이 들어간 해에 가장 오래된 답이 나온 셈이다.

쓰는 사람도 늘었다. 2025년 한 해 11만 7,000건이던 이용이 2026년에는 9월까지 18만 5,903건을 기록했다. 아홉 달 만에 지난해 전체를 넘었고, 월평균으로 환산하면 2만 건 남짓이다.

고용노동부 안에는 이 서비스를 유지보수하는 인력이 따로 없다. 대신 한국공인노무사회 소속 노무사 173명이 질문과 AI 답변을 월평균 약 2만 건 들여다본다. 이용량과 거의 같은 양이다. 표본을 추려 보는 수준이 아니라 사실상 올라오는 대로 보고 있다는 뜻이다.

빠진 장치는 다른 쪽에 있다. 이용자가 틀린 답을 받아도 그 자리에서 알릴 기능이 없다. 오답이 드러나는 경로가 노무사의 사후 검수와 이번처럼 바깥에서 들어오는 지적, 둘뿐이라는 뜻이다. 월 2만 건이면 하루 700건에 가깝다. 그 질문들 앞에서 오답을 가장 먼저 만나는 사람은 이용자인데, 그 사람이 쥔 신호가 서비스로 들어오는 길이 없다.

출범할 때 내세운 것은 정확도였다. 노무사 173명이 학습 데이터를 정제해 환각을 최소화했다는 설명이 서비스 소개에 붙었고, 한국공인노무사회는 이를 민관 협력의 성공 모델이라고 평가했다. 고용노동부의 비용·편익 분석은 기존 검색 포털보다 노동법 정보를 찾는 시간이 87.5% 줄어든다고 밝혔다.

다루는 범위는 그사이 넓어졌다. 2024년 11월 정부박람회에서 처음 공개됐을 때는 카카오톡으로 주고받는 형태였고 실업급여와 퇴직금 같은 주제가 중심이었다. 지금은 ai.moel.go.kr에서 노동법 전반을 묻는 정식 서비스가 됐고, 이번에 틀린 답이 나온 도산대지급금과 체불사업주 제재도 그 안에 들어 있다.

박정 의원은 막대한 예산을 들여 별도의 노동법 상담 서비스를 운영하는 만큼 최소한 노동부 소관 법령의 최신성과 정확성에서는 높은 신뢰도를 보여야 한다고 말했다. 기능과 상담 범위를 넓히기에 앞서 정확도를 지속적으로 검증할 품질관리 체계부터 전면 점검해야 한다는 주문도 함께 내놨다.

월 2만 건을 보고도 이 네 건이 남은 까닭은 검수가 보는 대상에 있다. 검수자 앞에 놓이는 것은 질문과 답변 한 쌍이고, 도산대지급금 답변은 그 한 쌍만 놓고 보면 이상한 구석이 없다. 조문을 지어내지도 않았고 숫자를 섞지도 않았다. 챗봇은 자기가 읽은 자료에 적힌 기준을 정확히 옮겼고, 그 자료가 8월에 폐지된 기준을 담고 있었을 뿐이다. 자료가 낡았다는 사실은 답변만 봐서는 드러나지 않는다.

노무사 173명을 투입한 데이터 정제는 설계에 들어 있었다. 법이 바뀔 때마다 그 정제를 다시 돌리는 일은 설계에 들어 있지 않았던 것으로 보인다. 두 달 넘게 남아 있던 옛 지급 기준이 그 빈자리를 가리킨다.

범용 AI가 맞힌 이유를 모델 성능으로 설명하면 앞뒤가 맞지 않는다. 범용 모델이 한국 노동법을 더 깊이 배웠을 리는 없다. 둘의 차이는 답을 만들 때 손에 쥔 자료의 시점이다. 웹 검색을 붙인 범용 챗봇은 올해 바뀐 기준이 실린 문서를 곧바로 가져올 수 있고, 자체 코퍼스 안에서만 답을 찾는 전용 챗봇은 그 코퍼스가 갱신되기 전까지 예전 조문을 계속 정확하게 인용한다.

전용 도구가 이런 식으로 지는 장면은 한국에만 있지 않다. 미국의 대표적인 법률 리서치 AI 도구들을 검증한 연구(Magesh et al., Journal of Empirical Legal Studies, 2025)는 전용 법률 데이터베이스에 연결된 도구에서도 환각이 17~33% 비율로 남는다고 보고했다. 검색을 붙이면 지어내는 답이 줄지만 사라지지는 않는다는 결과다.

남은 몫이 어디서 오는지는 검색 증강 챗봇을 다룬 연구 "RAGged Edges"(arXiv:2403.01193)가 짚는다. 검색 대상이 되는 자료 자체가 낡아 있으면 검색은 성공하고 답은 틀린다. 모델은 근거 문서를 제대로 찾았고, 그 문서가 폐지된 기준을 담고 있을 뿐이다. 이번 챗봇의 도산대지급금 답변이 정확히 이 꼴이다. 법률 AI 도구를 실무 과제로 평가한 Vals AI의 법률 리서치 보고서에서도 웹 검색을 갖춘 범용 챗봇이 전용 도구와 견줄 만한 결과를 낸 항목이 보고됐다.

법이 바뀐 지점과 챗봇이 읽는 자료 사이에는 아무것도 없고, 검수는 자료가 아니라 답변 쪽에 붙어 있다.

그래서 이 자리에 필요한 것은 더 큰 모델이 아니다. 법이 바뀌었다는 사실이 관보에서 출발해 챗봇이 읽는 자료까지 도달하는 경로, 그리고 그 경로가 끊겼을 때 끊겼다는 사실을 알아차리는 장치다. 둘 다 모델 바깥에 있다.

노동법 상담은 페블러스가 하는 일이 아니다. 그런데 이번 사건의 구조는 사내 문서를 읽혀 답을 내놓는 AI를 쓰는 조직이라면 어디서나 똑같이 생긴다. 바뀐 것은 규정이고, 그대로인 것은 그 규정을 담아 둔 사본이다.

회사 안에도 어제 바뀐 것들이 있다. 취업규칙, 보안 정책, 환불 약관, 단가표, 제품 사양서가 매달 조금씩 개정된다. 이 문서들을 읽고 답하는 챗봇을 세워 두면 문서가 바뀐 날과 챗봇이 그 변화를 아는 날 사이에 간격이 생긴다. 그 간격의 기본값은 0이 아니다. 누군가 메우기로 정해 두지 않으면 계속 벌어진다.

사내 AI를 운영하고 있다면 다섯 가지를 확인해 볼 만하다.

• 규정이 바뀌면 그 변경이 어떤 경로로 모델이 읽는 자료까지 들어가는가. 담당자가 기억해서 올리는 방식이면 그 사람이 자리를 비운 기간만큼 간격이 벌어진다
• 답변에 근거 문서의 시점이 함께 나오는가. 시행일과 판 번호가 붙어 있으면 읽는 사람이 먼저 알아차린다
• 개정되거나 폐지된 문서가 자료에서 실제로 빠지는가. 새 판을 더하기만 하면 옛 판이 나란히 검색돼 모델이 둘 중 하나를 고른다
• 틀린 답을 받은 사람이 그 자리에서 알릴 수 있는가. 신고 창구가 없으면 오답은 바깥에서 지적받을 때까지 남는다
• 신고가 들어왔을 때 답변이 아니라 원본 자료까지 거슬러 고치는 사람이 정해져 있는가. 답변 하나만 손보면 같은 질문에 같은 오답이 다시 나간다

다섯 가지 모두 모델 성능과 상관이 없다. 더 좋은 모델로 갈아 끼워도 답이 그대로일 항목들이다. 고용노동부 챗봇에 들어간 30억 9,700만 원 가운데 이 다섯 가지에 쓰인 몫이 얼마인지는 공개된 자료로 알 수 없다. 다만 네 건의 오답이 가리키는 쪽은 모델이 아니라 이쪽이다.

여기까지 읽어 주셔서 감사하다. 챗봇 답변과 현행법의 대조는 의원실이 공개한 자료와 이를 보도한 세 매체를 맞춰 확인했고, 자료에 적히지 않은 비교까지 적지 않으려 애썼다. 사내 문서를 읽는 AI를 운영하고 계신다면, 규정이 바뀐 날과 AI가 그 사실을 아는 날 사이가 평균 며칠인지 한 번 측정해 보시면 좋겠다. 그 수가 몇인지 들려주시면 더 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 10월 29일

보도·공식 발표

• 1.경인일보. (2026). "31억 들인 노동부챗봇 '헛다리 상담'… 박정, 전면점검 촉구."
• 2.파주에서신문. (2026). "31억 투입 고용노동부 'AI 노동법 챗봇', 현행 법령 오안내 다수 확인."
• 3.뉴데일리경제. (2026). "31억 쏟아부은 노동부 노동법 챗봇… 현행 법령도 몰라 '헛다리'."
• 4.고용노동부. (2024). "어려운 노동법, AI가 24시간 상담해준다 — 'AI 노동법 상담' 서비스 공개." 대한민국 정책브리핑(korea.kr).
• 5.매일신문. (2026). "임금채권보장법 개정 시행 — 도산대지급금 지급 범위 확대."

학술 논문

• 6.Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., & Ho, D. E. (2025). "Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools." Journal of Empirical Legal Studies, 22(2), 216–242.
• 7.Feldman, P., Foulds, J. R., & Pan, S. (2024). "RAGged Edges: The Double-Edged Sword of Retrieval-Augmented Chatbots." arXiv:2403.01193.