Executive Summary

이 글은 2026년 9월 13일 arXiv에 올라온 심사 전 프리프린트 한 편을, 대화가 끝난 뒤 제품이 나에 대해 무엇을 적어 두는가라는 물음으로 읽는다. 인도·나이지리아·브라질·파키스탄 이용자가 동의로 내놓은 대화 기록과, 그 대화에서 챗봇이 뽑아 따로 저장한 프로필 항목을 나란히 놓고 센 조사다. 감사 대상은 2026년 2월 시점의 옛 기억 기능이고, 저장 요청이 앞서지 않은 항목이 스무 개 가운데 열아홉이었다.

다만 이런 조사에 흔히 따라붙는 요약 하나는 이 논문의 표가 받치지 않는다. 증상과 낙인 질환이 차지하는 비중은 프로필 쪽에서 오히려 줄었고, 고위험으로 분류된 비율은 대화와 프로필이 사실상 같다. 논문이 말하는 위험은 비율이 아니라 한 줄에 여러 단서가 모이는 밀도, 그리고 그 줄이 계속 남는다는 영속성이다. 그 밀도가 실제로 사람을 짚어 낸다는 증거는 같은 이용자들 위에 이미 있다. 같은 제1저자가 넉 달 전에 발표했고, 이 논문은 그것을 인용하지 않는다.

제품 문서를 직접 열어 보면 대조의 과녁이 옮겨 간다. 요청하지 않아도 저장될 수 있다는 문장은 지금도 도움말에 있고, 배경 추출은 넉 달 뒤 발표문에서 설계 목표로 올라섰다. 그래서 남는 간극은 두 곳이다. 곁가지처럼 적힌 길이 실제로는 본류였다는 비중, 그리고 건강을 콕 집어 두었던 예외 약속이 지금 문면에서 사라졌다는 것. 파생된 한 줄에 관찰 시점과 유효기간과 근거와 요청 주체를 적을 자리가 없으면 어떤 보존기한도, 어떤 정정 요구도 그 줄에 닿지 못한다. 그리고 그 셈을 외부에서 다시 해 볼 수 있던 경로는 논문이 나오기도 전에 닫혔다.

95.36%

저장 요청이 앞서지 않은 프로필 항목

분모는 프로필 항목 7,051개. 저장 직전 한 메시지에 저장 명령 낱말이 없었다는 뜻이다

41.11%

건강 이야기가 든 프로필 항목

7,051개 중 2,899개. 낙인 질환 135건, 진료 식별번호 68건이 그 안에 있다

3.62% · 3.63%

고위험 비율, 대화 쪽과 프로필 쪽

대화 179,057건과 프로필 항목 7,051개. 두 값의 차는 0.01%포인트다

F1 0.90

같은 1,057명에게서 성별을 맞힌 범용 모델

자기가 누구인지 밝힌 메시지가 없도록 걸러 낸 대화에서. 넉 달 앞선 자매 논문의 측정이다

1

답변에는 없던 문장이 프로필에 남았다

논문의 첫 그림은 짧은 장면 하나로 문을 연다. 어떤 이용자가 챗봇에 자기 나이와 직업을 말하고, 요즘 자꾸 무언가를 잊는다는 인지 증상을 덧붙인다. 돌아온 답변에는 민감한 추론이 한 줄도 없다. 증상 이야기를 받아 준 평범한 응답이라, 화면만 보면 남을 것이 없어 보인다. 그런데 같은 순간에 제품은 그 사실들을 따로 뽑아 저장했다. 이용자가 저장해 달라고 말한 적은 없고, 저장됐다는 표시도 그 화면에 없었다. 저자들이 그림에 붙인 설명은 이 셋을 나란히 짚는다. 이용자가 인구 정보와 증상을 말했다는 것, 눈에 보이는 답변에는 민감한 추론이 없어 아무것도 남지 않은 인상을 준다는 것, 그럼에도 저장된 항목은 그 사실들을 조용히 붙잡아 다음 대화들로 넘긴다는 것.

이 장면은 실제 대화가 아니라 연구진이 자기 데이터셋에서 착안해 지어낸 예시다. 다만 뒤에 나올 수치는 전부 실제 기록에서 나왔고, 그 수치가 말하는 바가 정확히 이 장면의 세 번째 항목이다. 그래서 낱말부터 고정한다. 이 글에서 프로필 항목이라 부르는 것은 ChatGPT의 기억(memory) 기능이 대화에서 사실 하나를 뽑아 따로 적어 둔 한 줄짜리 저장 단위다. 논문의 말로는 memory entry 또는 profile entry다. 대화 로그와는 다른 층이고, 거의 모든 대조가 그 두 층 사이에서 일어난다.

이용자 메시지 나이 · 직업 그리고 인지 증상 한 줄 저장 요청 없음 눈에 보이는 답변 민감한 추론이 없다 남은 것이 없어 보인다 저장 알림도 없음 배경에서 진행 저장된 프로필 항목 한 줄 현재시제 상태 서술로 남아 다음 대화들로 넘어간다 이런 항목의 95.36%는 저장 요청이 앞서지 않았다 (분모 7,051개) 이용자가 보는 것은 왼쪽 위 두 칸뿐이다
▲ 페블러스 원본 도식 (arXiv:2609.14697 Figure 1 재해석) — 답변에는 없고 프로필에는 있다

1.1이것은 유출 사고가 아니다

다루지 않는 것부터 못 박는다. 데이터가 밖으로 샌 사건이 아니다. 침입한 공격자도 없고, 설정이 잘못 열린 서버도 없고, 누군가 남의 대화를 들여다본 정황도 없다. 여기서 일어난 일은 제품이 설계된 대로 동작한 것이다. 대화에서 사실을 뽑아 따로 저장했고, 그 저장이 이용자의 요청과 거의 무관하게 일어났다. 논문이 한 일은 그 저장을 세어 본 것이고, 이 글이 하는 일은 그 셈을 읽는 것이다. 사고가 아니라 기본 동작을 재는 이야기라는 점에서, 뒤에 나오는 수치는 다르게 읽힌다.

1.2무엇을 어떻게 셌나

재료는 인도·나이지리아·브라질·파키스탄 이용자가 동의로 내놓은 ChatGPT 내보내기 파일이다. 기부된 원자료는 1,252명의 대화 202,590건이었고, 메시지 수가 가장 적은 10분위를 걷어 낸 뒤 1,057명의 대화 179,057건이 분석 대상이 됐다. 그 가운데 766명의 파일에 기억 기능이 저장한 항목이 들어 있었고, 항목은 모두 7,051개였다. 나머지 이용자는 기능을 꺼 둔 것으로 저자들이 추정한다. 분류는 오픈웨이트 모델인 Llama-3.3-70B로 돌렸다. 자료의 민감함 때문에 폐쇄형 API를 쓰지 않았다고 저자들이 밝힌다. 저장 요청의 유무는 항목이 저장되기 직전 한 메시지만 보고 판정했고, 네 개 언어의 트리거 어휘집과 편집 거리 기반 유사도 80% 임계값을 썼다.

대상에는 한정이 붙는다. 수집 시점은 2026년 2월이고, 감사된 것은 그때의 옛 기억 기능이다. 논문 스스로 괄호를 쳐 그 한정을 적는다. 자기 4.3절이 대조하는 문서는 "현재의 dreaming 구조가 아니라" 옛 기억 기능의 도움말이라고 본문에 명시돼 있다. 다만 논문 첫머리의 인용구와 서론 첫 문단은 새 구조의 발표문 인용으로 문을 연다. 옛것과 새것을 뭉갠 것은 아니고, 문만 새 구조로 연 셈이다. 이 구별은 6절에서 다시 필요해진다.

1.3전에 쓴 글들과 어디가 다른가

이 블로그는 두 달 전 에이전트가 스스로 쓰는 기억을 지우는 문제를 다뤘다. 그 글에도 사람이 일일이 지시하지 않는데 에이전트가 판단해서 쓴다는 관찰이 있다. 다른 점은 둘이다. 그 글의 논거는 개발 현장에서 에이전트가 쓰는 메모리에 대한 관찰이었고, 여기 실린 것은 소비자 제품에서 실제 이용자 1,057명의 기록을 센 측정이다. 비었다고 지목한 칸도 서로 다르다. 앞 글은 누구 것인가를 물었고, 뒤에서 세어 볼 칸은 언제 것인가다. 두 물음은 같은 줄 위에 있지만 서로 다른 것을 묻는다.

함께 읽을 글이 둘 더 있다. 챗봇이 앞 대화를 기억하게 만드는 구현 스택을 정리한 글은 이 기능을 어떻게 만드는지 봤고, 아래 절들은 그렇게 만들어진 기능이 실제로 무엇을 적었는지를 센다. 그리고 같은 날 올린 의료 AI의 암기 편향을 다룬 글과는 층이 다르다. 그 글이 다룬 것은 학습에 쓰인 기록이 모델 가중치 안에 남는 일이고, 여기서 다루는 것은 대화에서 뽑아낸 문장이 제품 안에 텍스트로 남는 일이다. 뒤에 나올 자매 논문이 이 구별을 자기 말로 해 둔다. 추론은 암기가 아니며, 암기를 막는 방어(학습 데이터 중복 제거, 차분 프라이버시 학습, 학습 데이터 옵트아웃)는 추론 쪽을 건드리지 못한다는 것이 그 논문 6.2절의 서술이다.

2

다섯 건에 한 건은 건강 이야기였다

대화 179,057건 가운데 건강 이야기가 든 것은 38,165건, 비율로 21.31%였다. 초록과 본문이 헤드라인으로 내세우는 값이 이것이다. 다만 같은 표를 다른 방향으로 더하면 값이 갈린다. 성별 행을 더해도 국가 행을 더해도 37,828건이 나오고, 연령 행을 더해야 38,165건이 된다. 건강 이야기가 없는 대화 141,229건에 37,828건을 더하면 179,057건으로 총계와 정확히 맞고, 38,165건을 더하면 337건이 남는다. 어느 쪽이 오기인지는 논문 안에서 가려지지 않는다. 이 글은 저자들이 내세운 21.31%를 그대로 쓰되, 정합이 맞는 분할은 37,828건 쪽이라는 사실을 함께 적는다.

위험 등급은 다섯 단계 루브릭으로 매겼다. 대화 179,057건 기준으로 점수 2가 14.03%, 점수 3이 3.27%, 그리고 점수 4와 5를 합친 고위험이 3.62%(6,532건)였다. 등급의 정의를 정확히 옮긴다. 점수 4는 진료를 받는 장소, 그러니까 특정 병원·클리닉·의료인의 이름이 드러난 경우다. 점수 5는 진료 식별번호나 환자 아이디, 또는 낙인이 따라붙는 질환이다. 판정 기준은 어느 병원 누구에게 다니는지다. 위성이 찍는 좌표 같은 것과는 관계가 없다. 진료 식별번호가 드러난 대화는 632건이었다. 건강 이야기가 든 대화 안에서 범주별로 보면 증상·신체 상태가 16.02%, 진료 장소가 8.57%, 낙인 질환이 8.13%를 차지했다. 사회인구 프록시와 생활습관 범주는 이보다 크지만 그 비중은 논문 본문에 수치로 적혀 있지 않고 그림에만 있어, 값은 옮기지 않는다.

2.1왜 이 네 나라인가

네 나라가 고른 것은 우연이 아니다. 논문은 의사 부족과 붐비는 공공 진료소와 높은 본인부담 의료비를 배경으로 들면서도 그 수치를 직접 대지는 않는다. 그래서 우리가 세계은행 공개 데이터에서 직접 받아 왔다. 아래 표의 뒤 두 열은 논문에 없는 값이고 이 글의 조사다. 국가마다 최신 비결측 연도가 달라 기준연도를 함께 붙였다.

국가 참가자 고위험 대화 비율 인구 1,000명당 의사 본인부담 의료비 비중
인도456명 (43.1%)3.2%0.72명 (2020)43.9% (2023)
나이지리아206명 (19.5%)3.4%0.38명 (2023)71.9% (2023)
브라질205명 (19.4%)5.5%2.36명 (2023)26.2% (2023)
파키스탄190명 (18.0%)3.2%1.16명 (2021)52.9% (2023)

참가자 수와 고위험 대화 비율은 arXiv:2609.14697 Table 1·Table 3. 의사 밀도와 본인부담 비중은 세계은행 공개 데이터 API(SH.MED.PHYS.ZS, SH.XPD.OOPC.CH.ZS)를 2026년 9월 17일 직접 조회한 값이다.

의사가 가장 적고 자기 돈으로 치료비를 가장 많이 내는 나라는 나이지리아다. 챗봇이 1차 상담 자리를 대신 맡는 이유를 그 두 수치가 함께 설명한다. 다만 이 표는 깔끔하게 떨어지지 않는다. 의사 밀도가 가장 높은 브라질에서 고위험 대화 비율이 네 나라 중 가장 높았다. 접근성만으로는 설명되지 않는 어긋남이다. 이 독법은 우리 것이고 논문의 결론이 아니다.

인구집단별 차이를 읽을 때는 표본 크기를 함께 봐야 한다. 논문 5.1.3절은 고령층의 위험 패턴을 한 절로 세우는데, 65세 이상은 이용자 한 명의 대화 5건이고 55~64세는 여덟 명의 대화 720건이다. 같은 이유로 프로필 쪽 55~64세 항목에서 고위험이 0건이라는 서술도 시스템이 걸러 낸 결과가 아니라 항목 자체가 아홉 개뿐이었기 때문이며, 그 점은 저자들이 스스로 밝힌다. 나라별 비교에는 언어 조건이 걸린다. 저장 요청을 판별하는 트리거 어휘집은 네 개 언어로만 만들어졌고, 나이지리아에서 널리 쓰이는 하우사어 같은 언어는 분류가 작동하지 않는다고 저자들이 방법 절에 밝힌다.

2.2이 코퍼스는 이번에 처음 쓰이지 않았다

이 대화들은 이 논문을 위해 새로 모은 것이 아니다. Clickworker를 통해 참가자를 모집하고 동의를 받아 내보내기 파일을 기부받는 파이프라인이 먼저 있었고, 같은 심의 승인 아래 만들어진 코퍼스를 이 논문이 다시 분석했다. 이 코퍼스를 쓴 분석은 이번이 최소 세 번째다. 수집 자체를 보고한 원 논문은 참고문헌에 제목만 남아 있고 게재처도 URL도 없으며, 인용 표기의 연도는 ChatGPT 출시 이전인 2018년이다. 공개된 판본을 우리도 찾지 못했다.

지난달 이 블로그는 챗봇 사용 실태를 독립 코퍼스로 재는 문제를 다루면서, 그런 측정의 커버리지 한계를 이렇게 적었다. "사설 배포, 온디바이스 어시스턴트, 글로벌 사우스에서 널리 쓰이는 서비스는 대체로 범위 밖이다." 이번 논문이 들어서는 데가 바로 거기다. 그리고 챗봇에 건강 이야기를 털어놓는 쪽의 조사로는 미국 청소년의 정신건강 대화를 다룬 글이 먼저 있었다. 그 글이 누가 말하는가를 봤다면, 남은 물음은 말한 것이 어디에 어떻게 적히는가다.

2.3이름을 지운 코퍼스에서 병원 이름이 고위험 기준이 되는 일

코퍼스 설계와 채점 기준이 한 자리에서 부딪친다. 이 코퍼스는 수집 직후 개체명 인식과 정규식으로 이름·이메일·전화번호를 치환해 비식별했다. 그런데 고위험 등급의 정의는 병원 이름, 의료인 이름, 진료 식별번호다. 지우기로 한 것과 위험으로 세기로 한 것이 겹친다. 그러면 3.62%는 실제보다 낮게 잡힌 값이거나, 아니면 비식별이 놓친 비율이거나 둘 중 하나다. 이 지적은 논문에 없고 우리 독법이다.

그런데 이 물음의 답이 이미 나와 있다. 같은 제1저자가 넉 달 앞선 2026년 5월에, 같은 기부 코퍼스, 같은 심의 승인, 같은 1,057명, 같은 Llama-3.3-70B로 다른 논문을 냈다. 그 논문이 잰 것은 이렇다. 이용자가 자기가 누구인지 직접 밝힌 메시지가 하나도 없도록 걸러 낸 대화만 남겼는데도, 특별할 것 없는 범용 모델이 나이·성별·국가를 각각 가중 F1 0.84·0.90·0.88로 맞혔다. 그 논문의 6.1절 문장을 옮기면 이렇다.

"The redaction step is doing its job (flagging the obvious tells), and the inference still works. Style and topic, the parts of the conversation that no PII filter removes, suffice."

비식별이 일을 안 한 것은 아니다. 비식별이 손대지 않는 것으로도 충분했다는 말이다. 이 자매 논문의 초록과 6.1절은 코호트를 어떤 필터로 걸렀는지에 대해 서로 조금 다르게 적는다. 그래서 보수적인 형태로만 쓴다. 자기를 직접 밝힌 메시지가 없도록 걸러 낸 대화였다고만 적고, 비식별을 거쳤는데도라는 단정은 붙이지 않는다. 그리고 이번 논문은 그 자매 논문을 인용하지 않는다. 본문과 참고문헌 41항 전문을 검색해도 해당 제목도 arXiv 번호도 나오지 않는다. 의도는 우리가 알 수 없고, 적을 수 있는 것은 인용이 없다는 사실, 그리고 그 결과를 넣었다면 4절의 결론이 달라졌으리라는 우리 독법뿐이다.

3

문서가 약속을 거둬들인 자리

프로필 항목 7,051개 가운데 저장 직전에 이용자의 저장 명령이 있던 것은 327개, 4.64%였다. 나머지 95.36%는 아무도 부탁하지 않은 자리에서 만들어졌다. 나라별로도 성별로도 연령대별로도 유의한 차이가 없었다는 것이 저자들의 보고다. 아래 막대에서 오렌지로 칠한 쪽이 이용자가 시켜서 생긴 항목이다.

프로필 항목은 무엇이 저장을 시작했나 분모: 프로필 항목 7,051개 (이용자 766명) 4.64% 95.36% 이용자 명령이 앞섰음 · 327개 명령 없이 저장됨 · 약 6,724개 항목 수는 비율에 분모를 곱해 우리가 계산한 값이다
▲ 페블러스 원본 도식 (arXiv:2609.14697 Figure 4 재해석) — 저장을 시작한 쪽

이 수치를 동의의 측정으로 읽지 않으려면 판정 방식을 정확히 알아야 한다. 연구진이 본 것은 항목이 저장되기 직전 한 메시지뿐이다. 그 메시지에 영어·포르투갈어·힌디어·우르두어 네 언어로 만든 저장 명령 어휘집의 표현이 있는지 정규식으로 찾고, 오타를 감안해 편집 거리 기반 유사도 80%까지 허용했다. 임계값 80%는 200건을 사람이 훑어 정한 것으로, 더 낮추면 "뉴스 기억나?" 같은 일상 질문이 딸려 들어오고 더 높이면 사람의 오타를 놓친다는 것이 저자들의 설명이다. 그러니 이 95.36%가 말하는 것은 직전 한 메시지에 저장 명령 낱말이 없었다는 것이다. 설정에서 기능을 켠 것이 포괄 동의에 해당하는지, 앞선 대화에서 이미 부탁했는지는 이 방법으로 가려지지 않는다. 그리고 하우사어 같은 언어는 어휘집에 없다.

이 비율 자체는 이 논문이 처음 보인 것도 아니다. 2026년 2월 arXiv에 올라오고 그해 4월 웹 콘퍼런스에 정식 게재된 선행 연구가 이용자 80명의 메모리 항목 2,050건을 보고 96%가 시스템 단독 생성이라고 이미 보고했다. 이번 논문도 그 연구를 "similar finding"이자 "confirm"이라고 적는다. 표본 규모가 열세 배 넘게 차이 나는 별개 조사에서 근접한 비율이 다시 나온 것이고, 이번 논문의 기여는 비율 자체가 아니라 건강 도메인, 네 나라, 그리고 대화와 프로필 두 층의 대조에 있다.

3.1논문의 부록이 자기 그림 캡션과 충돌한다

논문은 이 95.36%를 제품 문서와 맞대 본다. 그런데 부록 B 안에서 두 진술이 갈린다. 부록 본문은 도움말 페이지가 여전히 "remember that" 같은 말을 해야 저장된다고 적고 있다는 취지로 서술하는데, 같은 부록 그림의 캡션은 그 페이지가 요청 없이도 저장될 수 있다고 말한다. 둘 중 하나는 틀렸고, 판정하려면 문서 원문을 우리가 직접 봐야 한다. 그래서 봤다. 2026년 9월 17일 기준 도움말 원문은 이렇다.

"Saved memories are details you've directly told ChatGPT to remember. You can add a new saved memory at any time – for example: 'Remember that I am vegetarian when you recommend a recipe.' … If you share information that might be useful for future conversations, ChatGPT may save those details as a memory without you needing to ask."

"remember that"은 요건이 아니라 예시로 들려 있고, 바로 다음 문장이 요청 없이도 저장될 수 있다고 적는다. 캡션이 맞고 부록 본문이 틀렸다. 논문보다 정확해지는 대목은 여기뿐이다. 그리고 그 판정의 결과로 3절의 과녁이 옮겨 간다. 문서는 이용자가 시켜야 저장된다고 했는데 실제로는 자동이더라는 대조는 성립하지 않는다. 저장이 자동으로도 일어난다는 사실은 문서에 적혀 있다. 2024년 2월 기억 기능을 처음 발표한 글에도 이미 "직접 시키거나, 아니면 알아서 줍게 두거나"라고 적혀 있었다.

3.2그래서 버티는 간극은 둘이다

첫째는 비중이다. 문서는 두 길을 나란히 적는다. 직접 시키는 길과 알아서 줍는 길. 읽는 사람은 앞쪽이 본류고 뒤쪽이 곁가지라고 받아들이기 쉽다. 측정은 반대로 말한다. 항목 7,051개 중 95.36%가 뒤쪽 길로 생겼다. 문서가 거짓을 적은 것은 아니고, 문서의 어순이 실제 분포와 반대일 뿐이다. 이 대비에서 갈라지는 것이 또 있다. 이 블로그가 7월에 다룬 대화 로그 삭제 중단 명령을 둘러싼 소송은 소송 절차에서 나온 회사 진술을 다뤘다. 맞대는 상대가 다르다. 지금도 공개돼 있는 제품 도움말의 문장이다.

둘째는 민감 범주의 예외 약속이다. 2024년 2월 발표문에는 프라이버시를 다룬 단락이 있었고, 그 안에 건강을 콕 집은 문장이 있었다.

"We're taking steps to assess and mitigate biases, and steer ChatGPT away from proactively remembering sensitive information, like your health details - unless you explicitly ask it to."

동사는 "그쪽으로 가지 않게 유도한다"이고, 앞에 "그러기 위한 조치를 취하고 있다"가 한 번 더 붙어 있다. 검색 요약에 흔히 도는 "그렇게 저장하지 않도록 학습됐다"는 이 문장의 바꿔 쓴 판본이지 원문이 아니다. 그 약속에 맞댈 측정은 이렇다. 프로필 항목 7,051개 중 2,899개(41.11%)에 건강 이야기가 들어 있었고, 그 안에 낙인 질환 135건과 진료 식별번호 68건이 있었다. 약속은 2024년 2월 문서의 것이고 측정은 2026년 2월 데이터의 것이니, 두 수를 함께 적을 때는 시점을 반드시 붙여야 한다. 그리고 지금 도움말에는 그 약속 문장이 없다. 같은 자리에 있는 것은 "Sensitive information may appear in memory if you share it with ChatGPT"라는, 극성이 반대인 한 문장이다. 논문의 부록도 회사가 이후 페이지에서 이용자 통제를 강조하던 표현 일부를 걷어냈다고 서술한다.

이 대조는 2026년 9월 17일 현재 문면을 기준으로 한 것이다. 연구진이 자료를 모은 2026년 2월 시점의 도움말 판본은 인터넷 아카이브가 이 시점 서비스를 멈춰 있어 확인하지 못했다. 논문이 부록에 실은 문서 스크린샷도 앞서 말한 선행 연구가 2026년 1월에 찍은 것을 그대로 옮겨 온 것이다.

3.3넉 달 뒤, 그 동작이 자랑거리가 됐다

논문이 감사한 데이터가 2026년 2월 것이고 논문이 나온 것이 9월인데, 그 사이 6월 4일에 회사는 새 기억 구조를 발표했다. 그 발표문의 한 문장이 이 글에서 가장 값지다.

"Dreaming also makes it easier for memory to include context that occurs naturally in conversation, without relying on explicit requests to remember something."

논문이 간극이라 부른 그 동작이 넉 달 뒤 발표문에서는 설계 목표로 올라섰다. 명시적 요청에 기대지 않는 것이 이제 내세울 속성이다. 이 대조는 논문이 하지 않았다. 우리가 문서 두 개를 겹쳐 읽은 것이다. 낱말도 세어 봤다. 그 발표문 본문에서 sensitive·health·privacy·consent·opt out·export를 찾으면 모두 0건이다. privacy가 세 번 걸리지만 전부 페이지 아래쪽 내비게이션 링크다. 2024년 2월 발표문에는 프라이버시 단락이 있었고, 배경 추출을 기본 토대로 올린 2026년 발표문에는 그 단락이 없다. 이 셈도 우리가 한 것이다.

4

위험이 커졌다는 말은 어느 층에서 참인가

논문의 초록은 배경에서 돌아가는 기억 합성이 재식별 위험을 키운다고 적는다. 그런데 같은 논문의 표를 세 가지 잣대로 재 보면 세 잣대가 서로 다른 방향을 가리킨다. 건강 이야기의 비율은 올라가고, 위험 점수 2 이상의 비율은 내려가고, 고위험 비율은 거의 움직이지 않는다. 아래 표에 그 셋을 모았다. 프로필 쪽 세 값 가운데 두 개는 논문이 적어 둔 표에서 우리가 다시 계산한 값이다.

계량 대화 로그 (179,057건) 프로필 항목 (7,051개) 방향
건강 이야기 비율21.31% (38,165)41.11% (2,899)올라감
위험 점수 2 이상21.13% (37,828)18.31% (1,291, 계산)내려감
고위험(4·5)3.62% (6,532)3.63% (256, 계산)거의 같음
증상·신체 상태 비중16.02%4.31% (125)줄었다
낙인 질환 비중8.13%4.66% (135)줄었다
진료 장소 비중8.57%6.45% (187)줄었다

arXiv:2609.14697 §4.1·§4.2·Table 5에서 옮겼다. 표시된 두 값은 논문이 실은 항목 수에서 우리가 계산한 것이다. 위험 점수 2 이상은 7,051에서 무위험 5,760을 뺀 값, 고위험은 점수 4의 160과 점수 5의 96을 더한 값이다. 뒤 세 줄의 비중은 각 층의 건강 이야기를 분모로 한 값이라 앞 세 줄과 분모가 다르다.

앞 표의 첫 세 줄을 막대로 옮기면 방향끼리 견주기 쉬워진다. 왼쪽 회색이 대화 쪽이고 오른쪽이 프로필 쪽이다. 두 막대는 분모가 다른 모집단 위에 서 있다. 그러니 높이끼리 맞대지 말고 쌍마다 어느 쪽으로 기우는지만 보면 된다.

같은 데이터를 세 가지 잣대로 재면 왼쪽 막대는 대화 179,057건, 오른쪽 막대는 프로필 항목 7,051개 — 분모가 다른 두 모집단이다 0% 25% 50% 21.31 41.11 건강 이야기 올라감 21.13 18.31 위험 점수 2 이상 내려감 3.62 3.63 고위험 차이 0.01%포인트 프로필 항목은 기억 기능이 사실을 뽑은 대화에서만 생기고, 그 대화는 전체의 3.94%다 — 골라진 표본이다
▲ 페블러스 원본 도식 (arXiv:2609.14697 §4.1·Table 5 수치 + 자체 계산) — 세 계량이 가리키는 방향

4.1두 배로 보이는 것은 무엇 때문인가

21.31%에서 41.11%로 건강 정보가 두 배가 됐다는 문장을 쓰고 싶어진다. 그런데 두 값은 서로 다른 모집단 위에 있다. 프로필 항목은 기억 기능이 대화에서 사실 하나를 뽑아낼 때만 생긴다. 그런 대화는 전체 179,057건 중 7,051건 몫, 그러니까 3.94%에 불과하다. 사실이 담긴 대화만 골라 모은 표본에서 건강 이야기 비율이 높게 나오는 것은 골라진 결과이지 늘어난 결과가 아니다. 두 층을 나란히 놓으려면 분모를 문장 안에 적어야 한다는 것이 이 표의 첫 교훈이다.

분모 이야기가 나온 김에 덧붙인다. 위험 점수별 비율 14.03%·3.27%·3.62%를 179,057로 다시 계산하면 14.17%·3.31%·3.65%가 된다. 논문이 쓴 값이 함의하는 분모는 총 대화 수보다 1% 남짓 크다. 필터 이전 수치가 섞였을 가능성이 있지만 논문에 설명이 없고, 이 재계산도 우리가 한 것이다. 논문이 적은 값을 그대로 쓴다.

4.2같은 파이프라인인데 두 층의 라벨이 어긋난다

표를 조금 더 들여다보면 두 층의 수가 맞지 않는 대목이 나온다. 건강 이야기가 든 프로필 항목은 2,899개인데, 위험 점수가 2 이상인 항목은 1,291개뿐이다. 그러니까 건강 이야기로 분류된 항목의 55.5%인 1,608개가 동시에 무위험으로도 분류됐다. 대화 쪽에서는 이런 일이 없다. 건강 대화 37,828건과 위험 점수 2 이상 37,828건이 정확히 같은 수다. 같은 파이프라인, 같은 모델인데 두 층에서 라벨 규칙이 다르게 적용된 것으로 보인다. 논문은 이 어긋남을 설명하지 않고, 이 관찰도 우리 것이다.

4.3등급 분포가 보지 못하는 것

그러면 논문의 주장이 틀린 것인가. 그렇지 않다. 논문이 위험이라 부르는 것이 애초에 비율이 아니기 때문이다. 5.2.2절이 그것을 직접 말한다. 이 대목이 이 논문의 중심이다.

"the background memory synthesis violates these transmission principles by stripping away conversational nuance, temporal qualifiers, and user intent. … the background memory store continuously aggregates socio-demographic markers, precise locations, and clinical conditions into a dense, highly identifying digital footprint that drastically reduces the user's anonymity set."

요점은 두 가지다. 하나는 밀도다. 흩어져 있던 단서들이 한 줄에 모이면 그 줄에 해당할 수 있는 사람의 수, 그러니까 익명 집합(anonymity set)이 줄어든다. 위험 등급 분포는 그 모임을 보지 못한다. 등급은 줄 하나를 따로 볼 뿐 줄들이 한 사람 밑에 쌓이는 것을 세지 않는다. 다른 하나는 영속성이다. 대화는 흘러가고 그 자리에 머문다고 이용자가 믿지만, 프로필 항목은 남아서 다음 대화들에 계속 실린다. 논문의 채점 루브릭 자체가 그렇게 설계돼 있다. 직업·나이·위치·언어 같은 세부 하나하나를 익명 집합을 좁히는 앵커로 세라고 프롬프트에 적혀 있다.

여기서 2절의 자매 논문이 다시 걸어 들어온다. 밀도가 실제로 사람을 짚어 내는가는 이 논문이 재지 못한 것인데, 같은 1,057명 위에서 이미 측정돼 있다. 자기를 직접 밝힌 메시지가 하나도 없는 대화만 남겼는데도 범용 모델이 나이·성별·국가를 가중 F1 0.84·0.90·0.88로 복원했다. 그러니 정확한 서술은 이렇게 된다. 프로필 저장이 위험 등급을 올린다는 증거는 이 논문에 없다. 대화에 남은 문체와 화제만으로도 신원 속성이 복원된다는 증거는 같은 사람들 위에 있다. 등급이 같다는 사실은 두 데이터셋이 같은 데이터셋이라는 뜻이 아니다.

5

프로필 한 줄에 시점을 담는 자리가 없다

논문 부록에 프로필 항목의 실물이 여섯 개 실려 있다. 여섯 개가 전부 "User"로 시작하고, 전부 현재시제 상태 서술이다. 증상 범주의 예시는 이렇게 생겼다. 이 이용자는 마른기침이 계속되고, 저녁이면 미열이 있으며, 평소 걸을 때 숨이 조금 차다. 낙인 범주의 예시는 이 이용자가 외래로 약물치료를 받고 있고 근처 클리닉의 진료 시간을 챙긴다고 적는다. 사회인구 범주의 예시는 이 이용자가 일흔네 살이고 종일 손주를 돌보며 계단이 가파른 집에 산다고 되어 있다.

이 문장들의 지위부터 밝힌다. 실제 이용자가 한 말이 아니다. 저자들이 공개 전에 Llama로 세부를 합성 치환한 문장이고, 여섯 개짜리 예시 표다. 분포를 재서 얻은 결과가 아니라 스키마의 생김새를 보여 주는 표본이다. 그리고 그 치환이 흔적을 남겼다. 치환 프롬프트는 지명을 "같은 지역 맥락 안에서" 바꾸라고 지시했는데, 실제로 나온 예시에는 메이오 클리닉과 클리블랜드 클리닉, 미국 보험사 이름, 캐나다 시골 지역, 보고타가 등장한다. 연구 대상 네 나라를 벗어난 것이다. 민감한 세부는 지워졌지만 맥락이 다른 나라로 옮겨 갔다. 이 관찰 역시 논문에 없다. 대형 언어 모델로 파생물을 만들 때 무엇이 함께 딸려 오는지를 보여 주는 작은 사례다.

스키마 자체로 돌아오면, 여섯 줄 어디에도 없는 것이 있다. 언제 관찰한 일인지, 언제까지 유효하다고 보는지, 무엇을 근거로 적었는지, 누가 이 줄을 원했는지. 4절에서 옮긴 저자들의 문장이 이 상실을 그대로 짚는다. 대화의 뉘앙스와 시간 한정자와 이용자의 의도가 벗겨진다고 적혀 있다. 벗겨진 자리에 남는 것은 상태다. 어젯밤 한 번 물어본 기침이 앓고 있는 증상이 된다.

저장된 프로필 한 줄의 생김새 "User experiences a persistent dry cough, a low-grade evening fever…" 현재시제 상태 서술 · 논문 부록의 합성 치환 예시 같은 줄에 함께 적혀야 할 것 언제 관찰했나 (없음) 언제까지 유효한가 (없음) 무엇을 근거로 (없음) 누가 요청했나 (없음) 항목이 낡으면 벤더의 처방은 이 네 자리를 만드는 대신 위 항목을 고쳐 쓰는 쪽이다. 고쳐 쓰면 최신성은 오르고 이전 상태는 사라진다.
▲ 페블러스 원본 도식 (arXiv:2609.14697 Table 9 관찰 기반) — 프로필 한 줄에 함께 적히지 않는 것들

5.1맥락 완전성이 깨진다는 말의 뜻

논문이 이 상실에 붙인 이름은 맥락 완전성(contextual integrity)의 붕괴다. 정보가 처음 오간 자리의 규범을 벗어나지 않는 것, 그것이 맥락 완전성이다. 밤에 혼자 챗봇에 증상을 물을 때 이용자가 전제하는 규범은 일시성이다. 이 대화는 이 창에 머물고 끝난다는 것. 시간 한정자가 빠진 채 상태로 저장되는 순간 그 전제가 깨진다. 그 자리에서 대화는 일회성 문의가 아니라 진료 기록에 가까운 무언가가 된다.

5.2벤더의 해법은 덮어쓰기다

항목이 낡는 문제를 제품도 알고 있다. 6월 발표문이 그 해법을 설명하면서 든 예가 여행 일정이다. 시간이 지나면 기억이 자동으로 갱신돼, 7월에 싱가포르에 갈 예정이라는 항목을 여행이 끝난 뒤 2026년 7월에 싱가포르에 다녀왔다는 항목으로 고쳐 쓴다고 적는다. 방향을 잘 보면 처방은 항목에 시점을 새기는 것이 아니라 항목을 고쳐 쓰는 것이다. 언제 관찰한 일인지, 언제까지 유효한지를 적을 자리는 여전히 생기지 않고, 대신 이전 상태가 조용히 덮인다. 최신성은 오르지만 되짚어 볼 경로는 남지 않는다. 감사 가능성이라는 축에서 보면 없어지는 쪽으로 간다. 논문에는 없는 독법이다.

지우는 쪽도 사정이 비슷하다. 도움말은 챗봇이 알고 있을 만한 무언가를 완전히 지우려면 "그것이 나타나는 모든 출처를 지워야 한다"고 적고, 지난 대화와 보관된 대화와 파일과 기억 요약과 연결된 앱을 함께 든다. 기억 기능을 껐다가 다시 켜면 "대화 기록에 남아 있는 옛 대화에서 새 항목이 만들어질 수 있다"고도 적는다. 삭제한 저장 항목의 로그를 안전과 디버깅 목적으로 최대 30일 보관할 수 있다는 문장도 있다. 지움이 파생물을 따라가지 않는다는 뜻이다.

프로필 항목이 이후 응답에 어떻게 주입되는지, 학습에 쓰이는지, 삭제가 파생물까지 전파되는지는 이 논문이 재지 않았다. 논문이 잰 것은 저장까지다. 위 문장들은 제품 문서의 서술이지 측정이 아니다. 두 달 전 이 블로그가 다룬 에이전트 기억의 삭제 문제에서 비어 있던 것은 그 줄의 소유자였고, 여기서 비어 있는 것은 그 줄의 시점이다. 소유자를 알아도 시점을 모르면 보존기한을 걸 수 없고, 시점을 알아도 소유자를 모르면 삭제 요구를 받을 수 없다. 둘은 같은 항목 위에서 각각 따로 필요하다.

6

같은 셈을 다시 할 방법이 사라졌다

이 감사가 가능했던 이유는 단순하다. 이용자가 자기 데이터를 내보낼 수 있었고, 내보낸 파일 안에 저장된 항목이 하나씩 들어 있었고, 그래서 밖에서 세어 볼 수 있었다. 논문의 한계 절에 그 조건이 사라졌다는 문장이 있다. 저자들의 서술로는 2026년 9월에 회사가 옛 방식의 기억 항목 기능을 기본에서 내리고 "Memory Summary"를 들였으며, 개별 항목은 기본 화면에서 보이지 않게 됐다. 옛 설정으로 되돌리는 선택지는 여전히 있고 그것이 이 논문이 본 것이지만, "아는 한 현재 내보내기 파일에는 기억 항목이 담기지 않는다"고 적혀 있다. 저자 스스로 붙인 유보를 떼지 않고 옮긴다.

제품 문서도 같은 방향을 가리킨다. 도움말은 기억 요약이 "챗봇이 대화를 근거로 기억하는 모든 것을 담지는 않는다"고 적고, 무엇을 기억하는지 알고 싶으면 대화에서 물어보라고 안내한다. 요약에 없는 항목이 기억에 없다는 뜻이냐는 물음에는 "반드시 그렇지는 않다"고 답하면서, 덜 관련이 있다고 판단되거나 이 화면에 보이기에 적절하지 않다고 판단되면 "일부 세부는 요약에 나타나지 않을 수 있다"고 덧붙인다. 옛 저장 목록으로 되돌리는 경로가 설정에 남아 있다는 안내도 같은 문서에 있다. 그러니 정확한 서술은 확인할 길이 아예 없어졌다가 아니라, 파일을 받아 밖에서 세어 보던 경로가 닫혔다는 쪽이다. 이 블로그가 7월에 다룬 동반자 서비스가 문을 닫을 때 대화를 옮길 수 없는 문제와는 사정이 다르다. 그 글은 서비스가 사라질 때의 이야기다. 여기서는 서비스가 멀쩡히 갱신되는 동안 감사 창이 닫힌다.

6.1같은 회사가 병원 고객에게는 다르게 적는다

도움말에는 규제 업종 고객을 위한 절이 따로 있다. 의료용 제품과 규제 워크스페이스가 붙은 기업용 제품에서는 개선된 기억 기능이 기본으로 꺼져 있다고 적혀 있고, 그 아래 인용 상자에 이런 문장이 있다. 이 기능은 미국 의료정보보호법상 수탁계약(BAA)의 적용 대상이 아니니 개인 건강정보(PHI)를 입력하지 말라. 논문이 잰 것은 인도·나이지리아·브라질·파키스탄의 소비자 이용자 1,057명이 바로 그 기능에 자기 건강 이야기를 넣은 결과다. 여기서 말할 수 있는 것은 위법 여부가 아니라 위치다. 경고문이 적힌 곳과 측정이 이뤄진 곳이 다르다.

6.2가장 또렷하게 말하는 법은 이 표본 바깥에 있다

대화에서 자동으로 파생된 속성을 다루라고 요구하는 조문이 있는가. 이 물음으로 표본 네 나라와 유럽연합의 조문·판결 원문을 직접 받아 읽었다. 로펌 해설은 쓰지 않았다. 결과는 예상과 달랐다.

관할 표본 비중 파생·추론된 건강 속성을 어떻게 다루나
인도456명 (43.1%)개인정보보호법(DPDP Act 2023) 전문에 sensitive·profiling·inferred·special category가 한 번도 나오지 않는다. §2(t)의 정의는 단일 범주뿐이라, 건강 이야기가 배송 주소와 같은 칸에 들어간다
나이지리아206명 (19.5%)개인정보보호법(NDPA 2023) 제65조가 건강 상태를 민감 개인정보로 들고, 제30조 1항은 민감 개인정보 처리를 원칙적으로 막은 뒤 아홉 가지 예외를 드는데 그 첫째가 처리 목적을 특정한 동의다. 제27조·제34조·제37조는 프로파일링을 포함한 자동화 처리를 이름으로 부르며 고지·이의·사람의 개입을 권리로 준다. 다만 정의 조항에 프로파일링은 없다
브라질205명 (19.4%)LGPD 제5조 2호가 "건강에 관한 정보"를 민감 개인정보로 들고, 제11조 1호가 "구체적이고 두드러진 방식으로, 특정 목적에 대한" 동의를 요구한다
파키스탄190명 (18.0%)포괄 법률이 없다. 소관 부처가 올려 둔 2023년 5월 초안은 프로파일링을 건강 같은 속성을 분석하거나 예측하려고 개인정보를 쓰는 자동화 처리로 정의하고, 건강 데이터를 민감 개인정보로 든다
유럽연합0명대법정 판결 둘이 파생·추론된 건강 속성에 이미 닿아 있다. 2024년 10월 판결은 "절대적 확실성이 아니라 어느 정도의 개연성만으로도" 건강에 관한 정보에 해당한다고 판시했다

인도 관보의 법률 전문, 나이지리아 관보 스캔본과 조문별 판본, 브라질 Lei nº 13.709/2018 원문, 파키스탄 정보통신부가 공개한 2023년 5월 초안, EUR-Lex의 C-184/20(2022-08-01)·C-21/23(2024-10-04) 판결 전문을 2026년 9월 17일 직접 조회했다. 인도 법의 낱말 출현 횟수는 전문을 우리가 센 값이다. 나이지리아 관보는 문자 인식으로 읽고 조문별 판본과 한 자씩 대조했다. 집행 결정문은 이번에도 확인하지 못했다. 조문이 있다는 것과 그 조문으로 무엇이 판단됐다는 것은 다른 이야기이고, 이 표는 앞엣것만 담는다.

두 행이 들어오자 표의 무게중심이 옮겨 간다. 낱말이 통째로 빠진 곳은 인도 한 곳이고, 나이지리아 법은 필요한 낱말을 갖췄다. 프로파일링을 포함한 자동화 처리를 세 조문에서 부르고, 그런 처리가 있다는 사실 자체를 미리 알리게 하고, 자동화만으로 내려진 결정에는 사람이 개입할 권리를 붙인다. 감독기구가 2025년에 낸 시행 지침은 절차까지 건다. 평가나 점수화에 해당하는 처리, 그리고 민감정보가 걸린 처리에는 영향평가를 의무로 두고 처리를 시작하기 전에 위원회에 내게 한다. 두 조건은 이 논문이 감사한 공정과 겉보기에 겹친다. 겹친다는 말과 어겼다는 말은 다르고, 이 글이 적는 것은 앞엣것뿐이다.

파키스탄 쪽은 다른 이유로 눈에 걸린다. 건강 속성을 추론하거나 예측하는 동작을 문장 안에 직접 적어 둔 곳은 이 표에서 유럽연합 판결과 파키스탄 문서 둘인데, 뒤쪽은 법이 아니다. 초안의 정의는 이렇게 되어 있다. 프로파일링이란 건강을 비롯한 속성을 분석하거나 예측하려고 개인정보를 쓰는 자동화 처리다. 이 논문이 잰 공정을 낱말 하나 바꾸지 않고 담는 문장인데, 2023년 5월 이후 부처 문서함에 초안으로 놓여 있다. 국회가 공개하는 현 회기 법률 목록에서 우리는 이 법을 찾지 못했다. 그래서 네 나라를 한 줄씩 적으면 이렇게 된다. 인도는 낱말 자체가 없다. 나이지리아는 낱말을 쓰되 정의하지 않는다. 브라질은 두드러진 방식의 동의를 요구한다. 파키스탄은 그 문장이 아직 초안에 있다.

두 판결은 함께 읽어야 한다. 2022년 판결은 간접적으로 드러나는 정보까지 특별 범주로 본다고 판시했지만, 그 판시는 성적 지향에 관한 것이다. 같은 판결 안에 드러낸다(reveal)와 관한 것이다(concerning)를 나누는 대목이 있고, 건강에는 뒤쪽 낱말이 쓰인다. 건강 쪽을 메우는 것이 2024년 판결이다. 약국이 온라인으로 처방전 없는 의약품을 팔 때 주문자가 입력한 이름과 배송지와 제품 정보가 건강에 관한 정보에 해당하며, 그 약이 그 사람을 위한 것인지가 개연적일 뿐 확실하지 않아도 그렇다고 했다.

이 둘을 겹쳐 놓으면 이런 독법이 나온다(우리 독법이다). 유럽연합 법 아래에서라면 이 이용자는 마른기침이 계속된다 같은 파생 한 줄은 제9조가 말하는 건강 정보로 다뤄질 공산이 크다. 확실하지 않아도 개연적이기만 하면 된다는 것이 대법정의 말이기 때문이다. 그러면 물음은 법이 닿느냐가 아니라 제9조 2항의 어느 예외 위에 그 처리가 서 있느냐가 되고, 그것을 아직 아무도 묻지 않았다. 그런데 추론된 속성 자체가 건강 정보라고 판시가 나와 있는 곳은 이 표에서 유럽연합뿐이고, 거기 사는 사람은 이 논문의 1,057명 중에 한 명도 없다. 가장 정밀한 측정과 가장 또렷한 규범이 서로 다른 나라에 있다. 이것을 위반 판정으로 적지 않는다. 이 논문도 규제 분석을 하지 않았고, 인도와 브라질의 법제 비교는 향후 과제로만 언급한다.

6.3논문이 권고한 장치는 옆 제품에 이미 있다

논문의 설계 권고 네 가지 가운데 하나가 범주별 보존 제어다. 지금의 선택지가 전부 끄거나 무제한으로 추출하거나 둘뿐이라는 지적이다. 그 장치가 경쟁 제품에는 이미 기본 꺼짐으로 배포돼 있다. 다만 아래 표는 공개 문서의 문면을 옮긴 것이다. 저자들은 다른 두 서비스의 내보내기 파일에서 해당 항목을 찾지 못해 비교를 하지 못했다고 직접 적는다. 우리도 잰 것이 없다. 공개 문서의 2026년 9월 17일 문면을 읽었을 뿐이다.

제품 문서 요청 없이 저장되나 항목을 하나씩 볼 수 있나 민감 범주만 따로 끌 수 있나
ChatGPT그렇다부분적. 요약은 전부를 담지 않고, 옛 목록으로 되돌리는 경로가 있다문서상 없다. 규제 워크스페이스에서만 기본 비활성
Claude그렇다그렇다. 설정의 주제 목록에 전부 나열되고 항목별 수정·삭제가 된다있다. 건강 등 민감 주제는 기본으로 저장하지 않고, 꺼 두면 이미 저장된 민감 항목을 지운다고 되어 있다
Gemini그렇다문서상 없다. 확인 방법으로 대화에서 물어보라고 안내한다문서상 없다

각 벤더의 공식 도움말 문서를 2026년 9월 17일 직접 조회해 옮겼다. 감사 결과가 아니라 문서의 서술이다. 참고로 논문 본문은 다른 벤더의 기억 구조가 주로 이용자가 직접 관리하는 맥락에 기댄다고 적는데, 그 근거는 개발자용 에이전트를 다룬 별개 논문이고, 현재 문면은 스스로 저장한다고 되어 있다. 논문이 틀렸다기보다 수집 시점인 2026년 2월 이후 문면이 바뀌었을 수 있다.

이 표에서 읽을 것은 순위가 아니다. 어느 쪽이 더 안전한지는 아무도 재지 않았다. 읽을 것은 이것이다. 설계 권고가 이미 구현된 제품이 따로 있고, 감사가 실제로 이뤄진 제품은 감사 창이 닫힌 쪽이다. 문서는 세 벤더 모두 요청 없이 저장한다고 적는다. 차이는 저장 여부가 아니라 저장된 것을 밖에서 확인할 수 있는가에 있다.

7

페블러스 관심의 이유

페블러스가 파는 일의 상당 부분은 원본에서 파생물을 만드는 일이다. 라벨을 붙이고, 요약을 만들고, 속성을 뽑아 테이블에 넣는다. 이 논문이 잰 것도 정확히 그 공정이다. 대화라는 원본에서 "User"로 시작하는 한 줄이 파생됐다.

7.1파생물의 스키마가 원본에 없던 주장을 만든다

대화에는 시제가 있다. 어제부터 기침이 난다는 문장에는 시작점이 있고, 끝이 열려 있고, 확신의 정도가 실려 있다. 파생된 한 줄은 이 이용자는 마른기침이 계속된다가 된다. 관찰이 속성으로 격상되는 일이고, 의료 대화만의 문제가 아니다. 설비 한 대의 점검 메모, 운전자 한 명의 운행 특징, 고객 한 명의 성향 태그. 품질 진단에서 매일 만지는 파생 필드가 같은 모양이다.

5절의 관찰이 그 위에 얹힌다. 파생 필드가 낡았을 때 제품이 내놓은 처방이 줄을 고쳐 쓰는 쪽이었다는 사실이다. 갱신으로 관리하면 최신성은 오르지만 이전 상태가 사라져 되짚을 경로가 없어진다. 데이터 품질과 감사 가능성이 여기서 갈린다. 둘은 보통 같이 가지만, 갱신 정책 하나로 반대 방향이 될 수 있다.

7.2위험 지표가 움직이지 않는데 품질이 상할 때

이 논문에서 가장 배울 것은 4절의 표다. 고위험 비율은 대화 3.62%, 프로필 3.63%로 사실상 같았고, 위험 점수 2 이상으로 보면 프로필이 오히려 낮았다. 증상 범주와 낙인 질환 범주의 몫도 프로필 쪽에서 작아졌다. 위험 점수만 보면 아무 일도 일어나지 않았다. 그런데 같은 데이터에서 시간 한정자가 사라졌고, 흩어져 있던 단서들이 한 줄에 모였다.

원본과 파생물을 같은 잣대로 재면 등급이 같게 나온다. 달라진 것은 등급이 아니라 구조다. 한 줄이 담는 단서의 개수, 그 줄이 남아 있는 기간, 그 줄이 원본으로 되짚어지는지 여부. 그리고 그렇게 모인 단서가 무엇을 가능하게 하는지는 4절에서 봤다. 이 블로그가 이달 초 다룬 북유럽 보건 데이터 메타데이터 감사는 있는 항목을 얼마나 채웠는지를 잰 글이었다. 이번에 본 것은 애초에 스키마에 그 항목이 없는 경우다. 두 문제는 진단 방법이 다르다. 기재율은 셀 수 있지만, 설계에 없는 것은 셀 수도 없다.

셋째로, 두 층을 비교할 때 분모가 다르면 비교 자체가 주장을 만든다. 건강 비율이 21%에서 41%로 두 배가 된 것처럼 보이지만 뒤쪽은 프로필 항목이 생긴 대화만 모아 잰 값이고 그건 전체 대화의 4%다. 파생 데이터의 품질 보고서에서 이 줄을 빼면 선택 효과가 곧 발견으로 읽힌다.

7.3지금 실무에서 확인할 것 셋

지금까지의 셈을 파생 테이블 앞에 놓으면 확인할 자리가 셋 생긴다. 5절의 스키마에서 하나, 4절의 계량에서 하나, 6절의 감사 경로에서 하나다. 셋 다 이 논문이 실제로 만진 것에서 곧바로 나오고, 세 번째는 이 논문의 방법이 지금 다시 돌아가지 않는 이유이기도 하다.

  • 파생 필드마다 강제 항목을 넷 둔다. 관찰 시점, 유효기간, 근거(어느 원본에서 왔나), 요청 주체. 논문이 제안한 저장하지 말 것 플래그보다 한 걸음 앞이다. 넷이 없으면 보존기한을 걸 자리도, 정정 요구를 받을 자리도 생기지 않는다. 그리고 갱신으로 덮어쓸 때 이전 값을 남길지를 같은 자리에서 정한다.
  • 파생물의 위험을 원본과 같은 잣대로만 재지 않는다. 등급 분포가 같아도 항목 하나가 담는 단서 수와 남는 기간이 달라졌다면 다른 데이터셋이다. 두 층을 견줄 때는 분모를 문장 안에 적는다.
  • 파생 항목이 내보내기와 삭제에 포함되는지를 제품 요구사항으로 적는다. 편의 기능이기 전에 검증 가능성의 문제다. 이 논문의 방법이 지금 다시 돌아가지 않는 이유가 바로 그 항목이 내보내기에서 빠졌기 때문이다. 삭제가 모든 출처로 전파되는지도 함께 확인한다.

파생을 하지 말자는 처방은 나오지 않는다. 대화에서 맥락을 뽑아 이어 주는 일은 이용자가 원하는 기능이고, 논문의 설계 권고도 가시화와 범주별 제어와 로컬 처리에 머문다. 남는 것은 금지가 아니라 항목과 분모와 감사 경로다.

7.4페블러스가 서 있는 자리

이 글이 남기는 것은 파생 데이터 명세서에서 빠진 항목의 모양이다. 지금 데이터 카드에 실리는 것은 대체로 원본의 출처와 규모, 그리고 파생 방법이다. 파생된 필드가 언제의 관찰인지, 언제까지 유효하다고 보는지, 누구의 요청으로 만들어졌는지는 대체로 적히지 않는다. 그리고 그 결락은 위험 등급 분포를 아무리 잘 재도 드러나지 않는다.

빠진 이유가 어렵기 때문은 아니다. 이 논문이 한 조작은 저장된 줄 7,051개를 세고 그 앞 문장을 본 것뿐이다. 어려운 것은 재는 일이 아니라 재기로 정하는 일이고, 한 번 정해도 제품이 갱신되면 창이 닫힌다는 것을 이 논문이 자기 사례로 보여 준다. 파생 데이터의 항목을 설계하고 그 항목으로 품질을 진단하는 쪽에 페블러스가 서 있다면, 가리키는 곳은 거기다.

국내에도 구조가 닮은 사례가 있다. 지난해 이루다 판결에서 법원은 개발사가 비식별 조치를 했다고 주장했음에도 특정 개인을 유추할 수 있는 정보가 남아 있었다고 판단했다. 2절에서 본 긴장과 모양이 같다. 다만 메커니즘은 다르다. 그 사건은 대화 원문을 모델 학습에 쓴 일이고, 이 논문은 제품이 저장한 파생 텍스트 항목을 감사한 것이다. 유비로만 읽어야 한다.

1절부터 6절까지는 연구진이 잰 것과 우리가 1차 문서에서 직접 확인한 것을 옮겼고, 비식별과 고위험 계량의 충돌, 합성 치환이 지역을 옮긴 관찰, 감사 창이 닫혔다는 독법, 자매 논문 미인용의 함의, 규범의 지리, 그리고 이 7절은 논문이 하지 않은 일이다. 나눠서 읽어 주시기 바란다. 그리고 이 글은 특정 제품이나 특정 이용자에 대한 위법 판정이 아니라 소비자 챗봇의 기억 기능이 만드는 파생 데이터에 대한 측정 보고다. 여기 나오는 대화들은 참가자들이 동의로 내놓은 기록이고, 벤더 문서와 조문 인용은 모두 2026년 9월 17일 문면이다. 문면은 바뀐다. 긴 글 읽어 주셔서 감사하다.

R

참고문헌

본문의 수치는 세 갈래다. 1번 프리프린트의 값은 arXiv 공개본의 본문·표·부록을 직접 대조해 옮겼고, 그림에만 있는 값은 옮기지 않았다. 제품 문서와 조문·판결은 원문을 받아 읽었으며 문면이 바뀌는 문서라 접속일자를 함께 적었다. 인터넷 아카이브가 조회 시점에 서비스를 멈춰 있어 과거 판본 스냅샷은 하나도 남기지 못했다.

이 보고서의 뼈대

  • 1.S M Mehedi Zaman, Md Mozammel Hoque. "Vulnerabilities in Personalization: Assessing Health Privacy Risks in ChatGPT Logs and Memory." 프리프린트, arXiv:2609.14697v1, 2026년 9월 13일 제출, cs.HC·cs.CY, CC BY 4.0. arXiv: 2609.14697 — 이 글의 1차 출처다. 본문·표 10개·부록 A~D·참고문헌 41항을 대조했다. arXiv Comments 필드가 비어 있고 학회 양식 자리표가 일부 치환되지 않은 채 남아 있어, 심사 전 프리프린트로 읽었다.
  • 2.S M Mehedi Zaman, Kiran Garimella. "Inferential Privacy Leakage in Anonymized Conversational AI Logs." 프리프린트, arXiv:2605.23820v1, 2026년 5월 22일 제출, CC BY 4.0. arXiv: 2605.23820같은 기부 코퍼스, 같은 심의 승인, 같은 1,057명, 같은 Llama-3.3-70B를 쓴 넉 달 앞선 자매 논문이다. 2절·4절의 가중 F1 0.84·0.90·0.88과 6.1절 축자가 이 자매 논문에서 나왔고, 1절의 추론과 암기 구분은 그 6.2절의 서술이다. 1번 논문은 이 논문을 인용하지 않는다(본문·참고문헌 전문 검색 0건). 이 논문의 초록과 6.1절이 코호트 필터를 서로 다르게 적어, 본문은 보수적인 형태로만 옮겼다.

선행 연구와 이론

  • 3.Abhisek Dash 외 (2026). "The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT." Proceedings of the ACM Web Conference 2026 (WWW '26), 3471–3482. DOI 10.1145/3774904.3792671, arXiv:2602.01450 — 3절의 선행 연구다. 이용자 80명, 메모리 항목 2,050건, 시스템 단독 생성 96%. 1번 논문이 부록에 실은 문서 스크린샷의 원 출처이기도 하며 촬영 시점은 2026년 1월이다. 표본 규모가 열세 배 넘게 차이 나는 별개 조사라 수치를 섞지 않았다.
  • 4.Tawfiq Ammari, Michelle Chen, S. Zaman, Kiran Garimella (2025). arXiv:2505.24126 — 코퍼스 계보 확인에 썼다. 1번 논문 제1저자와 2번 논문 공저자가 함께 올라 있다.
  • 5.Chowdhury & Garimella. "How people use ChatGPT: conversation-level evidence from India, Nigeria, Brazil and Pakistan." — 1번 논문이 코퍼스 출처로 대는 문헌이다. 원 서지에 게재처·URL이 없고 인용 표기 연도가 2018년이라 그대로는 성립하지 않으며, 공개된 판본을 우리도 찾지 못했다. 2.2절의 서술이 그 상태를 그대로 옮긴 것이다.
  • 6.Helen Nissenbaum (2004). "Privacy as Contextual Integrity." — 5.1절의 맥락 완전성 개념이다. 원문을 조회하지 않아 정의 한 문장만 쓰고 축자 인용은 하지 않았다.

제품 문서 (전부 2026년 9월 17일 접속)

  • 7.OpenAI. "Memory FAQ." help.openai.com/en/articles/8590148 — 3.1절·5.2절·6절의 축자가 이 페이지의 것이다. 페이지 자체 표기로는 2026년 9월 초 갱신분이다. 직접 요청이 차단돼 리더 프록시로 본문을 받았다. 2026년 2월 판본은 확인하지 못했다.
  • 8.OpenAI. "Memory and new controls for ChatGPT." 2024년 2월 13일. openai.com/index/memory-and-new-controls-for-chatgpt — 3.2절의 민감정보 예외 약속 축자를 여기서 옮겼다. 동사는 "steer … away from"이고 앞에 "We're taking steps to"가 붙는다. 흔히 도는 "trained not to proactively remember" 형태는 이 문장의 바꿔 쓴 판본이라 인용하지 않았다.
  • 9.OpenAI. "Dreaming: Better memory for a more helpful ChatGPT." 2026년 6월 4일. openai.com/index/chatgpt-memory-dreaming — 3.3절과 5.2절의 축자를 이 발표문에서 가져왔다. 본문에서 sensitive·health·privacy·consent·opt out·export를 세면 모두 0건이며(privacy 3건은 하단 내비게이션), 이 셈은 우리가 한 것이다.
  • 10.Anthropic. "Use Claude's chat search and memory to build on previous context." support.claude.com/en/articles/11817273 · Google. "Get personalization based on your past Gemini chats." support.google.com/gemini/answer/16598469 — 6.3절 표의 두 행이다. 문서의 서술이지 측정이 아니다.

조문·판례·통계

  • 11.India. The Digital Personal Data Protection Act, 2023 (Act No. 22 of 2023), Gazette of India 전문 — 6.2절의 낱말 전수와 §2(t) 정의는 이 전문에서 확인했다. 전수는 우리가 셌다.
  • 12.Nigeria. Nigeria Data Protection Act, 2023, ss. 27(1)(g)·30(1)·34(1)(a)(vii)(viii)·37·65 — 6.2절의 나이지리아 행이다. 관보 판본 스캔을 문자 인식으로 읽은 뒤 조문별 판본과 대조해 인용문을 확정했다. 제65조 정의 목록에 프로파일링은 없다(두 판본 모두 0건).
  • 13.Nigeria Data Protection Commission. "General Application and Implementation Directive (GAID) 2025," NDPC/NDP ACT-GAID/01/2025, Art. 28(3)·28(9). ndpc.gov.ng — 영향평가 의무 사유 목록과 사전 제출 의무를 이 지침에서 확인했다. 개인정보보호법 제1조(a)·제6조(c)·제61조·제62조에 근거한 시행 지침이다.
  • 14.Pakistan. Ministry of Information Technology & Telecommunication. "Draft of the Personal Data Protection Bill, 2023," §2(dd)·2(kk). moitt.gov.pk/Legislations — 6.2절의 파키스탄 행이다. 법률이 아니라 부처가 공개한 초안이며, 부처 문서 목록의 최신 판본이 2023년 5월자다. 국회가 공개하는 현 회기 법률 목록에서 제정된 개인정보보호법은 찾지 못했다.
  • 15.Brasil. Lei nº 13.709/2018 (LGPD), arts. 5º II, 11 I. planalto.gov.br — 6.2절의 브라질 행이다.
  • 16.CJEU 대법정, C-184/20 OT v Vyriausioji tarnybinės etikos komisija, 2022년 8월 1일 · C-21/23 Lindenapotheke, 2024년 10월 4일. EUR-Lex 판결 전문 — 6.2절의 유럽연합 행이다. 앞 판결은 드러낸다와 관한 것이다를 구별하며 그 주문은 성적 지향에 한정되므로, 건강 쪽은 뒤 판결로 받쳤다. 두 판결을 함께 써야 오독이 없다.
  • 17.World Bank Open Data, SH.MED.PHYS.ZS·SH.XPD.OOPC.CH.ZS (WHO Global Health Expenditure Database 기반) — 2.1절 표의 뒤 두 열이다. 2026년 9월 17일 API로 직접 조회했고 국가별 최신 비결측 연도를 병기했다. 논문에 없는 값이고 우리 조사다.
  • 18.서울동부지방법원 2025년 6월 12일 선고 2021가합104007 — 7.4절의 유비다. 대화 원문을 모델 학습에 쓴 사건이라 이 논문이 감사한 파생 저장과는 메커니즘이 다르다.

페블러스 블로그 인접 글