Executive Summary

주요 수치

논문에서 네 숫자만 추리면 이렇다. 앞의 둘은 이 방법이 지킨 것과 치른 비용이고, 뒤의 둘은 폰에 남는 자료의 크기와 가중치를 그냥 복사했을 때의 결과다.

출처: arXiv:2611.00650 (2026-10-31)

폰 안에서 도는 언어 모델이 사용자를 알아 가는 방식은 대개 어댑터다. 기반 모델 자체는 그대로 두고, 그 위에 작은 가중치 묶음을 하나 얹어 개인 데이터로만 훈련한다. 내가 어떤 영화에 어떤 꼬리표를 다는지, 어떤 물건에 몇 점을 주는지가 그 묶음 안에 쌓인다. 기기 밖으로 아무것도 보내지 않고도 모델이 나에게 맞춰진다는 것이 이 구조의 매력이다.

문제는 그 밑바닥이 주기적으로 교체된다는 데 있다. 제조사가 기반 모델을 다음 세대로 올리면 층 수가 달라지고 어휘집이 커지며 토큰 번호가 밀린다. 논문이 Qwen 계열 업그레이드를 설명한 대목이 그렇다. 층 수는 28개에서 24개로 줄고, 어휘집은 15만 개에서 25만 개 가까이 불어난다. 어텐션 층도 네 곳 가운데 세 곳이 선형 어텐션으로 바뀌어, 어댑터가 올라타던 질의·키·값 투영 자체가 그 자리에 없다. 어댑터는 옛 모델의 특정 층과 특정 토큰 번호에 맞춰 길러진 물건이라 이런 변화 앞에서 그냥 못 쓰는 숫자 덩어리가 된다.

덜 바뀌어도 결과는 같다. Phi-3.5-mini에서 Phi-4-mini로 가는 경우는 층 수도 폭도 그대로고, 달라지는 것은 어휘집이 여섯 배로 늘고 어텐션 헤드가 재편된다는 점뿐이다. 그런데도 옛 어댑터는 쓰지 못한다. 층 수가 유지된다는 것이 호환의 보증은 되지 못한다.

남는 길은 둘뿐이었다. 하나는 제조사가 새 모델에 맞춰 내놓는 개인화되지 않은 어댑터로 갈아 끼우는 것이다. 영화 태깅에서 이 교체는 정확도를 2B 업그레이드에서 15.4%p, 4B 업그레이드에서 12.1%p 떨어뜨린다. 몇 달 동안 쌓인 개인화가 한 번의 업데이트로 사라지는 폭이 그 정도다. 다른 하나는 라벨이 붙은 사용자 기록을 계속 보관했다가 새 모델 위에서 처음부터 다시 훈련하는 것이다. 성능은 지켜지지만, 개인 데이터를 기기 안에서만 다루겠다던 설계가 그 데이터를 무기한 쥐고 있는 설계로 바뀐다.

Heirloom이 꺼내는 자원은 라벨이 아니라 아직 지우지 않은 옛 모델 자체다. 기기에서 기반 모델을 교체하는 시점에는 옛 모델과 그 위의 개인 어댑터가 잠깐이나마 함께 남아 있다. 그 짧은 시간에 옛 모델을 선생으로 세워 답을 받아 두면, 라벨이 하던 일을 그 답이 대신할 수 있다.

선생에게 던질 질문은 세 군데에서 온다. 기기에 남아 있는 라벨 없는 입력, 제조사가 함께 내려 주는 프롬프트, 그리고 새 기반 모델이 직접 만들어 내는 프롬프트다. 어느 쪽이든 정답은 붙어 있지 않다. 정답 자리를 채우는 것은 옛 개인화 모델의 대답이다.

다만 세 출처가 같은 값을 주지는 않는다. 기기에 쌓인 입력으로 물었을 때가 가장 좋고, 제조사 프롬프트나 새 모델이 만든 프롬프트로 대신하면 세 업그레이드에서 대체로 1.5점에서 3.1점 뒤처진다고 논문은 보고한다. 기기에 아무 기록도 남기지 않는 쪽이 더 깨끗하지만, 그만큼 옛 모델에게 던질 좋은 질문도 줄어든다. 라벨을 버리고 나면, 기기에 무엇을 남겨 두느냐가 곧 옛 모델에게 무엇을 물어볼 수 있느냐를 정한다.

받아 적는 형식은 과제에 따라 갈린다. 영화 태깅이나 평점처럼 보기가 정해진 과제에서는 각 라벨의 첫 토큰에 대한 로짓을 모아 라벨들 사이에서만 정규화한 확률 분포를 남긴다. 학생 어댑터는 그 분포와 자기 분포 사이의 KL 발산을 줄이는 쪽으로 훈련된다. 헤드라인 생성처럼 답이 열린 과제에서는 선생이 최대 32토큰짜리 문장을 내놓고, 학생은 자기 토크나이저 안에서 그 문장을 교차 엔트로피로 따라간다.

두 단계로 쪼갠 이유는 폰의 메모리에 있다. 기반 모델 둘을 동시에 올릴 여유가 없으니, 선생의 답을 다 받아 둔 다음에 옛 기반 모델을 내리고 그제야 새 모델을 올린다. 남겨 두는 자료는 가볍다. 영화 태깅 프롬프트 128개에 대한 목표값이 약 3.8KB다. 아래 그림이 그 두 단계의 순서다.

훈련을 언제 멈출지도 라벨 없이 정해야 한다. 논문은 따로 떼어 둔 프롬프트에 대해 2·4·8·16 에폭 시점을 비교해 KL 발산이 가장 낮은 지점을 고르는 방식을 쓰고, 기기에 쌓인 입력으로 태깅을 옮기는 경우에는 8에폭으로 고정해도 비슷하게 작동한다고 보고한다.

평가는 두 모델 계열의 세 세대교체에 걸쳐 이뤄졌다. Qwen3-1.7B에서 Qwen3.5-2B로, Qwen3-4B에서 Qwen3.5-4B로, Phi-3.5-mini에서 Phi-4-mini로 올라가는 경우다. 구조를 바꾸지 않고 내용만 갱신하는 리프레시 한 건과 개인화 과제 세 종이 함께 들어갔다. 과제는 LaMP 벤치마크에서 가져온 영화 태깅, 제품 평점, 헤드라인 생성이다.

영화 태깅의 2B 업그레이드 결과를 한자리에 놓으면 Heirloom이 어디쯤 서는지가 드러난다. 라벨을 그대로 들고 있다가 다시 훈련한 쪽이 여전히 가장 높지만, 라벨을 하나도 쓰지 않은 Heirloom이 업그레이드 이전 수준을 넘어선다.

영화 태깅, Qwen3-1.7B → Qwen3.5-2B 업그레이드. 출처: arXiv:2611.00650 표 2

세 업그레이드를 통틀어 라벨 재훈련과 Heirloom의 거리는 최대 1.7%p였다. 과제가 바뀌면 간격도 조금씩 달라진다. 제품 평점에서는 입력 128개로 제한했을 때 Heirloom이 72.9%, 라벨 재훈련이 73.8%였다. 답이 열려 있는 헤드라인 생성은 격차가 좀 더 눈에 띄어, 라벨 재훈련이 512개 입력으로 옮긴 Heirloom보다 두 업그레이드에서 각각 0.80점과 0.99점 높았다.

점수가 비슷하다고 같은 답을 낸다는 뜻은 아니다. 논문은 옛 개인화 모델이 맞히던 문항 가운데 업그레이드 뒤에 틀리게 되는 비율을 따로 센다. 2B 업그레이드에서 그 비율은 Heirloom이 14%였다. 라벨을 들고 다시 훈련한 쪽은 정확도가 더 높으면서도 이 비율은 19%에서 21% 사이로 더 컸고, 어댑터를 아예 안 붙인 새 모델은 75%였다. 옛 모델의 대답을 따라 배운 쪽이 총점뿐 아니라 사용자가 실제로 겪는 반응까지 더 비슷하게 남겨 둔 셈이다.

비용도 실제 기기에서 측정됐다. OnePlus 15의 신경망 처리 장치에서 4B 모델 이전을 정해진 길이로 돌리는 데 38분이 걸렸고 배터리의 20%가 들었다. 최대 메모리 점유는 3.6GB였다. 저자들은 이 정도면 야간 충전 중에 끝낼 수 있는 작업이라고 적는다. 사용자 쪽에서 보면, 자는 동안 폰이 자기가 배운 것을 새 모델에게 건네 주고 아침에는 아무 일도 없었던 것처럼 깨어난다.

실험 규모는 크지 않다. 영화 태깅은 사용자 19명, 한 사람당 92편에서 251편 사이의 기록이다. 제품 평점은 100명, 헤드라인 생성은 기록이 가장 긴 10명이다. 폰 두 대와 모델 계열 둘에서 나온 결과라는 점도 함께 읽어야 한다.

선생을 세우고 대답을 받아 적는 절차는 번거롭다. 옛 어댑터의 숫자를 새 모델 구조에 맞게 재배치하면 더 간단하지 않겠느냐는 물음이 자연스럽게 따라온다. 논문은 그 길을 실제로 걸어 보고 결과를 적었다.

기존 연구 가운데 LoRASuite가 그런 매핑을 제안한 쪽이다. 저자들은 공개된 코드가 이 모델 쌍을 지원하지 않아 논문의 수식을 직접 구현해 Phi 업그레이드에 적용했다. 그렇게 옮긴 어댑터의 정확도는 8.9%였다. 같은 자리에서 어댑터를 아예 붙이지 않은 새 기반 모델이 26.3%를 낸다. 옛 어댑터의 숫자를 새 구조에 맞춰 넣는 작업이 성능을 올리기는커녕 모델을 망가뜨린 셈이다.

모양이 맞는 부분만 골라 복사하는 보수적인 방법도 소용이 없었다. 새 기반 모델이 어댑터 없이 내던 2,555개 예측 가운데 107개만 바뀌었고 정확도는 0.3점 오르는 데 그쳤다. 제조사의 개인화 없는 어댑터보다 16.8점 낮은 자리다.

붙을 자리가 멀쩡히 남아 있어도 사정은 같다. 논문은 구조와 어휘집을 그대로 두고 가중치만 추가 훈련으로 바꾼 판으로 옮기는 경우도 따로 측정했다. Qwen3-4B에서 같은 계열의 지시 학습판으로 가는 리프레시다. 층도 토큰 번호도 그대로라 옛 어댑터가 형식상으로는 붙는데, 그렇게 복사하자 정확도가 58.9%에서 51.6%로 내려갔다. 같은 자리에서 선생에게 다시 물어 옮긴 쪽은 58.1%였다.

여기부터는 논문에 없는 이야기다. 페블러스가 이 설계에서 눈여겨보는 대목은 38분이라는 시간도, 1.7%p라는 간격도 아니다. 개인화 데이터의 최종 보관 장소가 파일에서 가중치로 옮겨 갔다는 사실이다.

데이터 관리의 오랜 전제는 원본이 어딘가에 있다는 것이었다. 품질을 따지고 삭제를 요구하고 다른 곳으로 내보내는 일이 모두 원본을 전제로 돌아간다. 기기 안 개인화는 그 전제를 깬다. 프라이버시를 지키려면 원본을 지워야 하고, 원본을 지우면 남는 것은 모델 가중치에 녹아든 행동뿐이다. Heirloom이 옛 모델에게 물어보는 방식을 택한 것은 기발해서가 아니라 그 길밖에 남지 않아서다.

그래서 익숙한 질문들이 새 얼굴로 돌아온다. 모델 안에 흡수된 내 행동은 누구의 자산인가. 폰을 바꾸거나 제조사를 옮길 때 그것을 가지고 나올 수 있는가. 가지고 나온다면 무엇을 받는가. 가중치 파일인가, 아니면 선생의 대답 3.8KB인가. 삭제를 요구하면 무엇이 지워지는가. 원본 기록은 이미 없고 어댑터 안에는 내 취향과 모델의 일반 지식이 섞여 있다.

온디바이스 개인화를 설계하는 조직이라면 세 가지를 먼저 적어 보면 좋겠다.

• 사용자가 떠날 때 돌려줄 것이 무엇인지 정의돼 있는가. 원본이 없는 구조에서 이동 가능한 자산은 가중치이거나 그 가중치를 재현할 신호다
• 모델이 교체될 때 개인화가 어떻게 되는지 사용자에게 알리고 있는가. 조용히 초기화되는 설계와 밤새 이어 붙이는 설계는 같은 제품이 아니다
• 삭제 요청이 들어왔을 때 어댑터에서 무엇을 어디까지 지울 수 있는지 확인해 뒀는가. 기술적으로 가능한 범위와 약관에 적은 범위가 어긋나면 그 간격이 위험이 된다

모델에 흡수된 행동을 어떻게 다룰지는 이 블로그에서도 이어 온 주제다. 현업 전문가의 판단이 학습 신호가 될 때 그 기록의 주인이 누구인지 물었던 Trajectory 기사가 그 하나다. 그때는 회사 안의 기록이었고 이번에는 주머니 속 기기의 기록이다. 물음은 같다.

여기까지 읽어 주셔서 감사하다. 1.7%p와 38분, 배터리 20%는 논문 초록에 적힌 값이고, 표 2의 정확도와 8.9%·26.3%·3.8KB는 본문과 표에서 가져왔다. 저자들은 대학과 NEC 연구소 쪽 연구진이라 이 설계가 어느 폰에 들어간다는 뜻은 아직 아니다. 5절은 그 사실을 데이터를 다루는 쪽의 일로 옮겨 놓은 이 글의 해석이다. 기기 안 개인화를 설계하면서 사용자에게 무엇을 돌려줄지 고민하고 계시다면, 그 목록을 들려주시면 반갑겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 11월 4일

• 1.Chen, Z., Ni, J., Dong, Q., Zheng, X., Lucchesi, G. H., Sha, M., Cheng, W., & Luo, D. (2026). "Heirloom: Carrying a Phone's Personalization Across Base-Model Generations." arXiv:2611.00650, 2026-10-31.
• 2.Li, Y., Meng, F., Zhang, M., Zhu, S., Wang, S., & Xu, M. (2025). "LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades." arXiv:2505.13515. 본문에서 가중치 매핑 비교군으로 인용했다. 저자들은 공개 코드가 해당 모델 쌍을 지원하지 않아 논문의 수식을 직접 구현했다고 밝혔다.