Executive Summary

논문에서 인용은 장식이 아니다. 무엇을 근거로 삼았고 무엇에 반대했는지가 문장 하나에 담긴다. 학계는 그 문장을 세어 신뢰를 배관처럼 깔아 왔다. 미국 노스이스턴대와 뉴욕주립 올버니대 연구진이 던진 질문은 단순하다. 그 배관을 사람 대신 언어모델이 깔면 무엇이 달라지는가.

설계는 마스킹이다. 자연어처리 3대 학회인 ACL·EMNLP·NAACL의 2025년 본트랙 논문 1,746편을 모았다. arXiv에 원고 소스와 참고문헌 파일이 함께 공개된 것만 골랐기 때문에 인용이 문장 어디에 붙어 있었는지까지 복원할 수 있다. 여기서 인용 맥락 63,944개, 인용 슬롯 132,913개가 나왔다. 한 문장이 논문 세 편을 인용하면 슬롯은 세 개다.

그다음 인용 문장 하나를 통째로 지우고 그 자리에 표식을 남겼다. 모델에게는 앞뒤 각 한 문장, 그 문장이 속한 섹션 제목, 논문 제목과 학회와 연도, 그리고 원래 그 자리에 인용이 몇 개 달려 있었는지를 준다. 지운 문장을 다시 쓰고 인용도 직접 고르라는 것이 과제의 전부다. 사람이 실제로 쓴 문장과 모델이 새로 쓴 문장이 같은 자리에 나란히 놓이므로, 둘을 비교하면 남는 차이는 하나다. 이 자리를 어떤 태도로 채웠는가.

이 설계가 통제하는 것이 세 가지다. 첫째, 비교 단위가 슬롯이라 위치가 어긋나지 않는다. 둘째, 코퍼스가 모델 학습 시점 이후의 논문이라 모델이 정답을 그대로 회상해 맞히기 어렵다. 셋째, 인용 개수를 미리 알려 주므로 많이 달거나 적게 달아서 생기는 차이가 끼어들지 않는다. 세 가지를 한꺼번에 잠근 것이 이 연구가 앞선 연구들과 갈라지는 지점이다.

실험 설계 요약. 모델 호출은 전부 temperature 0으로 돌렸다. 출처: 논문 §2.

심판 모델은 인용된 논문의 제목을 보지 못한다. 문장과 그 주변 맥락만 읽고 지지, 반박, 단순 언급 셋 중 하나로 판정한다. 그러니 이 라벨이 재는 것은 어떤 논문을 골랐느냐가 아니라 그 자리에서 어떤 수사적 동작을 했느냐다. 세 범주는 인용문 분류 서비스 scite.ai가 쓰는 구분에서 가져왔다.

이 질문이 지금 나온 이유는 분명하다. 2020년부터 2024년까지 논문 초록 112만 편을 훑은 연구에 따르면 컴퓨터과학 분야 초록의 최대 22%에서 언어모델이 손댄 흔적이 나왔다. 인용 문장을 다시 쓰게 하는 실험은 이미 일어나고 있는 일을 통제된 조건에서 재현한 쪽에 가깝다.

이 실험이 처음은 아니다. 알가바 연구팀은 2025년에 이미 AAAI·NeurIPS·ICML·ICLR 논문에서 본문 속 인용을 익명화하고 모델에게 참고문헌을 제안하게 했다. 학습 컷오프 이후에 나온 논문으로 구성했고 발행연도와 제목 길이와 저자 수와 학회까지 통제했다. 결론은 사람과 모델의 인용 패턴이 놀랄 만큼 닮았는데 고인용 편향만 더 강하다는 것이었다. 컷오프 통제도 위치 익명화도 그때 이미 이루어졌다. 이번 논문이 새로 한 일은 셋이다. 참고문헌 목록이 아니라 대체 문장 자체를 생성시켜 수사를 읽을 수 있게 했고, 사람과 모델의 비교를 의도별로 조건화했고, 저자 수준의 공저 거리를 쟀다.

사람 쪽 사정을 먼저 알아 두면 이 절의 숫자가 다르게 읽힌다. 이번 논문의 교신저자와 제1저자가 참여한 2024년 연구는 고임팩트 학술지 네 곳에서 다른 논문을 비판하려고 발표된 서신 3,000편 이상을 표적 논문과 짝지어 추적했다. 결과는 셋이었다. 비판받는 논문은 그 학술지에서 가장 많이 인용된 쪽에 몰려 있었고, 비판 서신을 받아도 표적 논문의 인용 궤적에는 측정 가능한 변화가 없었으며, 비판 서신 자체는 표적이 받는 인용의 작은 일부만 받았고 그마저 같은 분야에서 활동 중인 연구자들만 인용했다. 사람의 학계도 이미 비판을 잘 퍼뜨리지 못하고 있었다는 뜻이다. 이번 논문은 그 위에 한 층을 더 얹는다. 안 퍼진다에서 애초에 덜 써진다로 간다.

사람이 쓴 인용 문장 63,944개를 같은 심판에 통과시키면 분포가 이렇게 나온다. 지지 21%, 반박 19%, 단순 언급 60%. 학술 글쓰기에서 다섯 번에 한 번쯤은 남의 결과를 끌어와 반대편에 세운다는 뜻이다. 이 19%가 이 보고서의 기준선이다.

같은 자리를 여섯 모델이 다시 쓰자 반박 비중은 10.7%에서 17.2% 사이로 내려앉았다. 여섯 모델 전부가 기준선 아래였고 예외가 없었다. 아래 그림은 모델별 반박 비중을 사람의 19.3%와 나란히 놓은 것이다. 앞 문단의 19%가 인용 문장 전체를 한 통에 넣고 센 값이라면, 그림의 19.3%는 논문 한 편을 한 관측치로 삼아 1,746편의 비율을 평균한 값이다. 인용을 많이 다는 논문이 분포를 끌고 가지 못하게 하려고 논문 단위로 묶었다.

비중만 보면 모델이 원래 반박을 덜 쓴다는 이야기로 끝난다. 더 정확한 질문은 사람이 반박으로 쓴 바로 그 자리가 어떻게 됐느냐다. 슬롯이 맞춰져 있으니 이걸 셀 수 있다.

같은 계산을 단순 언급 자리에 하면 60~80%가 그대로 남는다. 반박만 유독 안 지켜진다. 출처: 논문 Figure 2a.

빠져나간 반박은 어디로 갔을까. 이동에는 방향이 있다. 사람의 반박이 모델의 손에서 지지로 뒤집힌 비율이 12.5%에서 31.1% 사이인데, 반대 방향인 사람의 지지가 반박으로 바뀐 비율은 3.6%에서 7.6%에 그친다. 지지, 단순 언급, 반박을 온도의 눈금처럼 늘어놓으면 문장들이 한 방향으로만 올라간다. 논문은 이것을 수사적 의도의 워밍이라 부르고, 모델마다 반박 비중이 2.4%포인트에서 8.6%포인트씩 줄었다고 적었다.

모델이 스스로 붙인 라벨은 더 따뜻하다. 문장을 생성하면서 자기 의도를 함께 보고하게 했더니 여섯 중 넷이 지지 비중을 54%에서 75% 사이로 적었다. Claude-3.5는 75%, GPT-5.1은 67%다. 가장 낮은 Gemini-2.0의 28%와 Llama-4의 47%도 사람의 21%보다는 위다. 외부 심판이 같은 문장을 읽고 매긴 값보다 높다. 모델은 자기가 지지하고 있다는 것을 알고 있고, 실제로는 그보다 조금 덜 지지한다.

같은 자기 보고에서 반대쪽 눈금이 더 눈에 걸린다. 자기 의도를 반박이라고 적은 비율이 DeepSeek을 뺀 다섯 모델에서 2.6%에서 8.3%밖에 안 된다. DeepSeek만 17%다. 심판이 같은 문장들을 읽고 매긴 반박 비율이 11%에서 17%였으니, 모델이 쓴 문장은 모델이 스스로 의도했다고 밝힌 것보다 오히려 조금 더 비판적으로 읽힌 셈이다. 방향을 뒤집어 말하면 이렇다. 모델은 비판하려는 의도를 애초에 거의 선언하지 않는다.

어느 절에서 무너지는지도 갈린다. 절별 비교는 각 필자가 자기 평균을 1.0으로 놓고 그 위아래로 얼마나 움직였는지를 본다. 사람과 모델의 전체 반박 비중이 애초에 다르니 절대값을 맞대면 안 되기 때문이다. 논문 안에서 반박이 가장 필요한 절은 논의(Discussion)다. 앞선 연구와 자기 결과를 맞세우는 곳이기 때문이다. 사람은 여기서 자기 평균의 1.16배로 반박하는데 여섯 모델은 전부 자기 평균 아래인 0.49배에서 0.89배로 내려간다. 사람과 가장 크게 벌어지는 곳도 바로 이 절이다. 배경(Background)과 방법(Method)에서도 사람보다 덜 반박했다. 그런데 한계(Limitations)에서는 반대로 사람보다 훨씬 많이 반박했다. 비판하라고 이름 붙여 둔 절에서는 비판하고, 비판이 논지가 되는 절에서는 물러선다.

왜 하필 그 절에서 물러서는가. 저자들이 내놓은 답은 물증의 유무다. 모델이 지지도 반박도 활발히 쓰는 절은 실험(Experiments)이다. 표와 수치가 눈앞에 있어 주장을 걸어 둘 물증이 있는 절이다. 반대로 물증 없이 논증만으로 주장을 밀고 가야 하는 곳에서 모델의 반박이 사라진다. 재료가 갖춰진 자리에서는 반박이 나온다. 그러니 남는 설명은 태도 쪽이다.

2.1이 결과를 흔들려면 무엇이 필요한가

가장 흔한 반론은 짐작이 간다. 판정을 언어모델이 했으니 언어모델이 쓴 문장을 후하게 읽은 것 아니냐는 것이다. 연구진도 그 반론을 예상하고 검사를 여섯 겹 붙였다.

• 심판을 DeepSeek-V4-Flash로 갈아 전체를 다시 라벨링했다. 반박 비중이 5~10%로 더 낮게 나왔을 뿐 모델 사이 순서는 그대로였다.
• 두 심판이 같은 문장을 놓고 얼마나 갈리는지도 셌다. 한쪽이 지지라 하고 다른 쪽이 반박이라 한 경우는 2~9%뿐이다. 불일치의 92%는 단순 언급과의 경계에서 났고, 이 연구의 주장은 그 경계 위에 서 있지 않다.
• 사람 세 명이 층화 표본 90문장을 심판 라벨과 인용 논문을 모르는 상태로 직접 라벨링했다. 주 심판은 사람 다수결과 73% 일치했고 카파는 0.60이었다. 반박 판정의 F1은 0.73, 재현율은 0.80이다.
• 그 세 사람이 같은 자리에 대한 GPT-5.1의 재작성본도 라벨링했다. 다수결 기준으로 반박은 26%에서 18%로 내려가고 지지는 37%에서 55%로 올라갔다. 세 명 전원에게서 같은 방향이 나왔다. 심판이 기계 문장을 편애한 결과가 아니라는 뜻이다.
• 맥락을 문단 전체로, 다시 문단에 초록까지 넓혀 봤다. 반박은 10~11%에 머물렀다. 정보를 더 준다고 사람 분포로 돌아가지 않는다.
• GPT-5.1에 실시간 웹검색을 물렸다. 같은 균형 표본 안에서 반박은 10.9%에서 10.2%로 움직였다. 사실상 변화가 없다.
• 앞의 두 검사는 의도별로 200슬롯씩 뽑은 600개짜리 균형 표본에서 2차 심판으로 돌린 것이다. 세 의도를 일부러 같은 수로 맞춘 표본이라 그 안에서 사람 쪽 반박은 33%다. 모델의 10%대를 본문의 19%가 아니라 이 33%와 견주어야 같은 자를 대는 셈이 된다.
• 여섯 모델이 전부 논문 대조에 성공한 맥락 12,556개만 골라 다시 계산했다. 세 편향이 모두 재현됐다.

태도가 바뀌었다면 근거로 불려 나온 논문도 바뀌었을 것이다. 그런데 사람의 인용부터가 의도에 따라 성격이 확연히 다르다.

사람은 반박할 때 가장 최신의, 가장 덜 인용된 논문을 끌어온다. 단순 언급에는 저자가 많은 대형 벤치마크·컨소시엄 논문이 주로 온다. 출처: 논문 §4.

이 표가 왜 중요한가 하면, 반박이 학계에서 신진 연구를 끌어올리는 통로이기 때문이다. 아직 덜 알려진 최신 논문이 남의 글에 처음 이름을 올리는 자리가 반박인 경우가 적지 않다. 사람이 가장 예민하게 움직이는 지점에서 모델이 가장 크게 어긋난다.

어긋남의 모양이 이 논문의 두 번째 발견이다. 편향이 인용 전체에 고르게 깔려 있지 않다. 속성마다 봉우리가 서로 다른 의도에 붙는다.

다만 여기서부터는 맞춰 보는 단위가 앞 절과 다르다. 2번 섹션에서는 사람이 반박으로 쓴 바로 그 슬롯이 어떻게 됐는지를 따라갔다. 이 절의 비교는 그렇지 않다. 사람의 반박 인용 묶음과 모델의 반박 인용 묶음을 각각 만들어 놓고 두 묶음의 성격을 견준다. 각 묶음의 의도 라벨은 자기 쪽 문장에서 읽어낸 것이라, 같은 자리끼리 짝지은 것이 아니다. 여기에 논문 한 편이 의도마다 관측치 하나씩만 내도록 묶었고, 피인용수와 팀 규모처럼 꼬리가 긴 값은 논문별 비율의 기하평균으로 모았다. 그러니 아래 숫자는 한 슬롯에서 무슨 일이 벌어졌는가가 아니라 반박이라고 불릴 만한 인용들이 통째로 어떤 논문을 향하는가를 말한다.

여기서 이 연구가 처음 알려질 때 붙은 요약 하나를 바로잡아야 한다. 사람이 반박하려고 끌어온 최신·비주류 논문 자리가 유명한 논문으로 채워졌다는 정리는 절반만 맞다. 유명세 쪽 봉우리는 반박이 아니라 지지에 붙는다. 모델은 지지할 때 사람보다 1.3배에서 4.5배 더 많이 인용된 논문을 불러온다. DeepSeek이 4.45배, GPT-5.1이 3.59배, Gemini-2.0이 3.58배다. 정작 반박할 때는 피인용수 격차가 가장 작고, Qwen-72B는 0.88배, Claude-3.5는 0.78배로 패리티 아래다. 사람보다 덜 인용된 논문을 골랐다는 뜻이다. 정확한 한 줄은 이렇다. 반박 자리는 더 오래된 논문으로, 지지 자리는 더 유명한 논문으로 채워졌다.

세 봉우리 중 둘은 사람이 가장 튀는 지점과 그대로 겹친다. 사람은 반박할 때 가장 최신 논문을 쓰고 단순 언급에 가장 큰 팀의 논문을 쓴다. 모델이 가장 크게 어긋나는 자리가 정확히 그 둘이다. 남은 하나인 피인용수는 성격이 다르다. 사람의 지지 인용이 특별히 유명한 논문에 쏠려 있지 않은데도 모델은 지지할 때 정전급 논문을 집중적으로 불러온다. 사람의 습관을 과장한 편향과 사람에게 없던 편향이 한 실험 안에 같이 있다.

모델이 최신 논문을 잘 몰라서 생긴 착시일 가능성도 검사했다. 인용된 논문을 2024년 이전, 즉 모든 모델이 확실히 아는 범위로 좁혀 다시 계산해도 반박 자리의 연식 쏠림은 여섯 모델 전부에서 유의하게 남았다. 다만 그 표에 적힌 0.4년에서 1.0년이라는 값은 사람과 모델의 연식 격차 자체가 아니라, 반박 자리의 격차가 다른 두 의도보다 얼마나 더 큰가를 나타내는 값이다. 격차의 격차이므로, 이 값을 옮겨 적을 때는 무엇의 격차인지까지 함께 옮겨야 한다.

모델마다 논문 대조 성공률이 39.5%에서 81.9%로 크게 다르다는 점도 의심할 만하다. 성공한 인용만 남기다 보니 모델마다 다른 표본을 보고 있는 셈이기 때문이다. 여섯 모델이 모두 대조에 성공한 맥락 12,556개, 즉 1,746편 중 1,695편에서 나온 자리만으로 다시 계산해도 세 봉우리가 모두 재현됐다. 지지에서 3.7~4.7배, 반박에서 2.6~3.1년, 단순 언급에서 0.38~0.56배다.

여기까지만 보면 이 연구는 모델을 나무라는 글이다. 세 번째 질문에서 방향이 갈린다. 연구진은 인용하는 논문의 저자와 인용되는 논문의 저자가 공저 관계망에서 몇 다리 떨어져 있는지를 쟀다. 2015년부터 2024년까지의 공저 기록으로 연구자 2.1M명, 간선 20.3M개짜리 그래프를 만들고 최단 경로를 구하는 방식이다.

사람의 평균 거리는 3.40홉이었다. 여섯 모델은 3.65홉에서 3.89홉 사이에 놓였고 전부 사람보다 멀었다. 학계에서 인맥 인용은 오랫동안 지적받아 온 습관이다. 모델이 그 습관을 물려받지 않았다는 것은 사회적으로 먼 저자에게까지 근거가 닿았다는 뜻이고, 이 대목만 떼면 개선이다.

더 흥미로운 것은 기울기다. 사람의 인용 거리는 의도에 따라 달라진다. 지지할 때 3.31홉으로 가장 가깝고 반박할 때 3.45홉, 단순 언급일 때 3.43홉이다. 남을 편들 때 아는 사람 쪽으로 기운다는 뜻이고 통계적으로도 뚜렷하다. 여섯 모델의 의도별 평균은 서로 0.05홉 안쪽에 몰려 있다. 모델에게 수사적 역할과 누구를 인용할 것인가는 별개의 축이다. 사람에게는 아니다.

격차는 바로 옆 지표에서 훨씬 크게 벌어진다. 자기 자신이거나 직접 공저자인 논문을 인용한 비율, 즉 한 다리 이내 인용이다. 사람은 슬롯의 7%에서 10%를 그렇게 채우고 지지할 때 9.8%로 특히 높다. 반박할 때는 7.3%다. 모든 모델은 0.5%에서 1.6% 사이에 머물렀고 의도에 따른 기울기도 없었다. 자기인용은 사실상 사라졌다.

같은 분야끼리 인용해서 가까워 보이는 것 아니냐는 반론도 검사됐다. 이 검사는 여섯 모델 전부가 아니라 GPT-5.1 하나를 사람과 맞세워 돌렸으니, 결론을 옮길 때 모델 이름을 빼면 안 된다. Dimensions가 논문마다 붙여 둔 분야 코드로 같은 분야 인용과 다른 분야 인용을 갈라 다시 재도, 사람이 0.31홉에서 0.39홉 더 가까웠고 네 층 모두에서 통계적으로 강했다. 오히려 같은 분야 안으로 좁히면 사람의 기울기가 더 선명해진다. 같은 분야에서 사람의 지지 인용은 3.00홉, 다른 의도는 3.40홉이다. 같은 조건에서 GPT-5.1은 의도와 무관하게 평평했다.

이 결과를 좋은 소식으로만 읽기 어려운 이유가 여기 있다. 인맥 편향이 줄어든 자리를 가시성 편향이 채웠다. 인용을 고르는 축이 누구를 아는가에서 무엇이 유명한가로 옮겨 간 것이지, 축이 사라진 것은 아니다. 논문도 사회적 근접성과 정당한 전문성을 이 자료로는 가를 수 없다고 한계에 적어 두었다. 가까운 연구자를 인용하는 것이 인맥 때문인지 그 사람이 실제로 그 주제의 전문가라서인지 구분할 방법이 없다.

이 연구가 재지 않은 것을 재었다고 읽으면 결론이 과장된다. 논문 자신이 적어 둔 경계와 이 보고서에서 따로 확인한 경계를 함께 놓는다.

여섯 항목 중 위 다섯은 논문의 Limitations와 부록에서, 마지막 항목은 이 보고서에서 확인했다.

5.1논문 자신이 두 번 다르게 말한 대목

Limitations는 의도 라벨이 사람 판단으로 검증되지 않았다고 적었다. 그런데 본문 2.2절과 부록 D는 사람 세 명의 검증을 보고한다. 90문장, 카파 0.60, 반박 F1 0.73이다. 한쪽만 인용하면 어느 쪽으로도 왜곡된다. 사실은 검증이 이루어졌고, 논문은 그 검증을 스스로 보수적으로 평가해 한계에 적어 두었다. 90문장이라는 표본 크기와 심판이 여전히 기계라는 사정을 감안한 서술로 읽는 편이 정확하다.

5.2날조와 태도를 섞지 않기

모델이 인용을 지어낸다는 이야기와 이 연구의 결론은 별개다. 다만 이 연구가 그 문제를 우연히 계량해 두었으니 옮겨 적을 만하다. 모델이 내놓은 인용 중 Dimensions에서 실제 논문을 찾아낸 비율은 39.5%에서 81.9%까지 벌어진다. 형식이 깨져 파싱에 실패한 비율은 0.8%에서 5.8%로 작으니, 격차는 형식이 멀쩡한데도 실물을 찾지 못한 인용에서 나온다.

이 숫자를 대조기가 허술한 탓으로 돌릴 수는 있는가. 같은 대조기에 사람이 실제로 단 인용을 넣으면 86.7%가 논문 레코드를 찾는다. 대조 절차는 그대로 두고 넣는 쪽만 바꿨는데 39.5%까지 떨어진다. 그러면 남는 설명은 넣은 것 자체다.

연구진은 그 통을 직접 열어 봤다. 대조에 실패한 제목 100건씩을 뽑아 웹검색을 붙인 Claude Opus 4.8로 세 갈래로 나눴다. 정확한 논문인데 대조 과정이 놓친 것, 실재하는 논문인데 제목이 뒤틀린 것, 아예 없는 논문. GPT-5.1은 21%, 51%, 28%였고 Claude-3.5-Haiku는 3%, 24%, 73%였다. 뒤 두 갈래를 환각으로 묶으면 각각 79%와 97%다. 감사자도 언어모델이었다. 지어낸 인용을 세는 일까지 기계가 대신했고, 그 판정을 사람이 다시 검수했다는 기록은 논문에 없다.

처방은 뻔해 보인다. 인용에 태도를 적어 두면 되지 않느냐는 것이다. 그런데 그 어휘는 이미 있다. 없는 것은 어휘가 아니라 그 칸을 채운 데이터다.

2010년에 데이비드 쇼튼이 발표한 인용 타입 온톨로지 CiTO에는 cito:agreesWith와 cito:disagreesWith가 들어 있다. 인용 하나하나에 동의인지 반대인지를 기계가 읽을 수 있게 적어 두자는 어휘다. 열여섯 해가 지났다. 이 어휘를 실제로 도입해 본 학술지의 자기 보고가 남아 있다.

2020년 Journal of Cheminformatics가 CiTO 파일럿을 선언한 사설이다. 사설은 도입 배경을 설명하면서 실태를 자기 입으로 적었다. "그러나 출판에서 CiTO의 채택은 지금까지 넓지 않았다." 그리고 저자들에게 권장한 다섯 타입을 나열한다. 데이터 출처로 인용, 방법을 가져다 씀, 권위 있는 문헌으로 인용, 내용을 논함, 확장함. 전부 무엇을 어떻게 썼는지를 적는 술어이고 극성 술어는 하나도 없다. 극성은 이렇게 처리됐다. "다만 cito:agreesWith와 cito:disagreesWith를 포함해 다른 CiTO 타입을 자유롭게 쓰셔도 됩니다."

학술 그래프는 어떨까. OpenCitations Index의 인용 조회 API를 직접 불러 봤다. 인용 레코드 하나가 돌려주는 필드는 인용 식별자, 인용하는 문헌, 인용된 문헌, 생성 연도, 두 문헌 사이의 시간 간격, 학술지 자기인용 여부, 저자 자기인용 여부다. 그게 전부다. 자기인용 여부라는 사회적 관계에는 칸이 있고 수사적 관계에는 칸이 없다. OpenAlex도 마찬가지다. 저작물 3억 2,198만 편의 레코드에서 인용 관련 필드는 참조 목록과 피인용수와 백분위뿐이고, 의도나 극성을 적을 칸이 스키마에 없다.

OpenCitations와 OpenAlex 항목은 2026년 9월 3일 라이브 API 응답으로 확인했다. 나머지는 각 서비스의 공개 문서 기준.

scite.ai는 그 칸을 실제로 대규모로 채운 거의 유일한 사례다. 2021년 논문에서 밝힌 인용 문장의 분포는 단순 언급 92.6%, 지지 6.5%, 대조 0.8%다. 이 값이 분류기가 뱉은 결과라고 옮기면 틀린다. 여러 분야와 매체에서 표본을 뽑아 사람이 직접 라벨을 붙여 추정한 값이고, 논문이 그 값을 꺼낸 맥락도 자랑보다 하소연에 가깝다. 세 클래스가 이렇게 기울어 있으니 학습이 어렵다는 이야기다.

이 숫자를 이번 논문의 19%와 나란히 놓고 모순처럼 읽어서도 안 된다. 모수가 다르다. 한쪽은 학술계 전체의 인용 스톡이고 다른 쪽은 자연어처리 학회 3곳의 코퍼스다. 잣대는 더 다르다. scite는 대조를 좁게 잡는다. 근거 없이 부정적인 논평만 한 문장은 대조가 아니라 단순 언급으로 보낸다고 자기 논문에 적어 두었다. 반면 이번 논문의 반박에는 경쟁 방법과 개선 대상 베이스라인이 함께 들어간다. 0.8%와 19%는 서로 다른 크기의 그물로 건진 값이다. 그래도 두 값이 함께 말해 주는 것이 하나 있다. 어느 그물로 건지든 반박은 원래 희소한 자리다. 2015년 PNAS에 실린 별개의 조사도 같은 자릿수를 내놓았다. 인용 76만여 건 가운데 부정적 인용은 2.4%였다. 다만 이쪽은 면역학 학술지 한 곳의 논문을 훑은 결과이고, 저자들도 이 방법을 다른 분야와 다른 시기로 넓힐 수 있다는 제안 형태로 적었다. 학계 전체를 잰 값으로 옮겨 쓸 수는 없다. 세 조사가 모수도 잣대도 제각각인 채로 같은 방향을 가리키고 있을 뿐이고, 그 희소한 자리가 더 줄었다는 것이 이번 논문의 보고다.

학회 규범도 같은 모양이다. ACL은 2023년 정책에서 문헌 조사에 생성 모델을 쓰는 경우를 이미 다루면서 이렇게 적었다. "인용의 정확성과 문헌 조사의 충실성에 대한 통상의 요구가 그대로 적용된다. 제안된 인용에 편향이 있을 수 있음을 유의하라." 정확성과 충실성은 요구 항목인데 태도는 아니다. 그리고 이번 논문이 보인 손실은 정확성으로도 충실성으로도 잡히지 않는다. 인용은 실재하고, 개수도 맞고, 맥락상 적절하기까지 하다. 반박이 아니게 됐을 뿐이다. 편향을 조심하라는 문장은 이미 있었지만 검사 가능한 항목으로 번역되지는 않았다.

아이러니가 한 겹 겹친다. 이번 논문은 의도를 재려고 그 빈 칸을 언어모델 심판으로 임시로 메웠다. 필드가 없으니 문장에서 매번 다시 읽어낼 수밖에 없었고, 그 판독의 신뢰도가 카파 0.60이었다. 근거 그래프에 타입 칸이 채워져 있었다면 이 연구의 절반은 조회 한 번으로 끝났을 일이다.

이 논문이 실제로 잰 것은 학술 인용이 아니다. 근거 링크를 기계가 생성할 때 링크의 성격이 어떻게 변하는가다. 그건 RAG와 에이전트와 사내 지식베이스가 매일 하는 동작과 같다. 페블러스도 그 동작을 하고 있으므로 이 글은 남의 업종 이야기가 아니다.

7.1우리 그래프에도 같은 칸이 없다

페블러스는 이 블로그의 글들을 지식그래프로 뽑는 도구를 직접 운영한다. 이 글을 쓰면서 그 도구를 돌려 봤다. 한국어 발행 글 663편에서 노드 663개와 간선 3,182개가 나왔고, 그중 글이 글을 직접 링크한 간선은 778개였다. 간선 레코드가 담는 필드는 출발점, 도착점, 직접 링크 여부, 참고문헌 겹침 수, 동시 인용 수, 가중치다.

이 글이 앞선 글을 끌어올 때 그것을 근거로 삼았는지, 반대 사례로 세웠는지, 그냥 배경으로 언급했는지를 적을 칸은 없다. 6번 섹션에서 OpenAlex와 OpenCitations를 두고 지적한 공백이 우리 도구에도 그대로 있다. 링크의 존재는 세고 링크의 태도는 세지 않는다. 그리고 4번 섹션에서 다른 글과의 긴장을 설명한 문단처럼, 이 블로그에서 실제로 값을 갖는 링크는 대개 태도가 붙은 링크다. 그 태도가 지금은 사람이 읽어야만 보인다.

7.2검색 품질을 올려 해결할 문제가 아니다

RAG를 다루는 쪽이라면 웹검색 조건부터 봐야 한다. GPT-5.1에 실시간 검색을 붙여도 반박 비중은 거의 움직이지 않았고, 맥락을 문단과 초록까지 넓혀도 마찬가지였다. 어긋남이 찾는 단계가 아니라 쓰는 단계에서 생긴다는 뜻이다. 검색기를 좋게 만들고 리랭커를 붙이고 인덱스를 키우는 통상의 개선이 이 손실에는 닿지 않는다. 근거를 더 잘 찾아 와도 그 근거를 어떤 태도로 문장에 앉히는지는 별개의 문제로 남는다.

저자들도 이 대목을 그렇게 읽었다. 논의 절에서 학술 보조 도구가 검색 능력을 붙이는 방향으로 발전하고 있지만 그것이 만병통치는 아니라고 적으면서, 검색을 쓸 수 있는 상황에서도 에이전트가 자기 안에 든 지식에 기댄다는 별개의 연구를 근거로 달았다. 검색을 붙였다는 사실과 검색해 온 것으로 문장을 쓴다는 사실은 같지 않다는 이야기다. 2번 섹션의 절별 결과도 같은 방향을 가리킨다. 표와 수치가 눈앞에 있는 실험 절에서는 모델도 반박을 쓰고, 물증 없이 논증으로 밀어야 하는 자리에서 반박이 빠진다. 검색이 채워 주는 것은 앞쪽이다.

7.3자동 라벨의 신뢰도를 어디까지 인정할 것인가

저자들은 원인을 학습 데이터에서 찾는다. 많이 인용된 논문은 긍정적 맥락에서 더 자주 등장하고 최신 논문은 혼재되거나 부정적인 맥락에서 등장하니, 학습 코퍼스 안 인용 문장의 맥락 분포가 모델의 인용 태도로 전이됐으리라는 가설이다. 아첨 성향도 함께 거론했다. 다만 두 가설 모두 논문이 열린 질문으로 남겼고 검증된 인과가 아니다. 데이터 품질을 다루는 입장에서는 이 미검증 가설이 오히려 실무적으로 무겁다. 학습 코퍼스의 맥락 분포라는 것은 데이터 수집 단계에서 아무도 세어 본 적 없는 속성이기 때문이다.

세 번째 설명은 학습 데이터의 문체를 가리킨다. 학술 글은 감정을 덜어 내도록 다듬어져 있고 비판을 할 때도 정중하고 조심스럽게 한다. 그러니 학습 데이터에 담긴 비판은 이미 눌린 형태이고, 모델은 그 눌림을 한 번 더 키운다는 것이다. 이 설명이 맞다면 손실은 데이터에 반박이 부족해서가 아니라 반박이 반박처럼 보이지 않게 적혀 있어서 생긴다. 라벨을 붙일 때도 같은 사정이 걸린다. 완곡하게 적힌 반박은 사람이 읽어도 단순 언급 쪽으로 새기 쉽고, 실제로 이 논문에서 심판끼리 갈린 불일치의 대부분이 그 경계에 몰려 있었다.

방법론은 우리가 그대로 빌려 쓸 만하다. 인용 의도에는 미리 붙은 라벨이 없다. 문장에서 매번 새로 읽어내야 하는 값이다. 이 논문도 그래서 언어모델 심판을 세웠고, 사람 세 명과 대조해 카파 0.60을 얻었다. 자동 라벨링 파이프라인에 어디까지 하중을 실을 것인가라는 질문은 고객 데이터에 자동 라벨을 붙일 때마다 만나는 문제와 같다. 이 논문이 취한 방식은 참고할 만하다. 심판을 하나 더 세우고, 사람 표본으로 대조하고, 사람이 같은 판단을 재현하는지까지 확인한 다음, 그 값을 본문에 그대로 공개했다.

7.4고객·파트너 실무에서 바뀌는 것

연구개발 조직이 문헌 조사를 생성 도구에 맡기면, 우리 접근과 경쟁하는 최신 연구가 조용히 빠질 수 있다. 반박이 줄어드는 자리는 곧 경쟁 기술과 반대 증거가 보고서에서 사라지는 자리다. 기술기획, 특허 회피 설계, 투자 실사처럼 반대편을 세워 두는 것 자체가 산출물의 값어치인 업무일수록 손실이 직접적이다. 사내 위키와 지식베이스도 같다. 링크 개수를 품질 지표로 삼는 가장 흔한 설정에서는 인기 문서가 계속 인기 문서가 된다.

처방 후보는 네 가지쯤 된다. 근거 링크 스키마에 지지·대조·언급 타입 필드를 더하는 것, 반박 근거를 별도 슬롯으로 강제 확보하는 검색 설계, 최신 문헌과 저인용 문헌의 커버리지를 따로 재는 지표, 자동 생성된 인용에 사람 검수 체크포인트를 두는 것이다. 다만 이 처방을 스키마가 없어서 못 한다는 말로 프레임하면 틀린다. 어휘는 열여섯 해 전부터 있었다. 진짜 질문은 그 칸을 만들고 채우는 비용을 누가 낼 것인가다. CiTO가 여태 비어 있는 이유가 정확히 그것이었다.

이 블로그는 인접한 주제를 셋 다뤘다. 학술 지식그래프의 데이터 품질을 뜯어본 글이 간선 의미론의 전편이고, 인용 검증기의 판정 편향을 다룬 글은 인용을 검증하는 단계를 봤다. 이번 글이 보는 것은 검증이 아니라 선택과 태도다. AI가 학술 심사에 들어온 상황을 정리한 글은 같은 워크플로의 다른 층이다.

본문의 수치는 세 갈래다. 1번 논문의 값은 arXiv 전문과 부록을 직접 대조해 옮겼다. 2번과 3번의 설계·결론 요약은 각 논문의 초록에서, 4번의 인용 문장 분포는 프리프린트 전문에서 확인했다. 9번부터 13번까지의 표준·인프라·정책 항목은 2026년 9월 3일에 원문 또는 라이브 API를 직접 열어 확인했다.

이 보고서의 뼈대

• 1.Yixuan Liu, Lin Chen, Zhuoqi Liu, Jianglin Lu, Dakota Murray. "Citing Less Critically: LLMs Reshape the Rhetoric and Reach of Scientific Citation." arXiv:2609.01432, 2026. arXiv: 2609.01432 — EMNLP 2026 본회의 채택본의 사전 공개판이다. 코드는 liu-yi-xuan/llm_citation_intent에 공개돼 있고, 연구는 미국 국립과학재단 지원(Grant #2219575)을 받았다. 인용 대조에 쓴 Dimensions 메타데이터는 기관 구독으로 접근했다.

학술 문헌

• 2.Andres Algaba, Carmen Mazijn, Vincent Holst, Floriano Tori, Sylvia Wenmackers, Vincent Ginis. "Large Language Models Reflect Human Citation Patterns with a Heightened Citation Bias." Findings of NAACL 2025, pp. 6844–6879. arXiv: 2405.15739 — 1번 논문이 넘어선다고 말하는 직접 선행 연구다. 컷오프 이후 논문 구성과 본문 내 인용 익명화는 여기서 이미 이루어졌다.
• 3.Bingsheng Chen, Dakota Murray, Yixuan Liu, Albert-László Barabási. "The origin, consequence, and visibility of criticism in science." arXiv:2412.02809, 2024. — 1번 논문 교신저자와 제1저자가 함께 쓴 직전 연구이며, 2번 섹션의 인간 기준선이 여기서 나왔다.
• 4.Josh M. Nicholson 외. "scite: A smart citation index that displays the context of citations and classifies their intent using deep learning." Quantitative Science Studies 2(3), 882–898, 2021. bioRxiv 프리프린트 전문 — 1번 논문의 3분류가 착안한 출처다. 6번 섹션의 92.6 / 6.5 / 0.8% 분포는 이 전문의 학습 데이터 절에 있으며, 분류기 출력이 아니라 사람이 표본에 라벨을 붙여 추정한 값이다.
• 5.Christian Catalini, Nicola Lacetera, Alexander Oettl. "The incidence and role of negative citations in science." PNAS 112(45), 13823–13826, 2015. — 부정적 인용 2.4%(762,355건 중 18,304건). 면역학 학술지 한 곳의 논문 전문에서 인용을 추출해 분류한 결과이며, 논문의 Significance 항목이 이 방법을 다른 분야로 넓힐 수 있다고 적은 데서 보듯 단일 분야 조사다.
• 6.Arman Cohan, Waleed Ammar, Madeleine van Zuylen, Field Cady. "Structural Scaffolds for Citation Intent Classification in Scientific Publications." NAACL 2019, pp. 3586–3596. — Semantic Scholar 계열이 쓰는 배경·방법·결과 라벨 체계의 출처이며, 극성 축이 없다는 6번 섹션의 지적이 이 체계를 가리킨다.
• 7.Mrinank Sharma 외. "Towards Understanding Sycophancy in Language Models." arXiv:2310.13548, 2023. — 1번 논문이 워밍의 유력한 설명으로 지목했으나 열린 질문으로 남긴 배경 문헌이다.
• 8.Weixin Liang 외. "Quantifying large language model usage in scientific papers." Nature Human Behaviour 9(12), 2599–2609, 2025. — 초록 112만 편 분석, 컴퓨터과학 최대 22%.

표준 · 인프라 · 정책 (원문 및 라이브 확인)

• 9.David Shotton. "CiTO, the Citation Typing Ontology." Journal of Biomedical Semantics 1(S1), S6, 2010. — agreesWith·disagreesWith를 포함한 인용 타입 어휘의 원 출처.
• 10.Egon Willighagen. "Adoption of the Citation Typing Ontology by the Journal of Cheminformatics." Journal of Cheminformatics 12, 47, 2020. Europe PMC 전문(PMC7385899) — 6번 섹션의 인용문 세 개(채택이 넓지 않았다는 진술, 권장 다섯 타입, 반복 반박된 논문 경고에 대한 기대)는 이 전문에서 직접 옮겼다.
• 11.OpenCitations Index REST API v2, 인용 조회 엔드포인트. 2026년 9월 3일 직접 호출로 응답 필드를 확인했다(oci, citing, cited, creation, timespan, journal_sc, author_sc).
• 12.OpenAlex API. 2026년 9월 3일 조회 시 저작물 321,988,823편이며, 인용 관련 필드는 referenced_works와 cited_by_count 계열뿐이다.
• 13.ACL 2023 Policy on AI Writing Assistance. 2023.aclweb.org — 6번 섹션의 인용문은 Literature search 항목에서 직접 옮겼다.

페블러스 인접 글

• 14.AI가 과학자 개인은 강하게, 과학 전체는 좁게 만들었다 (2026-05-31) — 4번 섹션의 긴장 축.
• 15.학술 지식그래프 OpenAlex의 데이터 품질 (2026-07-23) — 간선 의미론의 전편.
• 16.인용 검증기의 판정 편향 (2026-07-13) — 인용 검증과 인용 선택·태도의 구분.
• 17.학술 심사에 들어온 AI (2026-05-24) — 같은 워크플로의 심사 층.