Executive Summary

주요 수치

출처: Nishi, Laprevotte, Bullock, Andrew, Governing AI Research Through Peer Review, arXiv:2609.10740 (2026-09-09)

윤리 플래그는 리뷰어가 심사 화면에서 "Flag for ethics review" 체크박스를 누르는 일이다. NeurIPS·ICML·ICLR은 광범위 영향 서술(broader impact statement), 제출 체크리스트, 윤리 플래그 같은 장치로 연구 윤리를 절차화해 왔다. 이 요건 아래서 리뷰어는 기술적 주장만이 아니라 저자가 데이터를 어떻게 모았는지, 생길 수 있는 피해를 어떻게 평가했는지, 산출물을 어떻게 공개하는지, 오용을 어떻게 예상했는지에도 이의를 걸 수 있다.

리뷰어에게 그런 권한을 주는 근거도 논문이 먼저 깔아 둔다. 데이터와 시스템 설계, 배포를 어떻게 정하느냐가 위험이 누구에게 돌아갈지를 정하고 가치를 새겨 넣고 사회적 관계를 다시 짜기 때문이다. 연구자가 모든 하류 영향을 내다볼 수는 없지만, 논문이 인용한 Stilgoe 등(2013)은 일어날 법한 영향을 미리 내다보고 대응하라고 했고, Do 등(2023)은 의도하지 않은 결과와 예상하지 못한 결과를 갈라 놓으면서 예상할 수 있었던 영향에 대한 책임은 연구자에게 있다고 했다. 어떤 연구가 주목과 정당성을 얻는지를 학회가 정하는 이상 무엇을 받아들이고 무엇을 알릴지에 대한 책임도 학회가 함께 진다는 것이 논문의 출발점이다.

이 제도가 돌아간 기록은 이미 있다. NeurIPS는 2021년에 윤리 가이드라인을 세우고 그해 여러 건에 조건부 게재를 냈으며 한 건은 윤리를 이유로 거부했다. ICLR 2023 프로그램 의장단은 윤리 플래그가 붙은 논문 190편을 심사했다고 밝혔다. 다만 지금까지의 연구는 한 번의 심사 주기를 들여다보거나 윤리 실천 일반을 다뤘을 뿐, 윤리 심사가 연구 자체를 바꾸는지 그리고 어떤 식으로 바꾸는지는 묻지 않았다. 이 논문이 새로 한 일이 그 질문이다.

연구진이 ICLR을 고른 이유는 자료 공개 정책이다. 주요 AI 학회 가운데 결정 이후 모든 제출과 리뷰를 공개하는 곳은 ICLR뿐이고, NeurIPS와 ICML은 저자가 동의한 거부 논문만 공개한다. 연구진은 OpenReview에서 2021년부터 2026년까지 제출 4만 7,893건과 공개 리뷰 18만 5,194건을 모았다. 2021년 스냅샷에는 공개 플래그가 없어 집계는 2022년부터 시작하는데, 플래그는 그해 107건에서 2026년 1,100건으로 늘었다. 여섯 개 윤리 범주를 합한 수다.

플래그가 붙은 제출은 2,498건이고 그중 1,857건이 거부 또는 철회됐다. 저자가 제목과 초록, 공저자, 연구 범위를 바꾸는 일이 흔해서 제목 대조만으로는 재제출을 찾을 수 없다. 연구진은 OpenAlex에 제목 변형과 저자 성, 초록의 핵심어로 질의해 후보 6,618건을 받고, 제목 유사도와 저자·초록 겹침, 발행 연도로 순위를 매겨 상위 601건을 남겼다. 검색 점수만으로 같은 프로젝트라고 단정할 수 없으니 쌍마다 사람이 읽어 446편을 확정했다. 코퍼스 구축과 검색에 쓴 코드는 익명 저장소로 공개돼 있다.

그래서 83%를 읽을 때는 분모를 함께 봐야 한다. 윤리 플래그가 붙은 2,498편의 83%가 아니고, 거부·철회된 1,857편의 83%도 아니다. 재제출을 공개 기록에서 찾아낼 수 있었던 446편의 83%다. 플래그를 받고 프로젝트를 아예 접은 저자는 이 분모에 들어오지 않는다. 논문도 이 점을 한계로 적으면서, 그런 사례를 놓쳤다면 이 연구가 오히려 심사의 억제 효과를 과소평가한 쪽이라고 했다.

판본이 달라졌다는 사실만으로는 심사가 연구를 돌려놓았다고 말할 수 없다. 연구진은 관찰할 수 있는 결과 하나를 조건으로 잡았다. 윤리 우려가 겨냥한 그 방법과 절차가 바뀌었는지다. 쌍마다 원 리뷰에서 우려가 적힌 대목을 찾고, 제출본과 재제출본의 해당 부분을 비교해 다섯 범주 중 하나로 코딩했다. 우려를 그대로 둔 경우가 관찰 가능한 변경 없음이고, 지적된 기술적 작업은 두고 한계나 피해 논의, 주장만 고친 경우가 주로 서술상 변경(mainly rhetorical)이다. 절차는 동의와 공개, 접근, 감독, 거버넌스를 가리키고 방법은 데이터와 모델, 평가, 실험 설계를 가리킨다. 코딩은 연구자 4명이 수작업으로 했고 정기 회의로 라벨을 맞췄다. 라벨을 매긴 사람들 사이의 일치도를 재는 수치는 논문에 없다.

건수는 논문 Table 1의 값이고, 비율은 446으로 나눠 이 글이 계산했다. 논문이 직접 적은 비율은 위 두 범주 합계 370편의 83.0%와 나머지 76편의 17.0%다.

217편은 우려와 관련해 관찰할 수 있는 변경이 없었고, 153편은 그 우려를 어떻게 규정하고 논의하는지만 고쳤다. 나머지 76편에서 저자들은 유출 검사와 주석 워크플로, 안전성 평가를 추가했고, 동의 절차나 기관생명윤리위원회(IRB) 심의를 도입했고, 식별자를 지웠고, 데이터 접근과 배포 방식을 바꿨다. 연구진은 연구를 더 안전한 관행으로 돌려놓으려는 절차에서 실질적 변경이 17.0%에 그친 것을 우려스럽다고 적었다.

서술만 고치는 수정이 쓸모없다는 뜻은 아니다. 논문은 저자가 주장 범위를 좁히거나 한계를 분명히 하거나 출처를 기록하거나 더 안전한 공개 계획을 채택할 수 있고 그런 변경에도 가치가 있다고 단서를 달았다. 다만 그것이 지적된 방법과 절차를 바꾸지는 않으므로 연구의 변경으로 세지 않았다는 것이다.

문장만 고쳐도 심사 결과가 달라진다는 것은 따로 측정된 바 있다. 8월에 다룬 문장 표현만 고쳐 쓴 원고 4,080편 실험에서는 방법과 수치를 그대로 둔 채 근거 프레이밍과 참신성 주장을 손보는 것만으로 LLM 심사위원의 점수가 갈렸다. 게재 가시성을 움직이는 쪽이 서술이라면 저자가 서술에 품을 쏟는 것은 이상한 선택이 아니다. 다만 두 연구를 이렇게 잇는 것은 이 글이 한 일이고, 어느 쪽도 상대를 인용하지 않았다.

리뷰어가 언제 개입하는지가 이 결과를 설명한다. 리뷰어가 제출본을 평가할 때 저자는 이미 문제를 고르고 데이터를 모으고 시스템을 구현하고 실험을 대부분 끝낸 상태다. 토론 기간에는 리뷰어가 리버탈(rebuttal, 저자 반론)과 저자 댓글을 보고 점수를 갱신할 수 있어서, 저자에게는 우려를 인정하고 다루려는 유인이 생긴다. 거부 결정이 나오면 그 유인이 사라진다. 원 리뷰어는 그 연구가 이후 어떻게 유통되는지에 더는 영향을 주지 못한다. 리뷰어 판정의 잡음이 크다는 점까지 생각하면, 다음 학회의 새 심사단이 같은 우려를 스스로 다시 짚을 것이라 기대하기 어렵다. 논문은 이 구조가 토론 기간의 양보를 다음 학회로 가져가지 않아도 되는 여지를 만든다고 봤다.

정독 대상 25건은 아무렇게나 고른 것이 아니다. 플래그와 재제출된 프로젝트의 관계가 서로 다르도록 골랐다. 연구가 바뀐 것으로 보이는 11건, 지적된 관행이 원래부터 있던 6건, 달라진 것이 없어 보이는 8건이다. 우려의 성격으로는 네 갈래에 걸쳐 있다. 유해한 응용 4건, 공정성과 차별 9건, 책임 있는 연구 관행 6건, 프라이버시·보안·안전 6건이다.

25건의 리뷰 이력이 그 여지가 어떻게 쓰이는지 보여 준다. 저자들은 리버탈에서 윤리 비판에 길게 답하고 부분적으로 양보하지만, 그 양보가 나중의 재제출본에는 없는 경우가 많았다. 대부분의 사례에서 우려를 제기한 리뷰어는 3~5명 중 한 명이고 나머지는 기술적 쟁점을 논의했다. 적어도 한 사례에서는 윤리를 강조한 리뷰어가 그 논문에 6점을 주고, 윤리를 짚지 않은 리뷰어들이 4~5점을 줬다. 여러 리버탈은 그 우려를 연구를 바꿀 타당한 이유가 아니라 분야 관행이나 필요한 배경지식을 둘러싼 견해차로 규정했다.

연구진은 이 양상을 걸러내기(filtering)라고 이름 붙였다. 비판을 연구 방향을 돌릴 근거로 삼지 않고 논문을 게재에 맞춰 손보는 것이다. 25건의 저자에게 인터뷰를 요청해 3명이 응했고, 내부 검토를 거친 뒤 2026년 4월 15일부터 30분씩 표준 동의·개인정보 절차 아래 진행했다. 왜 수정했는지에 대한 답을 미리 심어 주지 않으려고 모집 메일은 중립적으로 썼다. 인터뷰에서 물은 것은 셋이다. 무엇을 바꿨는지, 무엇에 가장 신경 썼는지, 그리고 리뷰어의 지적이 연구에 관한 결정을 움직였는지 아니면 발표 방식만 움직였는지다.

P1은 재제출본이 "대체로 비슷하다"고 했다. 수정은 "표를 하나 더 넣는" 일과 "지표를 더 넣는" 일에 몰렸고 쟁점도 "대체로 지표에 관한 것"이었다. P1은 동료 심사가 "대체로 논문을 걸러내기 위한 것"이라고 덧붙였는데, 이미 고친 대목을 두고 같은 이의를 반복하는 리뷰어가 많다는 이유였다.

P2는 리뷰어들이 "더 큰 그림을 보는 대신 특정 측면에 매우 집중했다"고 말했다. 저자들은 그 부분을 "아예 완전히 빼기로" 하고, 서론을 컴퓨터과학 독자에 맞춰 다시 쓰고, 주석 작업을 한 번 더 하려고 참여자 5,000명을 모았다. P2는 여러 우려를 "타당한 지적"으로 받아들이면서도 핵심 비판이 "실은 내 발표 방식에 관한 것"이었다고 했고, 동료 심사를 "실은 편집 과정에 관한 것"이라고 불렀다. 좁혀진 원인을 컴퓨터과학 리뷰어에게 돌리며 "컴퓨터과학 리뷰어들이 그것을 걸러내기로 택했다"고 했고, 리뷰어가 "어떤 이야기가 보이게 될지를 형성하는 힘을 아주 많이 쥐고 있다"고도 했다.

P3은 서론과 초록을 다시 쓰고 방법과 결과는 사실상 그대로 뒀다. 그리고 심사를 연구를 바꿀 이유라기보다 "동전 던지기"에 가깝다고 했다. 세 사람의 말은 같은 곳을 가리킨다. 게재를 위한 수정과 연구 방향의 수정은 저자에게 서로 다른 일이고, 심사가 움직인 쪽은 앞의 것이었다.

여기부터는 논문에 없는 이 글의 해석이다.

이 실패는 경고가 기록되는 자리에서 시작된다. 플래그는 그 논문에 붙은 것처럼 보이지만 실제로 귀속되는 곳은 그 심사 세션이다. 세션이 거부로 닫히면 기록은 남고 경고는 그 기록 안에 갇힌다. 논문이 다른 학회나 저널로 옮겨 가는 순간 경고는 함께 가지 않고, 새 심사단은 그런 지적이 있었다는 사실 자체를 모른다. 아티팩트는 이동하고 경고는 이동하지 않으니, 이동이 곧 소멸이다.

데이터 거버넌스를 해 본 독자에게는 이 구조가 낯설지 않다. 데이터셋 검토 회의에서 개인정보 우려나 편향, 라이선스 제약을 짚었는데 그 결론이 회의록과 티켓에만 남고 데이터셋 카드나 매니페스트에 적히지 않으면 같은 일이 생긴다. 그 데이터셋이 다른 파이프라인으로, 다른 팀으로, 다른 모델의 학습으로 넘어가는 순간 경고는 따라가지 않는다. 받는 쪽은 아무 표시 없는 아티팩트를 넘겨받았다고 믿는다. 감사 기록과 아티팩트가 분리되어 있으면 위험 표시의 수명은 그 기록을 기억하는 사람의 재직 기간을 넘지 못한다.

논문의 첫째 제언이 정확히 이 지점을 겨냥한다. 재제출할 때 이전 윤리 플래그를 밝히게 하라는 것은 경고를 세션이 아니라 아티팩트에 붙이라는 요구다. 학습 데이터 쪽에서 출처와 계보를 아티팩트에 붙여 두는 실무와 같은 모양이고, 우리도 학습 데이터를 출처별로 갈라 보관하는 문제로 한 번 다룬 적이 있다. 그때는 감사가 요구할 때 어디서 온 데이터인지 말할 수 있느냐가 쟁점이었다. 여기서는 이미 한 번 지적된 우려를 다음 사용자가 읽을 수 있느냐가 쟁점이다. 붙여 둘 것이 출처인지 경고인지만 다르고 설계는 같다.

논문은 세 가지를 제안한다. 첫째는 윤리 플래그를 재제출까지 따라가게 하는 것이다. 저자가 재제출 시 이전 플래그를 기밀로 밝히게 하고, 어느 범주였는지와 연구를 바꿨는지 아니면 그 우려에 이의를 제기했는지까지 적게 한다. 새 학회는 이전 심사 내용과 심사자 신원, 점수, 학회명, 원고를 리뷰어와 영역 의장(area chair)에게 공개하지 않은 채로 독립 윤리 리뷰어에게 그 우려만 판단하게 할 수 있다. 이러면 해결되지 않은 우려가 독립적인 검토 아래 남으면서도 새 학회가 이전 판정에 묶이지 않는다.

둘째는 이른 단계의 윤리 심사다. 완성된 논문을 심사할 시점에는 데이터 수집과 실험이 이미 끝나 있으니, 본 논문 제출의 선행 요건으로 초기 단계 윤리 사전제출을 요구하자는 것이다. 그 단계에서 데이터 수집과 실험 설계를 들여다보고, 더 넓은 비판은 나중 심사에 남긴다. 셋째는 리뷰어 적합도다. 도메인이 맞는 리뷰어가 지적할 때 비판의 신뢰도가 올라간다는 것인데, P1이 이미 고친 대목을 두고 반복된 이의를 무시한 일과 P2가 컴퓨터과학 리뷰어를 지목한 일이 그 근거로 붙는다.

이 연구가 말할 수 없는 것도 분명하다. 코퍼스는 ICLR 하나이고 NeurIPS와 ICML은 들어 있지 않다. 연구진은 상위 AI 학회의 심사·리버탈·결정 주기가 비슷하니 여기서 확인한 메커니즘이 ICLR 밖으로도 이어질 것이라 보면서도, 그 빈도는 다를 수 있다고 적었다. 인터뷰는 25명 중 3명이다. 그리고 판본 둘을 비교하면 무엇이 바뀌었는지는 알 수 있어도 왜 바뀌었는지는 알 수 없다. 비판을 받아들여 방법을 고쳤을 수도 있고, 프로젝트가 독립적으로 진화했을 수도 있고, 비판은 거부했지만 독자를 바꾸려고 논문을 다시 썼을 수도 있다. 연구진이 리뷰 이력 정독과 인터뷰를 덧붙인 이유가 그것이다. 이 논문 자체도 2026년 9월 9일 arXiv에 올라온 프리프린트이고, 학회나 저널 게재 여부는 본문에 적혀 있지 않다.

그럼에도 논문의 결론은 흔들리지 않는다. 원고를 크게 고쳤다는 사실이 윤리 심사가 그 연구의 방향을 돌려놓았다는 뜻은 아니라는 것이다. 리버탈에서는 리뷰어가 아직 결정에 영향을 주니 양보가 값을 지니고, 거부 이후에는 원 리뷰어가 그 영향력을 잃고 심사 판정의 잡음이 그 우려의 재등장을 막는다. 그래서 논문은 프로젝트가 다른 학회로 옮겨 갈 때 거부가 해결되지 않은 윤리 우려에 대한 책임을 초기화하지 않도록, 재제출 시 이전 플래그를 밝히게 하라고 못 박았다.

우리 조직에 돌려줄 질문은 심사 제도를 묻지 않는다. 위험 표시를 어디에 적어 두었는지를 묻는다.

• 우리 데이터셋과 모델에 붙은 위험 표시는 그 아티팩트의 기록에 적혀 있는가, 검토 회의록에만 있는가.
• 그 아티팩트를 다른 팀이나 다른 파이프라인이 가져갈 때, 받는 쪽이 이전 지적을 읽을 수 있는가.
• 지난 분기 데이터 검토에서 제기된 우려 중 파이프라인이나 절차가 실제로 바뀐 것은 몇 건이고, 문서 서술만 바뀐 것은 몇 건인가.

여기까지 읽어 주셔서 감사하다. 원문은 arXiv:2609.10740에서 볼 수 있고, 이 글의 수치와 인용은 논문 본문에서 직접 확인했다. 세 번째 질문에 답해 본 적이 있다면 그 수를 어떻게 세었는지 나눠 주시면 좋겠다.

(주)페블러스 데이터 커뮤니케이션팀
2026년 9월 12일

핵심 논문

• 1.Nishi, K., Laprevotte, A., Bullock, I., Andrew, M. (2026). "Governing AI Research Through Peer Review: A Mixed-Methods Study of the Longitudinal Effects of Ethics Flags Across Resubmissions." arXiv:2609.10740.

관련 연구

• 2.Hecht, B., Wilcox, L., Bigham, J. P., Schöning, J., Hoque, E., Ernst, J., Bisk, Y., De Russis, L., Yarosh, L., Anjum, B., Contractor, D., Wu, C. (2021). "It's Time to Do Something: Mitigating the Negative Impacts of Computing Through a Change to the Peer Review Process." arXiv:2112.09544 — Nishi et al. (2026) §2에서 인용.
• 3.Liu, D., Nanayakkara, P., Sakha, S. A., Abuhamad, G., Blodgett, S. L., Diakopoulos, N., Hullman, J. R., Eliassi-Rad, T. (2022). "Examining Responsibility and Deliberation in AI Impact Statements and Ethics Reviews." AIES '22. doi.org/10.1145/3514094.3534155 — Nishi et al. (2026) §2에서 인용.
• 4.Bengio, S., Raji, I. D., Beygelzimer, A., Dauphin, Y., Liang, P., Wortman Vaughan, J. (2021). "A Retrospective on the NeurIPS 2021 Ethics Review Process." NeurIPS Blog, 2021-12-03 — Nishi et al. (2026) §2에서 인용.
• 5.Stilgoe, J., Owen, R., Macnaghten, P. (2013). "Developing a Framework for Responsible Innovation." Research Policy 42(9), 1568–1580. doi.org/10.1016/j.respol.2013.05.008 — Nishi et al. (2026) §2에서 인용.