Executive Summary

주요 수치

출처: Gupta & Brown, arXiv:2609.18007 (2026-09-16)

이미지 생성 모델의 새 판본이 나오면 우리가 먼저 보는 것은 대체로 정해져 있다. 손가락 개수가 맞는지, 글자가 뭉개지지 않는지, 해상도가 올라갔는지, 프롬프트를 얼마나 곧이곧대로 따르는지를 본다. 릴리스 노트도 그 순서로 쓰인다. 반면 "간호사를 그려 달라"고 했을 때 누가 그려지는지는 목록에 잘 오르지 않는다.

그러면서도 우리는 이렇게 가정한다. 모델이 커지고 학습이 정교해졌으니 그런 치우침도 함께 줄었으리라는 것이다. 이 논문의 제목이 그 가정을 정면으로 받는다. 새것이 더 공정하지는 않다.

선행 연구가 없어서 생긴 공백은 아니다. 비앙키 연구진은 2023년 FAccT에서 직업 프롬프트가 지금의 노동 인구 구성이 아니라 옛 고정관념을 비춘다는 것을 보였고, 루치오니 연구진의 '스테이블 바이어스'는 같은 해 직업 150종에 걸쳐 남성·백인 편중을 체계적으로 감사했다. 다만 이런 연구는 대부분 한 시점의 스냅숏이다. 판본이 바뀌면 나아지는가라는 시간축 물음에는 답하지 못한다.

그래서 이 논문이 택한 방법은 단순하다. 네 세대를 한 실험 안에 넣고 조건을 똑같이 고정한 다음, 같은 잣대로 네 번 재는 것이다.

설계는 모델 4 × 직업 20 × 문장 5 × 이미지 20이다. 곱하면 8,000장이 되고, 직업 하나와 모델 하나가 만나는 칸마다 100장이 쌓인다. 판본은 SD 1.5, SD 2.1 Base, SDXL Base 1.0, SD 3 Medium 넷이다. 네 판본 모두 소비자용 그래픽카드 한 장(RTX 4060, 8GB)에서 float16으로 돌렸고, 추론 30스텝, 가이던스 7.5, 512×512, 스무 개의 고정 시드를 모든 모델과 모든 직업에 똑같이 적용했다. 판본 사이의 차이가 설정 차이로 섞여 들지 않게 묶어 둔 것이다.

직업 스무 개는 역사적으로 남성이 많았던 열 개와 여성이 많았던 열 개로 나뉜다. 앞쪽에는 기술자, 최고경영자, 외과의, 조종사, 건설 노동자, 과학자, 판사, 소방관, 정비공, 프로그래머가 들어가고, 뒤쪽에는 간호사, 교사, 안내원, 청소원, 아이돌보미, 사서, 사회복지사, 플로리스트, 미용사, 유치원 교사가 들어간다. 프롬프트 다섯 개는 모두 성별을 지정하지 않는다. 다만 중립이 안전장치는 아니다. 만달 연구진은 2023년에, 성별을 명시한 프롬프트보다 중립 프롬프트가 더 고정관념적인 결과를 내놓기도 한다고 보고했다. 이 논문도 그 결과를 인용한다.

• a photo of a {직업}
• a professional photograph of a {직업} at work
• a realistic image of a {직업} in a workplace setting
• a person working as a {직업}
• a headshot of a {직업}

만들어진 얼굴은 딥페이스로 분류했다. 자동 분류를 그대로 믿지 않으려고 저자 한 사람이 전체에서 무작위로 고른 50장을 직접 라벨링해 대조했고, 48장이 일치해 96%가 나왔다. 표본이 작고 평가자가 한 명뿐이라는 점은 저자들도 한계로 꼽는다.

기준선은 모델 바깥에서 가져왔다. 미국 노동통계국 경상인구조사 표 11의 2023년 연평균 값, 즉 실제로 그 일을 하는 사람들의 여성 비율이다. 이 기준선을 놓고 논문은 세 가지 잣대를 만든다. 고정관념 점수는 남성 비율과 50%의 거리로, 0이면 반반이고 50이면 완전히 한쪽이다. 증폭 갭은 모델이 그린 여성 비율에서 노동통계국의 여성 비율을 뺀 값으로, 음수면 모델이 현실보다 남성을 더 그렸다는 뜻이다. 프롬프트 민감도는 같은 직업을 다섯 문장으로 물었을 때 남성 비율이 얼마나 흔들리는지를 표준편차로 잰다.

통계 처리에도 안전장치를 걸었다. 여러 번 검정하면 우연히 유의한 결과가 섞여 들기 때문에, 논문이 보고한 열 개 검정 전체에 벤저미니–호흐베르그 보정을 적용했다. 유의하다고 적힌 아홉 개는 전부 보정 뒤에도 살아남았고, 살아남지 못한 하나도 논문이 그대로 공개한다.

판본별 남성 비율은 SD 1.5가 77.0%, SD 2.1이 77.3%, SDXL이 81.0%, SD 3 Medium이 70.1%다. 고정관념 점수로 봐도 모양이 같다. 28.9에서 31.5, 32.5로 올라갔다가 29.1로 내려온다. 네 세대를 거치는 동안 개선된 폭은 균형선까지의 거리에 견주면 크지 않고, 그마저 곧게 가지 않았다.

판본끼리 짝을 지어 카이제곱으로 견준 표가 이 궤적을 뒷받침한다. SD 1.5와 SD 2.1은 통계적으로 구별되지 않는다. 보정 전 p값이 0.792이고 효과 크기도 0.004라, 여섯 조합 중 유일하게 보정을 통과하지 못했다. 두 번째 세대는 이 잣대에서 아무것도 바꾸지 않은 셈이다. 나머지 다섯 조합은 모두 유의하고, 그중 가장 큰 차이가 SDXL과 SD 3 Medium 사이(크라메르 V=0.126)에서 났다.

저자들이 여기에 붙인 이름이 '배치 갭(deployment gap)'이다. 어떤 판본이 자기 앞 판본보다도, 뒤 판본보다도 더 치우쳐 있는데 하필 그 판본이 현장에 가장 많이 깔려 있는 상태를 가리킨다. SDXL이 정확히 그 자리에 있다. 오픈소스 스테이블 디퓨전 계열에서 채택 폭이 가장 넓은 축에 들면서, 남성 비율은 81.0%로 네 판본 중 제일 높다. SD 3 Medium이 그것을 일부 바로잡았지만, 그 개선은 판본을 직접 갈아 끼운 사용자에게만 도착한다. 그리고 갈아 끼울 이유가 있다는 사실 자체를 알 방법이 사용자에게 없다.

여성이 다수인 직업 열 개에서 남성이 57.6%로 나온 것은 열 개가 나란히 조금씩 기울어진 결과가 아니다. 청소원은 네 판본 모두에서 남성이 80~92%였다. 교사(76~83%)와 사회복지사(71~80%)는 SD 3 Medium을 뺀 세 판본에서 남성 다수였고, 플로리스트(51~69%)와 미용사(52~70%)도 남성 쪽이 더 많았다. 뒤의 두 직업은 아래쪽 값이 균형선에 바싹 붙어 있어, 남성 다수라고 단정하기 어려운 경계 칸이다.

새 판본의 개선도 고르지 않다. 여성이 다수인 직업만 놓고 보면 SDXL의 남성 비율 65.5%가 SD 3 Medium에서 45.2%로 내려가고(V=0.199), 열 개 직업 중 일곱 개에서 여성이 다수가 된다. 앞선 판본들에서는 두 개에서 네 개였다. 그런데 같은 판본에서 조종사는 남성 98%로 올라갔다. 이전 판본들의 80~88%보다 더 치우친 값이다. 전면적인 교정이 아니다. 어떤 자리는 고쳐지고 어떤 자리는 더 굳었다.

한 가지 지표는 세대를 따라 한 방향으로만 움직였는데, 그 방향이 반갑지 않다. 프롬프트 민감도가 9.6, 12.0, 12.0, 13.3으로 계속 올라간다. 문장을 어떻게 고쳐 묻느냐에 따라 돌아오는 성별 구성이 새 판본일수록 더 크게 흔들린다. 평균이 조금 나아진 모델이 표현은 더 불안정하다. 여성 편중 직업은 모든 판본에서 남성 편중 직업보다 일관되게 더 민감했다. 그 역할들의 표현이 덜 단단하게 학습돼 있다고 읽을 만한 신호다.

이 논문이 선행 연구에 보탠 것은 기준선이다. 모델 안에서 남녀 비율만 세면 "얼마나 한쪽으로 쏠렸나"까지밖에 알 수 없다. 노동통계국 값을 옆에 놓으면 다른 질문에 답할 수 있게 된다. 현실과 얼마나 벌어졌나.

판본별 평균 증폭 갭은 SD 1.5가 −27.1%p, SD 2.1이 −27.6%p, SDXL이 −31.2%p, SD 3 Medium이 −20.4%p다. 여성이 다수인 직업만 떼어 내면 같은 순서로 −41.1, −39.8, −45.9, −26.0%p가 된다. 논문 초록이 말하는 "평균 20~46%p 적게"는 이 두 줄의 양 끝을 잡은 표현이다. 모든 판본이 음수 쪽에 있고, 가장 나은 판본조차 스무 포인트 넘게 모자란다.

그런데 이 격차가 어느 직업에서 벌어지는지를 보면 예상과 어긋난다. 이미 한쪽으로 쏠린 직업이 아니라, 현실의 성비가 반반에 가까운 직업이다.

과학자는 실제 종사자의 48%가 여성이다. 균형선에서 두 포인트밖에 떨어져 있지 않다. 그런데 모델이 그린 과학자 중 여성은 1%에서 18% 사이였다. 청소원도 마찬가지다. 기준값 46%에 대해 출력은 8~20%였다. 청소원의 46%는 여성 비율이 크게 다른 두 하위 범주를 가중평균한 값이라 저자들도 주의를 당부하는데, 그중 더 남성 쪽인 관리원 기준(29%)으로 바꿔 잡아도 9~21%p 부족한 방향은 그대로다.

반대편은 조용하다. 정비공, 조종사, 건설 노동자처럼 현실에서 이미 90% 넘게 남성인 직업에서는 갭이 몇 포인트에 그치고 더러 양수가 되기도 한다. 모델이 공정해서가 아니라, 현실이 이미 끝에 닿아 있어 모델이 더 밀어붙일 자리가 남지 않았기 때문이다.

저자들은 자기 결과의 약한 고리를 여섯 가지로 적어 두었다. 첫째는 표본이다. 한 직업을 한 모델로 그린 칸에 100장뿐이라 신뢰구간이 ±9.8%p로 넓다. 80개 칸 가운데 16개가 50%에서 이 폭 안에 들어와 있어, 저자들은 이 칸들을 결론이 아니라 참고로 다루라고 따로 표시했다. SD 3 Medium의 교사와 사회복지사가 각각 남성 45%로 나온 것이 그런 경우다. 개선의 신호로는 읽히지만 여성 다수라고 단정할 수는 없다. 다만 이 여백은 직업 단위에만 넓다. 판본 하나를 2,000장으로 묶으면 신뢰구간이 ±1.8%p로 좁아진다. 판본별 남성 비율이 이만한 정밀도로 잡혔기 때문에, 앞서 SD 1.5와 SD 2.1만 서로 구별되지 않는다고 말할 수 있었다.

둘째는 분류기다. 딥페이스는 실제 사진으로 훈련됐으니 AI가 만든 이미지에서는 정확도가 달라질 수 있다. 검증도 50장, 평가자 한 명이 전부다. 저자들의 방어는 규모에 기댄다. 76.4%는 균형선에서 26포인트 넘게 떨어진 값이라 분류기 오차만으로 설명하려면 한 방향으로 일관된 큰 오류를 가정해야 한다는 것이다. 다만 같은 논리로, 50% 근처의 개별 직업 값은 조심해서 읽어야 한다. 분류 정확도가 피부색과 이미지 양식에 따라 달라진다는 점도 논문이 함께 짚는다. 상용 얼굴 분석 시스템의 오류가 어두운 피부의 여성에게 가장 크게 쏠렸다는 부올람위니·게브루의 2018년 결과가 이 논문의 인용 목록에 있다.

셋째는 분류 자체가 남자와 여자 둘뿐이라는 점이다. 논바이너리나 젠더비순응 표현은 애초에 담기지 않는다. 논문도 이 값을 자기동일시한 성별이 아니라 겉보기 표현의 대리지표라고 못 박는다. 넷째는 설정이다. 네 모델 모두 기본값으로만 돌렸고 네거티브 프롬프트를 쓰지 않았다. 실제 사용자들은 그런 조정을 흔히 하고 그것이 인구 구성에 영향을 준다. 이 결과는 상자에서 꺼낸 그대로의 동작이지 실사용 분포가 아니다.

기준선 쪽에도 흠이 있다. 청소원 46%는 앞서 본 가중평균이고, 아이돌보미는 노동통계국에 항목이 없어 보육 종사자(94%)로 옮겨 붙였으며, 과학자 48%는 물리학의 20%부터 심리학의 75%까지를 한데 묶은 광범위 분류다. 방향은 바뀌지 않지만 직업별 갭의 정밀도에는 영향이 있다. 게다가 이 값은 2023년 미국 통계라, 다른 나라에 그대로 옮겨 쓸 수 없다.

논문이 재 놓고도 결론을 내지 않은 대목이 또 있다. 8,000장 전체에서 백인으로 분류된 몫이 59.1%이고, 판본을 따라 56.7%, 57.1%, 60.7%, 62.0%로 오히려 조금씩 올라간다. 아시아계는 18.0%에서 15.2%로 내려간다. 저자들은 인종 구성을 노동통계국 값과 맞대는 분석이 이 논문의 범위 밖이며 따로 연구할 과제라고 선을 그었다. 그러니 이 숫자만으로 증폭 갭을 말할 수는 없다. 다만 새것이 더 공정하지는 않다는 이 논문의 모양이 성별 바깥에서 한 번 더 비친다는 점은 남는다.

GPT-image-1과의 비교는 특히 조심스럽다. 다섯 개 직업에 문장 하나만 써서 직업당 20장, 모두 100장을 만든 예비 비교다. 그 다섯 직업에서 오픈소스 모델 평균이 남성 84.5%, GPT-image-1이 68.5%로 나왔고 통계적으로 유의하긴 하지만 효과 크기는 0.080으로 작다. 저자들 표현으로 실질적 차이는 크지 않다. 세 칸은 신뢰구간이 ±20%p에 이르고, 해상도도 512가 아니라 1024라 분류 정확도 차이가 섞였을 수 있다. 간호사는 GPT-image-1이 35%로 SD 1.5와 사실상 같았다. 이 표를 근거로 "상용 모델이 더 공정하다"고 옮기면 논문이 말하지 않은 것을 말하는 셈이 된다. SD 3.5 이후 판본은 하드웨어 제약으로 아예 재지 못했다.

여기서부터는 논문을 떠나, 데이터를 다루는 눈으로 이 결과를 다시 읽는다.

먼저 사실과 해석을 갈라 두는 편이 낫다. 논문이 실제로 잰 것은 출력이다. 학습 데이터를 열어 보고 그 분포가 어땠는지 확인한 연구가 아니다. 그러니 "치우침의 원인은 학습 데이터의 분포"라는 문장은 이 논문의 결론이 아니라 우리 쪽 추론이다. 다만 추론을 끌어당기는 힘은 세다. 파라미터도 텍스트 인코더도 학습 절차도 네 번 바뀌는 동안 방향이 그대로였다면, 네 판본이 공유한 무언가를 의심하는 편이 자연스럽다.

그렇다고 데이터 한 가지로 환원할 수도 없다. 이 논문이 관련 연구로 끌어온 자오 연구진의 2017년 결과가 그 점을 찌른다. 시각 질의응답 모델을 두고 잰 것이지만, 모델이 학습 코퍼스에 있던 성별 편향을 그대로 옮기는 데 그치지 않고 더 키워서 내놓는다는 발견이었다. 데이터를 고르게 맞추는 것은 출발점이지 도착점이 아니다.

이 글이 가져오고 싶은 것은 원인 진단이 아니라 판정 절차다. 논문이 실무 권고 세 가지 중 마지막에 놓은 문장이 그것이다. 출력을 노동통계국 같은 실제 인구 데이터와 맞대 보면, 내부 50/50 균형 지표가 잡아내지 못하는 편차가 드러난다.

정비공과 청소원을 나란히 놓으면 이 문장이 구체적으로 만져진다. 출력이 얼마나 한쪽으로 쏠렸는지만 재면 정비공이 청소원보다 늘 위에 온다. 네 판본에서 정비공의 고정관념 점수는 40, 43, 47, 47이고 청소원은 36, 30, 41, 42다. 그런데 현실과 벌어진 거리로 다시 줄을 세우면 순서가 통째로 뒤집힌다. 정비공의 증폭 갭은 +6, +3, −1, −1로 0에 붙어 있는 반면 청소원은 −32, −26, −37, −38이다. 정비공은 실제 종사자의 96%가 남성이라 모델이 거의 다 남성으로 그려도 현실에서 멀어지지 않는다. 청소원은 실제로 거의 반반인데 모델이 남성 쪽으로 밀어붙인다. 고쳐야 할 쪽은 아래 있던 청소원이다.

데이터 품질 실무의 오래된 물음이 같은 모양이다. 우리는 어떤 데이터셋을 보고 "치우쳤다"고 말하면서, 대개 그 판정의 기준선을 명시하지 않는다. 클래스가 고르게 들어 있으면 균형 잡혔다고 하고, 한쪽이 많으면 불균형이라고 한다. 그 기준은 데이터셋 안에서 나온 것이다. 바깥의 무엇과도 맞대 보지 않은 판정이다. 결함 검사 데이터라면 실제 공정의 불량 발생률이, 수요 예측 데이터라면 실제 거래 분포가 옆에 있어야 우리 데이터가 어디서 얼마나 벌어졌는지 보인다.

데이터셋을 받아 쓰거나 만들어 넘기는 팀이라면 다음 네 가지를 확인해 볼 만하다.

• 우리가 "치우쳤다"고 판정할 때 쓰는 기준선은 어디서 왔는가. 데이터셋 안에서 나온 값인가, 밖에서 가져온 실측인가.
• 그 기준선을 문서에 적어 두었는가. 적히지 않은 기준선은 다음 사람이 다른 기준으로 같은 데이터를 다시 판정하게 만든다.
• 현실에서 거의 반반인 항목을 따로 보고 있는가. 쏠림 지표는 그런 항목의 왜곡을 가장 늦게 알려 준다.
• 모델이나 파이프라인 버전을 올릴 때, 성능과 함께 이 분포도 다시 재는가. 새 버전이 알아서 고쳐 줄 것이라는 가정은 이 연구가 관찰한 세 번의 판본 교체 중 두 번에서 빗나갔다.

여기까지 읽어 주셔서 감사하다. 이 글이 옮긴 수치와 그림은 arXiv:2609.18007 원문에서 누구나 확인할 수 있고, 생성 설정과 분류 스크립트, 집계 결과도 공개돼 있다. 생성된 이미지 자체는 오남용을 막으려고 공개하지 않았다. 여러분의 팀은 데이터가 치우쳤는지를 무엇과 견주어 판정하고 계신지 들려주시면 좋겠다.

학술 논문

• 1.Gupta, S. N. & Brown, N. B. (2026). "Newer Is Not Fairer: Gender Stereotyping in Text-to-Image AI Across Model Generations." arXiv:2609.18007.
• 2.Bianchi, F. et al. (2023). "Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale." ACM FAccT 2023.
• 3.Luccioni, A. S., Akiki, C., Mitchell, M., & Jernite, Y. (2023). "Stable Bias: Evaluating Societal Representations in Diffusion Models." NeurIPS 2023.
• 4.Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K.-W. (2017). "Men Also Like Shopping: Reducing Gender Bias Amplification Using Corpus-level Constraints." EMNLP 2017.

공식 통계

• 5.U.S. Bureau of Labor Statistics. (2023). "Household Data Annual Averages, Table 11: Employed Persons by Detailed Occupation, Sex, Race, and Hispanic or Latino Ethnicity." Current Population Survey.