Executive Summary

GRPO, Dr.GRPO, DAPO는 서로 다른 팀이 서로 다른 시기에 내놓은 강화학습 기법이라, 보통은 셋 중 무엇을 쓸지를 고르는 문제로 읽힙니다. 2026년 7월 공개된 한 논문은 그 통념을 뒤집습니다. 세 방법은 결국 보상의 표준편차라는 하나의 숫자를 서로 다르게 다룰 뿐이라는 것입니다. GRPO는 그 숫자로 나누고, Dr.GRPO는 나눗셈을 빼고, DAPO는 그 숫자가 0인 문제를 통째로 버립니다.

이 논문의 핵심 정리는 한 줄로 압축됩니다. 정답과 오답을 이진 보상으로 채점할 때, 한 문제에 대한 학습 업데이트의 크기는 그 문제에 대한 모델 응답들의 표준편차와 정확히 같습니다. 그래서 정답률이 반반으로 갈리는 문제가 학습을 가장 크게 밀어 올리고, 전부 맞히거나 전부 틀리는 문제는 표준편차가 0이라 아무것도 가르치지 않습니다. Big-Math 21만 문제에 그룹 크기 8을 적용하면 전체 그룹의 약 44%가 이렇게 무음이 된다는 예측이 실측과 2%포인트 안에서 맞아떨어졌습니다.

그리고 이 항등식은 알고리즘 선택보다 문제 선별을 먼저 물어야 하는 이유가 됩니다. 표준편차가 곧 학습량이라면, 어떤 난이도의 문제를 훈련 세트에 넣는가가 학습의 방향을 정하기 때문입니다.

약 44%

낭비되는 훈련 그룹

Big-Math·그룹 크기 8에서 표준편차 0으로 무음이 되는 비율

50%

학습을 최대로 미는 정답률

정답과 오답이 반반일 때 표준편차가 최댓값

0.99 ↔ 0.88

가장 어려운 문제 정답률

GRPO가 극단 난이도를 끌어올린 결과와 Dr.GRPO의 정체

약 6배

어려운 문제의 표집 비용

5% 정답률 문제는 반반 문제보다 이만큼 많은 샘플이 필요

1

세 이름, 하나의 다이얼

GRPO는 2024년 DeepSeekMath에서 나왔습니다. 크리틱(가치함수) 없이도 정책을 최적화하려고, 한 문제를 여러 번 풀린 뒤 그 응답들끼리 서로를 채점하게 한 방식입니다. 이듬해 싱가포르의 Sea AI Lab과 NUS 연구진은 여기서 표준편차로 나누는 부분을 빼면 학습이 더 깔끔해진다며 Dr.GRPO를 제안했고, 비슷한 시기에 바이트댄스 Seed는 표준편차가 0인 문제를 아예 배치에서 걸러내는 DAPO를 대규모 시스템으로 공개했습니다.

세 이름은 각각 다른 논문, 다른 기관, 다른 이야기를 달고 다녔습니다. 그래서 실무자 입장에서는 "GRPO를 쓸까, Dr.GRPO로 갈아탈까, DAPO가 낫다던데"가 자연스러운 질문이 됩니다. 2026년 7월에 공개된 Bay와 Yearick의 논문은 그 질문의 전제를 흔듭니다. 세 방법은 한 손잡이를 다르게 돌린 것일 뿐이고, 그 손잡이의 이름은 표준편차라는 것입니다.

같은 문제를 여러 번 풀렸을 때 정답과 오답이 얼마나 갈리는가, 이 흩어짐의 크기가 표준편차입니다. GRPO는 이 값으로 나누고, Dr.GRPO는 나누지 않으며, DAPO는 이 값이 0인 문제를 버립니다. 세 기법의 차이는 여기서 시작하고 여기서 끝납니다.

2

업데이트의 크기가 곧 표준편차다

논문의 중심에는 짧은 정리 하나가 있습니다. 정답이면 1, 오답이면 0으로 채점하는 이진 보상에서, 한 문제에 대한 GRPO 업데이트의 크기는 그 문제에 대한 응답들의 표준편차와 정확히 같습니다. 그룹 크기가 $G$이고 그중 $k$개를 맞혔다면, 표준편차는 다음과 같이 정리됩니다.

$$\sigma = \frac{\sqrt{k\,(G-k)}}{G}$$

이 식은 $k$가 0(전부 오답)이거나 $G$(전부 정답)일 때 0이 되고, 정답 수가 그룹의 절반일 때 최댓값을 갖습니다. 저자들의 표현을 빌리면, 그동안 advantage를 정규화하려고 분모 자리에 놓였던 그 숫자가 사실은 기울기 자체의 길이였던 셈입니다. 나누려고 꺼내 든 값이, 알고 보니 그 문제가 모델을 얼마나 세게 미는지를 그대로 나타내는 척도였습니다.

직관은 단순합니다. 모델이 여덟 번 풀어 네 번 맞고 네 번 틀렸다면, 정답과 오답 사이에 뚜렷한 대비가 생기고 그 대비가 "이쪽으로 가라"는 신호를 만듭니다. 여덟 번 다 맞았다면 비교할 오답이 없어 방향을 정할 근거가 사라집니다. 학습이 일어나려면 응답들이 갈려야 하고, 그 갈림의 크기가 곧 배움의 크기입니다.

그룹 응답 구성과 표준편차 σ (그룹 크기 G=8) 전부 정답 σ = 0 무음(silent) 정답 4 · 오답 4 σ = 0.50 학습 신호 최대 전부 오답 σ = 0 무음(silent) 정답 오답

그림 1. 그룹 크기 8에서 정답·오답 구성에 따른 표준편차 변화. 전부 정답이거나 전부 오답이면 σ=0(무음), 정확히 절반씩 갈릴 때 σ가 최대가 되어 학습 신호도 가장 크다. 페블러스 원본 도식 (Fig. 1 재해석).

3

전부 맞히거나 전부 틀리면 아무것도 못 배운다

표준편차가 0인 그룹, 즉 응답이 전부 정답이거나 전부 오답인 그룹을 논문은 무음(silent)이라 부릅니다. 무음 그룹은 업데이트에 기여하지 않습니다. 계산 자원을 써서 응답을 여러 개 생성했지만 학습에는 한 글자도 보태지 못한, 말 그대로 조용한 배치입니다.

어떤 문제가 무음이 될 확률은 그 문제의 정답률 $p$와 그룹 크기 $G$만으로 정해집니다. 전부 맞힐 확률에 전부 틀릴 확률을 더한 값입니다.

$$P_{\text{silent}} = p^{G} + (1-p)^{G}$$

이 식을 실제 데이터에 얹으면 규모가 실감 납니다. 21만 5,608문제로 이뤄진 Big-Math 데이터셋에 그룹 크기 8을 적용했을 때, 전체 그룹의 약 44%가 무음이 되리라는 예측이 실측과 2%포인트 안에서 일치했습니다. 훈련 배치의 거의 절반이 학습에 아무 기여도 하지 못하고 지나갈 수 있다는 뜻입니다. 너무 쉬워 늘 맞히는 문제와 너무 어려워 늘 틀리는 문제가, 정반대 이유로 똑같이 침묵합니다.

무음 확률 P(silent) — 그룹 크기 G=8 1.0 0 0 0.5 1.0 문제 정답률 p Big-Math 평균 약 44% 무음 p=0.5, σ 최대 전부 오답 σ=0 · 무음 전부 정답 σ=0 · 무음

그림 2. 그룹 크기 8에서 문제 정답률 p에 따른 무음 확률 P(silent) = p⁸+(1−p)⁸. 정답률이 극단(0 또는 1)에 가까울수록 무음 확률이 치솟고, p=0.5 부근에서 최소가 되어 학습 신호가 가장 크다. Big-Math 21만 문제 평균은 약 44%. 페블러스 원본 도식 (Fig. 2 재해석).

4

나눌 것인가, 버릴 것인가

같은 숫자를 두고 세 기법이 내린 선택은 학습 결과에서 갈라집니다. 그 갈림은 두 곳에서 드러납니다. 하나는 가장 어려운 문제를 각 기법이 끝까지 붙잡아 주느냐이고, 다른 하나는 그러기 위해 계산을 얼마나 더 치르느냐입니다. 표준편차 하나를 나누고 두고 버리는 차이가, 이 두 축에서 눈에 보이는 성능 격차로 벌어집니다.

같은 σ, 세 가지 처리 — 가로축은 모두 문제 정답률 p (0→1) GRPO 가중치 ÷ σ 쉬움·어려움 양 끝을 2~5배 증폭 →∞ ∞← 가중치 w(p) — 양 끝에서 급등 Dr.GRPO σ로 나누지 않는다 난이도 무관, 균일 가중치 가중치 w(p) = 1 — 전 구간 평탄 DAPO σ=0 그룹은 폐기 후 재표집 무음 문제엔 자원 배분 안 함 ✕ ✕ 폐기 폐기 양 끝 무음 구간 제거 + 재표집

그림 3. 같은 표준편차 σ를 GRPO는 나누어 극단 난이도를 증폭하고, Dr.GRPO는 나누지 않아 균일하게 두며, DAPO는 σ=0인 무음 구간을 잘라내고 재표집한다. 페블러스 원본 도식 (Fig. 3 재해석).

4.1GRPO — 나눈다

GRPO는 업데이트를 표준편차로 나눕니다. 그 결과 문제마다 난이도 가중치가 붙는데, 정답률 $p$인 문제의 가중치는 $w(p) = 1/\sqrt{p(1-p)}$ 형태가 됩니다.

$$w(p) = \frac{1}{\sqrt{p\,(1-p)}}$$

이 곡선은 양 끝, 즉 아주 쉽거나 아주 어려운 문제에서 치솟습니다. 극단 난이도 문제에 2배에서 5배까지 높은 가중을 실어 주는 것입니다. 그 덕에 GRPO는 가장 어려운 사분위 문제의 정답률을 0.99까지 끌어올렸습니다. 나눗셈이 남긴 부작용처럼 보였던 것이, 실은 어려운 문제를 놓치지 않게 붙잡아 주는 장치였던 셈입니다.

4.2Dr.GRPO — 나누지 않는다

Dr.GRPO는 그 나눗셈을 없앱니다. 난이도 가중치가 사라지니 학습은 문제 본래의 성공률 $p$를 그대로 따라갑니다. 편향 없는 깔끔한 신호이지만, 극단 난이도를 특별히 챙겨 주지는 않습니다. 앞의 실험에서 가장 어려운 사분위 문제의 정답률은 0.88에서 더 오르지 못하고 멈췄습니다.

4.3DAPO — 버린다

DAPO는 아예 무음 그룹을 배치에서 걷어내고 새로 표집합니다. 침묵하는 문제에 자원을 쓰지 않으니 학습이 가장 빠릅니다. 대신 무음을 걸러내고 유효 배치를 채우려면 약 3.5배 더 많이 표집해야 하는 오버샘플링 비용을 치릅니다.

비용은 난이도에 따라 가파르게 오릅니다. 논문이 정리한 그룹 크기 법칙에 따르면, 95% 신뢰도로 학습 신호를 얻으려 할 때 정답률이 반반인 문제는 샘플 11개면 충분하지만 정답률 5%인 문제는 69개가 필요합니다. 같은 확신을 얻는 데 약 6배 더 비싼 계산을 감수해야 한다는 뜻입니다.

5

알고리즘이 아니라 데이터 문제다

표준편차가 곧 업데이트 크기라는 항등식은, 결국 어떤 데이터가 모델을 가르치는가라는 오래된 질문을 훈련 수식 안에서 다시 확인해 줍니다. 정답과 오답이 갈리는 문제, 즉 모델이 아직 확실히 알지 못하는 문제가 학습을 이끕니다. 이미 다 아는 문제나 도저히 못 푸는 문제는 알고리즘을 GRPO에서 DAPO로 바꿔도 여전히 침묵합니다. 배움의 재료가 없는 문제는 어떤 옵티마이저로도 배움이 되지 않습니다.

그래서 순서가 뒤집힙니다. 세 알고리즘 중 무엇을 쓸지를 먼저 고민하기 쉽지만, 그보다 앞선 결정은 애초에 어떤 난이도의 문제를 훈련 세트에 넣는가입니다. 정답률을 미리 재서 반반 근처의 문제를 우선 담고, 극단 난이도는 따로 다루는 선별 전략이 이 논문의 수학적 결론과 정확히 맞닿습니다. 알고리즘은 표준편차를 어떻게 다룰지를 정할 뿐, 표준편차가 있을 만한 문제를 데이터에 넣는 일은 그 이전 단계에서 끝나야 합니다.

물론 이 항등식이 모든 것을 정리한 것은 아닙니다. 이후 나온 한 분석은 Dr.GRPO나 DAPO에도 여전히 암묵적 난이도 가중치가 남는다고 지적합니다. 그럼에도 방향은 분명합니다. 좋은 데이터가 정보량 있는 데이터라는 말은 훈련의 바깥에서 붙이는 수사가 아니라, 업데이트가 표준편차만큼만 일어난다는 식 안에서 이미 참입니다.

페블러스가 데이터의 정보량을 말할 때 가리키는 지점도 여기입니다. 모델이 확실히 아는 것과 전혀 모르는 것 사이, 응답이 갈리는 구간에 학습이 몰려 있습니다. 그 구간을 골라내는 일이 데이터 품질의 문제이고, 그것이 알고리즘 선택보다 앞섭니다.

R

참고문헌