Executive Summary

생성 AI는 학습 데이터가 두꺼운 곳, 그러니까 이미 있을 법한 조성만 잘 만든다. 정작 신소재가 숨어 있을 미탐색 영역은 데이터가 비어 있어 확률이 낮게 매겨지고, 모델은 그곳을 계속 비켜간다. 임페리얼칼리지런던의 박현수·에런 월시 연구진은 이 공백을 데이터가 아니라 보상으로 메웠다. 이 글은 그 방법과 결과를 본다.

핵심은 창의성·안정성·다양성을 한꺼번에 채점하는 검증 가능한 보상을 결정 구조 생성 모델에 붙인 것이다. 그 결과 준안정하면서 유일하고 새로운 구조의 비율(mSUN)이 15.9%에서 61.3%로 올랐고, 그때까지 가장 앞서 있던 MatterGen(41.0%)마저 넘어섰다. 다양성 지표는 소폭 내렸는데, 이는 하나의 숫자를 극대화한 게 아니라 여러 목표의 균형을 맞춘 설계의 흔적이다.

이 연구가 던지는 질문은 소재과학 너머로 이어진다. 좋은 데이터가 아예 없는 곳을 탐색시키려면 데이터의 부재를 무엇으로 메우는가. 이 논문의 답은 보상 설계, 곧 목표를 데이터처럼 정의하는 일이다.

15.9→61.3%

mSUN 급등

같은 베이스 모델에 RL 보상만 추가해 약 4배

41.0%

넘어선 최고 기준

그때까지 최고였던 MatterGen도 앞질렀다

≈0%

기존 유도의 붕괴

밴드갭을 CFG로 밀자 mSUN이 거의 0으로

97.5%

신규성(Novelty)

62.3%에서 급등 — 데이터에 없던 구조를 겨눔

1

생성 모델이 '확률 높은 곳'만 만드는 이유

확산 모델 같은 생성 AI는 화학적으로 그럴듯한 조성과 구조를 뽑아낼 수 있게 됐다. 그런데 이 모델들은 근본적으로 학습 데이터 분포에서 확률이 높은 것을 재생산하도록 최적화돼 있다. 확률이 높다는 것은 곧 그 근처에 데이터가 많다는 뜻이고, 데이터가 많다는 것은 이미 알려졌거나 비슷한 화합물이 많다는 뜻이다.

문제는 신소재가 있을 법한 자리가 바로 데이터가 얇은 곳이라는 데 있다. 아무도 아직 가 보지 않았으니 학습 데이터가 비어 있고, 그래서 모델은 그 영역에 낮은 확률을 매긴다. 우도가 높은 것을 뽑는 샘플링과, 아직 안 가 본 곳을 겨눈 탐색이라는 실제 목표가 서로 어긋난다. 논문은 이 어긋남을 목적 불일치라 부른다.

억지로 새로운 쪽으로 밀면 다른 벽에 부딪힌다. 모델을 다양성 쪽으로 강하게 유도할수록 열역학적으로 불안정하거나 물리적으로 말이 안 되는 구조가 쏟아진다. 반대로 안정성만 우선하면 이미 아는 조성 근처만 맴돈다. 이것이 신규성과 안정성이 서로 발목을 잡는 딜레마다. 아래 개념도가 그 지형을 요약한다.

화학 공간의 우도 지형 — 왜 신소재를 비켜가는가 확률(우도) 화학 공간(조성·구조) 데이터 두꺼운 곳 = 이미 알려진 조성 신소재 미탐색 영역 데이터 얇음 · 확률 낮음 보상이 이쪽으로 떠민다 우도를 따르면 왼쪽 봉우리에 머물고, 오른쪽 골짜기는 계속 비켜간다.

그림 1. 화학 공간의 우도 지형. 생성 샘플은 데이터가 두꺼운 봉우리에 몰리고, 신소재가 숨은 골짜기는 확률이 낮아 비켜간다. 페블러스 원본 도식.

2

보상으로 목표를 다시 정의하다

연구진의 출발점은 데이터를 더 모으는 것이 아니었다. 데이터가 없는 곳에서도 무엇이 좋은 결과인지를 규칙으로 채점할 수 있다면, 그 채점 함수가 빈 데이터의 자리를 대신한다. 그래서 이들은 결정 구조 생성 모델 Chemeleon2에 검증 가능한 보상을 붙이고 강화학습으로 다듬었다.

쓰인 알고리즘은 GRPO(Group Relative Policy Optimisation)다. 대형 언어 모델의 강화학습에서 쓰이던 기법을 결정 구조 생성에 옮겨 왔다. 핵심은 사람이 라벨링한 선호 데이터도, 별도로 학습한 보상 모델도 필요 없다는 점이다. 무엇이 좋은 구조인지를 물리·화학 규칙으로 직접 검증하고, 그 점수를 그룹 안에서 상대 비교해 정책에 반영한다.

보상은 세 축을 동시에 본다. 얼마나 안정한가, 얼마나 새로운가, 서로 얼마나 겹치지 않는가. 안정성은 에너지 볼록껍질 위 에너지(E_hull)로 재는데, 완전 안정(E_hull ≤ 0)보다 완화된 준안정(대체로 E_hull ≤ 0.1 eV/atom)을 기준으로 삼아 실험으로 합성해 볼 만한 구조까지 품는다. 새로움은 학습에 쓴 참조 데이터베이스에 이미 있는 구조와 겹치지 않는지로, 다양성은 생성된 배치 안에서 서로 중복되지 않는지로 채점한다.

이 세 축을 하나로 묶은 지표가 이 논문의 평가 기준인 mSUN이다. Metastable(준안정)·Unique(유일)·Novel(신규)을 동시에 만족하는 구조의 비율을 뜻한다. 완전 안정을 요구하던 기존 표준 지표 SUN의 완화판인 셈이다. 보상이 무엇을 재료로 삼아 하나의 신호로 합쳐지는지를 아래 도식에 정리했다.

검증 가능한 다목적 보상 — 세 축을 하나의 신호로 안정성 E_hull ≤ 0.1 eV/atom(준안정) 신규성 참조 DB에 없는 구조 다양성 배치 안 서로 중복 없음 mSUN 보상 준안정·유일·신규 동시 충족 GRPO 정책 갱신 학습된 보상 모델 없이 규칙으로 직접 검증 데이터가 아니라 채점 규칙이 '무엇이 좋은 구조인가'를 정의한다.

그림 2. 검증 가능한 다목적 보상의 구성. 안정성·신규성·다양성을 규칙으로 채점해 mSUN 신호로 합치고 GRPO가 정책을 갱신한다. 페블러스 원본 도식.

3

보상만 얹어 15.9%를 61.3%로 끌어올리다

효과는 컸다. Alex-MP-20 벤치마크에서 1만 개 구조를 생성해 재보니, 같은 베이스 모델의 mSUN이 15.9%에서 61.3%로 뛰었다. 모델 구조를 바꾼 게 아니라 보상 기반 강화학습만 얹은 결과다. 눈여겨볼 대목은 출발점이다. 강화학습을 얹기 전 Chemeleon2의 15.9%는 전작 Chemeleon1의 32.3%보다도, 그때까지 가장 앞서 있던 MatterGen의 41.0%보다도 낮았다. 최고 성능의 모델을 손본 게 아니라, 오히려 바닥에서 시작한 모델이 보상만으로 두 기준을 모두 제치고 61.3%에 올라선 것이다. 아래 그래프가 네 모델의 mSUN을 나란히 놓았다.

mSUN 비교 — Alex-MP-20, 1만 개 생성 기준 0% 41.0% MatterGen 기존 최고 베이스라인 32.3% Chemeleon1 15.9% Chemeleon2 RL 이전(베이스) 61.3% Chemeleon2+RL 본 논문 수치는 arXiv:2511.07158 부속표 기준(웹 교차 확인). 반올림으로 소폭 오차 가능.

그림 3. Alex-MP-20 벤치마크 mSUN 비교. 보상 강화학습을 얹은 Chemeleon2+RL이 기존 최고 베이스라인 MatterGen도 앞선다. 출처: Park & Walsh(arXiv:2511.07158)를 페블러스가 재구성.

숫자를 뜯어보면 균형의 설계가 보인다. 강화학습 이후 서로 겹치지 않는 정도(Uniqueness)는 99.4%에서 88.7%로 조금 내렸다. 대신 새로움(Novelty)이 62.3%에서 97.5%로, 준안정성이 51.2%에서 72.1%로 크게 올랐다. 하나의 지표를 극대화하려 했다면 이런 상쇄는 나오지 않는다. 여러 목표를 함께 밀어 올린 다목적 최적화의 흔적이다.

중요한 건 개선의 출처다. 더 큰 모델도, 더 많은 데이터도 아니었다. 같은 베이스 모델에 무엇이 좋은 구조인지를 채점하는 보상을 붙였을 뿐이다. 성능을 끌어올린 것은 데이터의 양이 아니라 목표의 정의였다.

4

밴드갭 3 eV를 '주문'해도 무너지지 않는 구조

더 실용적인 물음은 이것이다. 원하는 기능을 지정해서 소재를 주문 생산할 수 있는가. 연구진은 밴드갭 3 eV라는 특정 속성을 겨눠 구조를 생성하게 했다. 반도체·광소자 설계에서 밴드갭은 곧 소자의 성격을 좌우하는 값이라, 이런 역설계(inverse design)는 소재 AI의 대표 과제다.

비교 대상은 확산 모델의 표준 조건부 유도 기법인 CFG(Classifier-Free Guidance)였다. 512개 생성 구조의 밴드갭을 계산해 분포를 보니, CFG 계열은 0에서 5 eV까지 넓게 퍼진 채 3 eV 근처에 약한 군집만 만들었다. 목표를 정확히 겨누지 못한 것이다. 보상 기반 강화학습은 3 eV 부근에 뚜렷한 봉우리를 세웠다.

더 결정적인 차이는 구조의 타당성에서 갈렸다. CFG를 단독으로 적용하면 mSUN이 거의 0으로 붕괴했고, LoRA를 얹어 사전학습 편향을 보존하려 해도 개선 폭이 3%에 못 미쳤다. 원하는 방향으로 세게 밀수록 헛것을 만들어 낸 셈이다. 반면 보상 강화학습은 목표 속성을 맞추면서도 화학적으로 말이 되는 안정한 구조를 함께 지켰다.

밴드갭 3 eV 주문 — 유도 방식에 따른 결과 기존 방식 · CFG 목표 3 eV 0~5 eV로 넓게 퍼짐 mSUN ≈ 0 (구조 붕괴) 보상 강화학습 목표 3 eV 3 eV에 뚜렷한 봉우리 타겟 적중 + 유효성 유지

그림 4. 밴드갭 3 eV 타겟 설계 비교. CFG는 분포가 넓게 퍼지며 구조가 붕괴하고, 보상 강화학습은 목표에 봉우리를 세우면서 유효성을 지킨다. 출처: Park & Walsh(arXiv:2511.07158)를 페블러스가 재구성.

5

데이터의 부재를 보상 설계로 메우다

이 연구가 다룬 문제는 데이터 품질 논의의 정반대 극단에 있다. 대개 우리는 데이터를 정제하고 검증해 모델에 먹인다. 그런데 여기서는 애초에 먹일 데이터 자체가 없는 영역을 어떻게 다룰지가 관건이었다. 답은 데이터를 더 모으는 게 아니라, 무엇이 좋은가를 검증 가능한 규칙으로 정의하는 것이었다.

이 사고방식은 소재과학에만 갇히지 않는다. 좋은 학습 데이터가 얇거나 없는 곳을 탐색해야 하는 도메인, 이를테면 신약 후보 탐색이나 아직 사례가 쌓이지 않은 R&D 영역이라면 같은 물음이 반복된다. 데이터의 부재를 무엇으로 메우는가. 이 논문의 대답은 보상 설계, 곧 목표를 데이터처럼 정의하는 일이다.

같은 뿌리를 다른 각도에서 다룬 글이 페블러스 블로그에도 있다. 검증 보상형 강화학습이 학습한 데이터의 출처 추적 문제는 RL이 학습한 데이터의 출처를 아무도 원자 단위로 좇지 못한다는 이야기였다. 이 글은 그 반대편, 즉 데이터가 아예 없는 곳을 보상이 어떻게 채우는지를 본다. 넓게 보면 AI가 과학의 질문을 바꾸는 방식을 다룬 조망과도 이어진다. 세 편은 생성 AI·강화학습·데이터라는 삼각 구도의 서로 다른 꼭짓점이다.

Editor's Note

페블러스는 데이터를 정제·검증해 학습에 쓸 수 있게 만드는 AI-Ready Data를 다뤄 온 회사다. 이 논문이 보여 준 것은 그 문제의 거울상이다. 데이터가 있을 때는 품질과 계보를 따지지만, 데이터가 없을 때는 목표를 규칙으로 정의해 그 자리를 대신하게 한다. 무엇을 좋은 결과로 볼 것인가를 검증 가능한 형태로 적는 일은, 데이터를 다루는 일과 결국 같은 근육을 쓴다. 이 문단은 편집자 관점의 배경이며 본문의 분석과는 분리해 읽어 주기 바란다.

R

참고문헌

학술 논문

  • 1.Park, H., & Walsh, A. (2026). "Guiding Generative Models to Uncover Diverse and Novel Crystals via Reinforcement Learning." Nature Machine Intelligence. (발표 2026-07-06) — 1차 소스
  • 2.Park, H., & Walsh, A. (2025). "Guiding Generative Models to Uncover Diverse and Novel Crystals via Reinforcement Learning." arXiv:2511.07158. — 프리프린트(부속표 S1 수치)
  • 3.Park, H., Onwuli, A., & Walsh, A. (2025). "Chemeleon: A text-guided generative model for crystal structures." Nature Communications. — 전작(Chemeleon1)

코드·데이터셋

  • 4.Park, H. Chemeleon2 — VAE 인코딩 · latent diffusion · RL 파인튜닝 파이프라인. github.com/hspark1212/chemeleon2.
  • 5.Zeni, C., et al. (2025). "MatterGen: a generative model for inorganic materials design." (비교 베이스라인)
  • 6.Materials Project 기반 벤치마크셋 Alex-MP-20 / MP-20. materialsproject.org.

페블러스 인접