Executive Summary
스텔러레이터(stellarator, 한국핵융합에너지연구원은 '스텔라레이터'로 적는다)라는 핵융합로를 AI로 설계하려는 연구자를 위한 자료 한 벌이 지난주 arXiv에 올라왔다. 이름은 BoSS(Benchmark of Stellarator Simulations)이고, 모델이 아니다. 형상 18만여 개를 하나하나 돌려 고속 이온이 어디로 새는지 기록해 둔 데이터와, 그 위에서 모델을 채점하는 규칙이다. 페블러스는 전문까지 읽고 숫자를 다시 맞춰 적었다.
핵융합로 설계는 좋은 지표가 너무 비싸 설계 과정에 넣지 못하고 다 만든 뒤 진단에만 쓰던 분야였다. 플랫아이언 연구소 연구진은 그 비싼 평가를 먼저 돌려 데이터로 박제하고, 모델이 내놓은 설계를 다시 물리 시뮬레이션에 넣어 채점하는 절차를 못 박았다. 그랬더니 모델이 잘한 것과 못한 것이 같이 드러났다. 생성 모델이 내놓은 설계 가운데 손실이 적은 쪽은 43.6%였는데, 그 값은 이미 좋은 장치의 속성으로 조건을 줬을 때이고 조건을 무작위로 주면 6.7%까지 내려간다. 시험 집합에서 아무 장치나 뽑았을 때의 10.8%보다 낮은 수치다. 궤적 예측에서는 1 ms 지평의 궤적 정확도만 놓고 보면 세 모델 가운데 둘이 초기 상태를 그대로 내놓는 기준선에 졌다. 이 숫자들이 논문에 실린 이유는 모델이 나빠서가 아니라 채점 규칙에 기준선과 잡음 바닥이 들어 있었기 때문이다.
여기까지가 논문이 적은 것이다. 여기서부터는 우리 읽기다. BoSS가 보여 준 것은 AI가 핵융합로를 설계한다는 쪽이 아니라, 평가를 먼저 데이터로 만들어 두면 모델의 실패까지 같이 보인다는 쪽이다. 그리고 BoSS는 라벨의 정답을 물리 코드가 계산해 주는 드문 분야에 서 있다. 우리가 다루는 데이터는 대개 반대편에 있다. 정답을 계산해 줄 코드가 없고 사람이 판정한다. 그래서 이 글의 쓸모는 우리도 시뮬레이션을 돌리자가 아니라, 그런 자리에 무엇을 대신 세우느냐다.
43.6% → 6.7%
좋은 장치에서 조건을 뽑았을 때와 아무 데서나 뽑았을 때
아무 장치나 뽑으면 10.8%다. 세 수치 모두 ARIES-CS 규모로 되돌려 잰 저손실 설계 비율이다(4절)
18만여 개
미리 돌려 둔 평형의 수
궤적까지 저장한 장치는 2만여 대뿐이고, 그나마 1 ms 구간까지다(3절·6절)
25,000 A100시간
데이터를 쌓는 데 쓴 계산
CPU 50만 시간과 3TB가 더 붙는다. 비용을 시간 단위로 밝힌 데이터셋은 드물다(3절)
셋 중 둘
1 ms 지평의 궤적 정확도에서 아무것도 하지 않는 기준선에 진 모델
진 두 모델 다 10 µs에서는 기준선을 크게 이기고, 같은 표의 통계 두 줄에서는 셋 다 이긴다. 축과 지평을 적지 않으면 성적표가 아니다(5절)
10월 27일 올라온 것, 그리고 아직 올라오지 않은 것
BoSS는 2026년 10월 27일 세계표준시 저녁 7시 47분에 arXiv에 등록됐다. 한국시간으로는 10월 28일 새벽이다. 저자는 다섯 명이고 네 명이 뉴욕 플랫아이언 연구소 계산수학센터, 한 명이 코넬대 통계·데이터과학과 소속이다. 연구는 사이먼스 재단과 플랫아이언 연구소 과학계산 코어의 지원을 받았다.
먼저 상태부터 적어 둔다. 이 논문은 프리프린트다. 본문에 심사 링크가 openreview.net/forum?id=XXXX라는 플레이스홀더 그대로 박혀 있다. 학술지 양식만 입고 아직 게재가 확정되지 않았다는 뜻이다. 뒤에 나오는 수치는 모두 이 판본(v1)의 값이고, 개정판이 올라오면 달라질 수 있다.
공개된 것과 공개되지 않은 것도 갈라 둘 필요가 있다. 데이터는 CC BY 4.0, 코드와 학습된 모델은 아파치 2.0 라이선스다. 지표 계산 코드는 pip install boss-bench 한 줄로 받을 수 있고, 학습된 모델 세 종(손실 분율 예측·열 부착 위치 표집·역설계)은 허깅페이스에 ONNX까지 함께 올라와 있다. 반면 데이터 본체 3TB는 글로버스(Globus)를 거쳐야 하고 기관·구글·ORCID 계정 로그인이 필요하다. 그리고 데이터를 생성한 코드는 아직 공개되지 않았다 — 논문은 §8에서 "게재 시점에 공개할 예정"이라고만 적는다. 열려 있다고 적힌 것과 실제로 손에 쥘 수 있는 것이 같지 않다.
1.1이 분야에서 BoSS가 처음인 자리는 어디까지인가
BoSS를 소개하는 가장 짧은 말은 "첫 대규모 데이터셋"이지만, 논문 자신은 그렇게 쓰지 않았다. 초록 축자는 "the first large-scale dataset of guiding center simulations"이고, 기여를 정리한 §1에서는 "the first publicly available large-scale dataset of stellarators with GC simulation data and trajectories"로 범위를 한 번 더 좁힌다. 유도중심(guiding center) 시뮬레이션이라는 축에서 처음이라는 말이지, 스텔러레이터 데이터셋 중 처음이라는 말이 아니다. 같은 분야에 이미 더 큰 것들이 있다.
BoSS 논문의 관련 연구 절과 각 데이터셋의 1차 출처를 묶어 그렸다. QUASR의 규모가 범위로 적힌 것은 상시 갱신되는 데이터셋이라 인용 시점마다 20만·30만·37만으로 다르게 유통되기 때문이다. Landreman 2025와 BoSS는 같은 2025~2026년 축에 놓여 겹쳐 보이지 않도록 아래쪽에 적었다.
표로 옮기면 BoSS가 더한 칸이 한눈에 보인다. 규모만 보면 Landreman 2025의 자이로운동 시뮬레이션 20만 회가 더 크고, 데이터셋에 과제와 리더보드까지 붙인 일은 ConStellaration이 1년 4개월 먼저 했다. 남은 자리가 하나 있었고 BoSS가 그 자리를 채웠다. 고속 이온이 어디로 새는지를 대규모로 미리 계산해 공개한 사례는 없었다.
| 데이터셋 | 규모 | 미리 계산해 둔 것 | 채점 규칙 |
|---|---|---|---|
| QUASR (2024~) | 30만~37만 | 준대칭 장치의 형상과 코일 | 없음 |
| ConStellaration (2025.06) | 약 158,000 | 이상 자기유체역학 평형과 성능 지표 | 과제 3종 + 리더보드 |
| Landreman 2025 | 20만 회 이상 | 비선형 자이로운동 난류 수송 | 없음 |
| BoSS (2026.10) | 평형 18만여 개 | 고속 이온 유도중심 시뮬레이션과 궤적 | 과제 3종 + 지표 + boss-bench, 리더보드는 없음 |
각 데이터셋의 논문·배포 페이지에서 옮겼다. Landreman 2025의 "20만 회 이상"은 논문 축자 그대로이고, 그 안의 구성(어떤 형상에 몇 번씩)은 공개 자료에서 확인되지 않아 쪼개지 않았다. ConStellaration의 리더보드는 제출된 경계를 받아 벤치마크 코드로 직접 다시 평가한다. 근거는 6.1절에 적었다.
마지막 줄의 괄호가 이 글 뒤쪽의 복선이다. ConStellaration에는 리더보드가 있고 BoSS에는 없다. 두 데이터셋이 갈라지는 자리는 채점할 때 물리 코드를 부르느냐가 아니라 어디까지 부르느냐다. ConStellaration의 채점은 평형을 다시 푸는 데서 끝나고, BoSS의 채점은 평형을 푼 다음 알파 입자까지 다시 추적한다. 비싼 쪽을 자로 든 데이터셋에 리더보드가 없다. 4절이 그 자리다.
좋은 지표가 너무 비싸 설계에 못 들어가던 분야
스텔러레이터는 꼬인 3차원 자기장으로 플라즈마를 가두는 핵융합로다. 토카막이 플라즈마에 전류를 흘려 자기장 일부를 만드는 것과 달리, 스텔러레이터는 바깥 코일의 모양만으로 가둠을 만든다. 전류에 기대지 않으니 정상 운전에 유리한 대신 형상이 복잡해진다. 그래서 이 분야에서는 형상 설계 자체가 승부처이고, 설계 변수가 수십 개를 넘는 최적화 문제가 된다.
무엇을 잘해야 좋은 설계인가. 여러 기준이 있지만 하나는 양보가 어렵다. 중수소와 삼중수소가 융합하면 3.52 MeV짜리 알파 입자가 나오는데, 이 입자가 플라즈마 안에 머물러야 플라즈마가 스스로 뜨거워진다. 바깥으로 새어 나간 입자는 데우는 일을 못 할 뿐 아니라 벽을 때려 장치를 상하게 한다. 그래서 손실 분율, 즉 한계 시간 안에 새어 나간 고속 이온(알파 입자)의 비율이 핵심 지표가 된다. BoSS는 10% 이하를 성능이 양호한 쪽으로 본다.
문제는 이 지표를 재는 비용이다. 손실 분율을 알려면 입자 수천, 수만 개의 궤도를 시간에 따라 적분해야 한다. 궤도는 카오스적이라 초기 조건이 조금만 달라도 경로가 갈라지고, 입자를 유한한 수만 뿌리니 같은 장치를 두 번 재도 값이 조금씩 흔들린다. 게다가 설계 변수를 미세하게 움직였을 때 지표가 매끄럽게 따라 움직이지 않는다. 최적화 알고리즘이 가장 싫어하는 조합이다. 느리고, 잡음이 끼고, 기울기를 믿을 수 없다.
그래서 설계자들은 다른 자를 썼다. 준대칭처럼 계산이 싼 대리 지표를 최적화하고, 비싼 지표는 설계가 끝난 뒤 꺼내 확인하는 용도로만 쓴 것이다. 논문은 이 관행을 두 곳에서 적는다. 초록에서는 유도중심 시뮬레이션에서 나온 핵심 성능 지표가 설계 최적화 루프에 직접 넣기에는 비싸서 "거의 전적으로 진단용으로 쓰인다"(almost exclusively used as diagnostics)고 쓰고, 본문 §3 끝에서는 더 분명하게 적는다.
"불완전하게만 상관한다"는 문장이 이 글 전체의 뼈대다. 진짜 목표 대신 싸고 비슷해 보이는 것을 재기 시작하면, 모델은 재는 쪽을 잘하게 된다. 페블러스 블로그가 AI는 왜 시험은 잘 보는데 일은 못 할까에서 다룬 보상 해킹과 같은 구조이고, 거기서는 싼 지표를 맞히는 데 최적화된 모델이 실제 과제에서 무너지는 사례를 모았다. 핵융합로 설계에서는 그 구조가 모델이 아니라 사람의 설계 관행에 먼저 들어와 있었다.
2.1싼 자로 채점하던 쪽이 누구였나
여기서 한 가지가 눈에 걸린다. 2025년 11월, BoSS의 1저자가 참여한 다른 논문이 생성 모델로 스텔러레이터를 설계하는 문제를 머신러닝 커뮤니티에 공개했다. 「Diffusion for Fusion」(arXiv:2511.20445)이고, 그 논문은 생성된 설계를 "준대칭 이탈 5% 미만"이라는 자로 채점했다. 초록 축자는 "less than 5% deviation from quasisymmetry and the target characteristics"다. 즉 싼 대리 지표로 채점했다.
열한 달 뒤 같은 연구 계보가 낸 BoSS는 역설계 과제의 채점 자를 비싼 진짜 지표로 갈아 끼웠다. 생성된 경계를 기준 규모로 되돌려 평형을 다시 풀고 고속 이온을 다시 추적해 나온 손실 분율로 점수를 매긴다. 자를 바꾼 쪽이, 열한 달 전에 그 싼 자를 제안했던 사람들이다. 이 글이 BoSS에서 가장 흥미롭게 본 대목이 여기다.
⚠️ 오해를 막기 위해 경계를 적어 둔다. 같은 모델을 다시 채점해 점수가 떨어진 것이 아니다. 「Diffusion for Fusion」의 모델은 QUASR 기반의 진공·준대칭 설계를 다루고, BoSS 표 1의 확산 모델은 BoSS 데이터로 새로 학습한 다른 모델이다. 두 수치를 전후로 이어 붙이면 사실 오류가 된다. 바뀐 것은 점수가 아니라 채점 규약이다.
비싼 평가를 18만 번 먼저 돌렸다
BoSS가 한 일은 간단하게 말하면 이것이다. 설계자가 다 만든 뒤에야 한 번 돌리던 계산을, 장치 18만여 대에 대해 미리 돌려 놓았다. 공정은 세 단으로 되어 있다. 원본 설계를 골라 크기와 프로파일을 무작위로 바꾸고, 자기유체역학(MHD) 평형을 풀고, 그 평형 안에서 고속 이온을 추적한다. 마지막에 손실 분율·열 부착 패턴·궤적이 남는다.
논문 §4의 데이터 생성 절차와 비용 기술을 도식으로 옮겼다. 시간은 장치 한 대 기준이며 CPU 하나와 GPU 하나를 함께 쓴 값이다. 평균은 궤적을 저장하지 않을 때 15분, 저장할 때 약 20분이다.
전체 비용은 A100 기준 25,000 GPU시간, CPU 50만 시간 이상, 저장 용량 3TB 이상이다. 같은 작업을 공개 클라우드에서 온디맨드로 샀다면 컴퓨팅만 대략 1억 원에서 2억 원 사이가 된다. 다만 이 환산은 가정이 많다. 하이퍼스케일러의 A100 시세를 쓸지 전문 GPU 클라우드 시세를 쓸지에 따라 두 배 넘게 갈리고, 플랫아이언 연구소는 자체 클러스터를 상시 운영하니 실제 지출은 이 범위와 무관하다. 자릿수 감각으로만 쓸 수치다. 그래도 이 숫자를 적어 둔 것 자체가 드문 일이다. 비슷한 성격의 공개 데이터셋 아홉 곳을 훑어보면 계산 비용을 시간 단위로 밝힌 쪽은 BoSS와 OMat24 정도다.
3.1서로 다른 형상의 수는 18만이 아니다
여기서 숫자 하나를 바로잡아야 한다. 180,000은 평형의 수이지 서로 다른 경계 형상의 수가 아니다. 공정 ①이 하는 일이 바로 그것이다. 원본 장치 하나를 가져와 부반경을 0.4~2.4 m 사이에서, 평균 자기장을 4~10 T 사이에서 다시 뽑고 압력·전류 프로파일을 갈아 여러 번 등록한다. 같은 형상이 크기와 프로파일만 달리한 채 여러 줄로 들어가 있다는 뜻이다.
논문은 이 사정을 알고 있다. 학습·시험 집합을 가를 때 "표면 형상은 같고 크기나 프로파일만 다른 장치"를 걸러낸다고 적는다. 누수를 알고 막았다는 뜻이고, 데이터셋 설계로는 옳은 처리다. 그런데 고유 경계 형상이 몇 개인지는 논문 어디에도 없다. 막은 것은 적었는데 막은 양은 적지 않았다. 페블러스의 DataClinic이 고객 데이터셋에서 반복해 찾아내는 근중복 문제와 같은 모양이고, 거기서도 항목 수와 고유 항목 수의 간격이 성능 수치를 통째로 흔든다.
형상의 출처도 적어 둘 필요가 있다. BoSS는 형상을 처음부터 만들지 않았다. QUASR, ConStellaration, Kappel 외(2024), 옴니제너시 데이터베이스를 합쳐 150만 개가 넘는 기존 공개 설계에서 후보를 골랐다. 거기에 BoSS가 새로 얹은 것은 네 가지다. 압력·전류 프로파일, 유도중심 시뮬레이션, 능동학습으로 추가한 장치 21,000대 이상, 그리고 무작위로 생성한 회전타원 장치 약 8,000대다. 쌓을 수 있었던 것은 앞서 형상을 공개한 사람들이 있었기 때문이고, BoSS가 더한 층은 형상이 아니라 평가다.
3.2짐작은 없어도 선택은 있다
물리 코드가 라벨을 계산해 주는 분야라면 정답에 사람의 짐작이 끼지 않는다. 그 점에서 BoSS는 드문 자리에 있다. 페블러스가 신약을 찾는 AI는 사람이 짐작한 원자를 정답으로 배운다에서 다룬 쪽은 정반대였다. 거기서는 수소 원자가 어디 붙어 있는지를 사람이 규칙으로 정해 라벨로 넣었고, 그 짐작이 모델의 예측에 그대로 흘러 들어갔다.
다만 짐작이 없다고 해서 선택까지 없는 것은 아니다. BoSS의 "정답"에는 사람의 결정이 줄줄이 박혀 있다. 아래가 그 목록이고, 각 줄이 라벨의 뜻을 바꾼다.
- 한계 시간 0.1초. 그 안에 안 새면 가둔 것으로 친다. 더 길게 잡으면 손실 분율이 올라간다.
- 손실 판정선 s = 0.98. 입자가 이 자기면을 넘으면 손실로 센다. 본문 설명은 마지막 닫힌 자기면(s = 1)을 기준으로 말하지만 실제 코드의 판정선은 그 안쪽이다.
- 장치당 입자 15,000개, 궤적을 저장할 때는 6,000개. 출생 자기면은 s = 0.1·0.25·0.5 세 곳이다.
- 충돌 무시. 입자끼리의 충돌을 계산에 넣지 않는다. 실제 플라즈마에서는 충돌이 있다. 논문도 §7에서 쿨롱 충돌을 넣은 시뮬레이션을 다음 판의 과제로 적는다.
- 평형이 수렴하지 않은 장치는 버린다. 버려진 쪽이 어떤 설계였는지는 데이터에 남지 않는다.
- 재평가 기준 규모는 ARIES-CS 하나로 통일(부반경 1.7 m, 평균 자기장 5.86 T). 뒤에 나오는 성적은 전부 이 규모로 되돌려 잰 값이다.
이 목록을 읽는 방법은 두 가지다. 하나는 "그래서 못 믿겠다"이고, 다른 하나는 "그래서 적어 둔 것이 중요하다"다. 후자가 맞다고 본다. 선택이 없는 라벨은 없고, 다만 그 선택이 문서에 적혀 있는 라벨과 적혀 있지 않은 라벨이 있을 뿐이다. BoSS는 적어 둔 쪽이다. 그 가운데 하나는 뒤에서 다시 돌아온다. 궤적은 1 ms까지만 저장했는데 가둠 판정의 한계 시간은 0.1초다. 100분의 1 구간이다.
조건을 누가 고르느냐에 따라 성적이 뒤집힌다
1절 끝에 걸어 둔 복선을 여기서 푼다. 2025년 6월 프록시마 퓨전과 허깅페이스가 낸 ConStellaration은 초록에서 이렇게 자랑했다. 자기네 데이터셋으로 학습한 모델이 "비싼 물리 오라클을 부르지 않고도"(without querying expensive physics oracles) 새롭고 실현 가능한 형상을 효율적으로 생성한다는 것이다. 물리 코드를 안 불러도 된다는 것이 셀링 포인트였다.
그 문장이 가리키는 자리는 생성 쪽이다. 학습된 모델이 형상을 뽑아내는 동안에는 물리 코드를 부르지 않아도 된다는 뜻이지, 채점도 안 한다는 뜻이 아니다. 실제로 ConStellaration의 리더보드는 제출받은 경계를 벤치마크 코드에 넣어 평형을 다시 풀고 지표를 다시 계산한다. 참가자가 올리는 것은 점수가 아니라 경계이고, 채점은 고정된 버전의 코드가 서버에서 한다.
BoSS의 역설계 과제는 거기서 한 단을 더 간다. 모델이 경계 형상 하나를 내놓으면, 그 형상을 ARIES-CS 규모로 되돌려 평형을 풀고 거기서 멈추지 않고 알파 입자 5,000개를 다시 추적해 손실 분율을 매긴다(데이터를 쌓을 때의 15,000개보다 적다). 설계 과정에서 빼냈던 비싼 오라클을 채점 자리에 그대로 되돌려 놓은 것이다. 같은 분야, 16개월 간격, 다른 기관이 물리 코드를 어디까지 부를 것인가에 다르게 답했고, 그 차이가 숫자로 나온다.
4.1같은 모델, 같은 자, 다른 조건
BoSS가 역설계 과제에 올린 방법은 둘이다. 하나는 확산 모델(Diffusion)이고 다른 하나는 대리 모델을 쓴 최적화(SurrogateOpt)다. 둘 다 원하는 손실 분율·형상·자기장·프로파일을 조건으로 받아 경계를 내놓는다. 표 1의 핵심 칸은 "내놓은 설계 가운데 손실 분율이 10% 미만인 비율"이다.
확산 모델은 진공 조건에서 43.6%를 받았다. 열 개 중 네 개 넘게 쓸 만한 설계를 냈다는 뜻이니 꽤 좋은 성적으로 읽힌다. 그런데 논문 §6.1의 결과 절이 그 옆에 두 수치를 더 적어 둔다. 하나는 조건을 바꿨을 때의 값이고, 하나는 기준선이다. 세 수치를 같이 읽어야 뜻이 생긴다. 셋 다 분모가 같다. ARIES-CS 규모로 되돌려 재평가했을 때 손실 분율이 10% 미만인 설계의 비율이다.
논문 표 1과 §6.1 결과 절의 수치를 한 축에 모았다. 세 막대는 분모가 같고, 그 분모는 바로 위 문단에 적었다. 가운데 막대는 모델이 만든 설계가 아니라 시험 집합에서 뽑은 기존 장치의 성적이고, 자기 원래 규모에서 재면 12%다. 손실 목표를 2~20% 전체로 넓히면 오른쪽 값은 7.2%가 된다.
왼쪽 43.6%는 이미 손실 분율이 10% 미만인 시험 장치의 속성 벡터를 조건으로 줬을 때의 값이다. 좋은 답을 아는 상태에서 그 답의 특징을 알려 주고 비슷한 것을 그리게 한 셈이다. 오른쪽 6.7%는 무작위 시험 장치의 조건을 쓰되 손실 목표만 10%로 덮어썼을 때다. 같은 모델이고 같은 자인데 조건을 어디서 뽑느냐만 바꿨다. 그리고 그 값은 아무 장치나 뽑았을 때의 10.8%보다 낮다. 가운데 막대는 모델 없이 얻는 성적이니, 오른쪽 조건에서는 모델이 기여를 하지 못한 것이 아니라 빼앗고 있다는 읽기가 가능해진다.
왜 그렇게 갈리는지는 논문이 두 군데에 적어 두었다. 하나는 43.6% 쪽 조건을 그렇게 고른 까닭이다. 저손실 장치에서 조건을 뽑으면 손실 목표 말고 나머지 속성까지 한 장치에서 같이 오므로, 요구 자체가 서로 모순되지 않는다. 논문 축자로는 "그 조건들이 저손실 장치를 생성할 가능성을 애초에 배제하지 않도록 보장한다"는 것이다. 반대쪽은 아무 장치의 속성 벡터에 손실 목표 한 칸만 10%로 덮어쓴 요청이라, 목표 혼자 나머지 속성과 어긋난 채 튀어나간다.
다른 하나는 부록 D의 측정이다. 생성된 설계가 받은 조건을 얼마나 지키는지 재 보니 손실 분율의 절대오차 중앙값은 0.026, 거울비는 2.0%, 종횡비는 0.5%였다. 전체로는 작다. 그런데 이 오차가 목표에 따라 균일하지 않다. 요구한 손실 분율이 2% 이하인 구간에서는 부호 있는 오차의 중앙값이 +0.085인데, 중간 범위에서는 +0.003이다. 부록이 붙인 해석은 "아주 낮은 손실 목표에서는 모델이 전형적인 장치 쪽으로 회귀한다"이고, 전체 오차가 작아 보이는 것은 조건으로 쓴 장치 대부분이 극단이 아니라 중간 성능이었기 때문이라고 덧붙인다. 요구가 분포 바깥으로 갈수록 모델이 평균 쪽으로 물러선다는 뜻이다. 조건을 바꿨을 때 성적이 무너진 자리와 같은 자리다.
이 세 수치가 논문에 나란히 실린 것이 중요하다. 43.6%만 적고 끝냈어도 아무도 몰랐을 것이다. 그렇게 안 한 이유는 채점 규칙에 무작위 기준선이 들어 있었기 때문이다. 기준선이 표에 없으면 43.6%는 좋은 성적이고, 기준선이 표에 있으면 6.7%는 나쁜 성적이 된다. 같은 데이터에서 두 결론이 나오고, 어느 쪽이 보이는지는 데이터가 아니라 채점 규칙이 정한다.
4.2공정하게 — 모델이 잘한 것도 같이 적는다
비판만 쌓으면 이 표를 잘못 읽는 것이다. 표 1에는 모델이 분명히 잘한 칸도 있다. 대리 모델 최적화는 진공 조건에서 52.6%로 확산 모델을 앞섰고, 조건 붕괴 함정도 겪지 않는다. 확산 모델은 종횡비를 중앙값 오차 0.3%로 맞히고, 거울비 제약을 1.1배까지 완화하면 97.4%가 들어온다. 유한 베타 조건에서는 확산 모델이 60.9%로 올라선다. 아래 표가 두 방법의 성격 차이를 보여 준다.
| 지표 | 확산 모델 | 대리 모델 최적화 |
|---|---|---|
| 저손실률 (진공, N=417 / N=97) | 43.6% | 52.6% |
| 저손실률 (유한 베타, N=169 / N=109) | 60.9% | 37.6% |
| 종횡비 오차 중앙값 (진공) | 0.3% | 3.7% |
| 거울비 제약 충족 (진공) | 10.1% | 20.6% |
| 거울비 제약 1.1배 완화 (진공) | 97.4% | 41.2% |
| 한 개를 내놓는 비용 | GPU에서 1초 미만 | CPU 82코어 × 약 1시간 |
논문 표 1은 지표 다섯 개를 진공과 유한 베타 두 조건에서 적어 열 행이고, 위 표는 그 가운데 두 방법의 성격 차이가 드러나는 다섯 행에 본문의 비용 한 줄을 더해 옮겼다. 떨군 다섯 행은 저손실률 15% 기준 두 행(진공 48.4% 대 64.9%, 유한 베타 71.6% 대 50.5%), 유한 베타 쪽 거울비 두 행(20.7% 대 29.4%, 98.8% 대 45.0%), 유한 베타 종횡비 오차 한 행(0.4% 대 3.6%)이다. 다섯 행 모두 같은 지표의 다른 조건 행과 우열 방향이 같아 결론이 달라지지 않는다. 15% 기준을 논문이 따로 적은 이유는 국소 보정으로 문턱을 넘길 만한 아깝게 빗나간 설계를 세기 위해서다. 학습 비용은 확산 모델이 A100 네 장으로 약 80시간, 대리 모델이 약 2 A100시간이다. 대리 모델 최적화는 그 뒤 최적화를 반복해 예측 손실 10% 미만인 해답 206개를 만들었다.
표에 없는 칸이 하나 더 있다. 생성 모델을 볼 때 가장 먼저 묻게 되는 질문, 학습 데이터를 베낀 것 아닌가에 논문이 수치로 답했다. 부록 D는 생성된 경계와 학습 집합에서 가장 가까운 경계 사이의 거리를 부반경 단위로 쟀다. 중앙값은 0.126이고, 35%는 0.2를 넘고 20%는 0.3을 넘는다. 평가한 설계 4,420개 가운데 학습 경계에서 0.005 안쪽에 들어온 것은 하나도 없었다. 논문이 그림 7에 고른 다섯 설계는 손실 분율이 각각 5.8%·4.5%·4.9%·0.0%·0.7%이면서 모두 가장 가까운 학습 경계에서 0.17 부반경 이상 떨어져 있다. 잘 가둔 설계를 주로 학습 데이터 근처에서 찾되 베껴 오지는 않는다는 것이 논문의 요약이다. 43.6%를 깎는 읽기와 이 숫자는 따로 선다.
두 방법은 서로 다른 장사를 한다. 확산 모델은 학습에 크게 쓰고 생성은 사실상 공짜다. 대리 모델 최적화는 학습이 싼 대신 해답 하나를 얻을 때마다 CPU를 다시 돌려야 한다. 설계 탐색을 수만 번 돌려야 하는 상황이라면 앞쪽이, 몇백 개만 정밀하게 뽑으면 되는 상황이라면 뒤쪽이 맞는다. 조건 붕괴를 겪지 않는 대리 모델 최적화에도 대신 다른 함정이 있다. 최적화가 대리 모델이 그린 목적함수의 나쁜 국소 최소나 모델이 잘 일반화하지 못하는 영역으로 빠질 수 있다는, 이 방법의 알려진 문제다. 확산 모델은 모델이 자신 있는 영역에서 표집하니 그 함정은 피한다. 그래서 논문은 실용적으로는 확산 모델이 대리 모델 최적화보다 훨씬 쓰기 쉽다고 적는다.
논문도 어느 쪽이 이겼다고 선언하지 않고 분포 밖 생성을 남은 숙제로 이름 붙인다. 6.7%가 바로 그 숙제의 크기다. 숙제를 푸는 방향도 하나 적어 두었다. 확산 모델의 저손실률이 그만한 수준에 그친 것은 사후 학습의 여지를 가리킨다는 것이고, 온라인이든 오프라인이든 강화학습으로 손실 분율이 낮은 장치를 뽑을 확률을 올릴 수 있다고 본다. 지금 수치가 모델 구조의 천장이라는 주장이 아니라는 뜻이다.
생성한 설계를 다시 물리로 검증하는 구조는 다른 분야에도 있다. 페블러스가 다룬 AlphaFold이 접은 단백질을, 이제 AI가 처음부터 설계한다에서는 생성된 단백질을 실험실 합성까지 밀어 보는 것이 최종 채점이었고, SELECTBENCH는 신약 후보를 새 채점 축으로 다시 재니 기존 순위가 달라지는 사례였다. BoSS의 6.7%도 같은 계열이다. 채점 축을 하나 바꾸면 점수가 바뀐다.
모델 점수만 적힌 표는 읽을 수 없다
BoSS의 나머지 두 과제는 역설계가 아니라 예측이다. 하나는 손실된 이온이 벽 어디를 때리는지(열 부착 패턴)를 맞히는 일이고, 다른 하나는 입자 궤적 자체를 시간에 따라 밀어 보는 일이다. 두 과제의 결과표에는 역설계 쪽에 없던 줄이 하나씩 더 붙어 있다. 하나는 정답의 흔들림이고 다른 하나는 아무것도 하지 않는 예측기다. 이 절은 그 둘에 관한 이야기다.
5.1정답 쪽의 흔들림을 먼저 수치로 박았다
3절에서 적었듯 손실 분율은 입자를 유한한 수만 뿌려 재는 값이라 같은 장치를 두 번 재도 조금씩 달라진다. 열 부착 패턴도 마찬가지다. 그러면 완벽한 예측기를 가져다 놓아도 지표가 0이 되지 않는다. 표집 잡음만큼은 남는다. 그 남는 값이 몬테카를로 바닥이다. 완벽한 예측기도 표집 잡음 때문에 0이 못 되는 값이라는 뜻이고, BoSS는 이걸 먼저 계산해 결과표에 같이 실었다.
| 지표 (중앙값) | IID 모델 | PointNet | 몬테카를로 바닥 | 바닥 대비 |
|---|---|---|---|---|
| 에너지 분포 거리 (ED) | 0.0306 | 0.0358 | 0.019 | 1.6배 |
| 열속 16×16 | 0.3447 | 0.3824 | 0.187 | 1.84배 |
| 열속 32×32 | 0.5720 | 0.6134 | 0.384 | 1.49배 |
| 손실 분율 중앙값 절대오차 | 0.0186 | 0.0183 | — | — |
논문 표 2. 시험 표본은 열속·손실 분율이 74,763건, 에너지 분포 쪽이 72,512건이다. 맨 오른쪽 칸은 IID 모델의 값을 바닥으로 나눈 값으로, 논문에 있는 수치가 아니라 이 글이 두 열에서 계산했다. 논문 표 2의 캡션은 이 성적을 "거의 바닥에 닿았다"고 표현하지만, 실제 간격은 1.5배에서 1.8배다.
캡션의 표현과 수치 사이에 간격이 있다는 점은 짚어 두는 편이 낫다. 다만 그 간격을 독자가 계산할 수 있다는 사실이 더 중요하다. 바닥 칸이 표에 없었다면 0.3447이라는 값이 좋은지 나쁜지 판단할 근거가 아예 없다. 모델 오차를 라벨 잡음에 대고 읽는 것, 이것이 BoSS가 채점에 세워 둔 첫 번째 부품이다.
5.2긴 지평에서는 셋 중 둘이 기준선에 졌다
궤적 과제의 표 3에는 Stationary라는 줄이 있다. 입자의 초기 상태를 그대로 내놓고 끝내는 예측기다. 아무것도 학습하지 않고 아무것도 계산하지 않는다. 이런 널 기준선을 표에 함께 놓는 관행은 과학 분야 머신러닝에서 낯설지 않다. 기상 예측 벤치마크는 마지막 관측을 그대로 미는 지속 예측(persistence)을 최소 시험으로 두고, 모델이 동역학 정보를 실제로 더했는지를 그 선으로 가른다. BoSS 표 3은 그 관행을 핵융합로 설계에 들여온 자리다.
논문 표 3의 정규화 제곱근 평균 오차를 지평별로 이은 그림이다. 값이 작을수록 좋고, 굵은 검은 선이 아무것도 하지 않는 기준선이다. 세로 눈금이 1.2에서 잘려 있어 선들이 위쪽에 몰려 보이지만, 세 지평의 값은 모두 그림 안에 있다. 부트스트랩 표준오차는 0.0004 미만이라 선 굵기보다 작다. 표 3에는 이 세 줄 말고 손실 분율 오차와 가둠 시간 거리 두 줄이 더 있는데, 그 두 줄은 우열 방향이 반대여서 그림에 섞지 않고 아래 본문에 따로 적었다.
그림의 왼쪽 끝과 오른쪽 끝이 다른 이야기를 한다. 10 µs 지평에서 자기회귀 MLP는 0.261로 기준선 1.019를 크게 이긴다. 네 배 가까이 정확하다. 그런데 999 µs 지평에서는 자기회귀 MLP가 1.046, 자기회귀 트랜스포머가 1.094로 기준선 1.038 위로 올라간다. 세 모델 중 둘이 아무것도 하지 않기보다 나쁘다. 끝까지 기준선 아래를 지킨 것은 지평 전체를 한 번에 예측하는 Direct-MLP(0.862) 하나다. 논문 본문도 여기서 물러서지 않는다. "어떤 모델도 1 ms까지 어떤 채널도 믿을 만하게 예측하지 못한다"(no model predicts any channel reliably to 1 ms)고 적는다.
이유 자체는 놀랍지 않다. 자기회귀 모델은 자기 예측을 다시 입력으로 받아 밀고 나가니 오차가 누적되고, 어느 지점부터는 차라리 가만히 있는 편이 나아진다. 더구나 두 자기회귀 모델의 학습 구간은 100 µs까지였고 Direct-MLP만 1 ms 전체를 봤다. 세 모델의 크기는 약 1,000만 파라미터로 맞췄다. 놀라운 것은 결과가 아니라 이 결과가 표 3에 그대로 실렸다는 사실이다. 기준선 행이 없었다면 "1 ms에서 오차 1.046"은 그저 숫자 하나였을 것이다.
다만 표 3은 위 그림이 그린 세 줄로 끝나지 않는다. 지평별 궤적 오차 아래에 두 줄이 더 있고, 그 두 줄에서는 세 모델이 모두 기준선을 이긴다. 손실 분율의 평균절대오차는 Stationary가 0.183인데 AR-MLP 0.104, AR-트랜스포머 0.118, Direct-MLP 0.137이다. 가둠 시간 분포의 바서슈타인 거리는 Stationary가 159.8 µs, AR-MLP가 79.4 µs로 절반 아래다. 긴 지평에서 기준선에 졌던 바로 그 AR-MLP가 두 줄 다 1등이다.
논문은 이 어긋남을 결론으로 삼는다. 궤적 예측 정확도가 나쁜 모델도 통계는 맞힐 수 있다는 것이다. 입자 하나의 경로를 1 ms 동안 따라가는 일과, 그 입자들이 언제 어디로 새는지의 분포를 맞히는 일은 다른 과제다. 그러니 "셋 중 둘이 널 기준선에 졌다"는 궤적 정확도 축의 이야기이고, 같은 표의 통계 축에서는 셋 다 기준선을 넘는다. 널 기준선 행이 보여 준 것은 모델이 못한다는 사실이 아니라 어느 축에서 되고 어느 축에서 안 되는지가 갈린다는 사실이다. 그 갈림은 기준선이 표에 있어야만 보인다.
진 이유도 논문이 실험으로 좁혀 두었다. 부록 G의 학습 지평 절제 실험은 학습 구간을 늘리면 긴 지평에서 예측이 유효한 범위가 늘어나면서 짧은 지평의 성능은 희생되지 않는다는 결과를 낸다. 두 자기회귀 모델이 1 ms에서 무너진 것은 구조의 천장이라기보다 100 µs까지만 보고 배운 결과에 가깝다는 뜻이다. 다만 전 구간을 학습에 넣으려면 계산 비용이 크게 올라가서, 논문은 그러려면 구조와 학습 절차를 다시 짜야 한다고 적는다. 기준선도 하나가 아니었다. Stationary 말고 장치별 입자의 평균 상태를 내놓는 device mean이 두 번째 참조 예측기로 함께 쓰였고, 긴 지평에서 그 선 아래를 지킨 모델 역시 Direct-MLP 하나다.
설계 과제에서 검증기가 자리를 지키면 어떤 일이 보이는지는 페블러스도 다른 주제로 세어 봤다. BrickBench 레고 설계 시험에서는 조립 가능 여부를 검사하는 도구를 빼자 대부분의 설계가 무너졌고, 물리 엔진을 모션캡처로 채점한 글에서는 물리 자체를 자로 쓸 때의 한계가 드러났다. BoSS의 기준선 행은 같은 계열의 부품이다. 채점 규칙에 기준선과 잡음 바닥이 들어 있으면 실패가 보인다.
그리고 3절 끝에 적어 둔 간격이 여기서 돌아온다. 궤적 과제가 보는 1 ms는 가둠 판정이 쓰는 0.1초의 100분의 1이다. 궤적 과제는 헤드라인 지표가 정의되는 시간 눈금에 끝내 닿지 못한다. 그 100분의 1 구간에서 이미 셋 중 둘이 궤적 정확도로는 널 기준선에 졌다.
아직 비어 있는 자리
앞 절들이 BoSS가 세운 것을 셌다면 이 절은 아직 안 세운 것을 센다. 네 자리가 비어 있고, 네 자리의 성격이 서로 다르다. 하나는 데이터의 한계, 하나는 문서의 공백, 하나는 배포 경로, 하나는 아직 아무도 모르는 쪽이다.
| 비어 있는 자리 | 무엇이 없나 | 무엇에 영향을 주나 |
|---|---|---|
| 궤적의 범위 | 18만여 대 가운데 2만여 대에만, 그나마 1 ms까지 (궤적 수로는 1억 개가 넘는다) | 궤적 과제가 헤드라인 지표의 시간 눈금에 못 닿는다 |
| 고유 형상 수 | 평형 18만여 개가 몇 개의 형상에서 나왔는지 | 데이터셋의 실질 다양성을 바깥에서 검증할 수 없다 |
| 채점 서비스 | 제출받아 물리로 재검증해 순위를 매기는 공개 서비스 | 각자 자기 컴퓨터에서 채점해 자기 수치를 보고하게 된다 |
| 데이터 생성 코드 | 공정 ①~③을 돌린 코드 (게재 시점 공개 예정) | 데이터를 늘리거나 설정을 바꿔 다시 만들 수 없다 |
논문 §4~§8과 공식 사이트의 배포 안내를 대조해 정리했다. 네 자리 모두 논문이 숨긴 것이 아니라 적어 둔 것이거나 적지 않은 것이고, 이 표는 그 둘을 가른다. 고유 형상 수만 적지 않은 쪽이다.
6.1채점 코드는 있는데 채점해 주는 곳이 없다
셋째 줄이 이 분야의 현재를 가장 잘 보여 준다. BoSS에는 지표와 채점 코드가 있다. pip install boss-bench로 받아 자기 모델을 재 볼 수 있다. 그런데 제출을 받아 물리로 다시 검증하고 순위를 붙이는 서비스는 없다. 논문 §7은 그런 서비스를 미래 과제로 적는다. 스텔러레이터 설계 파이프라인과 지표를 "공개된 서비스로 묶으면" 머신러닝 연구자가 물리 코드를 돌리지 않고도 자기 설계를 검증할 수 있고, 물리적 의미에 관한 주장이 "검증 가능해지고 과장되지 않을 것"이라는 문장이다. 지금은 없다는 뜻이기도 하다.
반대쪽에는 ConStellaration이 있다. 허깅페이스에 리더보드가 상설로 돌아가고 2026년 10월에도 운영 중이다. 그리고 이 리더보드는 점수를 받아 적는 곳이 아니다. 공개된 코드를 보면 참가자가 올리는 것은 경계 형상을 담은 JSON이고, 서버가 그 경계를 벤치마크 패키지에 넣어 과제 세 종의 평가 함수를 직접 돌린다. 세 과제 모두 평형 계산을 거치며, 운영자가 기존 제출을 다시 채점할 수 있는 관리자 경로까지 있다. 버전도 고정해 둔다. 저장소 안내는 리더보드가 모든 제출을 지정된 그 버전으로 평가하므로 손에서 같은 버전으로 계산한 점수가 리더보드 값과 일치한다고 적는다. 다만 참여는 얇다. 과제 세 종의 제출은 각각 69건·44건·51건이고 사용자는 39명·20명·6명이다. 열다섯 달 가까이 운영하고도 우승자 발표가 없다.
그러니 이 분야의 현재는 오라클이 있고 없고로 갈리지 않는다. 갈리는 것은 어느 오라클을 자로 들었고, 그 자를 남이 쓸 수 있게 열어 두었는가다. ConStellaration은 평형까지의 자를 리더보드로 열어 두었고, BoSS는 알파 입자 추적까지 가는 더 비싼 자를 들었는데 그 자를 남이 쓸 창구는 아직 없다. 비싼 자와 열린 창구를 함께 가진 곳이 없다는 말이다. BoSS가 서비스를 내놓지 않은 것이 유별난 일도 아니다. 비슷한 성격의 공개 데이터셋 아홉 곳 가운데 제출·채점 서비스를 갖춘 쪽은 오픈 카탈리스트 계열과 ConStellaration 둘뿐이고, 나머지는 전부 데이터만 공개한다. "데이터만 공개"가 이 분야의 기본값이다.
6.2라이선스는 열려 있고 문은 반쯤 닫혀 있다
1절에서 갈라 둔 두 경로가 여기서 다시 문제가 된다. 라이선스가 여는 문과 배포 경로가 여는 문의 폭이 다르다. CC BY 4.0은 출처만 밝히면 누구나 다시 쓰고 다시 배포하도록 허락하는데, 정작 본체를 손에 쥐려면 계정을 만들고 로그인을 거쳐야 한다. 반면 학습된 모델 세 종은 허깅페이스에서 바로 내려받을 수 있다. 그러니 실제로 많은 사람이 만나게 될 BoSS는 3TB 쪽이 아니라 그 모델 쪽일 가능성이 높다.
비용 이야기로 한 번 더 돌아가 보자. 3절에서 적은 1억 원 안팎의 계산은 한 번 쓰고 버리면 비싸다. 여러 팀이 같은 데이터를 반복해 재사용해야 회수된다. 그래서 BoSS의 비용 구조는 투자수익률 계산보다 한 번 짓고 여러 번 빌려주는 공공 인프라에 가깝다. 그런데 그 재사용을 지금 측정할 방법이 없다. 채점 서비스가 없으니 누가 썼는지 집계되지 않고, 허깅페이스 모델 카드에는 좋아요가 아직 0이며 다운로드 집계도 잡히지 않는다. 영어권과 한국어권 모두 보도는 0건이다. 공정하게 적자면 6일은 짧다. 이 문단은 판정이 아니라 기준점이다.
6.3저자들이 스스로 적어 둔 경고
마지막 자리는 논문이 스스로 적었다. 광범위한 영향(Broader Impact) 절의 문장이다.
물리적으로 불가능한 값을 모델이 자신 있게 채워 넣는 일은 다른 과학 분야에서도 관찰됐다. 페블러스가 다룬 0이어야 할 압전 계수를 채워 넣은 소재 예측 모델이 그런 사례다. 대칭성 때문에 반드시 0이어야 하는 자리에 모델이 0이 아닌 값을 내놓았고, 데이터만 보면 그럴듯했다. BoSS의 경고는 같은 방향을 가리킨다. 채점을 통과한 설계가 물리를 이해한 설계는 아니다. 덧붙여, 논문은 저자들이 스크립트 개발과 실험 수행, 원고 검토에 대규모 언어 모델을 썼다는 사실도 §9에 따로 밝혀 둔다. 적어 두는 쪽을 택한 문서라는 인상은 여기서도 일관된다.
페블러스 관심의 이유
계산할 수 없다면 무엇을 대신 세울 것인가
BoSS는 모델을 만들기 전에 평가를 데이터로 만들어 두는 일의 교과서다. 다만 교과서를 그대로 베낄 수는 없다. 페블러스가 손에 쥐는 데이터에는 알파 입자를 대신 쫓아 줄 코드가 없다. 그래서 이 글을 읽고 "우리도 시뮬레이션을 돌리자"로 가면 아무 데도 닿지 못한다. 가져올 수 있는 것은 시뮬레이터가 아니라 성적표의 구조다. BoSS가 세운 셋은 물리 코드 없이도 그대로 세워진다.
| BoSS가 세운 것 | 물리 코드가 없는 데이터에서의 대응물 |
|---|---|
| 널 기준선 Stationary · 무작위 추출 10.8% |
아무것도 하지 않는 예측기, 최빈값, 무작위 추출의 점수를 같은 표에 올린다 |
| 잡음 바닥 몬테카를로 바닥 |
같은 데이터를 두 번 라벨링했을 때의 불일치를 먼저 재고, 모델 오차를 그 값에 대고 읽는다 |
| 조건을 바꿔 가며 재기 43.6%와 6.7% |
쉬운 조건과 실제 운영 조건에서 점수가 얼마나 벌어지는지를 둘 다 적는다 |
왼쪽은 논문에 있는 부품이고, 오른쪽은 그 부품을 라벨이 계산되지 않는 데이터로 옮긴 것이다. 오른쪽은 논문에 적혀 있지 않은 이 글의 읽기다.
시뮬레이터가 라벨을 내주는 구조라면 거리가 한 걸음 더 가까워진다. PebbloSim 쪽이 그렇다. 그 경우에는 BoSS가 공개한 규격이 그대로 참고 설계도가 된다. 한계 시간을 어디서 끊을지, 입자를 몇 개 뿌릴지, 수렴하지 않은 샘플을 어떻게 처리할지, 재평가 기준 규모를 하나로 통일할지. 3.2절에 적은 여섯 줄이 바로 그 목록이다.
데이터 품질 쪽에서 읽히는 세 가지
이 글에는 데이터 품질 교훈이 셋 박혀 있다. 첫째, 항목 수가 고유 항목 수가 아니다. 3.1절에서 센 두 숫자가 그것이다. 데이터셋을 소개할 때 적어야 할 수는 하나가 아니라 둘인데, BoSS 논문에는 앞의 하나만 있다. 데이터를 사 오거나 받아 오는 쪽이 가장 먼저 물어야 할 것이 그 둘의 간격이고, 파는 쪽이 둘 다 적어 두지 않았다면 다양성은 바깥에서 검증되지 않는다.
둘째, 정답에도 잡음이 있다. 몬테카를로 바닥은 곧 라벨 잡음이다. 그걸 먼저 재고 모델 오차를 거기에 댄 순서가 중요하다. 사람이 라벨링하는 데이터에서는 이 순서가 더 중요해진다. 라벨러 간 일치도를 재지 않은 채 모델 정확도 95%를 보고하면, 그 5%가 모델의 잘못인지 정답의 흔들림인지 아무도 모른다.
셋째, 표본이 치우쳤다는 것을 저자들이 알고 메웠다. QUASR와 ConStellaration에는 잘 최적화된 예쁜 장치만 있어 설계 공간이 성글다. 논문 축자로 이 데이터로 학습한 모델은 "설계 공간에서 성기게 표집된 영역에서 예측이 나쁠 수 있다"고 적혀 있고, 그래서 능동학습으로 21,000대를 더 모았다. 고르는 방법이 이 글 2절과 묘하게 겹친다. 어느 설계가 어려운지 알려면 손실 분율 예측 오차가 큰 자리를 찾아야 하는데, 그 오차를 재는 일이 바로 그 비싼 시뮬레이션이다. 그래서 대신 종횡비를 예측하는 싼 대리 모델의 상대 오차를 썼다. 종횡비는 순수한 기하량이라 입자 수송에 달린 손실 분율보다 맞히기 쉬우니, 종횡비조차 틀리는 자리라면 손실 분율은 더 틀릴 것이라는 논리다. 임곗값을 0.5%와 1%로 뒀을 때 무작위 표집 대비 효율이 각각 20%와 40% 올랐다. 싼 대리 지표를 성적 매기는 자로 쓰면 2절의 문제가 되지만, 무엇을 사 올지 고르는 데 쓰면 돈을 아낀다. 같은 도구가 어디에 놓이느냐로 갈린다. 어려운 영역을 일부러 사 오는 일이 데이터 구매의 정석이다. 분야마다 데이터의 준비 상태가 어떻게 다른지는 분야마다 다르게 재는 과학 데이터의 AI 준비도에서 따로 다뤘다.
모델 성적표를 받는 조직이 물어야 할 넷
이 글의 내용을 자기 조직으로 옮기면 점검표가 된다. 외부에서 만든 모델의 평가 결과를 받아 도입 여부를 정하는 자리라면 네 가지를 물어야 한다. 금융·공공·제조 고객에게는 그대로 모델 검수 점검표가 된다.
- 무엇에 견준 점수인가. 아무것도 하지 않는 기준선과 무작위 추출의 점수가 같은 표에 있는가. 43.6% 옆에 10.8%가 없으면 43.6%는 읽을 수 없는 수다.
- 조건을 누가 골랐는가. 평가 조건을 모델에 유리한 데서 뽑지 않았는가. 같은 모델이 43.6%와 6.7%를 오간 이유가 조건 하나다.
- 정답의 흔들림을 쟀는가. 같은 입력을 두 번 라벨링하면 얼마나 갈리는가. 모델 오차가 그 값보다 큰가 작은가.
- 지평 끝에서도 같은가. 짧은 구간에서 좋던 모델이 긴 구간에서 널 기준선에 지지 않는가. 10 µs의 0.261이 999 µs에서 1.046이 된 그림이 이 질문의 그림이다.
결함을 세던 글에서 잘 만든 쪽을 세는 글로
페블러스 블로그가 벤치마크를 다룰 때는 대개 남이 만든 자의 결함을 재현해 보이는 쪽이었다. 레고 설계 시험에서 검사 도구를 빼 보고, 물리 엔진을 모션캡처로 채점해 보고, 신약 후보를 선택성 축으로 다시 재 보고, 사람이 짐작한 원자 좌표가 라벨로 들어간 자리를 짚었다. 이번 글은 방향이 반대다. 잘 만든 쪽을 열어 "이건 왜 되는가"를 셌다. 칭찬하려는 작업이 아니라 이식 가능한 부품 목록을 뽑으려는 작업이고, 그 목록이 위의 표 세 줄과 점검표 네 줄이다.
1절부터 5절까지의 수치는 arXiv:2610.37910v1 전문, BoSS 공식 사이트, boss_bench 저장소, 그리고 비교 대상인 ConStellaration·QUASR·Landreman 2025·Diffusion for Fusion의 1차 출처를 직접 열어 옮긴 것이다. ConStellaration 리더보드가 제출된 경계를 서버에서 다시 평가한다는 1절·4절·6.1절의 서술은 그 리더보드 Space와 저장소의 공개 소스를 읽고 확인했다. 몬테카를로 바닥 대비 배수(1.49~1.84배)와 클라우드 환산 비용은 이 글이 공개 수치에서 직접 계산했고, 환산 쪽은 추정이라 가정을 3절 같은 문단에 적었다. 6절 후반의 공공 인프라 해석과 이 절의 점검표는 출처에 적혀 있지 않은 이 글의 읽기이니 앞의 사실과 나눠서 읽어 주시기 바란다. 2026년 11월 2일까지 찾은 범위에서 BoSS에 관한 한국어·영어 보도는 없었다. 찾지 못한 것이지 없다고 단정할 일은 아니다. 페블러스는 플랫아이언 연구소, 프록시마 퓨전, 본문에 거명된 기관과 이해관계가 없다. 긴 글 읽어 주셔서 감사하다.
참고문헌
1차 문헌 — BoSS
- 1.M. Padidar, T. Huang, M. Goldstein, M. Czekanski, J. Soules, Generative modeling for fusion: a large-scale benchmark of stellarator fast-ion simulations, arXiv:2610.37910v1, 2026-10-27. ⚠️ 프리프린트. 본문의 심사 링크가
openreview.net/forum?id=XXXX플레이스홀더 그대로다. 이 글의 수치는 전부 v1 기준이다. 전문은arxiv.org/html/2610.37910에서 받았다. - 2.BoSS 공식 사이트, boss.flatironinstitute.org. 라이선스(데이터 CC BY 4.0 / 코드·모델 아파치 2.0), 인용 안내, 설치법, 그리고 "데이터베이스는 계속 자란다"는 선언이 여기 있다. 데이터 본체 3TB는
/download.html의 글로버스 경로를 거치고 기관·구글·ORCID 로그인이 필요하다. - 3.
boss_bench저장소 · PyPIboss-benchv1.0.0 (Python 3.9+). 지표 계산 코드다. 데이터 생성 코드는 포함돼 있지 않다. - 4.학습된 모델 세 종, Hugging Face
mishapadidar/boss, 아파치 2.0. 손실 분율 예측·열 부착 위치 표집·역설계 모델이고 ONNX가 함께 들어 있다. 2026-11-02 확인 시점에 좋아요 0, 다운로드 집계 없음.
비교 대상과 계보
- 5.S. Cadena 외, ConStellaration: A dataset of QI-like stellarator plasma boundaries and optimization benchmarks, arXiv:2506.19583 (v1 2025-06-24, v2 2025-11-26), NeurIPS 2025 Datasets & Benchmarks Track. 4절 서두의 "without querying expensive physics oracles"가 이 초록의 축자다. 규모 약 158,000은 논문 축자를 따랐다.
- 6.ConStellaration Design Leaderboard, 프록시마 퓨전 × 허깅페이스. 2026년 10월에도 운영 중이다. 6.1절의 제출 69·44·51건과 사용자 39·20·6명이 여기서 왔다. 제출된 설계를 서버가 다시 평가한다는 근거는 이 Space의
evaluation.py(제출된 경계 JSON을constellaration패키지의 과제별evaluate()에 넘긴다)와app.py의 기존 제출 재평가 관리자 경로, 그리고 저장소 안내의 고정 버전 문구다. - 7.M. Padidar, T. Huang, A. Giuliani, M. Spivak, Diffusion for Fusion: Designing Stellarators with Generative AI, arXiv:2511.20445 (v1 2025-11-25, v2 2025-12-12). 2.1절의 "준대칭 이탈 5% 미만" 채점 기준이 이 초록의 축자다. ⚠️ BoSS 표 1의 확산 모델과 같은 모델이 아니다.
- 8.A. Giuliani, QUASR 데이터베이스 (Zenodo DOI 10.5281/zenodo.10050655). ⚠️ 상시 갱신 데이터셋이라 인용 시점에 따라 20만·30만·37만으로 규모가 다르게 적힌다. 그래서 이 글은 범위로 적었다.
- 9.M. Landreman 외, Journal of Plasma Physics 91, E120 (2025), Zenodo DOI 10.5281/zenodo.14867776. 비선형 자이로운동 ITG 난류 시뮬레이션 20만 회 이상. ⚠️ 그 20만 회의 내부 구성은 출처마다 달리 적혀 있어 이 글은 논문 축자 총수만 썼다. R. M. Churchill 외, arXiv:2609.28730 (2026)은 이 연구의 증보판이 아니라 다른 코드로 돌린 별개 데이터셋이다.
- 10.S. Rasp 외, WeatherBench: A benchmark dataset for data-driven weather forecasting, arXiv:2002.00469. 5.2절에서 널 기준선 관행의 외부 근거로 참조했다. 지속 예측을 최소 시험으로 두는 관행이 여기서 표준화됐다.
배경
- 11.비용 비교에 쓴 공개 데이터셋 묶음 — Open Catalyst OC20·OC22, OMat24, Materials Project, AlphaFold DB, The Well. 3절의 "비용을 시간 단위로 밝힌 쪽은 BoSS와 OMat24 정도"와 6.1절의 "채점 서비스가 있는 쪽은 둘뿐"이 이 묶음을 센 결과다. ⚠️ OC 계열의 코어시간은 출처 간 편차가 커서 수치를 쓰지 않았다.
- 12.Fusion Industry Association, The Global Fusion Industry in 2026 (2026-07). 민간 핵융합 투자 맥락의 출처다. ⚠️ 개별 기업의 조달액은 출처 간 수치가 갈려 본문에 쓰지 않았다.
- 13.과학기술정보통신부, 2026년 핵융합 연구개발 시행계획 (2026-01-21). 2026년 핵융합 연구개발 예산 1,124억 원(전년 564억 원), AI 접목 신규사업 45억 원, 그리고 토카막 외 방식(구형 토러스·역자장·스텔러레이터 등) 지원 확대 명시. ⚠️ 스텔러레이터 전용 예산은 따로 공개되지 않았다.
페블러스 블로그 인접 글
신약을 찾는 AI는 사람이 짐작한 원자를 정답으로 배운다(2026-09-28) — 라벨을 사람이 짐작하는 쪽의 대척점. · AI는 왜 시험은 잘 보는데 일은 못 할까(2026-06-10) · AlphaFold이 접은 단백질을, 이제 AI가 처음부터 설계한다(2026-06-17) · SELECTBENCH: AI 신약 후보, 표적에만 붙을까?(2026-10-21) · BrickBench 레고 설계 시험, 검사 도구를 빼면 대부분 조립이 안 된다(2026-10-11) · 모션캡처로 채점하니 고르게 정확한 물리 엔진은 없었다(2026-08-10) · 분야마다 다르게 재는 과학 데이터의 AI 준비도(2026-07-22) · 0이어야 할 압전 계수를 채워 넣은 소재 예측 모델(2026-08-23).