Executive Summary
홍콩과기대 물리학과 연구진이 원자층 단위로 박막을 쌓는 분자선 증착(MBE) 장비에, 다음 실험 조건을 스스로 고르는 능동학습 루프를 붙였습니다. 그렇게 위상 강자성체 Fe₃Sn이 자라는 자리를 찾아낸 기록이 8월 18일 논문으로 공개됐습니다. 정작 눈길이 가는 대목은 탐색 알고리즘을 그대로 뒀다는 점입니다. 연구진이 손댄 것은 실험 공간을 어떤 모양으로 가정할지 정하는 대리모델 하나뿐이었습니다.
표준 베이지안 최적화가 쓰는 가우시안 프로세스는 연속 커널로 파라미터 공간이 매끄럽다고 가정합니다. 그런데 이 물질의 결정상 경계는 절벽에 가깝습니다. 17회 실험 데이터로 검증했을 때 가우시안 프로세스의 평균절대오차는 9.92, 랜덤포레스트는 10.16이었습니다. 지표만 보면 가우시안 프로세스가 근소하게 앞섰지만, 예측 지형을 펼쳐 보니 그 낮은 오차는 커널이 급경사를 뭉개면서 예측값을 데이터셋 전역 평균으로 밀어 놓은 결과였습니다.
그래서 이 연구에서 남는 것은 물질이 아니라 판정입니다. 요약 지표 하나로는 모델이 실험 공간을 그리고 있는지, 평균 뒤로 물러나 있는지 갈라내지 못합니다. 그 차이는 대개 결과가 나오지 않은 뒤에야 드러납니다.
주요 수치
네 숫자는 각각 판정의 함정, 데이터의 무게, 실험 예산, 조건의 여유를 가리킵니다. 모두 논문 본문과 그림에서 인용한 값입니다.
출처: Bollampally 외, arXiv:2608.17742 (2026-08-18)
9.92 : 10.16
두 대리모델의 교차검증 오차
100점 척도에서 잰 평균절대오차이며, 지표로는 가우시안 프로세스가 앞섰지만 예측 지형은 평균에 눌려 있었습니다
0.37
투입 기판 초기 품질의 중요도
성장 레시피에 해당하는 Fe/Sn 유량비(0.22)보다 컸고, 기판 온도 대용 변수인 필라멘트 파워(0.41) 다음이었습니다
21회
폐루프를 닫는 데 쓴 성장 횟수
사람이 조건을 조정한 17회에 능동학습 4회를 더한 값이며, 페로브스카이트 산화물에 표준 최적화를 적용한 선행 사례는 24~44회가 필요했습니다
약 30K
성공의 고원이 걸친 온도 폭
필라멘트 파워 3.6W, Fe:Sn 유량비 0.8 부근에서 조건이 조금 흔들려도 결정질이 유지되는 구간입니다
Fe₃Sn은 100K 폭 안에서만 자란다
Fe₃Sn은 쓸모가 분명한 물질입니다. 카고메 격자를 가진 금속간화합물이라 전자 구조에 위상 바일 점이 있고, 그 덕에 상온에서 면내 이상 홀 효과를 보입니다. 자기 센싱 소자로 노려볼 만한 성질입니다. 문제는 기르는 쪽에 있습니다. Fe-Sn 상평형도 안에서 Fe₃Sn은 약 100K 폭의 좁은 온도 구간에서만 준안정 선상 화합물로 존재하고, 조성이 조금만 벗어나면 경쟁 화합물 FexSny로 넘어갑니다. 성장 창 자체가 절벽 사이에 낀 좁은 통로입니다.
분자선 증착은 그런 통로를 손으로 더듬어 찾아 왔습니다. 관행은 한 번에 파라미터 하나만 바꾸고 나머지는 고정하는 방식이었고, 그래서 수십 회의 성장과 연구자 개인의 감각에 크게 기댔습니다. 이 병목을 풀려는 시도가 기계학습 기반 자율 합성이고, 지금까지의 성공 사례는 은이나 질화티타늄처럼 구조가 단순한 단일 원소 계열에 몰려 있었습니다. 파라미터와 품질의 관계가 완만해 웬만한 오차를 용서해 주는 지형이기 때문입니다.
이번 연구가 입력으로 삼은 파라미터는 세 개입니다. Fe와 Sn의 빔 유량비를 0.5에서 1.2 사이에서, 기판 히터 파워를 3.0에서 4.7W 사이에서 움직였고, 여기에 성장 전 Pt(111) 버퍼층의 초기 결정 품질을 함께 넣었습니다. 온도 대신 히터 파워를 그대로 쓴 것은 적외선 온도계의 캘리브레이션 불확도를 입력에서 걷어내기 위해서입니다. 출력은 표면 형상 50%, 화학 조성 25%, 결정성 25%를 가중합한 0에서 100 사이의 단일 점수 하나입니다.
그 점수를 만드는 데도 손이 꽤 갔습니다. 회절 이미지를 사람이 눈으로 읽으면 판정이 판독자에 따라 흔들리기 때문에, 연구진은 RHEED 줄무늬의 폭과 세기 분포, XRD 브래그 피크의 반치폭을 자동으로 뽑아내는 알고리즘을 따로 만들었습니다. 조성 점수에는 Fe:Sn 3.0을 중심으로 표준편차 0.5의 가우시안 곡선을 씌워 계측기 자체의 불확도만큼은 벌하지 않게 했고, 결정성 점수에도 반치폭에 1.5도 폭의 가우시안 감쇠를 걸었습니다. 모델이 학습한 정답은 날것의 관측값이 아니라 이렇게 설계된 합성 지표였습니다.
오차는 같았고 지형은 달랐다
연구진은 표준 베이지안 최적화의 틀을 유지한 채 대리모델만 바꿨습니다. 탐색과 활용의 균형을 잡는 획득 함수는 그대로 기대 개선(Expected Improvement)을 썼고, 랜덤포레스트 앙상블의 평균을 활용 신호로, 트리 사이의 분산을 탐색 신호로 넣었습니다. 알고리즘의 논리는 건드리지 않고, 실험 공간을 어떤 모양으로 가정할지만 교체한 셈입니다.
대리모델 선택이 이렇게 큰 변수가 된 이유는 데이터가 스무 건을 넘지 않았기 때문입니다. 논문은 표본이 20 이하인 구간에서는 어떤 회귀 구조를 얹느냐가 결과를 좌우한다는 전제에서 출발합니다. 랜덤포레스트를 고른 실무적 이유도 여기 있습니다. 데이터를 복원추출로 여러 번 나눠 트리를 따로 키운 뒤 평균을 내는 방식이라, 표본이 적고 잡음이 섞인 실험 데이터에서 예측이 덜 튑니다.
연구진은 교체의 근거를 숫자로 검증했습니다. 17회 성장 데이터에 하나씩 빼는 교차검증을 돌렸더니 가우시안 프로세스의 평균절대오차는 9.92, 랜덤포레스트는 10.16이 나왔습니다. 100점 척도에서 0.24점 차이니, 지표만 놓고 고르면 기존 방식을 유지하는 편이 합리적으로 보입니다. 논문이 이 지점에 붙인 소제목이 매끄러움의 착시입니다.
예측 지형을 1차원 단면으로 잘라 보면 사정이 달라집니다. 가우시안 프로세스의 연속 방사기저함수 커널은 성장 안정성을 가르는 급격한 열역학적 낙차를 매끈하게 문질렀고, 그 결과 예측값이 데이터셋 전역 평균 쪽으로 눌렸습니다. 논문은 이것을 커널 붕괴라고 부릅니다. 낮은 오차는 지형을 잘 맞혀서 나온 값이 아니라, 어디서도 크게 틀리지 않는 자리로 물러나 앉아서 나온 값이었습니다. 같은 데이터에서 랜덤포레스트는 계층적 공간 분할로 비선형 경계를 그대로 따라갔습니다.
100점 척도에서 오차 10.16이면 정밀도가 떨어지는 것 아니냐고 물을 수 있습니다. 다만 이 루프가 대리모델에 요구한 것은 점수를 소수점까지 맞히는 일이 아니라 구간을 갈라 놓는 일이었습니다. 21회 성장의 예측값과 실측값을 맞대 본 패리티 도표에서 점들이 1대 1 대각선을 따라 모였고, 이 정도 정밀도면 최적 조건과 그럭저럭인 조건, 기생상이 섞여 버린 조건을 구분해 다음 실험을 정하기에 충분했습니다.
아래 도식은 논문 그림 3(b)의 단면을 개념적으로 옮긴 것입니다. 회색 선은 넓은 불확도 띠를 두른 채 거의 평평하고, 주황 선은 계단을 밟으며 고원을 지나 다시 떨어집니다. 두 선의 오차 지표는 사실상 같습니다.
레시피보다 출발 표면이 무거웠다
랜덤포레스트 대리모델과 기대 개선 함수로 아직 시도하지 않은 구간의 기댓값을 평가하자, 뾰족한 최댓값 하나가 아니라 넓적한 지대가 떠올랐습니다. 필라멘트 파워 3.6W와 Fe:Sn 유량비 0.8 부근을 중심으로 약 30K의 온도 폭에 걸친 구간이고, 논문은 이곳을 성공의 고원이라고 부릅니다. 이 안에서는 증착 조건이 조금 흔들려도 결정질이 유지됩니다. 실전 합성에서는 최적점 하나보다 이런 여유 구간이 더 쓸모 있습니다.
연구진은 사람의 몫도 그림에 남겨 두었습니다. 앞선 17회의 성장은 결정학·조성 데이터를 보며 사람이 조건을 조정한 것이었고, 그 좌표들은 이미 고원 근처에 모여 있었습니다. 능동학습 루프가 한 일은 백지에서 답을 찾은 것이 아니라, 사람이 데려다 놓은 자리에서 경계를 정밀하게 그리고 최댓값을 계속 갱신한 것입니다.
더 눈에 띄는 것은 대리모델이 입력 변수의 중요도를 뽑아낸 결과입니다. 지니 불순도 감소로 잰 중요도는 필라멘트 파워가 약 0.41, 성장 전 기판의 초기 결정 품질이 0.37, Fe/Sn 유량비가 0.22였습니다. 온도가 1위인 것은 물리적으로 자연스럽습니다. 너무 낮으면 섬 모양 성장과 혼합상이 생기고, 너무 높으면 Sn이 날아가거나 Pt와 합금이 됩니다. 순위의 의미는 2위에 있습니다. 두 번째로 무거운 변수가 성장 레시피가 아니라, 성장을 시작하기 전 투입 기판이 어떤 상태였는가였습니다.
논문은 이 대목에 한 문장을 붙였습니다. 출발 표면이 나쁘면 어떤 후공정 파라미터 조정으로도 보상할 수 없다는 것입니다. 초기 템플릿의 표면 형상이 평탄한 계단 구조에서 벗어나 있으면 이후 어떤 조합을 넣어도 높은 결정 품질에 닿지 못했고, 그래서 연구진은 유량을 촘촘히 훑는 것보다 기판 준비 프로토콜을 개선하는 쪽이 수익률이 높다고 적었습니다. 사람의 선입견 없이 데이터에서 뽑힌 순위라는 점이 이 문장의 무게를 더합니다.
좋은 출발 표면이 무엇인지는 논문에 구체적으로 적혀 있습니다. c면 사파이어 기판을 화학 세정한 뒤 대기 중 1300K에서 어닐링해 원자 단위로 평탄한 계단 구조를 만들고, 그 위에 5나노미터 두께의 Pt(111) 버퍼층을 올린 상태입니다. 모델은 이 상태를 연구자의 소견이 아니라 성장 직전 RHEED 줄무늬가 얼마나 연속적인지로 수치화해 입력에 넣었습니다. 투입물의 상태를 결과와 나란히 기록해 둔 덕분에 그 기여도를 나중에 되짚을 수 있었던 셈입니다.
유량비가 3위로 밀린 것은 온도가 최적 구간에 들어와 있으면 원자 빔의 유량이 조금 흔들려도 결정성과 조성이 버텼다는 뜻이고, 이는 조성이 이상적인 값에서 조금만 벗어나도 혼합상으로 넘어가는 벌크 합성과는 다른 결과입니다.
18번째 성장은 왜 크게 빗나갔나
폐루프는 18회부터 21회까지 네 번의 성장으로 닫혔습니다. 모델이 다음 조건을 제안하고, 그 레시피로 실제 박막을 기르고, 특성 평가 결과를 다시 모델에 먹이는 순환입니다. 그 네 번의 절대 예측오차를 따라가면 18회에서 20을 넘는 봉우리가 하나 솟습니다. 곧바로 19회에서 13.2로 떨어지고, 20회에서 안정된 뒤, 21회에 9.9까지 내려갑니다.
논문은 그 봉우리를 모델의 실패로 읽지 않습니다. 기대 개선 함수가 탐색과 활용의 균형을 제 몫대로 관리하면서, 불확실성이 큰 영역을 일부러 찔러 아직 그려지지 않은 성장 경계를 확인한 결과라는 해석입니다. 그렇게 얻은 정보가 곧바로 대리모델에 흡수되면서 오차가 네 번 만에 절반으로 줄었습니다. 총 21회로 닫힌 이 루프는 SrRuO₃와 SrTiO₃ 같은 페로브스카이트 산화물에 폐루프 없이 표준 최적화만 적용해 24~44회가 필요했던 선행 사례와 비교됩니다.
논문에는 비워 둔 자리도 있습니다. 저자들은 대리모델과 획득 함수는 검증했지만, 표면 형상 50%와 조성 25%, 결정성 25%라는 가중치와 점수 설계 자체는 최적화하지 않았고 후속 과제로 미뤄 두었다고 밝혔습니다. 성장률 같은 입력 변수를 더 넣고 성장 중 RHEED 변화를 시계열로 보는 일도 앞으로의 몫으로 남겼습니다. 루프 전체가 좇은 정답의 정의는 아직 검증 밖에 있는 셈입니다.
데이터를 다루는 쪽에서 이 논문이 남기는 질문은 물질과 무관합니다. 우리가 파이프라인에 깔아 둔 가정도 대개 매끄러움입니다. 지표가 연속적으로 움직인다고 보고 구간을 보간하고, 임계값 근처를 선형으로 근사하고, 검증 점수 하나로 모델의 상태를 요약합니다. 그 가정이 어디서 현실의 절벽과 어긋나는지는 평균 오차가 알려 주지 않습니다. 이 연구에서도 두 모델을 갈라낸 것은 지표가 아니라 예측의 모양이었습니다.
Editor's Note: 페블러스가 데이터 품질 현장에서 반복해 만나는 장면도 이와 닮았습니다. 집계 지표가 좋다는 이유로 통과한 데이터셋이, 정작 경계 구간의 사례에서 무너지는 일이 흔합니다. 그리고 이 논문의 2위 변수처럼, 결과를 가장 크게 흔드는 것은 하류의 정교한 조정이 아니라 상류에서 무엇을 투입했는가입니다.
원 논문은 arXiv:2608.17742에서 볼 수 있고, RHEED 신호 처리 스크립트와 능동학습 모델, XRD 원자료를 포함한 코드 일체는 GitHub 저장소에 공개돼 있습니다.