Executive Summary

주요 수치

출처: Dodson 외 8인, Options for Compression of radio interferometry data, arXiv:2609.25988 (2026-09-22 공개).

몇 년 안에 전파천문학에는 큰 시설 셋이 들어온다. 스퀘어 킬로미터 어레이(SKA), 차세대 초대형 전파간섭계(ngVLA), 딥 시놉틱 어레이(DSA)다. 논문은 이 셋이 순간 대역폭은 약 열 배, 유효 집광 면적과 그에 따른 민감도는 몇 자릿수씩 끌어올린다고 적는다. 우주 초기 첫 별이 켜지던 시기의 신호를 잡고, 은하 수백만 개의 스펙트럼선을 정밀하게 재려는 계획이 여기에 걸려 있다.

그 전망 바로 뒤에 논문은 제약을 적는다. 이 성능을 실제로 쓰려면 지금까지 전파천문학이 다뤄 본 적 없는 양의 자료를 감당해야 한다. SKA의 경우 상관기에서 나오는 자료 속도가 초당 1테라바이트 규모로 예상된다. 장기 저장 용량이 한정돼 있어서, 이 자료는 현장에 잠깐 담아 두고 거의 실시간으로 처리해야 한다.

제약이 가장 세게 걸리는 쪽은 같은 하늘을 여러 날에 걸쳐 깊게 보는 관측이다. 전통적인 영상화 절차는 디컨볼루션을 한 바퀴 돌 때마다 원본 가시성 자료 전체를 다시 훑는다. 며칠치가 아니라 수백 일치가 쌓인 뒤에도 그 전체를 한 번에 붙들고 있어야 한다는 뜻이다. 논문은 ASKAP과 SKA 둘 다 전통적 방식으로는 비용 제약 안에서 깊은 중성수소 탐사를 끝낼 수 없다고 못 박는다.

그러면 왜 압축할 여지가 있다고 보는가. 전파간섭계 자료에는 구조적인 특성이 있다. 측정된 가시성의 상당 부분은 잡음이 지배한다. 하늘의 밝은 한 점에서 오는 신호가 기선과 주파수와 시간의 모든 표본에 얇게 흩어지기 때문이다. 게다가 전파 하늘 자체가 성기고, 천체의 밝기 온도는 대개 수신기 잡음 온도보다 훨씬 낮다. 자료의 부피와 그 안에 담긴 정보의 양이 비례하지 않는다는 이 사실이 압축을 검토할 근거가 된다.

시험대에 올린 자료는 MHONGOOSE 서베이의 것이다. 남아프리카의 미어캣 망원경으로 23메가파섹(약 7,500만 광년) 안쪽의 은하 30개를 은하당 55시간씩 관측한 깊은 중성수소 탐사이고, 관측은 2020년 10월부터 2024년 12월까지 이어졌다. 55시간은 한 번에 몰아서 쓰지 않고 5.5시간짜리 열 차례로 나눴다. 하루치와 전체를 비교할 수 있는 구조라서, 처리 방식을 바꿔 가며 견주기에 알맞은 자료다.

이번 연구가 고른 대상은 그중 전파가 센 나선은하 NGC 1566 하나다. 같은 주파수 범위 안에 들어온 훨씬 약한 천체 J0422–5455도 함께 봤다. 기준선은 압축 없이 전통적인 방식으로 처리한 결과이고, 나머지 방식들이 이 기준선을 얼마나 되살리는지를 본다.

그 기준선을 세우는 일부터 간단하지 않았다. 연구진은 먼저 MHONGOOSE 팀이 쓴 영상화 소프트웨어와 자기들이 쓸 소프트웨어로 같은 자료를 각각 처리해 맞춰 봤다. 두 도구는 스토크스 I를 정의하는 방식이 달라 값이 두 배 차이 났고, 그 보정을 하고 나서도 잡음은 1%, 화소 밝기는 10%가 남았다. 영상 복원 알고리즘 설정의 차이로 보이지만 같은 조건을 걸어도 완전히 지워지지는 않았다고 논문은 밝힌다. 방식 사이의 0.7%를 재려면 도구 사이의 10%가 비교 안으로 들어오지 않게 막아야 한다. 그래서 이미 발표된 영상과 직접 견주는 대신, 같은 도구로 새로 만든 전통적 처리 결과를 기준선으로 삼았다.

2.1자료를 버리지 않고 중간 산출물만 남기는 길

첫 갈래는 격자 스태킹이다. 매일 관측한 가시성을 그날 바로 uv 격자에 얹어 잔차 격자로 저장해 두고, 관측이 다 끝난 뒤 그 격자들을 한꺼번에 쌓아 영상화와 디컨볼루션을 한다. 원본을 근사로 바꾸지 않으니 무손실이지만, 2차원 격자에 얹은 뒤에는 주요 주기를 다시 돌릴 수 없다. 그래서 매일 처리할 때 이미 거의 최종에 가까운 잔차를 만들어 두어야 한다.

이 방식의 값어치는 저장 공간에만 있지 않다. 계산량 자체를 줄여 주지는 않지만 관측 기간 전체에 나눠 얹을 수 있다. 한 에폭당 약 10시간이 걸렸고, 같은 자료를 한 번에 전통적으로 처리하면 34시간이 걸렸다. 논문은 최적화를 하지 않았으니 이 값들을 상한으로 보라고 덧붙인다. 덤으로 따라오는 것도 있다. 격자를 남겨 두면 나중에 가중치 방식을 바꿔 다른 해상도로 다시 복원하는 일이 큰 계산 비용 없이 된다.

덤이라고 부른 쪽에도 실측이 붙어 있다. 같은 자료를 다른 가중치로 전통적으로 다시 영상화하면 30시간쯤 걸렸는데, 남겨 둔 격자에서 복원하니 5분이 걸렸다. 다만 나눠 얹는다는 말이 총량이 준다는 뜻은 아니다. 논문의 계산 비교표에서 격자 스태킹은 에폭마다 9.9시간씩 열 번이고, 압축 뒤 전통적 처리는 34시간 한 번에 압축과 복원 시간을 더한 값이다. 뒤쪽에 더 붙는 시간은 압축기에 따라 0.4시간에서 3.6시간 사이다. 봉우리를 낮추는 대신 전체 계산은 오히려 늘어난다.

2.2값의 정밀도를 낮춰 원본을 줄이는 길

둘째 갈래는 손실 압축이다. 원본 가시성 자체를 줄인 뒤, 그다음은 평소 하던 대로 처리한다. 쓴 도구는 성격이 다른 둘이다. DYSCO는 값 하나를 몇 비트에 담을지를 정해 준다. 이번에는 8비트와 4비트를 걸어 각각 네 배와 여덟 배로 줄였다. SZ와 MGARD는 비트 수 대신 허용 오차의 상한을 정해 주는 방식이라, 연구진은 이쪽을 선호한다고 밝힌다. 전파천문학에서는 관측 장비의 감도에서 측정 정밀도를 이미 알고 있어서, 압축이 집어넣는 잡음을 그 정밀도와 견줘 볼 수 있기 때문이다.

이쪽 길을 두고 중성수소 연구 공동체가 조심스러워하는 이유도 논문에 적혀 있다. 나쁜 영향이 있더라도 수천 시간을 관측하고 난 뒤에야 드러나고, 한번 집어넣은 손실은 되돌릴 수 없다. 격자 스태킹 쪽은 미세한 계통 오차까지 따져 본 박사 논문이 이미 나와 있는 반면, 손실 압축에는 그에 해당하는 검증이 아직 없다는 말도 같은 자리에 붙어 있다. 이번 작업은 그 빈자리를 겨냥한 셈이다.

비교 대상은 하나 더 있다. 영상 스태킹이다. 매일 완성한 영상을 저장했다가 마지막에 평균 내는 오래된 방식이고, 논문은 학계가 이 방식을 이제 널리 나쁜 선택으로 여긴다고 적는다. 판정은 SoFiA라는 자동 천체 탐색 소프트웨어에 맡겼다. 위치와 시선 속도, 적분 플럭스, 속도 폭 같은 물리량을 방식별로 뽑아 나란히 놓는 식이다.

손실 압축 쪽 결과부터 보면 차이가 눈에 띄게 작다. MGARD는 원본의 12%와 22%로, SZ는 14%와 24%로, DYSCO는 12.5%와 25%로 줄였다. 이 가운데 가장 세게 줄인 설정들에서도 스펙트럼 안쪽 절반의 차이는 0.01% 미만에 머물렀다. 덜 세게 줄인 설정에서는 0.001% 수준이다. 은하의 적분 플럭스, 속도 폭, 중성수소 질량을 방식별로 뽑아 놓은 표에 논문이 붙인 한 줄은 이렇다. 모든 과학 결과가 오차 범위 안에 있다.

정작 논문은 이 결과를 뜻밖이라고 부르지 않는다. 그림 6 설명에 이유가 짧게 적혀 있다. 여기 쓴 압축 방식들은 값을 흩뜨리되 평균값은 건드리지 않는다고 수학적으로 보장하고, 물리량을 뽑는 단계에서 신호가 센 화소만 골라 쓰도록 문턱을 걸어 두기 때문이다. 스펙트럼 적분값처럼 화소 여럿을 더해 얻는 양은 개별 값의 흔들림이 서로 지워지는 자리에 있다. 뒤집으면, 화소 하나하나의 값을 그대로 받아 쓰는 용도에까지 같은 보장이 따라오지는 않는다는 뜻이기도 하다.

무손실이라던 격자 스태킹 쪽이 오히려 더 크게 어긋난 것이 눈에 띈다. 고해상도 설정에서 전통적 처리보다 플럭스를 0.7% 적게 찾았다. 영상 스태킹은 2.7% 많게 찾았다. 자료를 하나도 버리지 않았는데 근사로 바꿔 버린 쪽보다 차이가 큰 이유는 압축이 아니라 처리 순서에 있다. 격자에 얹고 나면 주요 주기를 다시 돌릴 수 없어서, 깨끗이 걷어내지 못한 신호가 그대로 남는다.

그 0.7%와 2.7%의 격차도 조건을 따진다. 큰 빔을 쓰는 자연 가중 설정에서는 두 스태킹 방식이 서로 비슷해져 둘 다 0.6% 수준으로 내려앉았다. 방식 사이의 우열이 벌어지는 자리는 해상도를 높인 쪽이다. 영상 스태킹이 남기는 문제는 숫자 하나로 끝나지도 않는다. 걷어내지 못한 잔여 신호가 영상에 얼룩으로 남고, 하루치에서 잡음의 세 배쯤 되던 얼룩은 열 번을 쌓으면 열 배짜리 특징이 된다. 논문이 이 방식을 권하지 않는 이유가 여기에 있다.

같은 논문에 0.01%와 나란히 적혀 있는 다른 숫자가 있다. 열 배로 줄인 최악의 경우 잡음 바닥이 약 10% 올라간다. 압축을 네 배로 눅이면 그 상승분은 1% 언저리로 내려온다. 두 수치는 서로 다투지 않는다. 앞의 것은 스펙트럼을 적분한 값이 얼마나 어긋났는지를 보고, 뒤의 것은 영상의 잡음이 얼마나 두꺼워졌는지를 본다. 잣대를 바꾸면 같은 실험이 거의 완벽하다고도, 잡음이 10% 늘었다고도 말한다.

잣대는 둘이 아니라 셋이다. 부록에 실린 그림 하나는 압축의 영향을 영상이 아니라 가시성 값 자체에서 잰다. 열 배로 줄이면 MGARD는 열잡음을 약 20%, SZ와 DYSCO는 약 30% 올린다. 같은 압축이 영상 단계에서는 10%가 되고, 은하에서 뽑은 물리량 단계에서는 0.01%가 된다. 층을 내려갈수록 수치가 작아지는 이유를 논문은 짧게 밝힌다. 뒷단의 양은 가시성 여럿을 평균한 값이기 때문이다. 이 비교는 실무적인 결론도 하나 낳았다. 연구진이 기본 압축기로 MGARD를 고른 근거가 이 그림이다. 셋 가운데 계산이 가장 많이 드는데도, 최대 오차가 가장 작다는 이유로 골랐다.

잡음 바닥이 올라가는 것은 손실 압축만의 일도 아니다. 원본을 하나도 버리지 않는 격자 스태킹에서도 영상의 잡음 바닥은 비슷하게 약 10% 올라가고, 화소를 다 더한 과학 결과에서는 1% 아래로 잦아든다. 무엇을 버렸느냐가 아니라 어느 층에서 재느냐가 수치를 가른다.

기준이 무엇이냐를 가장 날것으로 보여 주는 대목은 가중치를 바꿔 복원한 실험이다. 자연 가중으로 쌓아 둔 격자에서 다른 가중치의 영상을 되살렸더니 전통적 처리보다 스펙트럼이 10%쯤 높게 나왔다. 논문은 이것을 두 갈래로 읽을 수 있다고 적는다. 복원한 쪽이 넓게 퍼진 신호를 더 깊이 건져 올려 실제 하늘에 더 가까울 수도 있고, 전통적 처리를 되살리는 것이 기준이라면 10% 과대 예측일 수도 있다. 연구진이 택한 기준은 뒤쪽이다. 무엇을 참값 자리에 두느냐에 따라 같은 숫자가 성과가 되기도 하고 오차가 되기도 한다.

압축 설정 자체에도 단서가 달려 있다. 연구진은 이번에 쓴 가장 센 오차 상한이 자기들이 앞선 연구에서 권해 온 수준을 넘어선 것이라고 밝힌다. 영향이 눈에 띄지 않을 만한 안전한 값이 아니라, 영향이 검출되도록 일부러 고른 값이라는 것이다. 열 배 압축에 0.01%라는 결과는 권고 설정에서 얻은 성적이 아니라 한계를 건드려 본 성적이다.

가장 크게 걸리는 단서는 표 자체에 붙어 있다. 손실 압축 줄 위에 달린 조건은, 이 방식이 전제하는 주요 주기 클린이 현재 계획된 ASKAP과 SKA의 계산 자원과 맞지 않는다는 것이다. 가장 정확한 답을 낸 길이, 정작 이 문제를 처음 만들어 낸 그 망원경들에서는 쓰기 어렵다. 그래서 논문의 결론은 하나로 모이지 않고 둘로 갈린다. 저장 공간만 문제이고 계산은 감당되는 규모라면 손실 압축이, 여러 에폭을 한 번에 처리할 계산이 없는 규모라면 격자 스태킹이 낫다. 지금 진행 중인 DINGO 탐사의 800시간짜리 자료는 한 번에 처리할 수 없다고 연구진은 못 박는다.

결론이 서 있는 바닥도 넓지 않다. 이번 시험에 쓴 천체는 밝은 나선은하 하나와 약한 천체 하나다. 선행 연구에서 영상 스태킹은 밝은 천체에서는 잘 작동했고 약한 천체에서 플럭스가 모자랐는데, 이번 자료에는 약한 천체가 하나뿐이라 의미 있는 비교를 하지 못했다고 논문은 적는다. 열 에폭을 다 합쳐도 최종 깊이는 하루치의 세 배에 그친다. 이 방식에 확정으로 기대기 전에 더 넓은 시험이 필요하다는 권고를 논문 스스로 결론에 적어 두었다.

다만 이 결과가 혼자 서 있는 것은 아니다. 같은 연구 그룹은 앞서 ASKAP 관측 200시간 분량으로 격자 스태킹과 영상 스태킹을 견줘 두었고, 이번 작업은 다른 전파망원경에서도 그 결론이 그대로 서는지 보는 쪽에 가깝다. 은하 한 개라는 표본은 새 주장을 세우기에는 얇지만, 앞선 결론이 장비를 바꿔도 버티는지 보기에는 쓸 만하다. 이 구분을 지워 버리면 논문이 하지 않은 약속을 대신 하게 된다.

여기서부터는 이 글의 읽기다. 우리는 은하를 보지 않지만, 이 연구진이 마주한 문제의 모양은 기업 데이터 회의실에서 자주 보던 것과 닮았다. 쌓이는 속도가 처리할 수 있는 속도를 넘어섰고, 전부 보관하는 선택지가 비용에서 지워졌다. 다른 점은 이 사람들이 무엇을 줄일지 정하기 전에 무엇이 같아야 하는지부터 정했다는 것이다.

기업 데이터에서 스펙트럼 재현도에 해당하는 자리는 각자 다르다. 어디서는 모델의 성능 지표이고, 어디서는 월말 마감의 숫자이고, 어디서는 사고가 났을 때 되짚어야 할 경로다. 공통점은 그것이 정해져 있지 않으면 보관 정책을 논의할 수 없다는 점이다. 무엇이 바뀌면 안 되는지를 모르는 상태에서는, 자료를 지우는 결정도 남기는 결정도 근거 없이 내리게 된다.

우리가 데이터 품질을 말할 때 완전한 원본보다 목적에 필요한 정보를 먼저 묻는 이유가 여기에 있다. 품질은 자료 자체에 붙어 있는 성질이 아니라 쓰임과 짝을 이루어 정해진다. 그 짝이 정해지면 얼마나 줄여도 되는지는 취향이 아니라 측정의 대상이 된다. 이번 논문이 한 일이 정확히 그 측정이다.

이 실험이 성립하게 만든 조건은 네 가지다. 논문이 제시한 점검표가 아니라, 이 글이 우리 업무로 가져온 물음이다.

• 줄이지 않은 결과가 기준선으로 남아 있는가. 비교할 원본이 없으면 얼마나 어긋났는지 말할 수 없다.
• 같다는 말의 뜻을 하나가 아니라 여럿으로 정해 두었는가. 이 연구는 스펙트럼과 잡음과 물리량을 따로 봤고, 잣대에 따라 답이 달랐다.
• 압축 강도를 한 점이 아니라 여러 단계로 걸어 봤는가. 곡선이 있어야 어디까지가 안전 구간인지 정할 수 있다.
• 결과가 성립하는 범위를 함께 적었는가. 대상이 몇 개였고 얼마나 깊었는지를 빼놓으면 그 결론은 다음 사람에게 과하게 넓은 허락이 된다.

네 번째가 가장 자주 빠진다. 한 번 잘 나온 수치는 조건을 떼고 혼자 돌아다니기 쉽다. 이번 논문은 열 배 압축에 0.01%라는 성적을 내놓으면서 그 옆에 은하 한 개와 세 배 깊이와 권고를 넘어선 설정을 같이 적었다. 자료를 줄이자는 제안은 잘 나온 수치보다 그 옆에 적힌 조건에서 신뢰를 얻는다.

여기까지 읽어 주셔서 감사하다. 이 글이 인용한 수치와 서술은 arXiv에 공개된 논문 원문에서 확인할 수 있다. 여러분의 조직에서 보관비를 내고 있는 자료 가운데, 줄여도 결론이 바뀌지 않는 부분은 어디까지인가. 그 경계를 재 본 적이 있다면 어떤 잣대로 쟀는지 이야기를 나눠 주시면 좋겠다.

핵심 논문

• 1.Dodson, R., Rhee, J., de Blok, W. J. G., et al. (2026). "Options for Compression of radio interferometry data: lossy compression of visibilities and lossless compression of uv-visibility grids for the MHONGOOSE survey." arXiv:2609.25988 (2026-09-22 공개, arXiv Comments 필드에 MNRAS 게재 승인 표기, journal-ref 미부여).

관련 연구

• 2.Rhee, J., Dodson, R., Williamson, A., et al. (2026). "Deep Investigation of Neutral Gas Origins (DINGO): Options for robust Deep Spectral Line Imaging in the SKA-Era." MNRAS 551, stag1521. arXiv:2511.17307 — 같은 연구 그룹이 ASKAP 약 200시간 관측으로 먼저 수행한 격자 스태킹 vs 영상 스태킹 비교(§4의 선행 연구).

압축 도구

• 3.Offringa, A. R. (2016). "Compression of interferometric radio-astronomical data." Astronomy & Astrophysics 595, A99. doi.org/10.1051/0004-6361/201629565 — DYSCO 압축 도구의 원 논문(§2.2).
• 4.Liu, J., Di, S., Zhao, K., et al. (2024). "High-performance Effective Scientific Error-bounded Lossy Compression with Auto-tuned Multi-component Interpolation." Proceedings of the ACM on Management of Data 2 (SIGMOD 2024). doi.org/10.1145/3639259 — SZ 계열 오차 상한 기반 압축 도구의 원 논문(§2.2).
• 5.Gong, Q., Chen, J., Whitney, B., et al. (2023). "MGARD: A multigrid framework for high-performance, error-controlled data compression and refactoring." SoftwareX 24, 101590. doi.org/10.1016/j.softx.2023.101590 — 연구진이 기본 압축기로 채택한 MGARD의 원 논문(§2.2, §4).