Executive Summary

주요 수치

세 수치는 각각 다른 층위를 잰다. 벤더가 밝힌 성공, 학술 리더보드가 측정한 능력, 벤더 문서가 스스로 열거한 한계다. 셋 다 본문에서 다시 다룬다.

Anthropic은 2026년 6월 30일 Claude Science를 베타로 공개하면서, 이것이 새 AI 모델도 아니고 생물학에 더 강한 모델도 아니라고 못 박았다. 오늘 이미 제공되는 것과 같은 Claude 모델을 특별 접근이나 게이팅 없이 그대로 쓴다는 설명이었다. 제품이 무엇인지, 문헌과 데이터베이스와 코드와 고성능 컴퓨팅을 어떻게 한자리에 묶었는지는 출시 다음 날 쓴 전편에서 다뤘다. 이 글은 거기서 출발해 곧장 다음 질문으로 간다. 모델이 그대로라면, 새로 깔린 것은 무엇이고 그것이 무엇을 보증하는가.

이 질문에 가장 구체적으로 답한 것은 벤더가 아니라 외부였다. 기술 분석가 feitong.phd가 2026년 7월 6일 공개한 24분 분량의 해부는 버전 0.1.15-dev를 직접 뜯어 보고, 새로움이 화면이 아니라 그 아래 있다고 결론지었다. 핵심 문장은 짧다. 커널은 작업 상태를 쥐고, 데몬은 권한과 이력을 쥔다. 사용자가 보는 대화창은 얇은 껍질이고, 무엇을 해도 되는지와 무엇을 했는지를 기억하는 층이 따로 있다는 뜻이다.

설치 용량이 그 구조를 그대로 보여 준다. 서명된 앱 자체는 111MB, 스테이징 데몬이 약 112MB, 버전 런타임이 약 95MB인데, 별도로 프로비저닝되는 실행 환경이 약 3.7GB다. 전체 약 3.9GB 가운데 95% 남짓이 앱이 아니라 계산이 돌아갈 자리다. 채팅 앱을 받는 것이 아니라 작업대를 받는다는 말은 이 비율에서 물리적으로 확인된다.

1.1코드가 오케스트레이션 언어다

구조가 바뀌면 에이전트가 일하는 방식도 바뀐다. 해부가 든 사례는 제품에 실려 나온 문헌 조사 스킬이다. 후보 논문 240편가량을 훑어야 할 때, 이 앱의 모델은 도구 호출을 240번 하지 않는다. 커널 안에서 도는 반복문 하나를 쓰고, 코드 셀 두 개로 끝낸다. 결과의 품질과는 별개로 트랜스크립트의 모양이 달라진다. 대화 기록이 길게 부풀지 않고 평평하게 유지되며, 나중에 무슨 일이 있었는지 따라 읽어야 하는 사람의 부담도 그만큼 줄어든다.

권한은 두 겹으로 막혀 있다. 바깥 겹은 커널이 노출하는 SDK 표면이라 없는 기능을 부르면 오류가 난다. 이것은 쓰기 편하라고 둔 안내에 가깝고 우회도 가능하다. 진짜 경계는 안쪽 겹인 데몬의 허용 목록이다. 해부는 데몬 소스를 읽어, 손으로 호출을 위조해 밀어 넣어도 데몬이 거부한다는 점을 확인했다. 모델이 착각하거나 유도되더라도 권한 판정은 모델 바깥에서 이뤄진다.

1.2계보는 재구성되기 전에 관측된다

가장 눈여겨볼 대목은 계보를 만드는 방식이다. 보통의 도구는 작업이 끝난 뒤 로그를 뒤져 무엇이 무엇에서 나왔는지 짜맞춘다. 이 앱의 분석 SDK는 데이터를 읽는 함수와 결과를 내보내는 함수를 감싸 둔다. 표를 읽는 순간, 배열을 불러오는 순간, 그림을 저장하는 순간에 소스와 버전 태그가 함께 실려 나간다. 사후 추정이 아니라 실행 중 관측이다.

그래서 산출물마다 근거의 강도가 다르게 붙는다. 아래는 해부가 정리한 네 단계다. 위로 갈수록 기계가 직접 본 것에 가깝고, 아래로 갈수록 추정과 미결에 가깝다.

1.3같은 해부가 함께 적어 둔 두 가지 한계

이 해부는 제품을 칭찬하고 끝나지 않는다. 저자는 각주에서 계보의 신뢰도가 고르지 않다고 밝힌다. 파이썬은 객체 래퍼가 가장 촘촘하고, R와 Bash는 쓰기 추적과 사후 재구성에 더 기댄다. macOS 구성에서는 Bash가 리눅스와 같은 경로로 추적되지 않는다는 점도 함께 적혀 있다. 그의 결론은 한 문장이다. 계보가 있다는 것을 이분법적 보증으로 제시해서는 안 된다.

내보내기 기능이 무엇을 하는지가 여기서 갈린다. 노트북을 내보낼 때 앱은 호스트 응답을 테이프 파일에 녹화해 두고 나중에 그 순서대로 재생한다. 그러니 재생에 성공한다는 것은 코드가 보존된 응답과 함께 돌아간다는 뜻이지, 오늘 다시 질의해도 같은 답이 나온다는 뜻이 아니다. 재현이라는 단어가 연구 현장에서 흔히 뜻하는 것과 이 제품이 보증하는 것 사이에는 이만큼의 거리가 있다.

계보상으로 보면 이 접근은 앞선 시도들과 결이 다르다. 논문을 스스로 쓰겠다고 나선 자율 저술 시스템들은 산출물의 완성도로 승부했고, 검증은 대체로 나중 문제로 밀렸다. Claude Science는 반대쪽에 걸었다. 결과의 품질을 직접 겨루는 대신, 결과가 어디서 왔는지를 기계가 읽을 수 있는 형태로 남긴다. 그 내기가 어디까지 값을 하는지가 이 글의 나머지다.

발표문에는 실명 사례 세 건이 실렸다. 조직 표적 의약품을 개발하는 Manifold Bio, Allen Institute의 신경과학자 Jérôme Lecoq, UCSF Brain Tumor Center의 역학 부교수 Stephen Francis다. 세 건 모두 벤더가 고른 사례이고, 셋 다 자기보고다. 그 자체로 흠은 아니다. 신제품 발표문에 실릴 수 있는 증거가 원래 그것뿐이기도 하다. 다만 읽는 사람이 등급을 붙여야 한다. 아래 표의 마지막 두 열이 그 등급이다.

Anthropic 공식 발표문(2026-06-30) 본문에서 옮겼다. 세 사례 모두 발표문에 실린 것이며, 언론 보도에서 인용된 2차 요약이 아니다. 시간 관련 수치는 원문 표현을 따랐다. 최대 2년은 상한이고, 약 10분의 1은 한 연구실의 특정 워크업에 대한 대략치다.

표를 세로로 읽으면 한 컷이 남는다. 빨라졌다는 말은 세 번 나왔고, 확인했다는 말은 한 번 나왔다. Lecoq의 사례에서 검증을 맡은 것은 사람이 아니라 그가 직접 짠 검토 에이전트였다. 생성하는 에이전트 옆에 별도의 비평 에이전트를 두는 구조를 그는 핵심이라고 말했고, 현재 도메인 전문가와 함께 그 비평 쪽을 정교화하는 중이라고 밝혔다. 그렇다면 제품에 기본으로 딸려 오는 검토자는 실제로 어떻게 설계돼 있는가.

2.1리뷰어의 제1원칙은 다시 계산하지 않는 것이다

기술 해부가 읽어 낸 리뷰어 프롬프트의 첫 원칙은 간결하다. 추적하되 다시 계산하지 말라는 것이다. 에이전트가 어떤 수치를 주장하면 리뷰어는 그 수치를 뱉은 셀을 찾아가 기록과 대조하고 모순을 찾는다. 규칙은 한 걸음 더 나간다. 창 안에서 추적할 수 없는 값은 그 자체로는 지적 사항이 아니라고 못 박혀 있다. 근거 없이 의심만 늘어놓는 검토자를 만들지 않겠다는 설계다.

주장이 어디에 실렸는지에 따라 잣대도 달라진다. 그림이나 표, 리포트처럼 저장되는 산출물에는 엄격한 기준을 대고, 흘러가는 채팅 산문은 그대로 믿고 행동했을 때 실질적으로 오도될 때만 표시한다. 그리고 리뷰어는 도구를 거의 다 빼앗긴 상태로 돈다. 계획, 위임, 웹 검색, 파이썬, R, Bash, 아티팩트 쓰기, 심지어 사고 과정까지 박탈당하고 열두 개 명시 도구 중 셋만 남는다.

이 박탈이 취향의 결과가 아니라는 점이 흥미롭다. 코드 주석에 근거가 남아 있다. 사고 과정은 리뷰어 출력 토큰의 약 72%를 쓰면서 추적 작업의 재현율에는 사실상 이득을 주지 못했고, 실제 리뷰어 라운드 30회를 재 보니 파이썬이 도구 호출의 41%를 차지했는데 그 전부가 규칙이 금지한 재계산이었다. 하네스를 실측으로 깎았다는 뜻이다. 섹션 4에서 이 사실이 다시 문제가 된다.

2.2벤더 문서가 스스로 그은 두 개의 선

리뷰어의 범위는 Anthropic 공식 문서에도 적혀 있다. 두 문장이 특히 정확하다. 하나는 리뷰어가 분석을 다시 돌리지 않는다는 것, 다른 하나는 실행된 방법이 그 연구 질문에 옳은 선택이었는지는 판단하지 않는다는 것이다. 실행된 방법으로부터 따라 나오지 않는 결론은 표시할 수 있지만, 그 방법 자체가 적절했는지는 묻지 않는다.

두 번째 선은 요금제에 그어져 있다. 같은 문서에 따르면 자동 리뷰는 Max와 Team, Enterprise에서 기본으로 켜져 있고 Pro에서는 기본으로 꺼져 있다. Pro 사용자는 세션마다 직접 켜야 하며, 리뷰 자체도 플랜 사용량을 소모한다. 진입 문턱이 낮다는 점은 이 제품의 미덕으로 자주 꼽히는데, 가장 싼 플랜에서 검증 계층이 기본으로 돌지 않는다는 사실은 그 미덕과 짝을 이루는 반대편이다.

2.3발표에 이름을 올린 연구자가 한 달 뒤에 한 말

The Scientist는 2026년 7월, 연구자 세 명을 인터뷰한 초기 평가 기사를 실었다. 보도에 따르면 셋 다 계속 쓰겠다고 답했고, 셋 다 우려도 함께 밝혔다. 도구가 이따금 틀렸고 연구자가 꼼꼼히 검토해야 했다는 것이다. 그중 Lecoq은 논문의 질을 판단하게 하는 데는 한계가 있다고 지적하면서, 이제 다음 토큰을 예측하는 문제가 아니라 다음 토큰을 의심하는 문제라고 말한 것으로 전해진다. 또 다른 연구자는 연구비 압박을 받는 랩장이 이 도구를 신규 채용 대신 지름길로 쓸 위험을 짚었다.

이 기사는 브라우저 UA를 바꿔 네 차례 시도했으나 모두 봇 차단 응답이 돌아와 본문을 직접 확보하지 못했다. 페이월이 아니라 자동 접근 차단이다. 위 내용은 검색 인덱스를 통해 확인한 것이므로 The Scientist 보도에 따른 간접 인용으로 읽어야 하고, 인용문의 정확한 자구는 원문 재확인이 필요하다.

확보 수준을 밝히고 나면 이 대목의 값어치는 오히려 커진다. 벤더가 고른 세 사례 중 한 명이 한 달 뒤 같은 도구의 판단 능력에 선을 긋는다. 이것은 벤더가 틀렸다는 고발이 아니다. 발표문에 실린 자기보고와 실사용 증언이 같은 사람에게서 갈라지는 장면이고, 증거 등급을 나눠 읽어야 하는 이유가 여기 있다. 발견을 누가 어떤 자격으로 확인하느냐는 앞선 글에서 따로 다룬 주제이기도 하다.

출시 이후 일곱 주 동안 나온 외부 반응은 한 덩어리가 아니다. 매체의 프레이밍, 커뮤니티의 첫인상, 한 사람이 직접 돌려 본 실측, 사업 전략을 읽은 취재, 그리고 엿새 만에 나온 오픈소스 대안까지 층이 다르다. 층마다 말할 수 있는 것과 말할 수 없는 것이 다르므로 섞어서 읽으면 안 된다.

3.1매체는 첫 진입이 아니라 제품화로 읽었다

R&D Magazine이 7월 28일 실은 분석은 이 발표를 계보 위에 놓고 읽었다. Anthropic은 2025년 10월 생명과학용 제품을 먼저 냈고, 2026년 1월 헬스케어로 넓혔으며, 6월에 연구 작업대를 따로 세웠다. 새 영역에 처음 발을 들인 것이 아니라 이미 하던 일을 하는 장소를 만든 것이라는 해석이다. AI가 연구를 한다는 식의 프레이밍은 과장이라는 지적도 함께 붙었다. 출시 당일 TechCrunch도 같은 지점을 짚으면서, 사실 검증 단계가 중요하긴 하나 결국 같은 기반 모델이 스스로를 점검하는 것이지 독립적인 진리의 출처는 아니라고 적었다.

3.2커뮤니티의 첫인상은 회의적이었다

발표 당일 Hacker News 스레드는 564점과 댓글 174개를 기록했다. 상위 반응은 대체로 회의적이었다. 과학에 부족한 것은 논문 수가 아니라 좋은 논문이라는 지적, 인용 환각 문제, 사전 구성이 생명과학에 쏠려 있다는 관찰이 반복됐다. PubMed와 유전체 데이터베이스는 붙어 있는데 계산기계학회나 전기전자공학자협회 쪽 자료는 없다는 것이다. 리눅스 빌드가 죽는다는 보고, Claude Code로 충분하지 않느냐는 반문도 있었다. 발생생물학을 하는 한 사용자는 과학적 추론이 확실히 개선됐고 다른 챗봇보다 낫지만, 무엇이 이미 알려졌는지 명시하지 않으면 분야 최전선에는 못 미친다고 적었다. 최신 논문 다수가 비공개라 학습에 들어가지 않았기 때문이라는 설명이었다.

커뮤니티 후기는 익명이고 재현 절차가 공개되지 않았으므로 이 보고서에서 가장 낮은 등급으로 다룬다. 규모와 논조의 분포를 보여 주는 자료이지, 개별 주장을 사실로 채택할 근거는 아니다.

3.3같은 프롬프트를 두 도구에 던진 실측

가장 값진 자료는 7월 21일 Future Stack Reviews에 실린 Takashi Fujino의 리뷰다. 같은 프롬프트를 일반 Claude 앱과 Claude Science에 각각 던지고, 저장된 아티팩트의 탭을 하나씩 열어 보고, 핵심 수치를 1차 논문과 대조하고, 정답을 아는 합성 데이터로 리뷰어를 통제 실험했다. 저자는 한계를 스스로 밝힌다. 주제 하나, 도구당 실행 한 번, 날짜 하나, 플랜 하나, 베타 빌드 하나의 결과라는 것이다. 리뷰가 Anthropic의 Claude로 작성됐고 대상도 Anthropic 제품이라는 이해상충도 자진 공개했다. 아래 내용은 그 두 단서를 붙인 채로 읽어야 한다.

이 실측이 남긴 가장 구체적인 장면은 SDHB라는 단백질을 둘러싼 한 문장이다. 저장된 리뷰의 산문은 SDHB 단백질 소실이 5년 무진행생존을 91.5%에서 34.8%로 층화했다고 서술했다. 그런데 앱이 전문까지 가져온 그 논문은 해당 생존 층화를 네 인자로 만든 위험 모델로 정의한다. SDHB 발현, 원발종양 크기, 최종진단, Ki-67 지수다. SDHB는 넷 중 하나이고, 산문이 그 하나를 모델 전체로 승격시켰다. 같은 주장의 세 층위를 나란히 놓으면 어디서 어긋났는지가 분명해진다.

Future Stack Reviews(2026-07-21)가 원문과 대조해 기록한 내용을 재구성했다. 참고문헌 항목 자체는 정확했고, 산문만 틀렸다.

같은 리뷰가 반대 방향의 결과도 함께 남겼다는 점이 중요하다. 통제 실험에서 앱은 순수한 노이즈 변수를 유의한 바이오마커라고 부르기를 거부했고, 교과서적인 통계 함정 두 개를 스스로 교정했다. 별도 실행에서는 리뷰어가 인용을 검증했다는 모델의 주장을 로그에 그런 단계가 없다는 근거로 잡아냈다. 즉 기록과 대조 가능한 거짓말에는 강하고, 원문 독해가 필요한 왜곡에는 약하다. 두 결과는 모순이 아니라 같은 설계의 양면이다.

데이터 접근에 관한 관찰도 실무적으로 유용하다. 발표문의 60개 이상이라는 숫자는 카탈로그이지 약속이 아니었다. 연결 마법사에는 커넥터 42개가 있고 그중 25개가 기본 활성인데, 무료 이용 대상으로 표시된 한 서지 데이터베이스는 7월 업데이트로 전문 접근에 무료 API 키가 필요해졌고 실제 실행에서 앱은 키를 찾지 못해 PubMed 단독으로 물러섰다. 문헌 매칭 결과는 Claude Science가 레코드 49건, 일반 앱이 확정 8건에 거명 11건이었다. 다만 49건 중 2건은 프리프린트와 출판본이 짝을 이룬 것이라 실질 47건이고, 리뷰와 증례보고와 동물모델이 섞여 있다. 독립 참조셋이 없으므로 정직한 비교는 재현율이 아니라 레코드 수에 그친다고 저자는 적었다.

3.4소프트웨어를 팔면서 같은 시장의 경쟁자가 된다

출시 당일 샌프란시스코에서 열린 행사에서 Anthropic의 생명과학 총괄 Eric Kauderer-Abrams는 회사가 직접 신약 개발에 나선다고 발표했다. 대상은 방치된 질환이다. 이유는 이렇게 설명됐다. 산업을 가속할 올바른 모델과 제품과 도구를 만들려면 우리도 함께 그것을 살아야 하고, 약을 개발하는 참호에서 함께 겪는 경험을 대신할 것은 없다는 것이다. 이 발표는 CNBC와 The Verge가 각각 독립적으로 확인했다.

구조를 보면 다른 제약사에 소프트웨어를 팔면서 동시에 같은 시장의 경쟁자가 되는 위치다. 유망 후보물질을 찾으면 어떻게 할 것인지는 밝히지 않았고, The Verge의 논평 요청에도 답하지 않았다. 같은 취재에 붙은 전문가 유보도 명료하다. 옥스퍼드의 Frank von Delft는 AI 모델이 실험을 불필요하게 만드는 데는 근처에도 가지 못했다고 말했고, UCL의 Matthew Todd는 AI가 설계한 약이 규제 승인을 받기까지 갈 길이 멀다고 했다. AI가 설계한 약으로 임상시험과 FDA 승인을 통과해 시판된 사례는 아직 없다.

같은 기사는 Anthropic이 지난 1년간 생물학자를 채용하고 자체 실험실을 짓고 있다고 전했다. 케임브리지의 Namshik Han은 동료 여럿이 접촉을 받았고 대형 제약사와 명문대에서 몇 명이 옮겨 간 것으로 안다고 말했다. 흥미로운 것은 기술 해부가 이미 같은 방향을 예측했다는 점이다. feitong.phd는 해부 말미에 Anthropic이 실험실 연구를 수행하고 지원하면서 모델과 하네스와 실험실이 함께 진화하는 되먹임 고리를 조일 것이라고 적었다. 코드를 뜯어본 사람과 사람을 취재한 기자가 독립적으로 같은 결론에 닿았다.

3.5엿새 만에 나온 대안이 일곱 주 만에 제품이 됐다

출시 엿새 만에 오픈소스 대안이 등장했다. Open Science Desktop이다. 일곱 주가 지난 지금 이것은 습작이 아니다. 커밋 432개가 쌓였고, 7월 21일 브라우저 제어와 토큰 인증 게이트웨이를 넣은 판을 냈으며, 7월 24일 분할 창, 8월 1일 프로젝트와 메모리와 히스토리를 붙였고, 8월 13일 에이전트 클라이언트 프로토콜 양방향 지원까지 갔다.

복제하려 한 것이 곧 시장이 본 핵심 가치다. 프로젝트가 내건 문구는 세 줄로 요약된다. 모든 것이 거슬러 추적된다. 그림과 표와 리포트와 노트북과 실행 출력이 그것을 만든 정확한 코드와 입력과 환경과 모델 출력과 대화로 연결된다. 구성상 재현 가능하다. 로컬 우선이며 당신의 것이고, 기본적으로 아무것도 밖으로 나가지 않는다. 차별점은 두 가지다. 모델에 종속되지 않아 원하는 모델을 붙일 수 있고, macOS와 리눅스뿐 아니라 윈도우까지 지원한다. Claude Science는 윈도우 네이티브 빌드가 없다.

외부 평가라는 것 자체의 상태도 여기서 드러난다. 출시 이후 나온 가장 상세한 거버넌스 논평 문서 중 하나는 본문에 스스로 밝히기를, 챗봇이 작성한 요약이다. 그 문서에 실린 행사 발표 수치와 패널 발언은 1차 확인이 되지 않아 이 보고서에서 쓰지 않았다. 다만 결론 한 줄은 인용할 만하다. Anthropic이 지금까지 보여 준 것은 과학 작업의 가속이지 검증된 과학적 진리의 가속이 아니라는 문장이다. 출시 일곱 주 뒤 외부 평가를 모으다 보면 AI가 쓴 요약을 인용하게 되는 상황 자체가, 이 글이 증거 등급을 따지는 이유이기도 하다.

이런 도구의 능력을 객관적으로 비교할 자리가 있는가. 조사를 시작할 때 세운 가설은 아직 아무도 재지 않았다는 것이었는데, 그 가설은 틀렸다. 에이전틱 과학 벤치마크는 이미 여럿 있고 그중에는 처음부터 끝까지 자율 연구를 시키는 것도 있다. 정확한 결론은 세 겹이다. 벤치마크는 있고, 재본 결과 성능은 낮으며, 그런데 어느 것도 이 제품이 실제로 내세운 것을 재지 않는다.

4.1채점표는 이미 있고, 점수는 낮다

아래는 이번 조사에서 확인한 주요 벤치마크다. 마지막 열은 이 보고서가 원문에서 어디까지 확보했는지를 밝힌 것이다. 규모만 확인한 항목의 성능 수치는 적지 않았다.

이 밖에 PaperBench, DiscoveryBench, SUPER, LitQA2, DS-1000 등이 확인됐고 상당수는 AstaBench의 하위 벤치마크로 편입돼 있다. 벤치마크 논문의 헤드라인 수치는 대개 특정 조건의 최댓값이므로, 위 표에는 초록이 밝힌 평균값만 옮겼다.

4.2재는 것은 과제 성공이고, 이 제품이 내건 것은 증거 보존이다

표의 채점표들은 모두 같은 질문에 답한다. 이 에이전트가 과제를 얼마나 푸는가. 그런데 Claude Science가 내건 주장은 과제를 더 잘 푼다가 아니다. 산출물이 자기 증거를 달고 다닌다는 것이다. 계보 기록이 실제로 맞는지, 리뷰어가 중요한 오류를 잡는지를 점수화하는 벤치마크는 이번 조사에서 확인되지 않았다. 섹션 3의 SDHB 사례가 정확히 그 빈칸에서 일어났다. 과제는 성공했고, 기록도 정확했으며, 산문 한 줄이 틀렸다. 어떤 점수판도 그 실패를 감점하지 않는다.

더 눈에 띄는 것은 이름의 부재다. Claude Science는 위 어느 공개 리더보드에도 없다. 반면 출시 엿새 만에 나온 오픈소스 대안은 7월 9일 ResearchClawBench의 채점 과제 평균에서 1위라고 스스로 밝혔다. 이 순위는 프로젝트 자체 문서의 주장이고 공식 리더보드에서 독립 확인하지 못했다. 더구나 이 리더보드는 외부에서 가져온 실행 결과 제출을 허용하므로 일부 항목은 자기보고다. 그럼에도 분명한 사실이 하나 있다. 공개 채점표에 이름을 올리기로 한 쪽은 벤더가 아니라 그 복제품이었다.

4.3결과만 보는 평가로는 안 잡히는 실패

설령 잰다 해도 무엇이 남는지를 다룬 연구가 2026년 4월 나왔다. Ríos-García 등이 8개 도메인에서 2만 5천 회 넘는 에이전트 실행을 모아, 워크플로 실행부터 가설주도 탐구까지 두 렌즈로 분석했다. 하나는 기반 모델과 스캐폴드의 기여를 분해하는 성능 분석이고, 다른 하나는 에이전트 추론의 인식론적 구조를 보는 행동 분석이다.

두 렌즈가 내놓은 답은 성격이 다르다. 성능 쪽에서는 결과와 행동을 가른 몫이 기반 모델에 압도적으로 쏠렸고, 하네스를 어떻게 깎아도 거기서 설명되는 몫은 근소했다. 행동 쪽은 더 껄끄럽다. 에이전트가 스스로 만들어 낸 증거를 그냥 지나친 궤적이 3분의 2를 넘었고, 반증을 만나 판단을 고친 경우는 네 번에 한 번꼴이었다. 서로 다른 방법이 같은 결론에 닿는 다중검증은 드물었다. 아래는 그 두 답을 나란히 놓은 것이다.

Ríos-García et al., "AI scientists produce results without reasoning scientifically", arXiv:2604.18805(2026-04-20) 초록의 수치. 이 연구는 Claude Science를 시험한 것이 아니다. 일반적인 LLM 과학 에이전트를 평가했으므로, 이 수치를 특정 제품의 성적으로 옮겨 읽어서는 안 된다.

같은 추론 패턴이 계산 워크플로를 실행할 때나 가설주도 탐구를 할 때나 동일하게 나타났고, 거의 완전한 성공 추론 궤적을 맥락으로 받아도 패턴이 지속됐다. 인식론적으로 까다로운 도메인에서는 반복 시행에 걸쳐 불신뢰성이 누적됐다. 저자들의 결론은 이렇다. 현재의 LLM 기반 에이전트는 과학 워크플로를 실행하지만 과학적 추론을 특징짓는 인식론적 패턴을 보이지는 않는다. 결과 기반 평가로는 이런 실패를 탐지할 수 없고, 스캐폴드 공학만으로는 고칠 수 없다.

이 결론을 제품에 곧장 적용하면 과잉 해석이 된다. 다만 이 제품이 판돈을 건 자리가 어디인지는 정확히 가리킨다. 섹션 2에서 봤듯 Claude Science의 리뷰어는 실측으로 정교하게 깎인 스캐폴드다. 사고 과정을 빼고 파이썬을 막은 것은 평가를 돌려 보고 내린 결정이었다. 그리고 위 연구가 1.5%라고 측정한 것이 바로 그 층의 기여다. 두 사실은 서로를 반박하지 않는다. 하네스 공학이 무의미하다는 뜻도, 리뷰어가 쓸모없다는 뜻도 아니다. 하네스로 고칠 수 있는 것과 없는 것의 경계가 어디인지를 각자 다른 방향에서 가리킬 뿐이고, 그 경계를 판정할 자료는 아직 없다.

이 섹션의 자료는 전부 Anthropic 공식 문서에서 직접 확보한 것이다. 벤더가 스스로 아직 안 된다고 열거한 목록이라 등급이 높고, 도입을 검토하는 조직이 그대로 체크리스트로 옮겨 쓸 수 있다. 다만 베타 제품의 문서이므로 2026년 8월 17일 기준이라는 시점이 붙는다. 검토를 시작할 때 가장 먼저 할 일은 이 목록을 다시 열어 무엇이 바뀌었는지 확인하는 것이다.

5.1관리자 통제는 아직 대부분 비어 있다

Anthropic은 2026년 5월 Compliance API를 28개 엔터프라이즈 보안 연동과 함께 출시했다. 그중 어느 것도 Claude Science에는 아직 닿지 않는다. 이유는 대체로 같다. 데이터가 사용자 컴퓨터에 있어 서버 쪽에서 손댈 대상이 없다는 것이다. 로컬 우선 설계가 개인에게 주는 이점이 조직에는 그대로 통제의 공백이 된다.

아래 여덟 줄은 두 종류로 갈라 읽는 편이 낫다. 하나는 아직 만들지 않았을 뿐 로드맵에 있다고 문서가 밝힌 항목이다. 감사 로그와 커넥터 허용 목록이 여기 속한다. 다른 하나는 서버에 데이터가 없어 손댈 대상 자체가 없는 항목으로, 조직 데이터 export와 보존 기간 설정이 그렇다. 앞의 것은 기다리면 채워질 수 있고, 뒤의 것은 저장 구조가 바뀌지 않는 한 그대로 남는다. 조직이 지금 감당해야 할 위험의 크기는 그 구분에서 갈린다.

Anthropic 공식 문서 "What's not available yet"(확인 2026-08-17)에서 옮겼다. 항목의 표현은 요약했고 의미는 바꾸지 않았다.

5.2로컬 우선이 로컬 전용은 아니다

데이터 경계도 공식 문서로 확인했다. 대화와 아티팩트는 기기에만 저장된다. 그러나 모델을 호출할 때마다 프롬프트와 응답이 Anthropic 서버로 가고 모델 트래픽에 대한 표준 보존정책에 따라 로깅된다. 원격 컴퓨트로 보낸 코드와 데이터는 Anthropic을 거치지 않고 목적지로 직행하는데, 관리자는 아직 구성원이 원격 컴퓨트에 연결하는지 여부를 제한할 수 없다. 사용자가 로컬에 직접 추가한 커넥터도 Anthropic을 경유하지 않고 앱과 직접 통신한다. 제품 사용 텔레메트리는 대화 내용이 아닌 이벤트 수와 타이밍이며 기기 설정으로 끌 수 있다.

경계는 한 겹 더 있다. 계산이 어디서 도는가다. 앱이 자기 안에서 돌리는 작업은 Anthropic 샌드박스 안에 머물지만, 연구실 서버나 고성능 컴퓨팅 자원으로 밀어 넣은 작업은 그 울타리를 벗어난다.

5.3누가 확인하고, 누가 돈을 내고, 무엇을 못 쓰는가

나머지 항목은 성격별로 묶었다. 계약과 예산과 컴플라이언스에 바로 영향을 주는 것들이다.

확인할 사람도 갈린다. 검증 계층이 켜져 있는지는 플랜에 따라 다르므로 연구 책임자가 볼 몫이다. 비용은 앱 바깥에서 쌓이고 앱을 닫아도 멈추지 않으니 예산 담당이 봐야 한다. 취급할 수 있는 데이터와 운영체제에 걸린 금지선은 법무와 정보기술 부서의 자리다. 아래 세 항목이 그 순서다.

5.4세 갈래 선택지와 조달에 남는 한 줄

경쟁 구도는 세 갈래로 갈렸다. Anthropic은 과학 데이터베이스 60여 개를 묶은 광범위 구독을 팔고, OpenAI는 2026년 4월 생물학 추론에 특화한 GPT-Rosalind를 미국 기업 고객 대상 리서치 프리뷰로 내면서 자격 심사와 안전 검토로 게이팅했다. Google DeepMind는 AlphaFold와 AlphaGenome 같은 자체 파운데이션 모델을 보유한 채 생명과학 데이터베이스 30여 개를 묶었다. 넓게 열되 검증은 사용자 몫으로 두는 쪽, 좁게 열되 자격을 심사하는 쪽, 모델 자체를 쥔 쪽이다.

어느 쪽을 고르든 조달 문서에 남겨야 할 문장은 같다. 도구가 산출한 결과를 누가 독립적으로 확인하는가. 발표문에 실린 세 사례 중 그 문장이 붙은 것이 하나였다는 사실이 이 요구의 근거다. 도입 계약서와 PoC 설계서에 독립 검증 조항을 어디에 넣을지, 그 검증을 수행할 사람의 시간을 누구의 예산에 잡을지가 첫 회의에서 정해져야 한다. 나중에 붙이는 편이 언제나 더 비싸다.

Editor's Note. 아래는 본문의 조사 결과가 아니라 이 주제를 다루는 편집팀의 관점이다. 앞의 다섯 장은 벤더 문서와 독립 기술 해부, 실측 후기, 학술 벤치마크를 근거로 썼고, 이 장은 페블러스가 그것을 어디에 놓고 읽는지를 밝힌다.

6.1일관성 검사는 재현이 아니고, 재현은 타당성이 아니다

SDHB 사례가 이 보고서에서 가장 오래 남는 이유는 실패의 위치 때문이다. 데이터가 틀린 것도 아니고 코드가 틀린 것도 아니었다. 기록은 정확했고 참고문헌 항목도 정확했다. 틀린 곳은 원문의 의미를 옮기는 층이었다. 세 단계를 구분해 보면 이 도구가 무엇을 보증하는지가 분명해진다. 기록과 산출물이 서로 어긋나지 않는가를 보는 일관성 검사, 같은 절차를 다시 밟아 같은 값이 나오는가를 보는 재현, 그리고 그 절차가 애초에 이 질문에 옳은 방법이었는가를 보는 타당성이다. 리뷰어는 첫 번째를 한다. 벤더 문서가 그렇게 적어 두었다.

6.2도구가 계보를 관측하려면 입력 쪽에도 계보가 있어야 한다

페블러스가 AI-Ready Data라는 말로 다뤄 온 문제가 이 지점과 겹친다. Claude Science가 내건 것은 모델 성능이 아니라 증거를 남기는 실행 환경이고, 산출물마다 코드와 환경과 이력이 따라붙는 구조는 데이터에 맥락을 붙여 두는 일을 연구 도구 쪽에서 푼 것이다. 다만 그 계보는 앱이 데이터를 읽는 순간부터 시작한다. 읽히기 전의 데이터가 어디서 왔고 어떤 손을 거쳤는지는 이 구조 바깥에 있다. 계보의 신뢰도가 언어마다 다르다는 해부의 각주는 그래서 더 넓게 읽힌다. 계보가 있다와 없다를 이분법으로 파는 모든 제품에 해당하는 경고다.

데이터 품질 쪽에서 보면 걱정의 방향이 하나 더 생긴다. 잘못된 데이터로 완벽히 재현 가능한 그림을 그리는 일이 이 구조에서는 더 빨라진다. 리뷰어는 코드와 산출물이 맞는지를 보지만 입력 데이터가 틀렸는지는 보지 않는다. 품질 게이트가 파이프라인 앞단에 있어야 하는 이유이고, 데이터 준비도를 앞단에서 채점하려는 시도가 늘어난 배경이기도 하다.

6.3남는 것은 등급을 나눠 읽는 습관이다

이 글은 판결문이 아니다. Claude Science가 실패했다는 결론도, 발표가 과장이었다는 결론도 여기서 나오지 않는다. 일곱 주 동안 확인된 것은 이 제품이 기록을 강하게 만들었다는 사실이고, 확인되지 않은 것은 그 기록이 정확성을 얼마나 보증하느냐다. 도구를 고르는 조직에게 남는 실무는 그래서 등급을 나눠 읽는 일이다. 누가 주장했나, 무엇을 쟀나, 누가 확인했나. 세 질문을 벤더 사례에도, 벤치마크 점수에도, 이 보고서에도 똑같이 적용하면 대부분의 과장은 스스로 걸러진다.

AI 과학자 시리즈 지도

페블러스 블로그는 AI가 연구를 대신하거나 거드는 문제를 여러 각도에서 다뤄 왔다. 이 글은 그 가운데 한 제품의 증거를 점검하는 자리이고, 나머지 글들이 각각 다른 질문을 맡는다. 아래는 최근 순으로 정리한 지도다. 오른쪽에 각 글이 답하는 질문을 붙였다.

이 보고서의 제품 관련 사실은 Anthropic 공식 발표문과 공식 문서를 1차 근거로 한다. 외부 평가는 매체 기사와 독립 기술 해부, 실측 리뷰를 각각 등급을 밝혀 인용했고, 벤치마크 수치는 논문 초록에서 직접 확보했다. 본문을 확보하지 못한 자료는 해당 자리에서 그 사실을 밝혔다.

1차 자료 · 벤더

• 1.Anthropic. "Claude Science, an AI workbench for scientists"(2026-06-30). 제품 구성, 사례 3건, AI for Science 지원 프로그램의 정본.
• 2.Anthropic. "The reviewer", Claude Science 문서. 리뷰어의 범위와 플랜별 기본값.
• 3.Anthropic. "How Claude Science works with your data", Claude Science 문서. 로컬 저장과 모델 트래픽 로깅의 경계.
• 4.Anthropic. "What's not available yet", Claude Science 문서. 섹션 5.1 표의 출처.
• 5.Anthropic. "Claude Team plan for research labs". 연구 조직 대상 플랜 조건.
• 6.Modal. "Modal integration brings scalable compute to Claude Science"(2026-06-30). 원격 컴퓨트 과금 구조와 컨테이너 타임아웃.

매체 · 독립 평가

• 7.Bellan, R. "Anthropic's Claude Science bets on workflow, not a new model, to win over scientists." TechCrunch, 2026-06-30. 벤더 자인과 3파전 구도, 자기 점검의 한계 지적.
• 8.feitong.phd. "Dissecting Claude Science"(2026-07-06). 버전 0.1.15-dev 기술 해부. 데몬 중심 하네스, 계보 관측, 리뷰어 설계, 계보 커버리지 불균등과 재생의 한계.
• 9.Fujino, T. "Claude Science Review: what it is, and how it differs from the regular Claude app." Future Stack Reviews, 2026-07-21. N=1 실측이며 저자가 이해상충을 자진 공개했다. SDHB 과잉귀속 사례와 커넥터 실측의 출처.
• 10."Early Verdicts on Claude Science: Faster Workflows, But Gaps Remain." The Scientist, 2026-07. 본문 미확보(자동 접근 차단). 본문에서 간접 인용으로 처리했다.
• 11.Yoshinaga, K. "Claude Code for Science? Workflow, not a new model." R&D Magazine, 2026-07-28. 제품 계보와 프레이밍 비판.
• 12.Hart, R. "Anthropic wants to develop its own drugs." The Verge, 2026-07-03. 자체 신약 개발, 이해상충 구조, 전문가 유보, 채용과 실험실 건설.
• 13.Peebles, A., & Capoot, A. "Anthropic launches AI drug discovery program." CNBC, 2026-06-30. 행사 발표 내용과 직접 인용.
• 14.Hacker News 스레드 item 48735770(2026-06-30). 564점, 댓글 174개. 익명 커뮤니티 자료로 등급을 밝혀 인용했다.
• 15.ai4s-research. "Open Science Desktop", GitHub. 출시 엿새 만에 등장한 오픈소스 대안. 릴리스 이력과 리더보드 주장의 출처.

학술 · 벤치마크와 에이전트 평가

• 16.Ríos-García, M., et al. (2026). "AI scientists produce results without reasoning scientifically." arXiv:2604.18805, 2026-04-20. 8개 도메인 2만 5천 회 이상 실행. 기반 모델 41.4% 대 스캐폴드 1.5%, 증거 무시 68%, 신념 수정 26%.
• 17.Bragg, J., et al. (2026). "AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite." ICLR 2026, arXiv:2510.21652.
• 18.Xu, et al. (2026). "ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research." arXiv:2606.07591v5. 과제 40개, 분야 10개, 최강 자율 에이전트 평균 21.5.
• 19.Ye, et al. (2025). "ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers?" arXiv:2510.24591v2. 최고 성능 모델도 20% 미만.
• 20.Siegel, Z. S., et al. "CORE-Bench"(과제 270개, 논문 90편) · Chen, Z., et al. "ScienceAgentBench"(과제 102개, 논문 44편) · Mitchener, L., et al. "BixBench"(시나리오 50여 개). 본 조사에서는 규모와 설계 목적만 확보했다.