Executive Summary

JP모건이 2026년 기술 예산을 약 199억 달러로 책정하면서, 그 안에 배정된 AI 지출을 회계 장부의 다른 칸으로 옮겨 적었다. 이전까지 AI는 실적이 나쁘면 가장 먼저 잘리는 '재량적 혁신(discretionary innovation)' 칸에 있었다. 이제는 데이터센터·결제 시스템·핵심 리스크 통제 옆, 즉 은행이 없이는 돌아가지 않는 필수 인프라 칸에 앉았다. 이 글은 그 이동이 무엇을 뜻하는지를 본다.

제이미 다이먼은 이 투자가 이미 스스로를 갚았다고 말한다. 그런데 수익의 출처를 뜯어보면 화려한 고객용 AI가 아니라 계약 검토·코딩·요약 같은 내부 '배관(plumbing)'이다. 계약 검토 도구 COiN 하나가 연 36만 시간을 없앴다. 반대로 기술 예산 전체 대비 AI 창출 가치의 비용비는 약 12:1이고, MIT 조사에서 엔터프라이즈 생성형 AI 파일럿의 95%는 측정 가능한 재무 효과를 내지 못했다.

성과를 낸 팀과 못 낸 팀을 가른 변수는 모델 접근권이 아니었다. 정돈된 데이터, 소유권이 분명한 데이터 제품, 측정 가능한 평가, 그리고 에이전트에게 사람보다 좁게 준 접근 권한이었다. AI가 실험에서 배관으로 넘어가는 순간, 조직이 먼저 갖춰야 하는 건 더 큰 모델이 아니라 더 정돈된 데이터와 더 촘촘한 문이다.

199억$

2026 기술 예산

AI 약 20억$를 '필수 인프라'로 재분류

36만 시간

COiN 연간 절감

ROI는 화려한 앱이 아니라 내부 배관에서

12:1

비용 대 가치 비율

"수익이 아니라 옵션을 사는 것" — 균형 잡힌 시각

90%

과권한 AI 에이전트

필수 인프라엔 더 촘촘한 접근통제가 전제

1

AI가 '실험 칸'을 떠나 데이터센터 옆에 앉았다

JP모건은 2026년 기술 예산을 약 199억 달러(반올림하면 약 200억 달러)로 잡았다. 전년보다 약 12억 달러 늘었고, 그 증가분의 상당 부분이 AI로 향한다. 눈에 띄는 건 액수보다 위치다. 세계 최대 은행이 약 20억 달러 규모의 AI 지출을 재량적 혁신 범주에서 빼내, 데이터센터·결제 시스템·핵심 리스크 통제와 같은 줄에 세웠다. AI를 사이버보안·운영 회복탄력성과 동급의 'non-negotiable' 우선순위로 취급하기 시작한 것이다.

회계 칸의 이동은 표기 이상의 선언이다. 재량적 실험으로 정당화되던 지출은 실적이 나빠지면 가장 먼저 삭감된다. 반대로 핵심 인프라로 분류된 지출은 비용 절감 사이클에서 살아남는다. 은행이 결제망이나 리스크 통제를 "올해는 성과가 애매하니 잠시 끄자"고 하지 않는 것과 같은 논리다. AI를 그 옆에 적어 두었다는 건, 조직이 AI를 껐다 켰다 하는 옵션이 아니라 끄면 안 되는 배관으로 본다는 뜻이다.

같은 예산, 바뀐 칸 AI 지출이 '실험' 칸에서 '없으면 안 되는' 칸으로 옮겨 앉았다 재량적 혁신 실적 나쁘면 먼저 삭감 이전의 AI (실험 예산) 필수 인프라 (non-negotiable) 데이터센터 결제 리스크 통제 지금의 AI 출처: crypto.news, Banking Exchange (2026) | 페블러스 원본 도식
▲ 액수보다 위치가 뉴스다. AI는 이제 은행이 끄지 못하는 지출 옆에 기록된다 | 페블러스 원본 도식

"필수 인프라가 됐다"는 말은 축하가 아니라 청구서다. 결제망이나 리스크 통제에 요구하는 수준의 안정성·감사 가능성·데이터 품질을 이제 AI에도 똑같이 요구하겠다는 뜻이기 때문이다. 예산 칸의 이동은 곧 성숙도의 청구서다.

2

그 돈은 화려한 곳이 아니라 배관에서 갚았다

제이미 다이먼은 이 투자가 이미 스스로를 갚았다고 본다. 15만 명이 넘는 직원에 걸쳐 약 20억 달러의 운영 절감이 났고, 엔지니어링·운영·사기 탐지에서 10~11%의 생산성 향상이 나왔다는 것이다. 매주 내부 LLM을 쓰는 직원들은 하루 약 네 시간을 아낀다고 보고한다. 최고재무책임자 제러미 바넘도 "머신러닝 애널리틱스가 여러 부문에서 매출과 운영을 개선하고 있다"고 거든다.

JP모건 체이스 타워(휴스턴) — 15만 명 이상의 직원에게 사내 LLM을 배포한 세계 최대 은행의 AI 전사 투자 규모를 상징하는 건물
▲ JP모건 체이스 타워 (휴스턴) — 15만 명이 넘는 직원에게 보안 확보된 사내 LLM을 일괄 배포한 전사적 AI 투자의 물리적 스케일 | Source: Wikimedia Commons (CC BY-SA 3.0)

그런데 그 수익이 정확히 어디서 났는지가 이 글의 첫 번째 반전이다. 화제를 모으는 건 고객용 챗봇이지만, 실제로 돈을 아낀 건 눈에 잘 안 띄는 내부 배관이다. 계약 검토를 자동화한 COiN은 변호사·심사역이 매년 매달리던 작업에서 연 36만 시간을 없앴다. 코딩 어시스턴트는 개발 생산성을 10~20% 끌어올렸다. 회의 요약, 이메일 초안, 문서 처리까지 승리는 대부분 반복 업무 쪽에서 나왔다. 600개가 넘는 유스케이스가 프로덕션에서 연 15억~20억 달러 규모의 가치를 낸다.

이렇게 흩어진 승리들에는 공통분모가 하나 있다. 15만 명 전 직원에게 보안이 확보된 사내 LLM을 손에 쥐여 준 것이다. 특정 부서의 화려한 한 방이 아니라, 모두가 매일 쓰는 안전한 도구가 반복 업무의 배관을 조금씩 갈아 끼웠다는 뜻이다. 이 대목이 중요한 이유는 뒤에서 드러난다. 도구가 전사로 퍼질 때 실제로 돈을 갈라낸 변수는 도구 자체가 아니라, 그 도구가 물어 오는 데이터가 얼마나 믿을 만한가였다.

균형을 위해 반대편도 봐야 한다. 지금까지 AI에 쓴 누적 투자가 창출 가치를 크게 앞선다는 계산도 있다. 기술 예산 전체를 놓고 보면 비용 대 가치 비율은 약 12:1에 이른다. 이 숫자를 두고 한 분석은 "JP모건이 돈을 찍어내는 게 아니라 엔터프라이즈 규모의 옵션(optionality)을 사는 중"이라고 정리한다. MIT의 2025년 조사가 엔터프라이즈 생성형 AI 파일럿의 95%가 측정 가능한 재무 효과를 내지 못했다고 보고한 것과 겹쳐 놓으면, 다이먼의 자신감은 예외적 성취에 가깝다. 문제는 그 예외를 만든 조건이 무엇이었는가다.

수익은 데모에서 나지 않는다. 반복되는 업무 배관에서 난다. 그리고 배관이 실제로 돈을 아끼려면, 그 배관에 흐르는 데이터가 믿을 만해야 한다. 다음 절의 질문이 여기서 시작된다.

3

수익을 가른 건 모델이 아니라 밑단의 데이터였다

JP모건 사례를 분석한 보고들이 반복하는 결론은 한 문장으로 요약된다. 지속적인 AI 성공은 표면의 애플리케이션 레이어로는 달성되지 않는다. 깊고 지속적이며 대개 화려하지 않은 밑단 투자 — 모던 클라우드, 견고한 데이터 거버넌스와 파이프라인(JADE), 확장 가능한 ML 플랫폼(OmniAI)이 있어야 한다. 취약한 레거시 위에 AI를 얹는 것은 실패 레시피라는 것이다. 성과는 더 큰 모델을 산 팀이 아니라 밑단을 정돈한 팀에 몰렸다.

그 밑단의 핵심에 데이터 소유권 문제가 있다. JP모건은 값비싼 방식으로 배웠다. 중앙집중 데이터팀은 병목을 만든다. 영업이 리포트를 요청하면 IT는 "3개월"이라 답하고, 아무도 정확성을 책임지지 않으니 데이터 품질이 무너진다. 그래서 은행은 데이터 메시(Data Mesh)로 전환했다. 영업은 영업 데이터를, 지원팀은 티켓을, 재무는 거래 기록을 소유한다. 각 팀이 자기 데이터를 제품처럼 다루고, 정제된 데이터셋을 API로 게시한다. 소유자가 분명해지자 품질에 책임지는 사람이 생겼다.

성과는 어느 층에서 났나 눈에 보이는 앱이 아니라, 그 밑을 받치는 데이터 층에서 애플리케이션 레이어 (화려하지만 얕다) 데이터 소유권 · 데이터 메시 (제품처럼) 데이터 거버넌스 · 파이프라인 (JADE) 측정 가능한 평가 · KPI (test/control) ROI의 원천
▲ 성과는 앱 레이어가 아니라 소유권·거버넌스·평가라는 밑단에서 났다 | 페블러스 원본 도식

평가 체계도 같은 결의 이야기다. JP모건은 롤아웃마다 매우 명확한 성공 목표와 KPI를 세운다. 일부 팀에게만 도구를 주고 test/control 그룹으로 증분 이득을 실제로 측정한다. 무엇이 통하고 무엇이 안 통하는지를 감이 아니라 숫자로 배운다. 흥미로운 건 거버넌스를 대하는 태도다. 윤리적 AI·편향 완화·보안에 대한 투자를 공급사에까지 확장하면서, 은행은 규제 리스크가 될 뻔한 부담을 오히려 배포 속도를 높이는 전략적 지렛대로 바꿨다. 거버넌스는 속도의 적이 아니라 속도의 조건이었다.

페블러스 독자에게 가장 중요한 대목이 여기다. AI ROI를 원한다면 먼저 정돈해야 할 것은 모델 목록이 아니라 데이터 소유권과 평가 체계다. 누가 이 데이터의 정확성을 책임지는가, 그리고 이 배포가 실제로 이득을 냈는지 어떻게 측정하는가. 이 두 질문에 답할 수 없으면, 어떤 모델을 붙여도 배관은 새는 채로 흐른다.

4

에이전트에게는 사람보다 좁은 문을 준다

AI가 배관이 된다는 건 단지 텍스트를 생성하는 데서 멈추지 않고 실제로 행동한다는 뜻이다. 에이전트는 시스템을 호출하고, 권한을 위임받고, 실시간으로 무언가를 실행한다. JP모건 기술 블로그는 이 차이가 공격 표면을 모델 파라미터 너머로 확장한다고 지적한다. 그래서 은행이 처방하는 원칙은 능력과 위험에 안전장치를 정렬하라는 것이다. 제한된 읽기 전용 에이전트에는 가벼운 가드레일로 충분하지만, 신뢰할 수 없는 입력 처리 + 민감 데이터 접근 + 외부 행동 권한을 한 몸에 지닌 이른바 'lethal trifecta' 에이전트는 강력하고 지속적인 통제를 요구한다. 셋이 결합될수록 사고의 반경(blast radius)이 커진다.

현실은 반대 방향으로 흐른다. 한 조사에서 배포된 AI 에이전트의 90%가 과권한 상태였고, 많은 기업에서 비인간 신원(NHI)이 인간 신원을 144:1로 초과했다. 어떤 대형 금융기관은 인간 계정 약 5만 개에 비인간 신원이 420만 개였다. 조직의 3분의 2가 에이전트에 사람보다 오히려 약한 통제를 적용한다는 진단도 있다. 지속적이고 과범위한 자격증명이야말로 사소한 프롬프트 인젝션을 심각한 침해로 바꾸는 조건이다.

서버 랙이 늘어선 데이터센터 — AI 에이전트가 실시간으로 호출하고 실행하는 인프라. 과권한 에이전트는 사소한 프롬프트 인젝션을 심각한 침해로 바꾸는 조건이 된다
▲ 데이터센터 서버 인프라 — AI 에이전트는 이런 시스템을 실시간으로 호출하고 실행한다. 90%가 과권한 상태인 현실에서, 좁은 접근 경계야말로 배관을 안전하게 흐르게 하는 밸브다 | Source: Wikimedia Commons (CC BY-SA 3.0 / GFDL)

처방은 명료하다. 에이전트를 일급 신원(first-class identity)으로 취급하라. 소유자·목적·측정 가능한 접근 범위를 부여하고, 최소권한과 JIT(just-in-time) 접근을 기본값으로 삼으며, 작업 범위로 권한을 좁히고, 공유 자격증명 대신 전용 신원과 시한부 토큰을 쓰라는 것이다. 다만 한 가지 흔한 오해는 짚어 둘 만하다. 이걸 위해 완전히 새로운 도구를 발명할 필요는 없다. 다수 분석가의 조언은 기존의 신원·접근·라이프사이클 거버넌스를 에이전트까지 확장하라는 쪽이다. 핵심 메시지는 "제3자냐 자체냐"가 아니라, 에이전트 권한을 소프트웨어 결정이 아니라 신원 결정으로 다루라는 것이다.

필수 인프라가 된 AI는 더 큰 모델이 아니라 더 촘촘한 접근 경계를 요구한다. 사람에게는 넓은 재량을 주더라도, 자동으로 행동하는 에이전트에게는 사람보다 좁은 문을 주는 것 — 그것이 배관을 안전하게 흐르게 하는 밸브다.

5

그래서 지금 갖춰야 하는 건 더 큰 모델이 아니다

JP모건의 이야기를 한 줄로 접으면 이렇다. AI를 예산의 실험 칸에서 필수 인프라 칸으로 옮긴 결정 자체는 상징이지만, 그 상징을 실적으로 바꾼 것은 밑단이었다. 계약 검토 36만 시간의 절감도, 12:1의 비용비를 옵션 가치로 정당화하는 논리도, 정돈된 데이터·분명한 소유권·측정 가능한 평가·에이전트 접근통제라는 토대 위에서만 성립한다. 그 토대가 없으면 199억 달러는 그저 큰 숫자일 뿐이다.

그러니 자기 조직에 이 사례를 대입하려는 의사결정자에게 남는 질문은 하나로 좁혀진다. 우리는 모델 접근권을 늘리기 전에, 데이터와 문을 먼저 정돈했는가. 누가 이 데이터의 정확성을 책임지는지, 이 배포가 실제로 이득을 냈는지 어떻게 측정하는지, 그리고 자동으로 행동하는 에이전트에게 사람보다 좁은 권한을 실제로 부여했는지. 이 세 질문에 "예"라고 답할 수 있을 때, AI 예산의 칸을 옮기는 일이 비로소 의미를 가진다.

편집자의 노트. 이 글의 결론은 어디까지나 "AI가 배관이 되는 순간의 전제조건은 데이터와 접근통제"라는 데 있다. 데이터를 AI가 신뢰할 수 있는 형태로 다듬는 문제에 관심이 있다면, 페블러스가 다뤄 온 AI-Ready Data 관점을 참고하길 권한다.

R

참고문헌

공식 소스 (JP모건 1차 출처)

업계·보도

분석·전문 보고