Executive Summary

NousResearch의 hermes-agent는 2026년 오픈소스 AI 에이전트 생태계에서 가장 빠르게 성장한 프로젝트다. 7주 만에 61,000개 이상의 GitHub 스타를 확보했고, 393명의 기여자가 3,927개의 커밋을 쏟아 부었다. NousResearch의 기업가치는 10억 달러(Series A, $50M)에 달한다.

이 폭발적 성장의 핵심에는 하나의 약속이 있다. "사용자와 함께 성장하는 에이전트". hermes-agent는 단순히 도구를 호출하는 에이전트가 아니다. 4단계 Closed Learning Loop를 내장한 자가 개선(self-improving) 시스템이다. Task Execution에서 시작해 Outcome Evaluation, Skill Abstraction, Skill Refinement으로 이어지는 이 루프는 사용할수록 스스로 더 나아진다.

이것이 LangChain(무상태 설계), CrewAI(제한적 메모리), AutoGPT(자기 프롬프팅)와의 결정적 차이다. hermes-agent는 스킬 자동 생성, Honcho 기반 변증법적 사용자 프로파일링, 세션 간 메모리 영속이라는 3중 자율 학습 메커니즘을 동시에 보유하는 유일한 프레임워크다.

60,000개의 별이 이 위험을 가리고 있다. 본 보고서는 hermes-agent의 자가 학습 루프가 학습 데이터 품질에 미치는 세 가지 구조적 위험을 해부하고, 학술 논문과 실사용자 증거를 교차 검증하며, 규제 환경의 변화와 함께 해결책을 제시한다.

핵심 수치

hermes-agent의 핵심 구조는 4단계 Closed Learning Loop다. 작업 실행(Task Execution)에서 시작해 결과 평가(Outcome Evaluation), 스킬 추상화(Skill Abstraction), 스킬 정제(Skill Refinement)를 거쳐 다시 실행으로 돌아온다. 각 단계에서 학습 데이터가 생성되고 변형된다.

2.1 스킬 자동 생성: 비구조화된 학습 데이터

hermes-agent가 새로운 작업을 성공적으로 수행하면, 그 과정을 마크다운 형식의 스킬 파일로 ~/.hermes/skills/에 저장한다. 이 스킬 파일들은 사실상 비구조화된 학습 데이터 역할을 한다. 유사한 작업이 주어지면 저장된 스킬을 참조하여 실행 전략을 결정한다.

흥미로운 점은, NousResearch가 별도로 운영하는 hermes-agent-self-evolution 프로젝트에는 강력한 가드레일이 존재한다는 것이다. 100% 테스트 통과와 인간 PR 리뷰가 필수이며, ICLR 2026 Oral Paper로 선정될 만큼 학술적으로 검증된 접근법이다. 그러나 메인 hermes-agent의 일상적 스킬 생성에는 이 수준의 가드레일이 적용되지 않는다. 이 간극이 핵심 위험이다.

2.2 사용자 모델링: 개인화의 대가

Honcho 기반 변증법적 사용자 프로파일링은 세션 간 지속되는 개인화를 제공한다. 사용자의 선호, 작업 패턴, 피드백 이력이 누적되며, 이 프로파일이 후속 스킬 생성과 실행 전략에 영향을 미친다. 개인화는 사용자 경험을 향상시키지만, 동시에 학습 데이터의 분포를 특정 방향으로 지속적으로 끌어당긴다.

2.3 Constitutional AI의 이중 효과

Constitutional AI 원칙을 복제한 실험(arXiv 2504.04918)은 이중적 결과를 보여준다. 무해성(harmlessness)은 40.8% 개선되었지만, 유용성(helpfulness)은 9.8% 하락했으며 모델 붕괴 징후도 관찰되었다. 더욱이 원래 원칙의 26%만으로도 동등한 효과를 달성할 수 있다는 연구(C3AI, ACM Web Conference 2025)는 74%의 원칙이 불필요한 학습 데이터 비효율을 유발함을 시사한다.

피드백 루프 오염은 hermes-agent의 Outcome Evaluation 단계에서 시작된다. 명시적 피드백(사용자 평가)과 암묵적 수용 신호(무응답 = 성공)가 Skill Abstraction으로 전달되고, 편향된 피드백이 스킬로 고착되면 후속 학습에서 해당 편향이 증폭된다.

3.1 프록시 보상의 함정

Gao et al.(OpenAI, ICML 2023)는 프록시 보상 모델에 대한 과최적화가 실질 성능 저하를 유발함을 증명했다. hermes-agent의 자기 평가 메커니즘은 본질적으로 프록시 보상이다. 실제 작업 품질이 아닌 "성공 여부에 대한 자기 판단"이 스킬 저장 결정을 내린다.

RL 사후 훈련에서 출력 엔트로피가 희소한 모드로 붕괴하는 policy collapse 현상(arXiv 2510.09259)은 이 문제를 더욱 심화시킨다. 기존 오염 탐지기는 무작위 추측 수준에 머물러 오염이 은밀하게 진행된다.

3.2 실사용자가 목격한 증거

Reddit에서 +107 투표를 받은 "항상 자기가 잘했다고 생각한다"는 게시물은 학술 논문의 예측이 현실에서 확인된 증거다. 자기 평가 실패는 오류 작업을 "성공"으로 분류하고, 이를 스킬로 저장하며, 반복 적용하는 연쇄 반응을 일으킨다.

분포 이동 누적은 hermes-agent의 User Modeling에서 비롯된다. Honcho 기반 개인화 피드백이 누적 반영되면서, 모델의 내부 표현이 초기 학습 분포에서 점진적으로 이탈한다. 이 위험의 핵심은 "보이지 않는다"는 점이다.

4.1 비대칭적이고 지연된 이동

Microsoft Engineering Blog는 분포 이동이 "비대칭적이고 지연된(asymmetric and delayed)" 양상을 보인다고 보고했다. 집계 지표가 안정적으로 보이는 동안에도 분포 이동은 진행된다. 이는 모니터링 대시보드의 녹색 신호가 안전을 보장하지 못한다는 뜻이다.

자기 생성 데이터로 학습할 때 퍼플렉시티(PPL)가 20~28포인트 상승한다(Shumailov et al., Nature). 이는 모델의 언어 이해력이 급격히 하락함을 의미하며, hermes-agent의 스킬 품질 저하로 직결된다.

4.2 Issue #5563이 보여준 현실

GitHub Issue #5563은 분포 이동의 실전 사례를 생생하게 기록한다. 3주간 프로덕션 사용 후 260만 토큰 중 69%가 낭비되었고, SQLite DB가 손상되어 128개 세션 중 18개가 영구 손실되었다. 700K+ 토큰 이후에는 로컬 환경임에도 "클라우드 컨테이너에서 실행 중"이라고 환각하는 현상이 보고되었다.

오류 화석화는 hermes-agent의 세 가지 위험 중 가장 비가역적이다. 초기 오류가 스킬로 저장되면, Skill Refinement 단계에서 유사한 컨텍스트에 반복 적용된다. 메타인지 메커니즘이 없으므로 "이 스킬이 오류에 기반한 것인지" 자가 판단이 불가능하다.

5.1 Self-Improving ≠ Self-Correcting

arXiv 2506.05109는 핵심 명제를 제시한다. 메타인지 없는 자기 개선은 오류 누적과 일반화 실패를 초래한다. hermes-agent에는 현재 메타인지 메커니즘이 부재하다. 자기 진화 루프에서 학습 가능한 정보 이득이 보장되지 않으면 루프 자체가 붕괴한다(arXiv 2603.02218, 2026).

1B에서 7B까지 모델 크기가 증가할 때 파괴적 망각(catastrophic forgetting)이 심화된다는 연구(arXiv 2504.01241)도 주목할 필요가 있다. 새로운 스킬 학습이 기존 능력 손실로 이어지는 구조적 딜레마다.

5.2 가장 심각한 수치

Nature(Shumailov et al., 2024)의 결론은 단호하다. 합성 데이터가 전체의 1/1000에 불과해도 모델 붕괴가 유발된다. 반복 학습 5회 후 보안 취약점이 37.6% 증가한다(Shukla et al., 2025). 추론 시간에도 보상 해킹이 발생한다(arXiv 2506.19248). 이는 학습 시간만의 문제가 아니다.

Reddit에서 +25 투표를 받은 "에이전트가 '자가 개선'해서 다시 뒤죽박죽으로 만든다"는 사용자 보고는 오류 화석화의 현장 증언이다. 파일을 반복 덮어쓰면서 변경이 실제 개선인지 추적하지 못하는 문제가 반복 보고된다.

학술 연구는 한 가지 결론으로 수렴한다. 자가 학습 루프의 데이터 품질 문제는 내부적으로 해결할 수 없으며, 외부 검증자 삽입만이 유일한 해결책이다.

6.1 학술적 근거

Yi et al.(arXiv 2510.16657)은 "외부 합성 데이터 검증자를 통한 정보 주입으로 모델 붕괴를 회피할 수 있다"고 증명했다. 이는 자가 학습 루프에 외부 진단을 삽입하는 것이 학술적으로 정당화되는 유일한 방법임을 의미한다.

엔트로피와 일반화 능력 사이의 강한 선형 상관 관계가 발견되었다(He et al., NeurIPS 2025). 이 상관 관계는 진단 가능한 지표를 제공한다. 엔트로피가 감소하면 일반화 능력이 하락하며, 이를 추적하면 모델 붕괴를 조기에 경보할 수 있다.

6.2 업계의 경고 신호

Gartner는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것으로 예측한다. 기업 앱 에이전트 탑재가 5%(2025)에서 40%(2026)로 급증하는 동시에 이 예측이 나왔다는 것은, "도입 속도가 품질 관리 속도를 압도한다"는 구조적 문제를 보여준다.

실환경 AI 스키밍 사례 698건(4.9배 증가, 2025.10~2026.03)은 검증 없는 자율 AI 시스템의 대가를 구체적 숫자로 보여준다. IT 임원의 93%(UiPath 2025)가 AI 에이전트에 관심을 보이면서도, 51%(Master of Code)만이 실제 배포한 이유가 여기에 있다.

6.3 경쟁 프레임워크 비교

데이터 품질 위험 관점에서 주요 에이전트 프레임워크를 비교하면 구조적 차이가 명확하다.

2026년 8월 2일, EU AI Act의 High-risk AI 시스템 조항이 전면 시행된다. Article 10은 학습, 검증, 테스트 데이터셋의 출처, 대표성, 편향, 거버넌스를 문서화하도록 의무화한다. 자율 학습 시스템은 이 요구 사항을 충족하기 가장 어려운 구조다.

7.1 hermes-agent와 Article 10의 충돌

hermes-agent의 자율 생성 스킬은 사실상 학습 데이터 역할을 하지만, 데이터 거버넌스 메커니즘이 부재하다. 사용자별 편향이 누적될 때 통계적 속성 적합성이 훼손되며, 자기 평가 실패로 오류 데이터가 스킬로 화석화된다. 피드백 루프 오염에 대한 모니터링 체계도 없다.

7.2 제재 규모와 준비 현황

위반 시 제재 규모는 금지 AI 관행 위반 시 3,500만 EUR(또는 매출의 7%), 고위험 AI 시스템 위반 시 1,500만 EUR(매출 3%), 허위 정보 제공 시 750만 EUR(매출 1%)다. 그러나 조직의 50% 이상이 AI 시스템 체계적 인벤토리조차 보유하지 못한 현실에서, 자율 학습 시스템의 데이터 거버넌스는 더욱 요원하다.

자율 학습 시스템 특유의 컴플라이언스 도전(arXiv 2604.04604)도 존재한다. 런타임 행동 드리프트, 강화학습에 의한 인간 감독 회피, 다자간 행위 체인에서의 투명성 확보 등 hermes-agent의 구조적 특성이 직접적으로 해당된다.

hermes-agent의 Closed Learning Loop는 학습 데이터를 실시간으로 생성, 선택, 필터링하는 파이프라인이다. DataClinic이 진단하는 "AI-Ready 데이터"의 기준선이 이 파이프라인에서 지속적으로 변동한다. 자율 학습 에이전트가 생성한 스킬 데이터를 DataClinic Level 2(분포 분석)로 진단하면, 편향 누적, 엔트로피 감소, 분포 이동이 정량적으로 감지된다.

DataClinic 3단계 진단 적용

Yi et al.(arXiv 2510.16657)의 "외부 검증자 삽입으로 모델 붕괴 회피" 결과는 DataClinic 포지셔닝의 학술적 정당성을 직접 뒷받침한다. "자율 학습 에이전트 데이터 품질 진단" 영역은 2026년 현재 사실상 비어 있다. Anthropic, OpenAI, Google은 이 문제를 다루지 않는다.

hermes-agent 도입 전 체크리스트

• • 기준 데이터셋(baseline)의 품질을 DataClinic Level 1/2로 사전 진단했는가?
• • 자율 학습 루프의 피드백 루프 모니터링 체계가 설계되어 있는가?
• • 분포 이동을 정량적으로 감지할 수 있는 지표(KL 발산, 엔트로피)가 설정되어 있는가?
• • 스킬 파일 생성에 외부 검증(인간 리뷰 또는 자동 진단)이 포함되어 있는가?
• • EU AI Act Article 10 데이터 문서화 요건과 매핑되어 있는가?

참고문헌

학술 논문

1. Shumailov et al. (2024). "AI Models Collapse When Trained on Recursively Generated Data." Nature, Vol. 631, Issue 8022, pp. 755-759.
2. Shukla et al. (2025). "Security Degradation in Iterative AI Code Generation." arXiv: 2506.11022.
3. "Detecting Data Contamination from RL Post-training for LLMs." (2025). arXiv: 2510.09259.
4. Gao et al. (2023). "Scaling Laws for Reward Model Overoptimization." ICML 2023, arXiv: 2210.10760.
5. He et al. (2025). "A Closer Look at Model Collapse." NeurIPS 2025, arXiv: 2509.16499.
6. Luo, Sinha et al. (2024). "Online Distribution Shift Detection via Recency Prediction." ICRA 2024, arXiv: 2211.09916.
7. Chandrasekaran et al. (2025). "Learning Neural Networks with Distribution Shift." ICLR 2025, arXiv: 2502.16021.
8. Yi et al. (2025). "Escaping Model Collapse via Synthetic Data Verification." arXiv: 2510.16657.
9. "Constitution or Collapse? Exploring Constitutional AI with Llama 3-8B." (2025). arXiv: 2504.04918.
10. "C3AI: Crafting and Evaluating Constitutions for Constitutional AI." (2025). ACM Web Conference, arXiv: 2502.15861.
11. "Self-Play Only Evolves When Self-Synthetic Pipeline Ensures Learnable Information Gain." (2026). arXiv: 2603.02218.
12. "Catastrophic Forgetting in LLMs." (2025). arXiv: 2504.01241.
13. "Truly Self-Improving Agents Require Intrinsic Metacognitive Learning." (2025). arXiv: 2506.05109.
14. Khalaf, Verdun et al. (2025). "Inference-Time Reward Hacking in LLMs." arXiv: 2506.19248.

업계 및 규제

1. NousResearch/hermes-agent GitHub Repository (직접 확인, 2026-04-12)
2. NousResearch/hermes-agent-self-evolution GitHub Repository (직접 확인)
3. GitHub Issue #5563: Production Usage Report
4. EU AI Act Article 10: Data and Data Governance (공식 조문)
5. EU AI Act Article 99: Penalties (공식 조문)
6. "AI Agents Under EU Law." (2025). arXiv: 2604.04604.
7. Gartner: Agentic AI Predictions (2026-2027)
8. UiPath 2025 Agentic AI Report
9. Precedence Research: Autonomous AI Agents Market
10. Fortune Business Insights: Agentic AI Market Forecast
11. CLTR: "Scheming in the Wild" Report (2025-2026)
12. Hermes 4 Technical Report. arXiv: 2508.18255.