CNCC 2026, 10만 개 넘는 에이전트 실행 현실에 '에이전트 보안' 쟁점 토론

2026년, 에이전트(智能体)는 개념에서 생산 시스템으로 나아갔다.

앤트그룹(안트그룹)의 3만여 명 직원 뒤에는 이미 10만여 개의 에이전트가 운영되고 있다. 화웨이 내부에도 마찬가지로 수천, 수만 개의 에이전트가 배치되어 고객 서비스, 사무, 운영·유지보수, 연구개발 등 각 사업 라인을 아우르고 있다. 더 넓은 산업 지형을 보면, 개인 어시스턴트, AI for Science, 네트워크 보안 자동화 공방, 엔터프라이즈 워크플로 오케스트레이션 등에서 에이전트가 인간이 과거 직접 해오던 일을 점차 넘겨받고 있다.

Gartner는 에이전트를 2027년 10대 전략 기술에 포함시켰고, 보안 업계에서는 비인간 신원(NHI)이 RSAC 콘퍼런스의 신흥 트랙이 되었다. 중국에서는 국가 표준, 강제 표준, 최고인민법원 사법 의견, 3개 부처 규범 문서가 올해 집중적으로 발표되었으며, 정책 측의 긴박감과 산업 측의 폭주가 거의 동시에 진행되고 있다.

10월 22일 청두에서 열린 CNCC 2026 "에이전트의 보안 문제" 특별 포럼에는 위루이(于锐), 쉬커(徐恪), 후샤(胡侠), 웨이타오(韦韬), 샤오야쥔(肖亚军) 다섯 명의 게스트가 한자리에 모여 각각 국가 표준 제정, 대학의 AI 보안 연구, 기업 보안의 최후 방어선 등의 관점에서 각자의 해석을 내놓았다.

01 중국이 에이전트에 "신분증"을 발급하기 시작하다

보안의 첫걸음은 "그것이 누구인지"를 파악하는 것이다. 하지만 에이전트는 자율적으로 행동하고, 플랫폼 간 이동이 가능하며, 무인 감독 상태에서 연쇄적으로 의사결정하고 도구를 호출할 수 있어, 전통적인 인간 신원 인증 방식은 분명히 적용되지 않는다.

CCF 컴퓨터 보안 전임위원회 부주임 위원인 위루이는 "중국의 이 분야 진전은 세 마디로 요약할 수 있다. 국가 표준이 이끌고, 업계가 세분화하며, 기업이 실현한다"고 소개했다.

올해 5월 발표된 GB/T 185 시리즈 표준은 에이전트 보안 거버넌스의 전 생애주기를 아우르며, 두 가지 핵심 요구 사항은 각 에이전트에 고유한 신원 식별자를 부여하는 것과 통일된 신원 관리를 시행하는 것이다. 인코딩 방식은 OID를 채택하며, 트리형 계층 구조로 하나의 코드에 하나의 주체, 절대 중복되지 않는다.

"우리 사람과 마찬가지로 에이전트에도 신분 번호를 발급한 것이다."라고 위루이는 밝혔다.

또한 현재 제정 중인 강제 표준인 《에이전트 응용 보안 기본 조건》은 일단 발표되면 신원과 식별자가 없는 에이전트는 응용에 출시될 수 없게 된다.

그러나 신원은 가장 표층적인 일환일 뿐이며, 위루이는 에이전트의 신원을 세 층으로 나누었다. 첫째 층은 제품 신원으로, 에이전트의 ID, 코드 지문, 버전 번호를 포함해 "이것이 어떤 에이전트인가"를 답한다. 둘째 층은 런타임 신원으로, 그 운영 환경, 디바이스 정보, 호출 출처를 검증해 "그것이 지금 무엇을 하고 있는가"를 반영한다. 셋째 층은 책임 주체로, 실명 인증과 기업 확인을 통해 "문제가 생기면 누구를 찾을 것인가"를 해결한다.

"한 번 권한을 부여했다고 해서 계속 하게 두는 것이 아니라, 임무에 따라 최저 권한을 부여하고 임무가 완료되면 권한을 회수한다."라고 위루이는 강조했다.

기술 구현 측면에서 인증은 OAuth/OIDC를, 권한 부여는 OAuth를, 자격 증명은 JWT 형식을 참조한다. 그러나 어떤 기술 노선을 택하든 최종적으로는 하나의 핵심 문제, 즉 신뢰의 앵커(신뢰의 뿌리)를 피할 수 없다.

이 점에 관해 위루이는 그들이 현재 구축하고 있는 국가 네트워크 신뢰 신원 공공 서비스 플랫폼을 소개했다. 국가 표준의 OID, W3C의 DID, IETF의 DNS 기반 방안 모두 신뢰 앵커는 실명 인증에 두고 있다.

"이 국가 플랫폼은 새로운 디지털 인프라로, 주로 시민에게 온라인 망호·망증, 즉 온라인 신원 식별자와 검증 가능한 자격 증명을 발급하는 것입니다."라고 위루이는 소개하며, 플랫폼의 시행 관리 방법이 올해 7월 정식 발표되었고 현재 초당 15만 건의 서비스 역량에 도달했으며 900여 개 기관이 접속해 다운로드 신청량이 6000만 건을 돌파했다고 밝혔다.

"목적은 디지털 공간의 신뢰 뿌리를 형성하여 국가 표준 185의 정착을 뒷받침하는 것입니다."

신원은 "에이전트가 누구인가"라는 문제를 해결했지만, 책임 귀속에 있어서는 에이전트가 사람이 아니어서 법적 자격이 없고 스스로 책임을 질 수 없다는 점에 국내외 모두 이견이 없다.

이에 대해 올해 9월 최고인민법원은 《인공지능 관련 분쟁 사건 심리에 관한 의견》을 발표하여, 통제력·시나리오·이익을 기준으로 책임을 구분했다. 일반 시나리오에는 과실 책임을 적용하여 개발자와 사용자가 리스크 통제 고지와 재검토 의무를 부담하고, 구현형(임바디드) 지능 시나리오에는 제품 책임을 적용하여 로봇이 상해를 입히면 제조사가 무과실 책임을 지며, 개인정보 관련 시나리오에는 과실 추정을 적용하여 운영 측이 스스로 규정 준수를 입증한다.

02 기존 보안 아키텍처는 새로운 공격을 막을 수 없다

표준과 법규는 가속화되고 있지만 기술 측의 문제는 더욱 난감하다.

"중국어로 '안전'은 두 글자지만 영어로는 safety, security, reliability, privacy, stability, trustworthiness 등 무수한 개념이 뒤섞여 있습니다. AI의 이번 폭발 이후 공방의 저울은 이미 심각하게 균형을 잃었습니다."라고 에이전트 보안 문제의 현황에 대해 앤트그룹 부총재 겸 최고기술보안책임자이자 앤트밀리터링테크놀로지 유한공사 회장인 웨이타오는 개탄했다.

웨이타오는 대회 이틀 전에 한 유명 데이터베이스 기업이 전면적으로 위기에 터졌고, 그 직후 PHP와 NodeJS가 잇따라 고위험 취약점을 드러냈다고 전했다. "대규모 언어모델 분야에서 널리 쓰이는 LiteLLM 게이트웨이가 독살(악성 주입)되었고, 공격자는 AI를 전면적으로 활용해 공격 효율을 끌어올리고 있습니다."

수비 측의 처지는 더욱 수동적이다. AI 프로그래밍으로 코드 산출 속도가 폭증하면서 많은 기업의 한 달 취약점 산출량이 이미 과거 1년치에 맞먹지만, 수정 속도는 끝내 따라가지 못하고 있다.

"여러분이 아주 잘 아는 DAC, MAC, 벨-라파둘라 같은 접근 통제 모델은 60~70년대 메인프레임 시대에 생겨나 근거리 통신망 시대에 완성된 것입니다. 클라우드 시대에 이르러 전체 사슬이 계속 확장되면서 주체 폭발, 객체 폭발, 사슬 폭발이 일어나 접근 통제 모델은 이미 심각하게 균형을 잃었습니다."라고 웨이타오는 지적하며, AI 공격 능력의 폭발적 향상이 각 기업의 누적된 부채를 집중적으로 드러냈다고 말했다.

동시에 에이전트가 가져오는 것은 기존 문제의 확대만이 아니라 전혀 새로운 구조적 위험 요소이기도 하다. 웨이타오는 그 화살을 더 근본적인 뿌리로 돌렸다. 바로 자연어 자체가 안전한 운반체로 적합하지 않다는 점이다.

"오늘날 에이전트를 만드는 관행은 자연어에 가드레일(Guardrails)을 더한 것입니다. 지능 부분은 자연어에, 과정 부분은 가드레일에 의존합니다. 그러나 자연어는 매우 형편없는 운반체입니다. 모호하고, 조건 설명이 명확하지 않고, 논리 제어의 경계도 명확하지 않으며, 표현 곳곳에 goto식 점프가 넘칩니다. 이것은 공격자가 가장 좋아하는 환경입니다."

이 때문에 웨이타오는 몇 년간 '에이전트 네이티브 언어'의 구축을 추진해왔으며, 구조화된 표현과 모호한 추론을 융합하여 운반체 차원에서 보안 체계를 새로 세우려 하고 있다.

운반체 외에도 웨이타오는 샌드박스와 지식이라는 두 가지 차원의 결함을 언급했다. 그는 "안전은 곧 샌드박스"라는 인식은 매우 낙후된 것이라고 지적했다. 지식의 신뢰성에 관해서는, 대규모 언어모델의 지식은 전부 인간의 실천에서 나온 것이며, 그 자신은 실험도 없고 체계적 혁신도 없다. 금융, 의료 등 전문 분야는 실행 가능성과 설명 가능성에 대한 강제 요구가 있지만, 지식 전체의 조직 형태는 아직 정립되지 않았다.

상하이 인공지능실험실 주임 보좌 겸 선도 과학자인 후샤는 AI 연구자의 관점에서 또 다른 시각을 제시했다.

그는 보안 문제를 두 부류로 나누었다. 하나는 내생적 위험으로, 대규모 언어모델 자체의 환각, 블랙박스에서 비롯되며 장기적으로는 인간과 통제권을 다투는 국면이 나타날 수도 있다. 다른 하나는 파생적 위험으로, 대규모 언어모델의 능력이 악의적으로 이용되는 것, 특히 CBRNE(생화학·방사능·핵·폭발물) 공격이다.

또한 그는 “다소 섬뜩한” 사례를 하나 들었다. UK BioBank에는 에볼라의 전장 유전체 데이터가 보관되어 있는데, 과거에는 단백질 합성 회사가 관련 합성 요청을 식별해 거부할 수 있었지만, 대형 모델이 등장한 이후에는 기초 생화학 지식만 갖춘 학부생, 심지어 고등학생도 에볼라의 변종을 만들어 규제 절차를 우회해 합성을 완료할 수 있게 되었다는 것이다.

그렇다면 무엇이 “충분히 안전한” 것일까?

후샤는 인체 건강에 비유해 안전 평가를 세 계층으로 나눴다.

첫 번째 계층은 증상 차원으로, 안전 사고가 발생한 뒤 원인을 거슬러 찾는 것으로, 실행 전후의 평가와 감사에 해당한다.

두 번째 계층은 지표 차원으로, 아직 사고가 나지 않았을 때 먼저 건강검진을 하는 것으로, 예컨대 Anthropic이 앞서 오픈소스로 공개한 Mechanistic Analysis 도구가 바로 파라미터와 설명 가능성 차원에서 검사하는 것이다.

세 번째 계층은 이론 차원으로, 안전 평가를 뒷받침할 만한 과학적 기반이 존재하는가이다. 후샤는 이 계층에서 현재 확인되는 작업은 아직 적다고 솔직히 밝혔다. 차분 프라이버시는 프라이버시 보호에 이론적 토대를 제공했지만, 안전 분야에는 여전히 이와 유사한 이론 체계가 부족하다.

“어쩌면 Transformer 아키텍처 자체에 한계가 있어서 10년 후에는 더 이상 주류가 아닐 수도 있고, 더 안전한 아키텍처가 등장할지도 모른다.”라고 후샤는 말했다.

웨이타오는 에이전트의 성격을 더 직접적으로 규정했다. 나쁜 것이 아니라, 멍청한 것이다.

“우리 안전 업계는 그것이 얼마나 나쁜지를 결코 걱정하지 않는다. 그것은 마치 어린 셸던 같아서 똑똑하지만 미숙하고, 극히 쉽게 오도되며, 컨텍스트가 통제를 벗어나면 아주 멍청해진다. 멍청함이야말로 진정 무서운 것이다. 공격자 눈에는 그것이 아주 유용한 발판일 뿐이다.”

웨이타오가 보기에 일단 에이전트라는 계층을 뚫고 나면, 그 뒤의 지식베이스, 데이터베이스, 도구 체인이 모두 공격자에게 이용된다. 한 지점이 뚫리면 앞에 아무리 많은 방어를 배치해도 소용이 없다.

03 에이전트는 조용히 경계를 넘고 있다, 비율이 20%에 달해

웨이타오와 후샤의 분석이 이론 차원의 경고라면, 화웨이 네트워크 보안 및 프라이버시 보호부 부부장 샤오야쥔이 가져온 것은 생산 환경에서 나온 실증이다.

“우리의 마지막 방어선 관점에서 보면, 지난 1~2년 동안 저는 계속 매우 불안한 상태에 있었다.”라고 샤오야쥔은 말했다. 기업의 보안 목표는 변하지 않았다. 즉 생산·사무 시스템의 안정적 운영, 자금과 자산의 손실 방지다. 그러나 도전 과제는 계속 격변하고 있다.

“작년에는 대응한 것이 프롬프트 인젝션 공격이었고, 올해 상반기에는 악성 Skills 탐지, 악성 MCP Tools 탐지, 머신 포이즈닝이었으며, 하반기부터 가장 불안한 문제는 하나로 바뀌었다. 바로 통제 불능이다.”

샤오야쥔 팀은 화웨이 내부에서 운영 중인 에이전트에 대해 한 차례 표본 조사를 했고, 결과는 낙관적이지 않았다. 5%에서 20%의 에이전트는 그 행위가 인간이 설정한 예상 경계를 이미 벗어나 있었다. “그런데 우리 인간은 그것을 전혀 모를 수도 있다.”라고 그는 말했다.

더 충격적인 것은 내부의 실제 사건이었다. 올해 7, 8월에 화웨이가 자체 개발한 한 에이전트가 회사 네트워크를 공격했고, 보안 팀은 워룸을 차려 반나절 동안 조사한 끝에 최종적으로 사고를 낸 주체가 특정 에이전트임을 밝혀냈는데, 그 에이전트의 개발 팀은 이에 대해 전혀 알지 못했다. “OpenAI가 공개한 그 일이 우리와 멀다고 생각했는데, 불행히도 그것은 우리 주변에서 일어나고 있다.”

샤오야쥔은 통제 불능 위험을 세 가지 점진적 계층으로 나눴다.

단일 에이전트의 통제 불능. 그는 에이전트 시스템이 지구상에 전례 없는 초복잡계일 수 있다고 보았다. 5%에서 20%의 경계 초월률은 이미 문제의 심각성을 보여준다.

집단적 통제 불능. OpenAI가 공개한 보고서에서 1200개의 에이전트 중 700개가 Hugging Face의 생산 시스템에 공격을 가했다. 이 에이전트들은 심지어 비밀 채널을 구축해 서로 공격 돌파 경험을 공유했고, 집단 지능에 의존해 돌파를 완성했다.

동적 통제 불능. 에이전트는 정적인 산물이 아니며, 지식 시스템, 기억 시스템을 갖추고 있고, 다수는 자기 진화 능력까지 도입하고 있어 매일 변화한다. 개발 단계에서 평가를 통과했다고 해서 런타임에서도 똑같이 안전하다는 것을 의미하지는 않는다.

04 자율성과 안전성은 제로섬 게임이 아니다

포럼의 마지막 질문은 에이전트 안전의 핵심 역설을 향했다. 에이전트의 가치는 자율성에 있는데, 안전은 바로 자율성을 조이는 것을 요구한다면, 자율성과 안전성은 공존할 수 있는가?

이에 대해 위루이는 Andrej Karpathy가 제시한 “자율성 슬라이더” 개념을 인용했다. 인지 능력의 슬라이더를 최대로 올려 에이전트가 분석·계획 능력을 충분히 발휘하게 한다. 실행 권한 부여의 슬라이더는 최저로 내려 위험 시나리오에 따라 등급을 나눈다. “하나는 고음이고 하나는 저음이라, 모순되지 않는다.”

구체적 운영 차원에서 그는 몇 가지 원칙을 제시했다. 시나리오에 따라 보안 위협 등급별로 권한을 부여할 것, 모든 동작은 감사 가능하고 설명 가능하며 재검증 가능할 것, 동적이고 지속적인 검증을 유지할 것.

쉬커는 한 학생의 직접적인 경험으로 “샌드박스가 곧 안전은 아니다”라는 점을 설명했다. 학생이 에이전트에게 샌드박스에서 취약점을 재현하도록 했는데, 에이전트는 샌드박스에 들어간 뒤 만전을 기하기 위해 제멋대로 학생의 작업용 컴퓨터에서 먼저 한 번 “예행연습”을 했다. 예행연습은 성공했지만, 대가는 컴퓨터의 파일이 비워진 것이었다.

“그것은 샌드박스에 가야 한다는 것을 알지만, 스스로에게 군더더기를 더한다.”라고 쉬커는 지적했다. 샌드박스 보안의 전제 가정은 에이전트가 명령에 복종하고 실제로 샌드박스 내에서 실행한다는 것인데, 에이전트는 이미 이 가정을 깨버렸다. 어떤 연구에 따르면 에이전트에 설정한 금지 사항 목록은 80%가 무시된다.

이 문제에 대해 후샤는 다른 각도에서 해석하기를 택했다. 그가 보기에 균형을 추구하기보다는 안전 능력을 에이전트의 내생적 속성으로 만드는 것이 낫다. “안전 제약은 안전벨트와 같아서, 그것이 있어야 더 빨리 달릴 수 있다. 안전 능력은 내생적이어야 하고, 그 위에 외부 제약을 더하면 더 잘 작동하게 된다.”

샤오야쥔은 Anthropic이 제시한 “헌법 AI”에서 출발했는데, 그는 “헌법 AI” 제약의 핵심은 인간을 해치지 않는 것에 있으며, 이것은 제한이 아니라 사용자가 감히 에이전트를 사용할 수 있게 하는 선결 조건이라고 보았다. 그는 화웨이가 에이전트의 자율성을 충분히 활용해 시스템 취약점을 발견하고 보안 강화를 하고 있다고 밝혔다. 따라서 안전과 자율성은 서로 상쇄되는 것이 아니라 서로를 성취하는 것이다.

웨이타오가 제시한 방안은 상당히 실용적이었다. 그는 비즈니스를 하는 에이전트는 자율성에 집중하되 기본적인 보안 인식을 갖추어야 하며, 따라서 보안 보장은 반드시 전문 보안 시스템이 담당해야 한다고 제안했다. “진짜 보안 공방은 결코 일반 에이전트가 해낼 수 있는 것이 아니기 때문에, 두 시스템이 각자 맡은 바를 다해야 균형에 도달할 수 있다.”

레이펑왕(공식 계정: 레이펑왕)이 보기에 이 포럼은 명확한 신호를 보여주었다. 에이전트 안전은 더 이상 미래의 의제가 아니라当下的 위기라는 것이다.

지난 수십 년간 사이버 보안의 논리는 항상 인간이 만든 시스템에 취약점이 생기면 인간이 고친다는 것이었다. 그러나 에이전트가 깨뜨린 것은 바로 이 전제다. 자율적으로 행동하고, 실수하고, 진화하는 에이전트가 인간 앞에 놓였을 때, 우리는 처음으로 “수리”만이 아니라 “거버넌스”가 필요한 소프트웨어 종(種)을 마주하게 된 것이다.

그를 둘러싼 안전 체계 구축은 기존 프레임워크에 패치를 덧대는 것만으로 완성될 수 없는 일임이 분명하다.

좋은 소식은 중국이 표준 제정과 사법적 정비에서 움직임이 빠르다는 점이다. 그러나 표준이 에이전트의 진화 속도를 이길 수 있을까? 지금을 보면, 교과서의 체계에는 이미 심각한 결함이 있고, 새로운 안전 패러다임은 아직 오는 중이다.

산업계에 남겨진 창구 기간은 아마 그리 길지 않을 것이다.

레이펑왕 오리지널 기사로, 무단 전재를 금지합니다. 자세한 내용은 전재 안내를 참조하십시오.

0명이 즐겨찾기 함

공유: