AI 에이전트의 보안 및 거버넌스 보장
대규모 에이전트 배포 전 포괄적 계획 시행 필요
“에이전틱 AI”에 대한 관심이 빠르게 증가하고 있습니다. 기술 리더들은 인간의 개입을 최소화하거나 전혀 없이도 작업을 실행하고 결정을 자율적으로 내리는 AI 에이전트를 활용해 조직 전반의 효율성을 크게 향상시킬 수 있는 엄청한 잠재력을 인식하고 있습니다.
아마 여러분도 에이전틱 AI에 대한 소식을 사방에서 보고 들을 수 있을 것입니다. 에이전틱 AI는 생성형 AI(GenAI) 서비스의 급속한 확산과 함께, 대중화된 AI 도입의 빠른 발전의 다음 단계로 자리 잡을 것으로 보입니다. 인터넷 트래픽 패턴은 이러한 신기술이 기업과 개인 모두에게 얼마나 빠르게 도입되고 있는지를 보여줍니다. Cloudflare는 2023년 3월부터 2024년 3월까지 Cloudflare 네트워크를 통해 AI 서비스로 흐르는 트래픽이 250% 증가한 것을 확인했습니다.
현재까지 AI 에이전트의 도입은 비교적 미미했지만, 향후 몇 년 내에 폭발적으로 증가할 가능성이 높습니다. 최근 보고서에 따르면, IT 리더의 96%가 향후 12개월 내에 AI 에이전트 사용을 확대할 계획입니다. 또 다른 보고서에 따르면, 설문조사에 응한 개발자의 80%는 AI 에이전트가 전통적인 소프트웨어 도구만큼 소프트웨어 개발에 필수적인 존재가 될 것이라고 믿고 있습니다. 개발자들이 구축하는 많은 애플리케이션 자체에도 에이전틱 AI가 포함될 것입니다. Gartner는 2028년까지 엔터프라이즈 소프트웨어 애플리케이션의 3분의 1이 에이전틱 AI를 내장하게 될 것이라고 전망합니다. 이러한 AI 기반 애플리케이션은 일상적인 업무 의사결정의 15%를 자율적으로 처리하게 될 것입니다.
많은 조직이 곧 AI 에이전트 구현을 시작할 준비가 되어 있지만, 적절한 보안이나 거버넌스 체계를 갖추지 못했습니다. 물론, 보안 및 거버넌스는 대규모 비즈니스 혁신을 따라잡지 못하는 경우가 많습니다. 하지만 AI 에이전트와 관련된 위험의 규모를 고려할 때, 우리 모두는 대규모 배포를 시작하기 전에 AI 에이전트를 안전하게 보호하고 관리하기 위한 접근 방식을 정의해야 합니다.
적절한 보안 및 거버넌스 프레임워크는 팀이 구현해야 하는 기능과 프로세스를 안내하는 데 도움이 될 수 있습니다. AI 시대의 조직을 보호하는 일은 CISO 혼자만의 책임이 아니기 때문입니다.
가속화되는 공격에 노출된 AI 에이전트
AI 에이전트는 다양한 산업의 조직에 중요한 이점을 제공할 수 있지만, 동시에 공격자에게는 새로운 표적이기도 합니다. AI 에이전트를 서둘러 구현하는 과정에서 많은 기업이 해당 에이전트 구축에 사용되는 모델, 데이터 및 기타 도구를 충분히 보호할 만큼 보안을 강화하지 않습니다.
공격자들은 이미 AI 에이전트의 기반이 되는 대규모 언어 모델(LLM)을 노리고 있습니다. 이들은 LLM에 사용되는 프롬프트를 조작해 정보를 탈취하거나 잘못된 의사결정을 유도하며, 소셜 엔지니어링 공격을 실행하고 있습니다. 또한, LLM 학습에 활용되는 데이터를 오염시켜 AI 에이전트가 부정확한 결과를 생성하고 잘못된 행동을 하도록 유발하고 있습니다.
이는 Cloudflare가 과거 대규모 오픈소스 코드 활용을 시작했을 때 겪었던 경험과 유사합니다. 적절한 보안 검증 없이 빠르게 채택한 결과, 공급망 취약점이 발생했습니다. AI 에이전트에서도 같은 패턴이 반복되고 있지만, 공격이 전통적인 코드 악용보다 교묘하고 감지하기 어려워 더 복잡한 위험에 직면해 있습니다.
더불어, 공격자는 AI 기반 애플리케이션의 공급망 내부 취약점을 표적으로 삼고 있습니다. 많은 조직이 AI 에이전트 구축을 위해 서드파티 모델과 도구를 도입하는 만큼, 해당 에이전트의 보안 수준은 결국 공급망에서 가장 약한 고리에 달려 있다는 점을 인지해야 합니다.
에이전트의 결정과 행동에 대한 책임 설정
외부 위협으로부터 스스로를 방어하는 것과 동시에, 에이전트 자체로 인해 발생하는 문제에도 대비해야 합니다. AI 에이전트의 확산은 보안 이상으로 새로운 운영상의 도전 과제를 낳고 있습니다. 이는 몇 년 전 바이러스 백신 및 엔드포인트 감지 및 대응(EDR) 솔루션의 엔드포인트 에이전트가 시스템 리소스에 부담을 주었던 상황과 유사합니다. 조직은 이제 동시에 수십 개의 AI 에이전트가 구동되면서 각각 상당한 컴퓨팅 리소스를 사용하는 환경을 관리해야 합니다.
AI 에이전트 역시 완벽하지 않습니다. 인간이 모호하거나 부적합한 목표를 설정하거나 운영 방식을 구체적으로 지시하지 않으면 에이전트는 실수를 저지릅니다.
AI 에이전트가 제대로 작동하도록 보장하는 책임은 누구에게 있을까요? 문제가 발생했을 때 그 책임은 누구에게 있을까요? 다음 몇 가지 시나리오를 고려해 보세요.
조달: AI 공급 부족에 대응해 신규 부품을 주문했다고 가정해 보겠습니다. 하지만 해당 부품의 가격이 300% 인상되었습니다. 책임 소재는 누구에게 있을까요? “생산 연속성 보장”을 에이전트의 최우선 과제로 설정한 관리자일까요, 아니면 가격 민감도 안전장치와 필수 비즈니스 제어 기능을 구축하지 않은 구매팀일까요?
재무: 재무 부서의 AI 에이전트가 특정 지출 한도 미만의 모든 송장을 승인한다고 가정해 봅시다. 그중에는 의심스러운 것으로 플래그가 지정된 송장도 포함됩니다. 결과적으로 사기성 벤더에 대금을 지급하게 될 수 있습니다.
기술: 관리자 액세스 권한이 있는 AI 에이전트가 중요한 인프라 전반에 소프트웨어 패치를 자동으로 구현할 수 있습니다. 하지만 에이전트가 패치 일정을 “최적화”하기 위해 직원 이메일 메타데이터, 네트워크 트래픽 패턴, 재무 시스템 로그에까지 접근하기 시작한다면 어떻게 될까요? 에이전트는 월말 결산 처리 중 재무 서버에 대한 중요한 보안 패치를 지연시켜, 승인되지 않은 데이터를 사용하는 동안 조직이 알려진 취약점에 의도치 않게 노출될 수 있습니다.
이러한 시나리오를 비롯해 다양한 상황에서, 우리는 단순한 휴먼 인 더 루프(human-in-the-loop) 통제를 넘어서는 거버넌스 또는 감독 메커니즘이 필요합니다. AI 에이전트는 시간이 지나면서 학습하고 적응하여 원래 매개변수의 범위를 넘어 그 활동 영역을 확장합니다. 패치 배포를 최적화하기 위해 설계된 에이전트는 네트워크 트래픽 패턴, 성능 메트릭, 사용자 행동 데이터를 통합하여 결정을 개선할 수 있습니다. 이로 인해 결과는 개선될 수 있지만, 에이전트의 위험 프로필 또한 지속적으로 증가하게 됩니다. 조직은 에이전트가 액세스하는 데이터, 의사 결정 방식의 진화,확장된 기능이 여전히 비즈니스 목표와 부합하는지 등을 정기적으로 감사할 수 있는 거버넌스 전략이 필요합니다. 인간 검토자는 에이전트가 새롭게 통합한 추가 데이터 소스의 전체 맥락을 완전히 이해하지 못할 수 있기 때문입니다.
대규모 AI 에이전트 도입을 위한 3대 핵심 프레임워크
AI 에이전트를 구축하고 운영하는 기술이 성숙해지면, 도입이 급속도로 이루어질 것임은 분명합니다. 조직은 AI 에이전트의 사용을 지원하고 위험을 완화하기 위한 프레임워크를 구현하기 위해 지금부터 준비해야 합니다. 해당 프레임워크는 기술 보안, 운영 보안, 거버넌스 및 규정 준수라는 3대 핵심 축을 기반으로 구축되어야 합니다.
1. 기술 보안
CISO와 CIO는 AI 에이전트 시스템의 모든 요소를 보호하기 위해 적절한 기술 보안 역량을 확보해야 합니다.
입력 및 액세스 제어: 입력을 검증하고, 프롬프트 삽입을 방지하며, AI 에이전트와 상호작용할 수 있는 주체를 통제합니다. 최소 권한 액세스 정책을 구현하는 것은 필수적입니다.
데이터 액세스 투명성: AI 에이전트가 어떤 데이터에 접근하고 분석하며, 의사결정 프로세스에 통합하는지 명확한 가시성을 확보합니다.
모델 및 데이터 보호: AI 모델을 보호하고, 에이전트 환경에서 처리되거나 저장되는 정보를 데이터 암호화를 통해 관리합니다.
인터페이스 보안: API 및 에이전트 인터페이스, 에이전트 간 상호작용을 위한 인증 과정에 보안을 구축합니다. 사용자 경험을 개선하기 위해 에지에서 AI 애플리케이션과 에이전트를 구현하는 조직은 이러한 애플리케이션과 에이전트 역시 에지에서 안전하게 보호해야 합니다.
공급망 무결성: 조직이 AI 에이전트의 구축과 배포 시 다수의 타사 구성 요소를 사용하는 만큼, 지속적인 모니터링(특정 시점의 검증 및 인증이 아닌)을 통해 이러한 타사 구성 요소와 종속성을 검증해야 합니다.
2. 운영 보안
IT 및 보안 리더는 COO와 협력하여 에이전트 및 프로세스의 운영을 실시 간으로 보호해야 합니다.
모니터링 및 감지: AI 에이전트의 활동을 실시간으로 가시화하고, 에이전트의 행동과 의사결정 패턴에서 나타나는 이상 징후나 잠재적인 악성 패턴을 파악합니다.
사고 대응: 보안 사고를 처리하기 위한 절차를 수립합니다. 사고 이후 보안을 강화하기 위해 비즈니스 리더와 긴밀히 협력하여 에이전트를 업데이트하거나 수정하는 프로세스도 마련해야 합니다.
리소스 보호: 리소스 사용량에 제한을 두면 서비스 거부(DoS) 공격을 방지하고 충분한 성능 수준을 보장하는 데 도움이 됩니다.
예외 처리: 정상 운영 범위를 벗어나는 사소한 예외 사례와 예상치 못한 시나리오를 관리하는 프로세스를 정의합니다.
3. 거버넌스 및 규정 준수
IT, 보안, 운영 리더는 AI 에이전트 사용을 관리하는 동시에 규정 준수 담당자 와 협력하여 규제 준수를 보장해야 합니다.
의사 결정 프레임워크: 자율 행동에 대한 명확한 경계를 설정하고 에스컬레이션 및 개입 지점을 정의합니다.
책임 구조: 에이전트 행동에 대한 책임을 할당하고 행동의 잠재적 영향에 따라 위험을 분류합니다. 책임 주체는 타사 개발자, 에이전트를 배포하는 팀, 에이전트를 사용하는 팀, 외부 사용자 등 여러 당사자가 될 수 있습니다.
감사 및 규정 준수: 에이전트 작업을 기록하고 검토하며 규제 준수를 모니터링하는 도구를 통해 조직은 관련 정책과 규정을 준수할 수 있습니다.
지속적인 개선: 보안 제어에 대한 정기적인 평가를 수행하고, 피드백 메커니즘을 마련하여 보안 태세를 강화합니다.
AI 에이전트와 함께 나아가기
AI 에이전트는 고객 지원부터 사기 식별에 이르기까지 다양한 작업의 속도와 효율성을 높일 수 있는 큰 잠재력을 갖추고 있습니다. 이러한 시스템이 발전함에 따라 원래 범위를 넘어 데이터에 접근하고 분석하는 경우가 늘어날 것이며, 이로 인해 신중한 관리가 필요한 기회와 위험이 동시에 증가할 것입니다.
앞서 제시한 기술 보안, 운영 보안, 거버넌스 및 규정 준수로 구성된 3대 핵심 프레임워크는 이러한 과제를 해결하기 위한 토대를 제공합니다. 그러나 미래의 기업들은 흔히 실제 실행을 따라가지 못하는 전통적인 감독 방식에 의존하기보다, 진화하는 과정에서 스스로 보안 통제를 조정하고 규정 준수를 유지하는 자체 거버넌스 기능을 갖춘 AI 시스템을 구축하게 될 것입니다.
Cloudflare는 조직이 AI 에이전트를 구축하고 확장하며 보호하는 데 도움이 되는 다양한 기능을 제공합니다. 예를 들어, Cloudflare Workers AI를 통해 개발자는 사용자와 가까운 에지에서 AI 애플리케이션을 구축하고 배포할 수 있습니다. 개발자는 AI 에이전트가 외부 서비스의 도구 및 리소스에 액세스할 수 있도록 원격 모델 컨텍스트 프로토콜(MCP) 서버를 구축할 수 있습니다.
한편, Cloudflare의 광범위한 보안 서비스는 모든 에지 위치에서 제공되며, 조직이 AI 에이전트 및 AI 기반 애플리케이션을 어디서나 공격으로부터 보호할 수 있도록 합니다. 특히 Cloudflare for AI 제품군은 AI 애플리케이션에 대한 포괄적인 가시성, 보안, 제어 기능을 제공합니다. Cloudflare는 또한 AI 모델이 웹 사이트 전반의 콘텐츠에 액세스하는 방식을 감사하고 제어하는 도구를 제공합니다. 이러한 모든 기능을 함께 사용하면, 조직이 AI 에이전트를 신속하게 구축하고 배포하는 동시에 그로 인한 위험을 최소화할 수 있습니다.
이 글은 오늘날의 기술 의사 결정자에 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
CISO의 안전한 AI 관행 보장 가이드에서 전사적으로 AI 기능의 안전한 배포를 준비하는 방법을 알아보세요.
작성자
Grant Bourzikas — @grantbourzikas
Cloudflare 최고 보안 책임자
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
AI 에이전트를 노리는 주요 사이버 보안 위협
AI 에이전트의 거버넌스 및 책임 구조 수립이 중요한 이유
AI 에이전트를 위한 보안 및 거버넌스 프레임워크의 3가지 핵심 요소