AI 에이전트로 정부 효율성 높이기
비용을 절감하고 효율성 의무를 준수합니다
오늘날 정부 기관과 기타 공공 부문 조직에서는 효율성을 높이고 비용을 절감해야 한다는 압박을 엄청나게 받고 있습니다. 하지만 이들 조직에서는 여권 신청 처리 및 사회 보장 혜택 지급부터 외교 문서 번역, 공공 장소에서의 의심스러운 행동 감지까지 다양한 중요 업무를 관리할 방법을 찾아야 합니다.
한편, 시민으로서 우리는 모두 정부 기관과 공공 부문 조직에서 빠르고 편리한 경험을 제공하기를 기대합니다. 우리는 다양한 디지털 장치를 사용하여 24시간 내내 정보에 액세스하고 요청을 제출하고자 합니다.
공공 부문의 기술 리더와 논의할 때, 저는 이들이 서비스를 개선하면서 효율성 요구 사항을 신속하게 해결하기 위한 방법으로 AI 에이전트(또는 '에이전틱 AI')를 채택하기를 원한다는 이야기를 자주 듣습니다. 다른 업계의 동료들도 AI 에이전트의 가능성을 유사하게 인식하고 있습니다. Boston Consulting Group에서 최근 실시한 설문조사에 따르면 기업의 IT 바이어 중 58%가 이미 AI 에이전트를 배포하고 있다고 답했으며, 추가로 35%는 이를 적극적으로 고려하고 있다고 답했습니다. 이러한 바이어는 AI 에이전트를 통해 13.7%의 ROI를 기대하며, 이는 비 에이전트 생성형 AI(GenAI) 애플리케이션에서 기대되는 ROI보다 높습니다. 한편, 공공 부문 조직에서는 상당한 비용 절감을 달성할 수 있습니다.
하지만 AI 에이전트에는 위험이 따릅니다. 부정확한 정보나 부정확한 결과를 제공하면 효율성 및 비용 절감 효과가 빠르게 사라질 수 있습니다. 조직에서 구현을 계획할 때 AI 에이전트의 이점을 극대화하려면 가드레일을 통합하고 지속적인 개선을 위한 루프를 만드는 것이 핵심이 될 것입니다.
공공 부문의 AI 에이전트 활용 사례
공공 부문에서 AI 에이전트를 활 용할 수 있는 잠재적 사례는 매우 많습니다. 각 작업에서 에이전트는 인간의 수동 작업을 줄이거나 없애야 하는 긴급한 필요성을 충족할 수 있습니다. 다음은 간단한 사용 사례의 네 가지 예입니다.
전화 및 웹 지원: AI 에이전트는 사회 보장국이나 IRS와 같은 기관에서 초기 전화 및 웹 수신을 처리하여 시민에게 정보를 제공하고 조치를 권장할 수 있습니다. 추가 지원이 필요한 경우 AI 에이전트는 통화 또는 온라인 요청을 사람에게 연결해 줄 수 있습니다.
공공 안전 비디오 감시: 대중 교통 기관에서는 AI 에이전트를 사용하여 버스 정류장이나 기차 역의 실시간 비디오 피드에서 이상 징후를 감지할 수 있습니다. AI 에이전트는 계속 켜둘 수 있습니다. 비정상적인 행동을 식별하고 적절한 담당자에게 경고하므로 인간이 더 심층적인 분석을 할 수 있습니다.
문서 처리: 여러 언어와 다양한 유형의 문서를 처리해야 하는 기관의 경우 AI 에이전트는 문서를 번역하고 콘텐츠를 분류한 다음 특정한 사람에게 정보를 보내거나 적절한 위치에 저장할 수 있습니다. 에이전트 덕분에 인간이 지루한 관리 작업을 할 필요성이 상당히 줄어들 수 있습니다.
내부 기관 검색: 정부 기관 내의 직원은 에이전트 기반 챗봇을 사용하여 특정 부서 또는 기관에 적용 가능한 정책을 빠르게 찾을 수 있습니다. 이 도구는 전자 또는 물리적 정책 문서를 수동으로 검색하는 비용과 시간 소모적인 작업을 없애는 데 도움이 됩니다.
AI 에이전트 구현의 과제
AI 에이전트는 모든 공공 부문 조직의 경우에 유망한 사용 사례가 많이 있지만, 이를 구현하는 데는 몇 가지 어려움이 있습니다.
무엇보다도 AI 에이전트의 두뇌 역할을 하는 대규모 언어 모델(LLM)은 비결정론적입니다. 다시 말해, LLM에 정확히 동일한 프롬프트를 5번 전달하면 약간씩 다른 5개의 응답을 얻을 수 있으며, 모델에서는 응답이 달라지는 이유를 알려주지 않습니다. 이러한 불일치는 특히 공공 안전과 관련된 결정을 내리거나 시민의 개인 정보를 처리할 때 AI 에이전트에 의존하는 경우 심각한 문제를 초래할 수 있습니다.
두 번째 문제는 가드레일이 없다는 것입니다. 일관되지 않거나 잘못된 결과가 피해로 이어지기 전에 이를 포착하려면 AI 에이전트 흐름에 대한 가시성과 제어 기능이 있어야 합니다. 동시에 이용자는 LLM 학습에 사용하는 데이터에 대한 통제력을 보유해야 합니다. 결과의 정확성은 주로 모델에 정확하고 일관되며 고품질의 데이터를 제공하는 것에 달려 있습니다.
가드레일 부족에 대한 이러한 우려를 일부 해소할 도구가 막 시장에 출시되고 있습니다. 따라서 AI 보안 제품을 최신 상태로 유지하는 것이 필수적입니다.
AI 에이전트 워크플로우를 개발할 때 고려해야 할 5가지 사항
AI 에이전트를 성공적으로 구현하려면 신중한 계획, 기술 작업, 프로세스 변경이 필요합니다. 먼저 상담원의 기능을 정의한 후에는 시스템과 워크플로우를 구축해야 합니다. 그리고 처음부터 가드레일을 통합하고 지속해서 결과를 개선할 수 있는 수단을 구축해야 합니다.
에이전트가 해주기를 원하는 작업을 정의합니다. 간단해 보이지만, 목표를 명확하게 정의하는 것이 중요한 첫 번째 단계입니다. 그러면 목표를 달성하는 데 AI 에이전트가 실제로 필요한지 여부를 결정할 수 있기 때문입니다. 일부 조직에서는 간단한 워크플로우 도구로도 충분할 때 AI 에이전트를 구현하기 위해 경쟁합니다. AI는 워크플로우가 더 역동적일 때만 필요합니다. AI 에이전트 없이 작업을 자동화할 수 있다면 시간과 노력을 크게 절약할 수 있습니다.
올바른 LLM을 선택합니다. 특정 작업을 자동화하는 데 AI 에이전트가 필요하다고 판단되면 추론 및 계획 메커니즘을 수립해야 합니다. 대부분의 경우 여기에는 LLM을 선택하는 것이 포함되며, 오픈 소스 LLM이든 상용 LLM이든 상관없습니다. 그런 다음 검색 증강 생성(RAG)을 사용하여 기관별 데이터를 검색할 수 있으며, 이는 정확하고 개인화된 응답을 보장하는 데 도움이 됩니다.
기술 통합을 준비합니다. AI 에이전트의 목적은 LLM을 활용하여 작업이나 목표를 이해한 다음 해당 작업을 실행하거나 해당 목표를 달성하는 것입니다. 이를 위해서는 도구에 액세스할 수 있어야 합니다. 브라우저를 열거나 데이터베이스에 쓸 수 있는 도구 말입니다. 그리고 LLM과 도구 간의 이러한 상호 작용을 촉진하려면 올바른 프로토콜이 필요합니다.
최근까지 개발자는 주로 API를 사용하여 도구와 LLM을 통합했습니다. 그러나 새로운 모델 제어 프로토콜(MCP)은 이제 AI 시스템을 외부 애플리케이션과 연결하는 사실상의 표준이 되고 있습니다. MCP는 널리 사용되고 있으며, 모든 AI 모델과 도구가 함께 작동하도록 간단한 통합을 제공하여 혁신을 주도할 것입니다.가드레일을 설정합니다. AI 에이전트는 자율적으로 작업을 수행한다고 약속하지만, 이러한 에이전트를 제어하려면 어느 정도의 인간의 개입이 필요한 경우가 많습니다. 구체적으로, 에이전트가 일부 작업을 수행하기 전에 해당 작업을 검토하고 확인하기 위해 인간을 과정에 투입해야 할 수도 있습니다.
많은 기관에서 활용하는 전화 기반 콜센터에 채용된 AI 에이전트를 예로 들어보겠습니다. 사람이 에이전트가 제공한 응답의 유효성을 검사하도록 하여 정확성을 보장할 수 있습니다. 누군가가 수표를 수령하지 못했다는 이유로 사무실에 연락하면, AI 에이전트는 문제를 조사하여 "시스템 오류로 인해 수표가 발송되지 않았습니다"와 같은 대응 방안을 제안할 수 있습니다. 그런 다음 인간이 AI가 생성한 응답을 검토하고 응답이 정확한지 확인한 후 시민에게 응답한 다음 수표를 보냅니다.
AI 에이전트와 관련된 위험을 최소화하려면 사람을 유지하는 것 외에도 보안 기능과 데이터 거버넌스 정책이 필수적입니다.닫힌 루프를 만듭니다. 입력과 출력을 모니터링하는 것 외에도 결과의 정확도를 지속해서 개선하여 시간이 지남에 따라 에이전트를 더 스마트하고 효 과적으로 만드는 방법이 필요합니다. 그러려면 닫힌 루프를 만들어야 합니다. 이 루프를 통해 프롬프트, 정보의 흐름, RAG 시스템의 데이터 세트를 조정할 수 있습니다.
기술을 추가하면 정확도를 더욱 개선할 수 있습니다. 특히 모델에 더 많은 데이터를 통합하고 프롬프트에 더 많은 컨텍스트를 추가하면 결과의 정확도를 높일 수 있습니다.
지금 AI 에이전트 구축 및 배포 시작하기
일부 상업 조직(예: Salesforce 및 Microsoft)에서는 이미 AI 에이전트를 워크플로우에 구현하고 있습니다. 이러한 조직에서는 폐쇄된 환경에서 시작하여 AI 에이전트를 활용하여 사용자에게 새롭거나 더 나은 경험을 제공하고 있습니다. 예를 들어, Microsoft 사용자는 AI 에이전트에게 특정인이 보낸 이메일을 요약하고, 상사의 초대를 모두 수락하며, 상사의 요청과 겹치는 요청을 다시 예약하도록 요청할 수 있습니다.
효율성을 높이고 비용을 절감해야 한다는 압박을 받는 공공 부문 조직에서는 AI 에이전트를 채택할 준비가 되어 있습니다. 조직에서는 간단한 워크플로우에 에이전트를 구현하여 시간을 절약하고 수작업의 필요성을 줄일 수 있습니다.
하지만 가까운 미래에 더 복잡하고 개방된 환경에서 AI 에이전트를 사용할 수 있을지도 모릅니다. 예를 들어, AI 에이전트와 IoT를 결합하면 자율 도구 또는 차량과 함께 AI 에이전트를 사용하는 것과 같이 중요한 새로운 가능성이 창출될 것입니다. 이러한 사용 사례를 통해 시민에게 제공되는 서비스의 품질을 지속해서 개선하는 동시에 운영 효율성을 크게 개선할 수 있으며, 이는 계속 정부 기관의 중요한 목표로 남아 있게 될 것입니다.
Cloudflare에서는 조직에서 AI 에이전트를 구축하고 필요한 보호 장치를 구축하는 것을 지원할 수 있습니다. 조직에서는 Cloudflare Workers AI 플랫폼을 사용하여 Cloudflare의 전역 네트워크에서 AI 에이전트와 애플리케이션을 생성하고 실행할 수 있으므로 개발을 간소화하고 비용을 절감하면서 성능을 극대화하고 모델의 확장성을 개선할 수 있습니다. 한편, Cloudflare에서는 에이전트가 사용하는 데이터 및 모델에 대한 액세스를 제어하여 AI 에이전트 출력의 정확성을 개선하는 Zero Trust 보안 모델의 구현을 가속화할 수 있습니다. Cloudflare를 통해 정부 기관과 기타 공공 부문 조직에서는 AI 에이전트의 기능을 활용하여 서비스를 개선하고 비용을 절감하는 동시에 사용을 위한 안전장치를 강화할 수 있습니다.
이 글은 오늘날의 기술 의사 결정자에게 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
CISO를 위한 안전한 AI 보호 관행 보장 가이드를 통해 조직에서 AI 에이전트 사용을 위한 가드레일을 구현하는 방법을 자세히 알아보세요.
작성자
Dan Kent — @danielkent1
Cloudflare 공공 부문 필드 CTO
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
공공 부문에서의 AI 에이전트를 위한 4가지 핵심 사용 사례
구현 시 조직에서 직면하는 주요 과제
조직에서 와이어프레임 계획을 개발하여 시작하기 위한 5가지 고려 사항