保护州和地方政府安全实施 AI
ChatGPT 的发布标志着人工智能 (AI) 新时代的开始，这款强大的工具的普及让技术用户和非技术用户都能轻松使用 AI。如今，AI 将彻底改变人们日常生活的方方面面，从学习和工作方式，到艺术创作和疾病治疗方式。
在公共部门，州和地方政府机构正在迅速采用 AI 工具。最近一项针对州、地方和联邦机构高级专业人士的调查显示，51% 的受访者每周都会多次使用 AI 应用。
在州和地方机构内部，团队正在探索多种 AI 用例。他们将实现表单流程的自动化，以提高员工生产力；部署生成式人工智能 (GenAI) 辅助型聊天 机器人，以改善数字体验；增强欺诈检测功能；等等。
毫无疑问，AI 能够改变政府运作方式和为公民提供服务的方式。但是，这项强大的技术也会带来新的风险。应对这些风险需要制定全面的战略，并随着政府机构日益增加对 AI 的使用而不断调整和优化。在了解初始 AI 的使用情况并确立基准保护措施之后，每个政府机构还必须保护 AI 功能与其现有系统的集成安全，并部署基于 AI 的先进防御措施，抵御日益复杂的威胁。
州和地方政府担心的三个核心问题
随着用例变得日益清晰，州和地方政府的高管已经开始认识到 AI 的巨大潜力。与此同时，与我探讨 AI 问题的许多领导者仍然对当前的 AI 成熟度持怀疑态度。这些首席信息官特别向我表达了他们担心的三个核心问题：
准确性：首席信息官会质疑 AI 生成的输出结果的可靠性和准确性，他们也应该这样做。输出结果可能会因无意的错误和故意的恶意欺骗而产生偏差。
如果政府机构的某个 AI 模型被攻击者投毒，该机构可能会无意中向公民散播 AI 生成的虚假信息。想象一下，州政府的聊天机器人提供关于失业救济金或医疗服务的错误信息，会导致怎样的局面。
同样，首席信息官还希望避免使用不准确的信息作为决策依据。例如，如果他们使用 AI 来检测政府项目中的欺诈行为， 则由 AI 生成的相关错误结果可能会导致其浪费时间审核合法的索赔，或错过检测欺诈活动的机会。隐私：首席信息官担心敏感的公民信息可能会被泄露，尤其是员工无意中将公民数据或文件输入到用于训练 AI 模型的数据收集系统中，这有其合理性。例如，使用 AI 工具分析公民健康数据以生成报告，这可能会让 AI 模型收集敏感信息，然后在其它情况下泄露这些数据。
安全：随着所在机构深入使用 AI，首席信息官担心数据和模型可能受到多种方式的攻击，这当然是有理有据的。例如，攻击者可能会操纵面向公民的 AI 聊天机器人的提示词，诱骗模型生成虚假信息或获取后端系统的访问权限。首席信息官需要找到方法，应对 AI 生态系统面临的各种威胁，以保护公民数据和机构系统。
虽然存在上述这些担心的问题，但绝大多数公共部门组织仍然缺乏完善的计划来应对使用 AI 可能产生的影响。而一些部门却继续推进 AI 部署，从而让自己面临可能成为头条新闻的数据泄露事件，以及传播错误信息的风险。
定义如何开启 AI 旅程
许多州和地方政府机构已通过试点计划或有限部署 AI 工具 ，开启了 AI 旅程。即使是在尚未积极采用 AI 的机构中，个别员工或团队也可能正在使用现成的 AI 工具，这种现象被称为“影子 AI”。无论是否已获得官方批准，大多数政府机构都已开始使用 AI；因此，制定和实施 AI 安全策略至关重要。
AI 安全策略应包含与 AI 旅程各个阶段相对应的多个方面。在我与公共部门组织的合作过程中，我观察到这些机构通常会经历 AI 应用的三个关键阶段：
使用：起初，这些机构使用 AI。它们试验各种模型、应用和工具，包括生成式 AI (GenAI) 服务。这个阶段通常涉及使用已获批准的 AI 和影子 AI。
集成：然后，这些机构开始将 AI 与现有数据和系统集成。这种集成将开始释放 AI 的真正价值，例如提高生产力或改善数字体验。
高级防御：这些机构通常会在安全建设的前两个阶段实施一些安全功能。但随着 AI 采用推进，它们需要增强安全态势。为了抵御日益复杂的 AI 辅助型威胁，这些机构必须部署高级安全能力和 AI 工具。
机构应制定一项与其 AI 应用的每个阶段相匹配的战略。因此，第一步就是在 AI 使用阶段，部署用于保护数据的基准防御措施。
保障 AI 基准安全
基准侧重于建立对整个企业内 AI 使用情况的全面可见性，同时制定健全的教育培训和策略框架。这项基准的一个关键组成部分是化解与大型语言模型 (LLM) 数据获取相关的网络威胁。LLM 持续不断地摄取数据以改进其模型，各政府机构必须特别关注两个主要的数据采集途径。
网页抓取：许多 LLM 会自动从公共网站收集和处理信息。商业企业可能比公共部门组织更担心网页抓取，因为此类抓取可能会导致企业的知识产权信息被用于训练模型。尽管如此，政府机构必须意识到，其网站上发布的任何内容都可能被收集作为 AI 模型的训练数据。
与 AI 工具的交互：当员工使用 AI 工具时，例如 GenAI 服务，可能会在提示和查询中无意识地泄露敏感信息。即便是看似无害的行为，例如要求 AI 工具分析数据集或创建可视化效果，也可能会意外地将敏感数据传输到外部 LLM 系统。
应对这些风险，需要基准保护措施。政 府机构应制定明确的 AI 使用政策、强大的数据保护控制措施，以及全面的安全措施，从而保护公民数据。具体而言，基准策略应该侧重于：
监测和意识：政府机构需要了解哪些人在使用哪些 LLM 和 AI 工具。它们还应确定允许哪些 AI 机器人抓取其网站内容，并利用机器人管理工具区分善意机器人与恶意机器人。
开展教育培训并制定策略：关键是要让员工了解 AI 工具的工作原理，以及如何避免泄露敏感数据。例如，员工应学习如何避免在 GenAI 工具的提示中输入敏感数据。政府机构还应制定政策，减少因员工潜在失误而导致的安全和隐私问题的可能性。而且由于 AI 的发展很有活力，政府机构还需要不断更新培训内容并微调政策。
数据隐私和数据丢失防护 (DLP)：除了制定 AI 使用政策之外，政府机构还必须部署 DLP 工具，以防止个人可识别信息 (PII) 和其他敏感的公民数据因 AI 使用而泄露。
Zero Trust：实施 Zero Trust 网络访问解决方案，有助于控制影子 AI，并确保用户只能访问经过审核且已获批准的 AI 工具。
保护 AI 集成
在 AI 旅程的下一阶段，组织机构开始将 AI 工具和模型集成到其现有系统和流程中。州和地方政府机构可能会将 AI 工具连接到表单处理系统，或将基于 AI 的聊天机器人集成到公民门户网站。
集成过程可能会带来技术挑战。例如，组织机构的现有数据，可能缺乏与 AI 工具搭配使用的适当管理和结构。与此同时，集成还可能会带来安全风险，因为许多 AI 工具的运行不受组织机构的直接控制。
应对这些挑战需要重视几个关键领域，包括数据准备和数据隐私。
数据准备：要为 AI 工具准备数据，团队必须标记和分类数据。此流程也有助于保护这些数据，因为团队可以根据分类，实施相应的安全控制措施。
数据隐私：政府机构需要实施数据隐私框架以及一系列安全功能，保护在内部系统与外部 AI 服务之间流动的数据。除了 DLP 功能之外，机构还需要监测和控制用于连接外部 AI 服务的 API。 它们需要网络分析和监测功能，以及云访问安全代理 (CASB) 和安全 Web 网关 (SWG) 等工具，这些工具有助于控制 AI 流量。
实施高级防御
除了提高员工生产力和为公民提供全新的数字体验之外，AI 还可能彻底改变网络安全。利用先进的算法和机器学习 (ML)，AI 可以帮助安全团队检测新兴威胁、管理漏洞，并自动响应安全事件。实现传统手动任务的自动化，不仅会提高效率，而且还会减少关键安全操作中的人为错误。
当然，攻击者也在利用 AI 来增强其恶意操作。他们利用 AI 发起更复杂的网络钓鱼活动、提高反侦察功能，并开发高级恶意软件。与此同时，他们还将攻击目标瞄准 GenAI 系统中的漏洞。
为了应对这些不断演变的威胁，各政府机构必须采取积极主动的安全措施。它们不仅应该利用 AI 的防御功能，而且还应该考虑 AI 特定漏洞和攻击手段，并提供一些最佳实践：
选择安全的 AI 模型：随着政府机构不断将其系统与 AI 服务连接，它们必须确保 AI 模型和模型供应商符合其质量和安全标准。维护一份已获批准的模型和 AI 应用的 “允许列表”，可以降低安全性较差的系统在其环境中产生漏洞的风险。
部署 AI 驱动型安全工具：与传统的安全工具相比，利用机器学习或人工智能的安全工具可以提供高级威胁情报，从而帮助政府机构更早地识别威胁。同时，AI 和机器学习工具可以发现 IT 环境中的漏洞，帮助这些机构在事件发生前加强防御。
实施持续监测：IT 团队必须确保 AI 应用和环境未遭到入侵。持续监测异常行为，是及早发现恶意行为的关键。
展望未来，安全地利用变革性 AI
公共部门组织整合利用 AI 既带来了重大机遇，也带来了安全挑战。若要取得成功，则需要采用一种结构化安全方法，随着组织机构扩展 AI 应用而不断调整。组织机构必须从基本的安全控制措施着手，并随着 AI 功能和集成的逐渐成熟，逐步增强安全态势。具体做法包括：持续关注数据保护和治理，实施持续的监测和评估流程，以及投资于持续的教育培训和策略制定。
Cloudflare 全球连通云让州和地方政府能够利用统一平台上的智能、云原生服务，部署全面的 AI 安全框架。Cloudflare for Public Sector 产品汇集了关键的安全、网络和应用开发服务，这些服务都符合严格得 FedRAMP 标准。使用 Cloudflare 解决方案，政府机构可以继续推进 AI 旅程，同时保持对敏感数据的控制。
Cloudflare 就影响当今技术决策者的最新趋势和主题发布了系列文章，本文为其一。
深入探讨这个话题
阅读《确保安全的 AI 实践：CISO 创建可扩展的 AI 战略的指南》，进一步了解如何支持企业中的 AI 集成，而不让敏感数据面临风险。
作者
Dan Kent - @danielkent1
Cloudflare 公共部门现场首席技术官
关键要点
阅读本文后，您将能够了解：
公共部门首席信息官最关注的三大 AI 相关问题
州和地方政府 AI 使用历程的三个典型阶段
保护 AI 实施的关键步骤