theNet by Cloudflare

抵御 AI 驱动型威胁

在新的 AI 网络安全时代,构建网络韧性

网络犯罪分子正利用 AI 工具来提高其攻击的速度、效率、规模和效果。这些新的 AI 驱动型攻击将对企业产生切实的影响。

深度伪造诈骗可能涉及欺诈性的语音邮件或视频通话,已造成了数百万美元的损失。在一个案例中,欺诈者深度伪造某家跨国公司的首席财务官,诱使一名财务人员向其支付了 2500 万美元。与此同时,AI 生成的网络钓鱼攻击诱骗更多人泄露凭据,而 AI 增强型恶意软件则规避现有的防御措施。

AI 还助长了虚假信息传播活动、数据投毒和模型操纵,这些行为都可能危及 AI 驱动型系统。Gartner 最近将 AI 辅助型虚假信息列为首要网络风险。

随着网络犯罪分子将更多利润重新投资于新技术,我们将看到基于 AI 的攻击变得越来越复杂。许多犯罪分子已经在利用低成本攻击的收益资助技术研发,制定更高成本、更高收益的攻击计划。在许多情况下,攻击者的预算比其瞄准的目标企业的预算更加集中。

为了探讨 AI 如何改变网络安全格局,我与 Cloudflare 美洲地区现场首席信息官 Khalid Kark 以及埃森哲全球数据和 AI 安全实践负责人 Daniel Kendzior 进行了交谈。我们一致认为,大多数传统安全工具无法有效抵御 AI 增强型攻击。企业必须转变安全方法,以增强韧性。它们需要采取更积极的预防性方法,积极利用 AI 来抵御与之相关的风险,而不是依赖被动防御。


面对 AI 增强型威胁带来的挑战

随着攻击者继续利用 AI 工具,企业需要做好准备,应对更复杂的各种常见社会工程学攻击,以及更大规模的机器人攻击。与此同时,我们可能会看到各种新的攻击策略,包括新型身份欺诈。提高整个企业对这些变化的认识,是增强安全性的关键。

增强型社会工程学攻击

有些事情不会改变。对于攻击者来说,社会工程学仍然是最简单、最实惠的策略,而且还非常成功。根据 Verizon 的一份报告,68% 的数据泄露事件是因为人为错误造成,其中许多错误与社会工程学息息相关,例如网络钓鱼攻击。

但我们在现实中看到,攻击的复杂性和一致性也在不断增加。例如,攻击者积极利用生成式人工智能 (GenAI) 撰写更具说服力的网络钓鱼电子邮件,其中不包含任何可能暗示此邮件为欺诈性邮件的拼写或语法错误。

与此同时,攻击者越来越多地利用 AI 创建深度伪造邮件。员工可能会收到一个听起来像是经理发来的语音邮件,但实际上它却是由 AI 模型创建。该语音邮件可能会诱使员工共享凭据、审批交易事务,或泄露敏感数据。利用 AI,攻击者可以在几秒钟内创建这些深度伪造邮件。

遗憾的是,极其难以抵抗那些让我们容易遭受此类攻击的认知偏见。在处理和解读信息时,人人都可能会犯错。例如,我们倾向于偏袒那些证实自己现有信念的信息,而忽略那些不符合我们现有理念的信息。这种确认偏见导致我们更容易受到深度伪造信息的蒙骗:如果我们收到一个听起来像是经理发来的语音邮件,往往不假思索就会相信它是真的。

合成式身份欺诈攻击

除了编写更精准的网络钓鱼邮件和深度伪造信息来欺骗员工之外,攻击者还会使用 AI 来伪造新的身份。合成式身份欺诈 (SIF) 是指通过混合真实数据与虚假数据,创建超逼真的身份来绕过传统验证系统。AI 生成的个人详细信息和自动化凭据填充,导致越来越难以检测这些伪造的身份。

欺诈性身份对金融服务、医疗保健和政府机构等重要的攻击目标行业构成重大风险。因为 SIF 往往没有直接的受害者,所以它常常被忽视。因此,诈骗者可以建立信用历史记录并成功实施诈骗。

大规模的机器人攻击

机器人是另一种可能会造成真正危害的人类替代品。正如《2025 年 Cloudflare 信号报告》所述,根据 Cloudflare 2024 年的观察,所有应用流量中有 28% 来自机器人,与前四年相比,这个比例基本保持稳定。虽然机器人可能用于合法目的,例如搜索引擎索引或可用性监测,但绝大多数机器人(比例达到 93%,根据 Cloudflare 流量分析)未经验证,并且可能是恶意机器人。

AI 驱动型机器人让攻击者能够以前所未有的效率,发动大规模自动化攻击。我们发现,与以往的攻击相比,AI 驱动型机器人在网站上生成的点击量多 200 倍。机器人不仅被用于发起大规模分布式拒绝服务 (DDoS) 攻击,它们还被用于抓取敏感数据和知识产权、执行凭据填充攻击,并以计算机速度实施欺诈。AI 模型通过绕过传统的验证码 (CAPTCHA) 并利用自适应行为逃避检测,进一步增强了上述功能。

因此,挑战在于如何区分善意机器人与恶意机器人,并阻止恶意机器人。


抵御 AI 威胁

要提前防范 AI 驱动型威胁,需要采取积极主动的、AI 增强型安全方法。在我与 Khalid Kark 以及 Daniel Kendzior 的对话交流中,我们讨论了七种可以增强安全态势的方法,以抵御这些新兴威胁。

  1. 提高可观察性。
    Kendzior 说:“许多供应商将 AI 功能融入所有产品,就像一种高端的点缀一样。”甚至可能将 AI 融入到您可能已经在使用的软件中。但是,并非所有这些 AI 功能都有用,有些甚至可能会带来新的漏洞。为了最大限度地降低与 AI 相关的风险,我们所有人都需要调整软件采购方式,进而更好地了解 AI 的应用场景。

    与此同时,提高企业内 AI 使用的可观察性将变得更加重要。考虑到企业通常拥有的 API 数量比其纳入目录的 API 数量多约 33%,那些未纳入目录的 API 都是潜在的攻击载体。同样,我们通常不知道整个企业中 AI 的使用地点和方式;然而,每一个 AI 工具实例都可能让我们暴露在风险之中。

    通过实施一个能够统一日志、分析、警报和取证的平台,我们可以将 AI 功能应用于这些数据,识别风险并查明其根本原因。

  2. 实时检测并消除威胁。
    随着攻击者利用 AI 提高威胁的速度和数量,我们需要一种跟上步伐的方法。幸运的是,AI 可以帮助我们增强网络安全。例如,AI 可以分析海量数据集,并识别出可能指示威胁的异常情况。然后,AI 工具可以自动化响应威胁,实时解决问题。

    分析员工用户行为——包括访问模式、权限升级和数据泄露尝试——可以帮助建立基线并检测可能指示内部威胁的异常情况。通过这些 AI 辅助功能,我们可以在内部风险升级之前予以识别。

  3. 防范 AI 增强型网络钓鱼和深度伪造。
    由于攻击者利用 AI 改进网络钓鱼和制造深度伪造,企业需要制定更完善的控制措施和策略,包括有助于克服自身偏见和错误的控制措施和策略。假设某员工收到了一则看似经理发来的短信,指示其将资金汇入特定账户。如果首先制定一项阻止特定岗位的员工执行电汇操作的政策,就能避免损失。该政策还必须包含流程控制,确保在执行任何操作之前进行多重检查。

  4. 改善身份管理。
    身份管理一直是个难题,但 AI 使其变得更加复杂。“我们有一些客户使用远程注册来管理新客户和员工。而在如今这个深度伪造的世界里,你需要保持一定的警惕,思考自己是否在与真人打交道。”Kendzior 说。

    Zero Trust 安全在改善身份管理方面发挥着关键作用。采用适当的 Zero Trust 解决方案,企业可以阻止未经授权的个人和 AI 机器人访问企业资源,并简化已获授权的人员的访问。

  5. 识别并阻止恶意机器人。机器人管理功能可以区分善意机器人与恶意机器人。然后,阻止恶意机器人抓取数据、窃取内容,或降低网站性能。

  6. 解决人为因素。在应对网络安全威胁的过程中,技术始终必不可少。但是,阻止 AI 增强型威胁也需要行为训练。企业需要培训员工,让其了解可能会出现的网络钓鱼攻击、深度伪造和其他 AI 增强型攻击,以便他/她们提高警惕,适当处理接收的邮件。

    企业还必须努力,不仅要培养具有高度警惕意识的员工,而且还要培养更优秀的数字公民,因为即使在工作日结束后,员工依然可能会遭受这些 AI 增强型攻击。例如,他/她们可能会收到短信,告知其需要紧急支付车辆通行费。如果他/她们错误地点击了链接,或者更糟糕的情况下,向攻击者付了款,那么此举无意中资助了未来可能影响其雇主的攻击。

  7. 与合作伙伴协作。AI 将助推网络犯罪发展成一项规模更庞大的业务,企业不再只是对抗单个黑客。除了采用最新的 AI 增强型网络安全功能之外,企业还需要扩大联盟阵容,以便更好地保护自身免遭有组织的攻击。与合作伙伴的协作越密切,就越会增强防御能力。


应用智能、可扩展的防护措施

AI 驱动型威胁的数量、规模和复杂性将继续增加。随着每一次成功的网络钓鱼尝试或数据泄露,网络犯罪分子会将所获利润重新投资于更先进的技术。许多企业需要显著改进其防御措施来应对新时代的 AI 驱动型攻击,而且需要立即行动。

Cloudflare 全球连通云提供种类繁多的工具和服务,帮助保护企业免受 AI 驱动型威胁。Cloudflare AI Gateway 提供对 AI 应用的成本、使用情况、延迟和整体性能的可见性,以及 Firewall for AI 让企业能够保护受大型语言模型 (LLM) 支持的应用,以防 LLM 遭到滥用。这些工具与 Cloudflare 丰富的云原生安全服务组合协同工作,帮助企业扩展防御体系,以应对更大规模、更复杂的 AI 驱动型威胁。

Cloudflare 就影响当今技术决策者的最新趋势和主题发布了系列文章,本文为其一。


深入探讨这个话题

阅读《2025 年 Cloudflare 信号报告:规模化韧性》,进一步了解 AI 驱动型威胁以及其他需要向提高韧性转变的趋势。

作者

Mike Hamilton - @mike-hamilton-us
Cloudflare 首席信息官



关键要点

阅读本文后,您将能够了解:

  • 网络犯罪分子如何利用 AI 来增强其攻击

  • 当今最常用的 3 种攻击策略

  • 7 种增强安全的方法,以应对 AI 威胁


相关资源

接收有关最流行互联网见解的每月总结。