大家都在部署 AI，却无人确保其安全——可能会出什么问题？

CYBERUK Peter Garraghan – Mindgard 的首席执行官以及兰卡斯特大学分布式系统教授 – 在 CYBERUK 会议上询问观众：在座的各位有多少人曾经在各自的机构中禁止使用生成式 AI？只有三个人举手。

“那在座各位，哪怕是在你们内心深处，实际上对 AI 系统控制所涉及的安全风险有充分了解的人，举手示意？”

在这200多名精通安全的听众中，没有人举手。

Garraghan 回答道：“所以大家都在使用生成式 AI，但却没有人真正了解系统内部的安全性，好比猫已经出笼了。”

上周英国国家网络安全中心（NCSC）年度会议上的这一片段，生动地说明了部分机构在部署 AI 时草率行事，未对更广泛的影响进行深思熟虑。

这正是该机构极力劝阻企业和政府部门所为，因为这些风险部署将增加攻击面，尤其对于那些在关键供应链中扮演角色的机构来说尤为危险。

NCSC 在 CYBERUK 2025 的第一天发布了一份相关报告。报告不仅指出“在现实中存在可能性”，即到2027年关键系统可能会面临来自高级攻击者的威胁，而且还警告称，所有未在此之前将 AI 整合进网络防御中的机构，其对全新一类网络犯罪分子的风险将大幅增加。

由高级部长 Pat McFadden 发布的报告宣称，到2027年，借助 AI 的攻击者将会进一步缩短漏洞被利用的时间。近年来，这个时间已缩短到几天，且 NCSC 坚信，随着 AI 辅助漏洞研究的普及，这一时间还将继续缩短。

一位 NCSC 发言人对 The Register 表示：“未能跟上 AI 驱动威胁步伐的组织和系统，因可能更易暴露于漏洞及其后续的利用，必将成为供应链中脆弱环节的突出节点。这将加剧对英国数字基础设施和整个经济供应链的整体威胁。”

“ NCSC 的供应链指导旨在帮助组织有效控制和监控其供应链。我们鼓励各组织利用这一资源，更好地理解和管理风险。”

“这也是市场激励措施必要存在的原因，以推动大规模、快速提升整体韧性。”

AI 已深度嵌入……但安全防护却尚未跟上

报告指出，在部署 AI 系统时确保全面应用网络安全基本原则至关重要；而专家普遍预期为迅速抢占市场份额，相关系统的开发速度将快于安全防护措施的完善，从而抵御 AI 可能带来的威胁。

报告提到，AI 模型正迅速地在组织的系统、数据和运营技术中扎根，其常见的攻击方式也会对这些商业资产构成威胁。

设想一下直接与间接的 Prompt Injection 攻击，以及软件漏洞和供应链攻击。在 AI 互联的系统中，这些攻击能够协助攻击者更广泛地进入企业环境，因此必须采取必要的控制措施以降低风险。

Garraghan 讲述了他所在公司最近为一家蜡烛店的 AI 聊天机器人进行渗透测试的经验 —— 当前大多数企业为跟上同行业竞争而争相部署的那类 AI 技术。

该聊天机器人使用了大语言模型帮助公司销售蜡烛。据 Garraghan 表示，机器人部署时安全性不足，他的公司成功攻破了它，从而引发了安全、可靠性和商业风险。

在此案例中，安全风险可能表现为通过 Prompt Engineering，使应用程序反向开启 Shell，导致攻击者窃取系统数据。安全风险还可能使得聊天机器人在工程设计上提供诸如火灾演练等不当指示；而商业风险则可能在于攻击者操控聊天机器人泄露公司如何制作蜡烛的相关信息。

虽然这些具体后果并未在同一家企业中同时出现，但在 Garraghan 看来，这些都是在缺乏适当治理下部署 AI 工具可能产生的现实性后果。

NCSC 也对潜在风险发出警告，指出不安全的数据处理过程和配置可能导致传输数据被截获、凭据被盗用，或者用户数据在针对性攻击中被滥用。

当被问及计划如何支持英国组织应对 AI 辅助网络攻击对网络韧性需求的挑战时，NCSC 表示，请关注其将在全年陆续发布的一系列指导和建议文件。

一位发言人对 The Reg 表示：“网络威胁行为者几乎肯定已经在利用 AI 来改进现有的战术、技巧和程序，因此，各类组织都必须确保建立起坚实的网络安全基线以自我防护。”

“NCSC 与政府一道，正持续致力于提升英国的数字韧性。这包括发布一系列建议和指导，帮助各组织采取措施，提升其应对网络威胁的韧性。”

“对于那些最需要帮助的组织，我们期望最大的科技公司——常常也是其供应商——能适应未来威胁，并履行其企业社会责任。”