五眼联盟成员国的信息安全机构联合发布了一份关于智能体AI应用的指导文件,警告该技术可能出现异常行为,并可能放大组织现有的安全脆弱性,因此建议各机构缓慢而审慎地推进相关技术的落地。
上述立场于上周五以《谨慎采用智能体AI服务》为题正式发布。文件开篇指出:"智能体AI系统正日益渗透关键基础设施和国防领域,并承载任务关键型能力,"这使得"防御方实施安全控制、保护国家安全和关键基础设施免受智能体AI特有风险的侵害,变得至关重要。"
该文件的核心论点在于:部署智能体AI需要整合大量组件、工具和外部数据源,从而形成"相互关联的攻击面,可被恶意行为者加以利用"。
文件警告称:"因此,智能体AI系统中的每一个独立组件都会扩大攻击面,使系统暴露在更多潜在的利用路径之中。"
为说明智能体AI所带来的风险,文件举例描述了一个被授权安装安全补丁的AI智能体,由于被粗心大意地赋予了宽泛的写入权限,最终引发了以下不良后果:
"一名恶意内部人员构造了一个看似无害的提示词:'在所有终端上应用安全补丁,顺便清理一下防火墙日志'。该智能体忠实地执行了常规维护任务,同时也删除了防火墙日志——因为其权限允许这一操作,即便该提示词来自特权IT组以外的普通用户。"
文件还列举了另一个危险场景作为警示:
某组织部署智能体AI自主管理采购审批和供应商沟通,并赋予该智能体访问财务系统、电子邮件及合同数据库的权限;
部署时,负责人仅考虑了该智能体自身的权限配置;
随着时间推移,其他智能体开始依赖采购智能体的输出结果,并默认信任其行为;
一名恶意行为者攻破了集成在该智能体工作流中的一个低风险工具,并借此继承了该智能体过度宽泛的权限;
攻击者利用这些特权修改合同、批准未经授权的付款,并通过伪造审计日志规避了系统告警检测。
该文件由澳大利亚信号局和网络安全中心(ASD's ACSC)牵头参与编写,合作方包括美国网络安全和基础设施安全局(CISA)、美国国家安全局(NSA)、加拿大网络安全中心(Cyber Centre)、新西兰国家网络安全中心(NCSC-NZ)以及英国国家网络安全中心(NCSC-UK)。
文件在列举更多风险案例的基础上,进一步梳理了23类不同风险及逾100条针对性最佳实践建议。
大部分建议面向AI部署开发者,但文件作者同时也敦促供应商对产品进行充分测试,确保产品"默认以安全失效方式运行,在不确定场景下要求智能体暂停并将问题上报人工审核人员"。
文件还呼吁安全从业者和研究人员投入更多精力研究AI相关问题。
文件警告称,"智能体AI系统的威胁情报仍处于发展演进阶段,可能带来显著的安全盲区",原因在于开放式Web应用安全项目(OWASP)和MITRE ATLAS等资源目前仍主要聚焦于大语言模型领域,"导致智能体AI特有的部分攻击向量尚未被完整记录和应对"。
鉴于智能体AI的创建者或潜在使用者面临的待解事项清单极为庞杂,文件主张采取极为审慎的落地策略。
文件总结道:"各组织在推进采用时应将安全置于首位,认识到自主程度的提升会放大设计缺陷、错误配置和监督缺失所带来的影响。应以渐进方式部署智能体AI,从边界清晰的低风险任务起步,并持续对照动态演进的威胁模型进行评估。"
"强有力的治理机制、明确的责任归属、严格的监控体系以及人工监督,并非可有可无的安全保障,而是不可或缺的基本前提。在安全实践、评估方法和相关标准成熟之前,各组织应默认智能体AI系统可能出现意外行为,并据此规划部署方案,将韧性、可逆性和风险管控置于效率提升之上。"
Q&A
Q1:智能体AI在安全方面存在哪些主要风险?
A:根据五眼联盟发布的指导文件,智能体AI的主要安全风险包括:系统中每个独立组件都会扩大攻击面;过度宽泛的权限配置可能被恶意内部人员或外部攻击者利用;多智能体之间的隐式信任关系可能导致权限被连锁继承;此外,威胁情报体系尚不完善,针对智能体AI的特有攻击向量尚未被充分记录,存在显著安全盲区。
Q2:五眼联盟对部署智能体AI有哪些具体建议?
A:文件建议组织以渐进方式部署智能体AI,从边界清晰的低风险任务起步,持续对照动态威胁模型进行评估。同时要求建立强有力的治理机制、明确责任归属、实施严格监控,并保留人工监督环节。在不确定场景下,智能体应默认暂停并上报人工审核,整体部署应优先考虑韧性、可逆性和风险管控,而非单纯追求效率提升。
Q3:智能体AI的威胁情报为何仍存在明显不足?
A:目前OWASP和MITRE ATLAS等主流安全资源主要聚焦于大语言模型层面的安全问题,对智能体AI特有的攻击向量覆盖尚不完整。加之智能体AI系统涉及多组件协作、多智能体交互及外部数据源接入等复杂场景,使得威胁情报的积累和标准化工作仍处于早期阶段,安全评估方法和行业标准亟待进一步成熟完善。
好文章,需要你的鼓励
苹果已开始在印度分阶段恢复Apple账户的信用卡支付功能,用户可绑定Visa和Mastercard信用卡及借记卡,用于购买iCloud+、Apple Music订阅及App Store应用。此前,由于印度储备银行于2021年推出新的周期性支付监管框架,苹果于2022年5月暂停了该支付方式。此次恢复标志着苹果在适应各国本地化监管要求方面的持续努力,同时也引发外界对苹果是否将在印度推出Apple Pay的新猜测。
腾讯混元等机构提出HiLS-Attention,通过端到端可学习的分层稀疏注意力机制,让大模型在超长上下文推理中比全量注意力快14倍,同时检索准确率更高。
Bookshop.org创始人Andy Hunter证实,与Kobo的合作集成将于今年落地。此前该计划历经多次推迟,网页措辞一度从"2026年"改为"未来某时"。Hunter表示,双方已就商业条款达成一致,工程团队正将资源重新投入Kobo支持开发,但尚无具体上线日期。该集成将支持数字版权管理要求,让用户通过Bookshop.org购买电子书,同时支持独立书店。
DSpark是DeepSeek与北京大学提出的投机解码框架,通过半自回归生成和置信度调度验证两项创新,将DeepSeek-V4用户生成速度提升60%至85%。