Cursor的AI编程智能体在YOLO模式下可以自动运行。据Backslash Security称,用户可能需要三思而后行。
如果使用YOLO一词——你只活一次——还不足以警告该公司对计算机安全的处理方式,那么位于以色列特拉维夫的Backslash表示,Cursor用于防止其智能体删除数据的所谓安全措施之一"严重不足,甚至完全无用"。
YOLO模式,或称自动运行模式,允许Cursor智能体执行多步骤编程任务,无需在每个步骤都获得人工批准。该模式配备了几项设置,旨在限制可能造成的损害范围。这些设置包括:允许列表(使特定命令对智能体可用)、拒绝列表(指定智能体不应调用的命令),以及防止文件被删除的复选框。
正如企业家Jason Lemkin最近使用Replit AI编程工具的经历所显示的,基于大语言模型的代码帮助如果使用时缺乏足够的谨慎,可能会做出删除生产数据库等激烈行为。
Cursor提供拒绝列表试图防范此类问题。例如,通过将"rm"命令添加到拒绝列表,Cursor智能体应该无法使用该命令删除文件。因此,一些Cursor用户采用了冗长的拒绝列表。
但据Backslash称,拒绝列表的实现可以被轻易绕过。
应用安全分析师Mustafa Naamneh和Micah Gold在博客文章中表示:"我们发现了不少于四种方式,被入侵的智能体可以绕过Cursor拒绝列表并执行未经授权的命令。"
该公司表示,拒绝列表无法阻止混淆命令。因此,即使"curl"在拒绝列表中,智能体也会忠实地执行以Base64编码的命令echo JChjdXJsIGdvb2dsZS5jb20pCgoK | base64 -d | zsh,该命令等同于echo $(curl google.com)。
如果命令包含在子shell中(如bash -c "curl google.com"),或者写入shell脚本中(如echo curl google.com > curl.sh && chmod +x curl.sh && ./curl.sh),拒绝列表也会运行被禁止的命令。
最后,在bash环境中可以通过使用双引号或多组引号来绕过拒绝列表,这样就无法明确阻止所有潜在的攻击变体。
Naamneh和Gold表示:"Cursor的拒绝列表不可靠。虽然它可能阻止智能体天真地运行某些Linux命令,但无法阻止被入侵的智能体运行它想要的任何命令。"
安全公司表示,智能体执行任意命令的能力意味着Cursor针对自动运行/YOLO模式事故的其他防御措施(如文件删除预防)都是无用的。
此类命令如何到达Cursor智能体?据Naamneh和Gold称,开发者可能会"从随机GitHub存储库导入rules.mdc文件——可重用的智能体指令——而不对其进行审核"。
Backslash Security联合创始人兼首席技术官Yossi Pik告诉The Register,Cursor智能体执行风险命令还有其他方式。例如,智能体可以处理来自共享代码库的注入文本,如README或代码注释。或者智能体可以从包含恶意指令的外部站点获取并执行内容。
Pik解释说:"智能体只需要处理包含注入命令的文件、规则或响应——无论是本地的、共享的还是远程获取的。攻击成功并不需要网页。"
你只活一次,但遗憾却是永恒的。
Cursor没有立即回应评论请求。据报告此问题的Backslash称,Cursor打算在1.3版本中弃用拒绝列表功能,但在本文发布时该版本尚不可用。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。