研究人员对此前开发的用于欺骗自动驾驶汽车的技术进行了深入研究,发现在停车标志和限速标志上贴上廉价贴纸就能产生相当有效的欺骗效果。
他们还发现了一个特殊现象:这些系统会"记忆"交通标志。当标志被遮挡时,车辆仍然会在其计算中假定标志存在于最初检测到的位置,即使标志已经看不见了。这导致在实际环境中"攻击成功率低于预期"。
来自美国加州大学欧文分校和德雷塞尔大学的科学家们延续了早期的研究。此前的研究表明,对标志投射的光线模式可以使自动驾驶汽车产生混淆,同样有效的还包括精心放置的锡箔纸和涂料、电工胶带、道路贴纸以及操纵性音频等方法。
自动驾驶车辆使用的 AI 算法、物体识别器、图像分类器和其他传感器信息的技术已经突飞猛进,但计算机视觉仍然无法捕捉到人眼通过多年人类生活观察和千万年进化完善所获得的数万亿个上下文线索。比如,当人类大脑看到停车标志上的贴纸时,可能会这样推理:"看,这个路标的大小和形状像是停车标志,虽然上面有贴纸。是的,有人把它涂鸦了。我还是要在标志处停车。"
但自动驾驶系统使用的物体检测器和图像分类器的工作方式与此不同。
在这项最新研究中,团队聚焦于自动驾驶汽车使用的交通标志识别 (TSR) 系统,并设计了一种衡量过去对抗性攻击有效性的方法。
Wang 表示,他的团队的攻击手段是使用带有旋转、多彩设计的贴纸,这些设计可以混淆自动驾驶汽车 TSR 系统中的图像分类器和物体检测器使用的 AI 算法。其中一些可以使停车标志在检测器看来"消失" —— 可以通过用对抗性停车标志海报覆盖原标志,或在标志上添加对抗性贴纸来实现。
研究发现,低成本方法 —— 主要是在停车和限速标志上贴上特制贴纸 —— 确实可以(如先前所示)使某些车辆的 TSR 系统无法检测到此类标志,同时也可以使不存在的标志凭空出现。这类攻击可能导致汽车忽视道路指令、触发意外紧急制动、超速和其他违规行为。
研究团队测试了五款具有一定自动驾驶功能的公开销售车型(即特斯拉 Model 3 2023、丰田凯美瑞 2023、日产轩逸 2023、马自达 CX-30 2023 和现代途胜 2024),出于道德原因,他们没有指出哪些型号容易受到哪种攻击。
关于空间记忆设计的发现,论文指出这种技术在当今商用 TSR 系统中很常见。研究人员发现,这意味着"隐藏攻击"(使标志对 TSR 系统"消失")在理论上比"出现攻击"更难(如果不是同样困难的话)欺骗系统。原因是当 TSR 系统最初检测到标志及其位置时,即使标志在行驶过程中的某些部分被遮挡,它似乎也会"记住"它,直到通过标志应该存在的位置。
这些信息对于加强自动驾驶汽车抵御此类攻击的能力都很有用。这项研究不仅让团队能够负责任地向自动驾驶汽车供应商披露攻击成功的地方,以便他们在必要时进行调整,还意味着研究人员可以根据获得的新信息,对攻击的风险状况进行数学建模。这有望在让这些系统整体更安全的道路上带来更多小的改进。
好文章,需要你的鼓励
数字孪生技术正在改变网络安全防御模式,从被动响应转向主动预测。这种实时学习演进的虚拟副本让安全团队能够在威胁发生前预见攻击。组织可以在数字孪生环境中预演明日的攻击,将防御从事后反应转变为事前排演。通过动态更新的IT生态系统副本,团队可在真实条件下压力测试防御体系,模拟零日漏洞攻击并制定应对策略,从根本上重塑网络安全实践方式。
香港中文大学联合上海AI实验室推出Dispider系统,首次实现AI视频"边看边聊"能力。通过创新的三分式架构设计,将感知、决策、反应功能独立分离,让AI能像人类一样在观看视频过程中进行实时交流,在StreamingBench测试中显著超越现有系统,为教育、娱乐、医疗、安防等领域的视频AI应用开启新可能。
Linux内核开发面临动荡时期,Rust语言引入引发摩擦,多名核心开发者相继离职。文章介绍了三个有趣的替代方案:Managarm是基于微内核的操作系统,支持运行Linux软件;Asterinas采用Rust语言开发,使用新型framekernel架构实现内核隔离;Xous同样基于Rust和微内核设计,已有实际硬件产品Precursor发布。这些项目证明了除Linux之外,还有许多令人兴奋的操作系统研发工作正在进行。
Atla公司发布Selene Mini,这是一个仅有80亿参数的AI评估模型,却在11个基准测试中全面超越GPT-4o-mini。通过精心的数据筛选和创新训练策略,该模型不仅能准确评判文本质量,还能在医疗、金融等专业领域表现出色。研究团队将模型完全开源,为AI评估技术的普及和发展做出贡献。