研究人员对此前开发的用于欺骗自动驾驶汽车的技术进行了深入研究,发现在停车标志和限速标志上贴上廉价贴纸就能产生相当有效的欺骗效果。
他们还发现了一个特殊现象:这些系统会"记忆"交通标志。当标志被遮挡时,车辆仍然会在其计算中假定标志存在于最初检测到的位置,即使标志已经看不见了。这导致在实际环境中"攻击成功率低于预期"。
来自美国加州大学欧文分校和德雷塞尔大学的科学家们延续了早期的研究。此前的研究表明,对标志投射的光线模式可以使自动驾驶汽车产生混淆,同样有效的还包括精心放置的锡箔纸和涂料、电工胶带、道路贴纸以及操纵性音频等方法。
自动驾驶车辆使用的 AI 算法、物体识别器、图像分类器和其他传感器信息的技术已经突飞猛进,但计算机视觉仍然无法捕捉到人眼通过多年人类生活观察和千万年进化完善所获得的数万亿个上下文线索。比如,当人类大脑看到停车标志上的贴纸时,可能会这样推理:"看,这个路标的大小和形状像是停车标志,虽然上面有贴纸。是的,有人把它涂鸦了。我还是要在标志处停车。"
但自动驾驶系统使用的物体检测器和图像分类器的工作方式与此不同。
在这项最新研究中,团队聚焦于自动驾驶汽车使用的交通标志识别 (TSR) 系统,并设计了一种衡量过去对抗性攻击有效性的方法。
Wang 表示,他的团队的攻击手段是使用带有旋转、多彩设计的贴纸,这些设计可以混淆自动驾驶汽车 TSR 系统中的图像分类器和物体检测器使用的 AI 算法。其中一些可以使停车标志在检测器看来"消失" —— 可以通过用对抗性停车标志海报覆盖原标志,或在标志上添加对抗性贴纸来实现。
研究发现,低成本方法 —— 主要是在停车和限速标志上贴上特制贴纸 —— 确实可以(如先前所示)使某些车辆的 TSR 系统无法检测到此类标志,同时也可以使不存在的标志凭空出现。这类攻击可能导致汽车忽视道路指令、触发意外紧急制动、超速和其他违规行为。
研究团队测试了五款具有一定自动驾驶功能的公开销售车型(即特斯拉 Model 3 2023、丰田凯美瑞 2023、日产轩逸 2023、马自达 CX-30 2023 和现代途胜 2024),出于道德原因,他们没有指出哪些型号容易受到哪种攻击。
关于空间记忆设计的发现,论文指出这种技术在当今商用 TSR 系统中很常见。研究人员发现,这意味着"隐藏攻击"(使标志对 TSR 系统"消失")在理论上比"出现攻击"更难(如果不是同样困难的话)欺骗系统。原因是当 TSR 系统最初检测到标志及其位置时,即使标志在行驶过程中的某些部分被遮挡,它似乎也会"记住"它,直到通过标志应该存在的位置。
这些信息对于加强自动驾驶汽车抵御此类攻击的能力都很有用。这项研究不仅让团队能够负责任地向自动驾驶汽车供应商披露攻击成功的地方,以便他们在必要时进行调整,还意味着研究人员可以根据获得的新信息,对攻击的风险状况进行数学建模。这有望在让这些系统整体更安全的道路上带来更多小的改进。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。