研究人员对此前开发的用于欺骗自动驾驶汽车的技术进行了深入研究,发现在停车标志和限速标志上贴上廉价贴纸就能产生相当有效的欺骗效果。
他们还发现了一个特殊现象:这些系统会"记忆"交通标志。当标志被遮挡时,车辆仍然会在其计算中假定标志存在于最初检测到的位置,即使标志已经看不见了。这导致在实际环境中"攻击成功率低于预期"。
来自美国加州大学欧文分校和德雷塞尔大学的科学家们延续了早期的研究。此前的研究表明,对标志投射的光线模式可以使自动驾驶汽车产生混淆,同样有效的还包括精心放置的锡箔纸和涂料、电工胶带、道路贴纸以及操纵性音频等方法。
自动驾驶车辆使用的 AI 算法、物体识别器、图像分类器和其他传感器信息的技术已经突飞猛进,但计算机视觉仍然无法捕捉到人眼通过多年人类生活观察和千万年进化完善所获得的数万亿个上下文线索。比如,当人类大脑看到停车标志上的贴纸时,可能会这样推理:"看,这个路标的大小和形状像是停车标志,虽然上面有贴纸。是的,有人把它涂鸦了。我还是要在标志处停车。"
但自动驾驶系统使用的物体检测器和图像分类器的工作方式与此不同。
在这项最新研究中,团队聚焦于自动驾驶汽车使用的交通标志识别 (TSR) 系统,并设计了一种衡量过去对抗性攻击有效性的方法。
Wang 表示,他的团队的攻击手段是使用带有旋转、多彩设计的贴纸,这些设计可以混淆自动驾驶汽车 TSR 系统中的图像分类器和物体检测器使用的 AI 算法。其中一些可以使停车标志在检测器看来"消失" —— 可以通过用对抗性停车标志海报覆盖原标志,或在标志上添加对抗性贴纸来实现。
研究发现,低成本方法 —— 主要是在停车和限速标志上贴上特制贴纸 —— 确实可以(如先前所示)使某些车辆的 TSR 系统无法检测到此类标志,同时也可以使不存在的标志凭空出现。这类攻击可能导致汽车忽视道路指令、触发意外紧急制动、超速和其他违规行为。
研究团队测试了五款具有一定自动驾驶功能的公开销售车型(即特斯拉 Model 3 2023、丰田凯美瑞 2023、日产轩逸 2023、马自达 CX-30 2023 和现代途胜 2024),出于道德原因,他们没有指出哪些型号容易受到哪种攻击。
关于空间记忆设计的发现,论文指出这种技术在当今商用 TSR 系统中很常见。研究人员发现,这意味着"隐藏攻击"(使标志对 TSR 系统"消失")在理论上比"出现攻击"更难(如果不是同样困难的话)欺骗系统。原因是当 TSR 系统最初检测到标志及其位置时,即使标志在行驶过程中的某些部分被遮挡,它似乎也会"记住"它,直到通过标志应该存在的位置。
这些信息对于加强自动驾驶汽车抵御此类攻击的能力都很有用。这项研究不仅让团队能够负责任地向自动驾驶汽车供应商披露攻击成功的地方,以便他们在必要时进行调整,还意味着研究人员可以根据获得的新信息,对攻击的风险状况进行数学建模。这有望在让这些系统整体更安全的道路上带来更多小的改进。
好文章,需要你的鼓励
数据分析平台公司Databricks完成10亿美元K轮融资,公司估值超过1000亿美元,累计融资总额超过200亿美元。公司第二季度收入运营率达到40亿美元,同比增长50%,AI产品收入运营率超过10亿美元。超过650家客户年消费超过100万美元,净收入留存率超过140%。资金将用于扩展Agent Bricks和Lakebase业务及全球扩张。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
医疗信息管理平台Predoc宣布获得3000万美元新融资,用于扩大运营规模并在肿瘤科、研究网络和虚拟医疗提供商中推广应用。该公司成立于2022年,利用人工智能技术提供端到端平台服务,自动化病历检索并整合为可操作的临床洞察。平台可实现病历检索速度提升75%,临床审查时间减少70%,旨在增强而非替代临床判断。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。