Daniel Stenberg(curl 项目的原作者和负责人)本周在 LinkedIn 上写道:“达到了一个阈值。我们实际上正受到 DDoS 攻击。如果可能的话,我们本来会对这种浪费我们时间的行为收费。”
Curl( 在某些领域称为 cURL )于 2023 年迎来 25 周年,作为与互联网资源交互的重要命令行工具和库,该开源项目通过多种渠道接收 Bug 报告和安全问题,其中包括 HackerOne——一项帮助企业管理漏洞报告及赏金计划的服务。近年来,HackerOne 积极借助 AI 工具,其主页上写道:“One platform, dual force: Human minds + AI power。”
Stenberg 表示,他已经“受够了”,并坚决“制止这种疯狂”,建议对每一份涉嫌由 AI 生成的 HackerOne 报告,都要求报告者验证是否曾使用 AI 来发现问题或生成报告。如果一份报告被认定为“AI 垃圾”,该报告者将会被禁止使用该平台。他写道:“我们至今还没有见过任何借助 AI 辅助下完成的有效安全报告。”
Stenberg 提到,一份 5 月 4 日的报告“把我逼到了极限”,该报告提出利用 HTTP/3 协议栈中流依赖循环的问题来实施“新型利用”。流依赖处理不当,即程序的某一部分等待另一部分的输出,可能导致恶意数据注入、竞态条件、程序崩溃及其他问题。该报告声称,这可能使支持 HTTP/3 的 curl 面临包括远程代码执行在内的漏洞风险。
然而,正如 curl 团队指出的那样,提交的“恶意服务器设置”补丁文件并不适用于相关 Python 工具的最新版本。当被问及此事时,原始提交者以一种奇怪的提示式方式回应,回答了 curl 团队并未提出的问题( What is a Cyclic Dependency? )并附上了关于如何使用 git 工具应用新补丁的基本指令。该提交者还没有提供所要求的新补丁文件,引用了基础库中不存在的函数,并提出了针对除 curl 之外其它工具的加固建议。
更多工具以打击这种行为 在接受 Ars 采访时,Stenberg 表示他对帖子(截至周三早晨已获得 200 条评论和近 400 次转发)广为传播感到高兴,并说:“我非常高兴这个问题得到了关注,也许我们可以对此做些什么,同时向公众普及这就是现状。大语言模型无法发现安全问题,至少不像它们在这里被使用的那样。”
Stenberg 透露,本周已出现四份此类明显误导、显然由 AI 生成的漏洞报告,这些报告似乎意在获取声誉或赏金资金。他说:“一个明显的特征是,报告总是写得非常得体,措辞友好,英语完美且礼貌,并配有清晰的要点……普通人在首次撰写报告时从不会这样。”
有些 AI 报告比其他的更容易被识别。Stenberg 表示,其中一位报告者不小心将他们的提示语直接粘贴进了报告,结尾写道:“and make it sound alarming.”
Stenberg 称他“之前就曾就此问题与 HackerOne 进行了沟通”,本周他再次联系了该平台。“我希望他们能采取更强硬的措施予以应对。我希望他们能协助改善与 AI 工具相关的基础设施,并为我们提供更多打击这种行为的工具。”
在帖子评论中,Stenberg 与开源安全公司 XOR 的 Tobias Heldt 互相讨论,建议漏洞赏金计划可以利用“现有的网络和基础设施”。Heldt 表示,让安全记者缴纳保证金以审查报告,可能是一种过滤信号、降低噪音的方式。在其他地方,Stenberg 较为悲观看待这一趋势,认为尽管 AI 生成的报告“还没有把我们淹没”,但未来趋势并不乐观。
Stenberg 曾在他自己的博客中讨论过 AI 生成的漏洞报告,详细说明了这些报告的特征以及常见错误。Python 软件基金会的安全开发驻场专家 Seth Larson 也补充了 Stenberg 的发现,提供了自己的实例及建议,正如 The Register 所报道的那样。
Larson 在 12 月写道:“如果这种情况只在我能看到的少部分项目中发生,那么我怀疑这种情况在整个开源项目中已经大规模存在。这是一个非常令人担忧的趋势。”
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。