安全研究人员警告说,即使数据仅在互联网上短暂曝光,也可能在 Microsoft Copilot 等在线生成式 AI 聊天机器人中长期存在,即使这些数据后来被设为私有。
根据专注于新兴生成式 AI 威胁的以色列网络安全公司 Lasso 的最新发现,包括 Microsoft 在内的全球多家大型公司的数千个曾经公开的 GitHub 代码库都受到了影响。
Lasso 联合创始人 Ophir Dror 向 TechCrunch 表示,公司发现自己的 GitHub 代码库内容出现在 Copilot 中,这是因为它被 Microsoft 的 Bing 搜索引擎索引和缓存。Dror 说,这个曾短暂公开的代码库已经设为私有,在 GitHub 上访问会显示"页面未找到"错误。
Dror 说:"令人惊讶的是,我们在 Copilot 中发现了我们自己的一个私有代码库。如果我浏览网页,就看不到这些数据。但世界上任何人只要向 Copilot 提出正确的问题就能获取这些数据。"
在意识到 GitHub 上的任何数据,即使是短暂存在的,都可能被 Copilot 等工具暴露后,Lasso 进行了进一步调查。
Lasso 提取了 2024 年任何时候曾公开的代码库列表,并识别出已被删除或设为私有的代码库。通过 Bing 的缓存机制,公司发现超过 20,000 个已私有化的 GitHub 代码库的数据仍可通过 Copilot 访问,影响了超过 16,000 个组织。
Lasso 在发布研究结果前告诉 TechCrunch,受影响的组织包括 Google、IBM、PayPal、Tencent 和 Microsoft。Amazon 在文章发布后表示未受此问题影响。Lasso 表示"根据法律团队的建议删除了所有对 AWS 的引用",并"坚持研究结果"。
对于一些受影响的公司,Copilot 可能会被诱导返回包含知识产权、敏感企业数据、访问密钥和令牌的机密 GitHub 存档。
Lasso 指出,他们使用 Copilot 检索到一个已被 Microsoft 删除的 GitHub 代码库内容,该代码库托管着一个可以使用 Microsoft 云 AI 服务创建"攻击性和有害" AI 图像的工具。
Dror 表示,Lasso 已联系所有"严重受影响"的公司,建议他们轮换或撤销任何已泄露的密钥。
Lasso 提到的受影响公司都没有回应 TechCrunch 的询问。Microsoft 也没有回应 TechCrunch 的询问。
Lasso 于 2024 年 11 月向 Microsoft 报告了这一发现。Microsoft 告诉 Lasso,它将此问题归类为"低严重性",称这种缓存行为是"可接受的"。从 2024 年 12 月开始,Microsoft 不再在其搜索结果中包含 Bing 缓存链接。
然而,Lasso 表示,尽管缓存功能已被禁用,Copilot 仍能访问这些数据,即使通过传统网络搜索无法看到,这表明这只是一个临时修复。
好文章,需要你的鼓励
来自香港科技大学和MiniMax的研究团队开发了SynLogic,一个可合成35种逻辑推理任务的框架与数据集,填补了AI逻辑训练资源缺口。研究表明,在SynLogic上进行强化学习训练显著提升了模型逻辑推理能力,32B模型在BBEH测试中超越了DeepSeek-R1-Distill模型6个百分点。更值得注意的是,将SynLogic与数学和编程数据混合训练不仅提高了这些领域的学习效率,还增强了模型的泛化能力,表明逻辑推理是构建通用AI推理能力的重要基础。
这项研究揭示了大型语言模型的惊人能力:只需两个特殊训练的向量,冻结的语言模型就能在一次计算中生成数百个准确词汇,而非传统的逐词生成。研究者发现,这种能力要求特定的输入排列方式,且生成速度比自回归方法快约279倍。这一发现不仅展示了语言模型未被充分探索的并行生成潜力,还为快速文本重建开辟了新方向。
腾讯混元团队提出的"ConciseR"是一种通过两阶段强化学习实现大模型简洁推理的新方法。研究遵循"先走后跑"原则,先确保模型具备准确推理能力,再优化输出简洁性。第一阶段通过改进的群体相对策略优化(GRPO++)提升推理能力,第二阶段通过长度感知的群体相对策略优化(L-GRPO)减少输出长度。实验结果显示,该方法在AIME、MATH-500等多个基准测试中既减少了输出长度(平均20%以上),又保持或提高了准确率,展现出高效率-高准确率的理想平衡。
这项由香港科技大学团队开展的研究首次全面评估了压缩对大语言模型Agent能力的影响。研究发现,虽然4位量化能较好地保留工作流生成和工具使用能力(仅下降1%-3%),但在实际应用中性能下降达10%-15%。团队提出的ACBench基准测试横跨工具使用、工作流生成、长文本理解和实际应用四大能力,评估了不同压缩方法对15种模型的影响。结果显示,AWQ量化效果最佳,蒸馏模型在Agent任务上表现不佳,大型模型对压缩更具韧性。研究还提出ERank等创新分析方法,为实际部署提供了切实指导。