AI 驱动的代码生成工具正在重塑开发者编写软件的方式,但同时也给软件供应链带来了新的风险。
与大语言模型类似,AI 编程助手也存在幻觉问题。它们会推荐包含不存在软件包的代码。
去年 3 月和 9 月,安全和学术研究人员发现 AI 代码助手会虚构包名。最近的一项研究表明,商业模型约 5.2% 的包建议是不存在的,而开源模型则高达 21.7%。
运行这些代码时,导入不存在的包应该会报错。但不法分子已经意识到可以利用这种幻觉来谋取私利。
他们只需要用虚构的包名创建恶意软件包,然后将其上传到 PyPI 或 npm 等包注册表进行分发。此后,当 AI 代码助手再次产生相同的幻觉时,安装依赖和执行代码的过程就会运行这些恶意软件。
这种重复出现似乎呈双峰模式 - 当重新运行提示时,一些虚构的包名会反复出现,而其他则完全消失 - 这表明某些提示会可靠地产生相同的虚构包。
正如安全公司 Socket 最近指出的,去年研究这个问题的学术研究人员发现,将同一个触发幻觉的提示重复运行 10 次,43% 的虚构包每次都会重复出现,而 39% 则再也不会出现。
利用虚构的包名是一种仿冒攻击,攻击者使用常见术语的变体或拼写错误来欺骗用户。Python 软件基金会的安全开发人员 Seth Michael Larson 将其称为"slopsquatting"(混乱仿冒)- "slop" 是对 AI 模型输出的贬义说法。
专家建议用户在使用 AI 生成的代码、包和信息之前,应该对其进行双重检查。组织可以在内部镜像 PyPI 的子集,以更好地控制开发人员可用的包。
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。