Claude新文件创建功能存在深层安全风险

周二，Anthropic为其Claude AI助手推出了新的文件创建功能，用户可以在网页界面和Claude桌面应用程序的对话中直接生成Excel电子表格、PowerPoint演示文稿和其他文档。虽然这个功能对Claude用户来说可能很方便，但该公司的支持文档也警告说，它"可能会让你的数据面临风险"，并详细说明了AI助手如何被操控向外部服务器传输用户数据。

这个功能名为"升级版文件创建和分析"，基本上是Anthropic版本的ChatGPT代码解释器，也是Anthropic"分析"工具的升级版。根据公告，该功能目前作为预览版提供给Max、Team和Enterprise计划用户，Pro用户预计"在未来几周内"获得访问权限。

安全问题源于新功能给予Claude访问沙盒计算环境的权限，这使它能够下载包和运行代码来创建文件。Anthropic在其博客公告中写道："此功能为Claude提供互联网访问权限来创建和分析文件，这可能会让你的数据面临风险。使用此功能时请密切监控聊天。"

根据Anthropic的文档，"恶意行为者"操控此功能可能"通过外部文件或网站悄无声息地添加指令"，操控Claude"从claude.ai连接的知识源读取敏感数据"并"使用沙盒环境发出外部网络请求来泄露数据"。

这描述了一种提示注入攻击，即隐藏在看似无害内容中的指令可以操控AI模型的行为——安全研究人员在2022年首次记录了这种漏洞。这些攻击代表了AI语言模型一个恶性的、未解决的安全缺陷，因为数据和处理指令都通过相同格式作为"上下文窗口"的一部分输入到模型中，这使得AI难以区分合法指令和隐藏在用户提供内容中的恶意命令。

该公司在其安全文档中表示，在发布前通过"红队测试和安全测试"发现了新功能的漏洞。Anthropic建议用户的缓解措施是"在使用该功能时监控Claude，如果看到它意外使用或访问数据就停止它"，尽管这将安全负担完全转移给了用户，而这本来被营销为一个自动化的、免人工干预的系统。

独立AI研究员Simon Willison今天在他的博客上评论这个功能时指出，Anthropic建议"在使用该功能时监控Claude"等于"不公平地将问题外包给Anthropic的用户"。

然而，Anthropic并没有完全忽视这个问题。该公司为文件创建功能实施了几项安全措施。对于Pro和Max用户，Anthropic禁用了使用文件创建功能的对话的公开分享。对于Enterprise用户，公司实施了沙盒隔离，使环境永远不会在用户之间共享。公司还限制了任务持续时间和容器运行时间"以避免恶意活动循环"。

对于Team和Enterprise管理员，Anthropic还提供了Claude可以访问的域名允许列表，包括api.anthropic.com、github.com、registry.npmjs.org和pypi.org。文档说明"Claude只能通过个人用户的提示、项目或激活连接被诱骗泄露它在对话中可以访问的数据"。

Anthropic的文档表示，该公司有"对此功能进行持续安全测试和红队测试的持续过程"。公司鼓励组织"在决定是否启用此功能时，根据其特定的安全要求评估这些保护措施"。

即使有Anthropic的安全措施，Willison说他会保持谨慎。他在博客中写道："我计划在使用此功能处理我非常不希望泄露给第三方的任何数据时保持谨慎，如果存在哪怕最微小的恶意指令可能悄悄渗入的机会。"

我们曾报道过Anthropic的Chrome版Claude类似的潜在提示注入漏洞，该版本上个月作为研究预览版推出。对于考虑将Claude用于敏感商业文档的企业客户，Anthropic决定在已记录漏洞的情况下发布产品，这表明在AI军备竞赛中竞争压力可能正在压倒安全考虑。

这种"先发布，后保护"的理念让一些AI专家如Willison感到沮丧，他广泛记录了提示注入漏洞并创造了这个术语。他最近在博客上将当前AI安全状态描述为"可怕的"，指出这些提示注入漏洞仍然广泛存在，"在我们首次开始讨论它们近三年后"。

在2022年9月的一个有预见性的警告中，Willison写道"可能有些系统在我们有强大的解决方案之前根本不应该构建"。他对现在的最新评估？"看起来我们还是构建了它们！"

Q&A

Q1：Claude的新文件创建功能有什么安全风险？

A：Claude的新文件创建功能存在提示注入攻击风险。恶意行为者可以通过外部文件或网站悄无声息地添加指令，操控Claude读取敏感数据并通过沙盒环境向外部服务器泄露数据。这是因为该功能给予Claude互联网访问权限和沙盒计算环境，使其能够下载包和运行代码。

Q2：Anthropic采取了哪些安全措施来保护用户？

A：Anthropic实施了多项安全措施：对Pro和Max用户禁用使用文件创建功能对话的公开分享；对Enterprise用户实施沙盒隔离确保环境不在用户间共享；限制任务持续时间和容器运行时间；为管理员提供域名允许列表；并进行持续的安全测试和红队测试。

Q3：用户在使用Claude文件创建功能时应该注意什么？

A：用户应该密切监控Claude在使用该功能时的行为，如果发现它意外使用或访问数据就立即停止。专家建议在处理敏感数据时要格外谨慎，因为即使存在最微小的恶意指令渗入可能性也要小心。企业用户应根据自身安全要求评估这些保护措施后再决定是否启用此功能。