AI智能体两小时攻破麦肯锡聊天机器人获完全访问权限

网络安全初创公司CodeWall的研究人员表示，他们的AI智能体攻破了麦肯锡内部AI平台，仅用两小时就获得了聊天机器人的完全读写访问权限。

这再次表明，智能体AI正在成为进行网络攻击的更有效工具，包括针对其他AI系统的攻击。

这次攻击并非出于恶意目的。然而，威胁研究人员告诉我们，恶意分子正越来越多地在真实世界的攻击中使用智能体，这表明机器速度的入侵不会消失。

麦肯锡是一家专门为大型企业和政府提供复杂战略工作的大型管理咨询公司，于2023年7月推出了名为Lilli的生成式AI平台。据该公司称，其72%的员工（超过4万人）现在使用这个聊天机器人，每月处理超过50万个提示。

CodeWall使用AI智能体持续攻击客户的基础设施，帮助他们改善安全态势。据这家初创公司称，其安全智能体建议将麦肯锡作为目标，引用了该咨询公司的公开负责任披露政策和Lilli的最新更新。

"所以我们决定将我们的自主攻击智能体指向它，"研究人员在周一的博客中写道，并指出智能体无法访问麦肯锡资产的任何凭证。

CodeWall的研究人员声称，在开始红队攻击的两小时内，他们就获得了对整个生产数据库的完全读写访问权限，能够访问4650万条关于战略、并购和客户参与的聊天消息（全部为明文），以及包含机密客户数据的72.8万个文件、5.7万个用户账户，以及95个控制AI行为的系统提示。这些提示都是可写的，意味着攻击者可以毒化Lilli输出给使用聊天机器人的数万名顾问的所有内容。

CodeWall的智能体在二月底发现了SQL注入漏洞，研究人员于3月1日披露了完整的攻击链。到第二天，麦肯锡已经修补了所有未认证的端点，将开发环境下线，并阻止了公共API文档。

麦肯锡发言人告诉《The Register》，公司在了解问题后数小时内就修复了CodeWall识别出的所有问题。

"我们在领先第三方取证公司的支持下进行的调查发现，没有证据表明客户数据或客户机密信息被这名研究人员或任何其他未经授权的第三方访问，"发言人告诉我们。"麦肯锡的网络安全系统是稳健的，我们没有比保护委托给我们的客户数据和信息更高的优先级。"

CodeWall首席执行官保罗·普莱斯拒绝告诉我们他的团队用于攻击聊天机器人的确切提示，但表示整个过程"从研究目标、分析、攻击到报告都是完全自主的"。

CodeWall智能体最初通过发现公开暴露的API文档获得了对Lilli的访问权限，包括22个不需要认证的端点。其中一个写入用户搜索查询，智能体发现JSON键（这些是字段名称）被连接到SQL中，容易受到SQL注入攻击。

"当它发现JSON键在数据库错误消息中逐字反映时，它识别出了标准工具不会标记的SQL注入，"研究人员写道，并补充说错误消息最终开始输出实时生产数据。

情况更糟：Lilli的系统提示存储在同一个数据库中，这也给了智能体访问这些提示的权限。

由于SQL注入漏洞具有读写功能，攻击者可以滥用此功能悄悄重写Lilli的提示，从而毒化聊天机器人如何回答顾问的查询、遵循什么防护措施，以及如何引用来源。"不需要部署，"博客说。"不需要代码更改。只需要一个包装在单个HTTP调用中的UPDATE语句。"

这些安全漏洞现在已经关闭，但更大的威胁仍然存在，普莱斯告诉《The Register》。

"我们使用了一个特定的AI研究智能体来自主选择目标，它在零人类输入的情况下做到了这一点，"他说。"黑客将使用相同的技术和策略进行无差别攻击，心中有特定的目标，"比如"数据丢失的金融勒索或勒索软件"。

Q&A

Q1：CodeWall的AI智能体是如何攻破麦肯锡Lilli平台的？

A：CodeWall的AI智能体发现了麦肯锡Lilli平台公开暴露的API文档，其中包含22个不需要认证的端点。智能体发现其中一个端点的JSON键容易受到SQL注入攻击，通过这个漏洞获得了对整个生产数据库的读写访问权限。

Q2：这次攻击造成了什么损失？

A：攻击者获得了4650万条关于战略、并购和客户参与的聊天消息，72.8万个包含机密客户数据的文件，5.7万个用户账户，以及95个控制AI行为的系统提示。不过麦肯锡表示调查显示没有证据表明客户数据被实际访问。

Q3：麦肯锡如何应对这次安全事件？

A：麦肯锡在收到漏洞报告后数小时内就修复了所有问题，包括修补未认证的端点、将开发环境下线、阻止公共API文档。公司还进行了全面调查，确认没有客户数据被未经授权访问。