Check Point: 网络犯罪分子绕过 ChatGPT 的限制，生成恶意内容

自去年ChatGPT上线以来，就不断受到全球各界人士关注。在本月，ChatGPT宣布其成为IT史上最快达成月活用户超一亿的应用。对比54个月达成过亿月活用户的Facebook，以及9个月用户过亿的抖音国际版，ChatGPT这一成就可谓前无古人，而这也正印证了AI技术的无限可能。在我国，ChatGPT相关话题也于近日登上热搜，一众AI相关公司也受到资本市场热捧。

然而，对于网络犯罪分子如何利用 OpenAI 平台，特别是 ChatGPT 来生成钓鱼邮件和恶意软件等恶意内容，业界众说纷纭，且已有颇多研究。在 Check Point Research (CPR) 今年初的报告中，描述了使用 ChatGPT 完成的一个完整的感染流程：从创建令人信服的鱼叉式网络钓鱼电子邮件到运行能够接受英文命令的反向 shell。 

CPR 研究人员最近发现了一个网络犯罪分子使用 ChatGPT 来“改进”一款简易 Infostealer 恶意软件代码的实例。该恶意软件最早出现于 2019 年，虽然其代码并不复杂，也不难创建，但 ChatGPT 对其代码进行了优化。

图 1.网络犯罪分子使用 ChatGPT 来改进 Infostealer 的代码

使用 OpenAI 模型

截至目前，可通过两种方法访问和使用 OpenAI 模型：

1. Web 用户界面——用于使用 ChatGPT、DALLE-2 或 OpenAI Playground。
2. API——用于构建应用、流程等。你可以使用自己的用户界面，在后台运行 OpenAI 模型和数据。

下面的示例显示了已将 OpenAI 的 API 模型整合到旗下应用的合法品牌。

图 2.使用 OpenAI 的 API 模型的品牌

阻碍恶意内容创建的障碍

作为内容政策的一部分，OpenAI 设置了相关障碍和限制，以阻止在其平台上创建恶意内容。ChatGPT 在其用户界面上设置了一些限制来防止模型的滥用。举例来说，如果用户要求 ChatGPT 编写一封冒充银行的钓鱼邮件或创建一个恶意软件，系统将不会执行。

图 3.ChatGPT 对滥用请求的响应示例

绕过限制创建恶意内容

然而，CPR 表示，网络犯罪分子正想方设法绕过 ChatGPT 的限制。在地下论坛上有关如何使用 OpenAI API 来绕过 ChatGPT 障碍和限制的讨论帖不断激增。

图 4.网络犯罪分子对通过 API 将 ChatGPT 整合到其 Telegram 频道中表现出兴趣

当前版本的 OpenAI API 虽为外部应用所使用（例如，将 OpenAI 的 GPT-3 模型整合到 Telegram 频道中），但几乎没有任何防滥用措施。它并未实施 ChatGPT 在其用户界面上设置的限制或障碍，允许创建钓鱼邮件和恶意软件代码等恶意内容。

例 1——Telegram OpenAI 机器人即服务

在一个地下论坛上，CPR 发现有网络犯罪分子正在宣传一项新创建的服务：支持无限制地使用 OpenAI API 的 Telegram 机器人。

图 5.宣传 Telegram OpenAI 机器人的地下论坛广告

图 6.在利用 OpenAI API 的 Telegram 机器人中创建的钓鱼邮件示例

图 7.在利用 OpenAI API 的 Telegram 机器人中创建无防滥用限制的恶意软件代码的示例

作为商业模式的一部分，网络犯罪分子可以使用 ChatGPT 进行 20 次免费查询，此后每 100 次查询需支付 5.50 美元。   

图 8.基于 OpenAI API 的 Telegram 频道的商业模式

例 2——网络犯罪分子提供的一个可绕过防滥用限制的简单脚本

网络犯罪分子创建了一个使用 OpenAI API 来绕过防滥用限制的简单脚本。

图 9.可直接查询 API 并绕过限制来开发恶意软件的脚本示例

       通过这些案例，Check Point观察到网络犯罪分子不断探索如何利用 ChatGPT 来满足其开发恶意软件和创建钓鱼邮件的需求。随着 ChatGPT 控制措施的改进，网络犯罪分子也将不断寻找新的方法来使用 OpenAI 模型。因此可以预见，随着AI技术的不断落地，网络犯罪分子的“技术成本”将进一步降低；随之而来的网络攻击数量也将不断增长。因此，以预防为主、以AI对抗AI的网络安全模式可能将成为未来几年的主要发展趋势。