微软白皮书报告：人类专业知识是人工智能红队不可或缺的一部分

微软公司人工智能红队日前发布了一份新的白皮书。白皮书阐述了生成式人工智能系统在安全和安保方面的挑战以及应对新兴风险的策略。

微软人工智能红队成立于 2018 年，旨在应对不断变化的人工智能安全和安保风险。微软人工智能红队的主要工作是识别漏洞和减轻漏洞风险，将传统的安全实践和负责任的人工智能措施相结合。

新白皮书题为“红队测试100款生成式人工智能产品的反思”。白皮书指出，生成式人工智能引入的新漏洞会放大现有的安全风险，降低新漏洞风险需要多方面的应对策略。白皮书提到，应对从传统网络安全缺陷到新型人工智能在内的等各种特定威胁，都需要人类专业知识、持续测试和协作，白皮书强调了这一点的重要性。

白皮书报告详细阐述了三个主要结论，第一个结论是，生成式人工智能系统会放大现有的安全风险和新的风险。白皮书报告发现，生成式人工智能模型引入了新的网络攻击向量，同时放大了现有的漏洞。

在生成式人工智能中，过时的软件组件或不当的错误处理等传统安全风险仍然是关键问题，此外，提示词注入等模型层次的弱点也为人工智能系统带来了独特的挑战。

在一个案例研究中，微软人工智能红队发现某视频处理AI应用中过时的FFmpeg组件导致了服务器端请求伪造攻击，这表明人工智能驱动的解决方案中仍然存在遗留的问题。报告指出，“人工智能红队敏锐察觉新的网络攻击向量，同时对现有的安全风险保持警惕。人工智能安全最佳实践应包括基本的网络卫生措施。”

第二个结论为，人类是改进和保障人工智能安全的核心。第二个结论指出，尽管自动化工具在创建提示词、协调网络攻击和评分响应方面非常有用，但红队工作无法完全自动化，人工智能红队工作严重依赖人类专业知识。

白皮书认为，主题专家在人工智能红队中扮演着至关重要的角色，这些专家能够评估医学、网络安全和化学、生物、放射及核相关等专业领域的内容，而自动化则通常难以胜任这些领域的工作。尽管语言模型可以识别仇恨言论或露骨内容等一般风险，但这些模型难以评估一些特定细微的领域特定问题，因此人工监督对于确保全面的风险评估至关重要。

主要基于英语数据训练的人工智能模型往往无法捕捉不同语言或文化背景下的风险和敏感性。同样，聊天机器人与处于困境中的用户的互动可能导致一些社会心理伤害，探讨这类问题时，要了解这种互动的广泛含义和潜在影响也需要人类的判断。

第三个结论为，深度防御是确保人工智能系统安全的关键。第三个结论指出，要降低生成式人工智能的风险需要采取一种多层次的方法，多层次方法将持续测试、强大的防御措施和自适应策略结合在一起。

白皮书报告指出，虽然缓解措施可以减少漏洞，但无法完全消除风险，因此持续的红队工作是加强人工智能系统的关键组成部分。微软的研究人员表示，企业采取反复识别和解决漏洞等措施可以提高攻击成本，从而威慑对手，并提高人工智能系统的整体安全态势。