CrowdStrike Holdings Inc. 今日发布了全新功能,能够帮助企业保护员工免受恶意人工智能模型及其他威胁的侵害。
这些功能正在发布于该公司旗舰级 Falcon 网络安全平台。
首项新功能 — AI 模型扫描 — 承诺能够检测所谓的木马模型。这些 AI 模型在大多数情况下都能正常运作,但当受到某些特定提示时,会生成恶意输出。例如,黑客可能配置一个编程助手,在开发者询问如何从代码中移除漏洞时生成错误建议。
网络犯罪分子通过将恶意记录注入训练数据来制造木马模型。通过修改神经网络的权重— 即决定如何处理提示的配置设置— 也可能产生有害输出。
除了木马模型外,新的 AI 模型扫描还能够识别后门及其他威胁。它使用一种名为 ExPRT.AI 的技术按严重性对发现的问题进行排序。根据 CrowdStrike 的说法,ExPRT.AI 利用有关黑客攻击活动的威胁情报来判断漏洞被利用的可能性。
AI 模型扫描与另一项新功能 — AI 安全仪表板 — 同时推出。该仪表板旨在帮助管理员发现影子 AI,即指员工在未获许可的情况下使用潜在不安全的 AI 应用程序的情况。此外,该功能还能监控公司内部 AI 训练数据的使用情况。
CrowdStrike 的 Falcon 平台还有另一组件用于检测数据滥用。该模块被称为 Falcon Data Protection,能够检测诸如试图将敏感记录下载到不安全设备上的风险。此次更新中,该模块获得了数项新功能。
公司表示,Falcon Data Protection 现已能够检测 Mac 上未经授权的数据移动。此外,新版本对检测文件外泄企图的掩饰措施明显更为出色。
黑客常常通过侵入公司后将记录复制到公司网络之外的服务器来窃取数据。将文件移动到公司网络之外的企图通常较容易被网络安全工具发现。因此,黑客有时会尝试通过将窃取的数据封装成加密 ZIP 文件再进行传输来掩盖行踪,而此类文件让网络安全工具难以扫描。
根据 CrowdStrike 的说法,Falcon Data Protection 的最新版本在加密 ZIP 文件 “创建时” 就开始扫描,而非事后扫描。这使其能够扫描文件内容以查找被窃数据。此外,CrowdStrike 表示,即使数据在上传前经过修改,Falcon Data Protection 也能检测到敏感数据被上传到生成式 AI 工具的企图。
此次更新还包括一款新版本工具,名为 Falcon Data Protection for Cloud。它旨在识别公有云环境中的未经授权数据移动。该软件能够在应用程序、数据库及其他云外资产中发现未经授权的活动。
产品更新还伴随着一项全新的专业服务 — SaaS Threat Services。注册该服务的公司可以由 CrowdStrike 专业人员对其软件即服务(SaaS)应用程序进行扫描,查找不安全的配置设置、与外部应用程序的风险集成及相关问题。
好文章,需要你的鼓励
推理模型存在崩溃缺陷?Open Philanthropy研究人员提出AI推理能力评估的改进方法
浙江大学团队提出CanDist框架,让AI在数据标注时先提供多个候选答案而非单一答案,再通过师生框架筛选最优标签。该方法受心理学"模糊厌恶"启发,在六个文本分类任务上表现优异,相比传统方法平均提升18-27%准确率,为AI数据标注提供了更智能可靠的解决方案。
职场正在经历一场悄然的变革。最新盖洛普研究显示,虽然算法工具越来越普及,27%的员工经常使用AI工具,但员工对与AI系统协作的准备度却在下降。欧盟AI法案强调透明度,要求用户了解何时与AI交互。研究提出"双重素养"概念,即同时具备人类和算法领域的流利度。成功的人机协作需要信任校准,在过度依赖和充分利用AI能力之间找到平衡。组织文化需要培养好奇心、同理心、创造力和勇气四种品质,以实现有意识的人机协作。
微软联合多所知名高校开发了SwS框架,让AI模型能够自主识别学习弱点并生成针对性练习题进行自我改进。该方法在数学推理任务上取得显著效果,7B和32B模型平均性能分别提升10%和7.7%。通过"弱点诊断-针对性出题-强化训练"的三步流程,AI首次实现了真正意义上的自我反思式学习,不依赖外部知识灌输即可持续优化自身能力,为人工智能的自主学习开辟了新道路。