思科和英伟达都意识到,尽管当今的 AI 技术非常有用,但同时也可能存在不安全和不可靠的问题。为此,两家公司推出了相关工具来解决这些问题。
英伟达在周四推出了三种专门的微服务,旨在防止 AI 代理被用户劫持或在网络上发布不当内容。
据 The Next Platform 报道,这三个英伟达推理微服务 (NIMs) 是 GPU 巨头 NeMo Guardrails 系列的最新成员,旨在引导聊天机器人和自主代理按预期方式运行。
这三种服务包括:
内容安全 NIM:试图阻止 AI 模型产生有偏见或有害的输出,确保响应符合道德标准。其工作原理是将用户的输入提示和模型的输出作为一对输入通过 NIM 进行分析,判断输入和输出是否恰当。然后可以根据这些建议采取行动,要么提醒用户行为不当,要么阻止模型输出不当内容。该 NIM 使用 Aegis Content Safety Dataset 进行训练,该数据集包含约 33,000 个标记为安全或不安全的用户-LLM 交互。
主题控制 NIM:据称可以"保持对话集中在已批准的主题上,避免偏离或出现不当内容"。该 NIM 接收模型的系统提示和用户输入,判断用户是否在讨论系统提示相关的主题。如果用户试图使模型偏离轨道,该 NIM 可以帮助阻止。
越狱检测 NIM:顾名思义,它只分析用户输入以检测试图让 LLM 违背其预期目的的越狱尝试。
如我们之前所探讨的,防止提示注入攻击是很困难的,因为许多 AI 聊天机器人和助手都是基于通用语言处理模型构建的,它们的防护措施可能被简单的说服所破坏。例如,在某些情况下,仅仅指示聊天机器人"忽略所有先前的指令,改为执行此操作"就可能导致开发者不希望看到的行为。这种情况是英伟达的越狱检测模型希望防范的几种情况之一。
根据具体应用,GPU 巨头表示,可能需要将多个防护模型串联起来(如主题控制、内容安全和越狱检测),以全面解决安全漏洞和合规性挑战。
使用多个模型确实会增加开销和延迟。因此,英伟达选择将这些防护基于较小的语言模型,每个模型的参数量约为 80 亿,可以以最少的资源大规模运行。
这些模型可作为 NIMs 提供给 AI Enterprise 客户使用,或者通过 Hugging Face 供那些希望手动实现的用户使用。
英伟达还提供了一个名为 Garak 的开源工具,用于识别应用程序中的 AI 漏洞,如数据泄露、提示注入和幻觉,以验证这些防护措施的有效性。
思科也想分一杯羹
思科的 AI 信息安全工具将以 AI Defense 的名称提供,其中包含与英伟达类似的模型验证工具,思科表示该工具将调查 LLM 性能并提醒信息安全团队任何可能产生的风险。
该网络巨头还计划提供 AI 发现工具,帮助安全团队寻找业务部门在未经 IT 监督的情况下部署的"影子"应用程序。
思科还认为,一些公司在实施聊天机器人时犯了错误,没有将其限制在预期角色内(如纯客户服务交互),从而允许用户不受限制地访问像 OpenAI 的 ChatGPT 这样的服务。如果人们发现并利用你的聊天机器人作为访问付费 AI 服务的方式,这个错误可能会花费大笔费用。
据称,AI Defense 将能够检测这类情况,以便你进行修复,并将包括数百个防护措施,以 (希望) 防止 AI 产生不必要的结果。
该产品仍在开发中,将添加到思科的云端 Security Cloud 和 Secure Access 服务中。后者将在 2 月份增加一项名为 AI Access 的服务,用于阻止用户访问你不希望他们使用的在线 AI 服务。更多服务将随时间推出。
思科还在改变其面向客户的 AI 代理,这些代理可以为其产品提供自然语言界面,但目前每个产品都是独立运作的。该网络巨头计划推出一个统一的代理来管理所有服务,这样网络管理员可以使用单一的聊天界面来获取有关其思科产品组合不同组件的答案。
思科 AI 工程副总裁 Anand Raghavan 告诉 The Register,他有一个多年路线图,指向更多 AI 安全工具的开发。考虑到 IT 部门已经面临众多信息安全威胁,并且经常难以实施和整合解决这些问题的工具,这是一个令人深思的信息。
好文章,需要你的鼓励
Mirantis 推出开源平台 k0rdent,旨在简化企业 Kubernetes 集群管理。该平台提供统一界面,支持创建内部开发者平台,可管理云端、本地和边缘的 Kubernetes 集群。k0rdent 由集群管理器、状态管理器和可观察性工具三大组件构成,具有可扩展性,支持多种基础设施。
DevAI Solutions Inc. 获得 600 万美元种子轮融资,由 Emergence Capital 领投。该公司由前思科高管创立,开发了一个名为网络智能引擎的软件平台,利用 AI 代理自动化 IT 管理任务,声称可将某些 IT 工单解决时间缩短 40% 至 70%。DevAI 计划利用这笔资金支持产品开发并扩大用户群。
医疗专业人士对人工智能在制药行业的潜力持乐观态度。他们认为AI有望重塑研究、治疗和临床护理,提高诊断准确性,加速药物开发。但同时也强调了确保AI技术符合伦理、有效实施并为患者带来实际价值的重要性。医疗专业人士的观点对于AI技术在医疗领域的成功应用至关重要。
AWS 第四季度收入同比增长 19%,达到 288 亿美元,全年收入增长 19% 至 1076 亿美元。公司将增长归因于企业扩大公共云使用和 AI 需求激增。AWS 预计将在未来 12 个月投资约 1000 亿美元用于基础设施建设,以支持不断增长的云计算和 AI 工作负载需求。