IT部门多年来一直在与员工使用未经授权技术的问题作斗争,但这些都无法与影子AI相提并论。
未经授权的AI使用正在迅速蔓延。Gartner去年发现,69%的组织认为员工正在使用被禁止的公共生成式AI工具,其中一半的员工仍在继续使用。
这些工具包括OpenAI和Claude等公共大语言模型,还包括各个部门通过采购功能购买的AI赋能的软件即服务应用程序。
这为IT领导者带来了真正的难题。一方面,他们希望看到员工使用能够提高工作效率的技术。另一方面,技术领导者必须安全地管理和治理IT基础设施。找到正确的平衡点既棘手又至关重要。
Chase Doelling是JumpCloud的首席策略师兼总监,该平台管理身份、访问和设备。正如他所指出的,发挥有效的保护作用依赖于IT团队对整个企业发生的事情进行监督。
"一些组织希望完全阻止影子AI并加以控制,但另一方面,你又有来自高管层的指令说'我们需要成为一个AI驱动的企业',"Doelling解释道。"IT处于中间位置,试图尽可能多地说'是',但同时也希望确保企业安全,避免违规,防止可能回过头来困扰企业的数据泄露。"
让IT夜不能寐的问题
如果员工在不知情的情况下将敏感的公司信息输入公共大语言模型或使用这种模型的应用程序,数据就可能泄露。这些数据通常存储在外部、未加密的服务器上,可能用于训练未来的模型,从而导致对知识产权和其他机密信息控制权的潜在丧失。
但Doelling更担心下一波浪潮,即智能体AI。智能体AI是自主的。它们可以推理、规划并采取行动来实现特定目标,几乎不需要或不需要人工干预。它们使用大语言模型独立做出决策并适应不断变化的环境。这使它们能够解决复杂的现实世界问题。
"这是现在最可怕的部分,因为技术发展得如此之快,未知数更多,"Doelling说。"这不仅仅是一个按照精确步骤执行的脚本化工作流程。它在做自己的事情,这些智能体在自主做出微决策,所以你需要跟踪和监控这一切。"
合规性也让人夜不能寐,行业尚未解决智能体合规问题。Doelling认为清算的一天即将到来。
"如果智能体采取了错误行动导致数据暴露,你需要了解是谁授权了那条路径,谁允许了该行动,以及如何撤销它,"他说。"所以,你必须知道在报告和审计方面你在做什么,而以计算速度做到这一点真的很困难。"
双重脱节
在混合世界中做到这一点更加困难。许多组织的IT基础设施对AI智能体、服务账户和使用不同设备的人类的复杂混合开放。由于所有这些都有不同的身份,监控和管理它们已经成为一项复杂的多层活动。
更糟糕的是,Doelling还描述了许多组织中存在的双重脱节。这是公司认为自己在AI采用和使用方面有多成熟,与他们内部准备实施该技术的程度之间的差距。
这种准备包括建立有效的治理框架,清楚了解组织的安全态势或状态。它还包括根据各个部门的具体要求为其制定适当的AI使用指导方针。
"我们在研究中发现,人们觉得自己比实际的采用准备程度要成熟得多,"Doelling说。"他们有这种过度自信'是的,我们会继续前进',但如果他们确实大规模地继续前进,他们没有可用的基础设施来支持AI采用的脚手架。"
Gartner表示,在学会走路之前就开始跑步将导致40%的企业在2030年前遭遇与影子AI相关的安全和合规事件。
获得至关重要的可见性
更多地了解企业网络上正在发生的事情是解决未经授权技术问题的关键。这使得强大的身份和访问管理(IAM)基础变得至关重要。
"如果你想为AI、智能体AI以及之后出现的任何其他技术做好准备,建立有效的安全管理环境是必要的,"Doelling建议。"你需要一个强大的身份基础来了解人类、非人类和技术在做什么,并将他们的行动与他们联系起来,这样就清楚整个组织正在发生什么。"
他甚至称身份为"新的安全前沿"。这意味着采取"永不信任,始终验证"的方法,假设所有网络流量都是敌对的,直到确定不是为止。
"过去更多的是关于管理设备和应用程序,"他补充说。"但当你看管理现代工作场所时,一切都是关于管理身份,这样你就可以管理访问,无论是什么设备或应用程序。"
这里的想法是,员工(或AI智能体)的身份与管理员为他们分配的任何授权和权限相关联,以允许系统访问。
"所以,如果一个员工拿起一个设备说,'我想进入Salesforce并开始查看客户数据',例如,我们可以说,'对不起,你实际上不是来自受信任的区域',或者我们可以查看可以从浏览器内管理的某些条件访问部分,"Doelling解释道。
统一企业网络视图的价值
在这种情况下,在网络中分散多个IAM工具是行不通的。为了有效监控、管理和控制影子AI,IT团队需要对所有活动进行统一的企业级查看,无论它们来自何处。
消化所有这些数据需要一个集中的仪表板。它可以整合来自不同安全系统和工具的数据、警报和控制,提供正在发生事情的整体、实时视图。
这种方法减少了IT团队的手动工作。它能够更快地检测威胁并决策如何最好地应对任何潜在事件。它还在整个网络中实现更一致的策略执行。
"主要的好处是从零到一,所以你对正在发生的事情没有可见性,然后你有了完全的可见性,"Doelling指出。"这通常是我们看到的组织最大的飞跃,我们最大的请求来自那些说'我只是需要知道'的人。"
这种新发现的可见性也使审计和报告变得更加直接。更容易监控和了解未经授权的访问尝试来自何处,以及它们是如何和为什么发生的。
是否从软件许可证投资中获得回报也变得更加清楚,如果没有,可以采取行动来改善情况。你可以确定员工是否在使用公司对Gemini Enterprise等授权AI系统许可证的投资,或者是否通过依赖未经授权的第三方应用程序来消耗企业资金。
"AI并不便宜。它最初是免费提供的,但运行这些模型有实际成本,"Doelling补充说。"所以看看财务状况,了解你已经在许可证方面支付了什么,或者是否通过采购购买了。"
平衡AI实施与生存
Doelling表示,JumpCloud提供其平台的免费试用。尝试它来测试立即管理你的设备并确保它们得到充分保护。
下一步是将不同的员工身份输入系统,使JumpCloud能够将它们统一为一个。之后,确保认证过程的每个阶段都是有效和最新的。
这在AI采用处于早期阶段且在普通组织中部署处于不同水平的世界中尤为重要。例如,软件工程功能在实施方面可能比薪资管理要领先得多。这意味着成功的秘诀是安全地满足每个人的需求。
"IT团队处于独特的位置,他们既被视为实施者又被视为治理者,"Doelling总结道。"这就是为什么拥有可见性使得在如何使用AI的同时避免让你的组织面临风险这些困难决策变得更容易。"
Q&A
Q1:什么是影子AI?为什么会给企业带来风险?
A:影子AI是指员工使用未经授权的AI工具和应用程序。它会带来数据泄露风险,因为员工可能在不知情的情况下将敏感公司信息输入公共大语言模型,这些数据通常存储在外部未加密服务器上,可能被用于训练模型,导致知识产权丧失。
Q2:JumpCloud如何帮助企业管理影子AI?
A:JumpCloud提供统一的身份和访问管理平台,通过集中的仪表板整合来自不同安全系统的数据、警报和控制,提供企业网络活动的实时全貌。这让IT团队能够监控、管理和控制所有AI相关活动,无论来源如何。
Q3:智能体AI为什么比传统AI工具更难管理?
A:智能体AI具有自主性,能够推理、规划并独立采取行动,几乎不需要人工干预。它们会做出微决策并适应环境变化,这使得跟踪和监控变得更加困难。当智能体出错导致数据暴露时,很难追踪授权路径和责任归属。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。