现有 SOC 最佳实践倾向于将重点放在响应、周期时间等操作指标上。不过,仅关注这些指标可能会导致盲点,继而忽视甚至无视绩效的关键组成。通过使用业务管理层平衡计分卡技术,我们将获得更广阔视野,进而更公正地评估 SOC 的绩效。
平衡计分卡是一种业务绩效管理技术,旨在从不同视角整合多个指标。该技术避免了只选择单个指标而忽略其他项的子优化。尽管平衡计分卡专为企业管理层编写,但我们可以通过概念调整将其用于评估 SOC。
平衡计分卡引入了四个视角:财务、客户、内部和改进。在每个视角中,每个团队会确定按工作场所不同而有所差异的关键成功因素和绩效基准。平衡计分卡可能会有年度更新,以确保每个视角的指标之间都保持良好的平衡。
成本是每位财务经理所列清单的必要元素。正确定义和控制成本的 SOC 团队将能够更好地为内部管理层所接纳。虽然总体预算是不错的切入点,但我们能够通过研究成本来获得更多洞察力。这些成本可能与软件许可、人员、存储和位置相关。
SOC 可能在存储上投入太多,因而需要寻求成本更低的存储解决方案。此外,大量未充分使用的软件许可可能是需要重新检查的方面。平衡计分卡的指标可能包括总体预算、子团队之间的分配或组成(固定或可变)。
接下来,我们要考虑小组中其他团队的问题。安全团队与其他团队的互动如何?尤其是在 SOC 必须处理事件管理流程的情况下,配备经过充分测试的联系途径会起到至关重要的作用。其他团队认为安全人员是否容易相处?报告可能发生的事件,他们是感觉到成就感还是疲惫?
客户如何看待安全团队是我们取得成功的关键。因此,在团队内部和整个组织确立文化重要性非常关键。采用平衡计分卡进行此类追踪的指标可能包括调查、内部参与度统计数据或其他形式的反馈。
平衡计分卡的内部视角部分涵盖了 SOC 的任务。根据范围的不同,内部视角可以包含从监控到事件管理或威胁捕获的任何内容。此类追踪的指标往往是最容易获取的指标,因为大部分数字系统已经以可用格式将相应数据融入其中。
此外,我们还应考虑其他间接指标,比如员工流动率、员工士气等。某些 SOC 的任务可能会是平平无奇或是令人感到有压力的任务,因此我们要确保管理层随时了解员工的健康情况。困斗于员工保留的 SOC 会错失重要的知识积累,为其自身的未来绩效带来阻碍。因此,员工保留是评估 SOC 未来绩效的关键预测指标。
最后,良好的安全性需要我们保持与新技术的同步并不断作出改进。SOC 在部署新技术时必须能够与组织保持同步,而安全人员也必须了解最新的建议、良好实践和知识。通过具有里程碑和指导路径的路线图,我们可以通过平衡计分卡追踪人员工作进度,而这也是团队进步的良好迹象。其他指标的考虑方向是要能够反映内部 SOC 工具的创建、系统优化和其他改进。这些指标可用于评估团队的未来准备情况。
总之,只从单一视角评估 SOC 就只会发现一个需要改进的点。通过精心设计平衡计分卡,我们能够更好地确保对整个 SOC 投入关注与精力。这既有利于眼下的团队管理,也可为未来做好准备。
欢迎访问 IBM 安全专区,获取更多 SOC 运营所需的安全技术。
构建现代化的安全运营中心,IBM Qradar 不可或缺,立即尝鲜 IBM Qradar 社区版,体验全球企业安全的领导技术。
Robert Calvert
IKS Security Focal,IBM
Robert 在 IBM Cloud 负责 Kubernetes 安全角色方面的工作,此前供职于 IBM Security。专业领域包括安全咨询、运营和教育。
好文章,需要你的鼓励
DeepResearchGym是一个创新的开源评估框架,专为深度研究系统设计,旨在解决当前依赖商业搜索API带来的透明度和可重复性挑战。该系统由卡内基梅隆大学研究团队开发,结合了基于ClueWeb22和FineWeb大型网络语料库的可重复搜索API与严格的评估协议。实验表明,使用DeepResearchGym的系统性能与使用商业API相当,且在评估指标间保持一致性。人类评估进一步证实了自动评估协议与人类偏好的一致性,验证了该框架评估深度研究系统的有效性。
这项研究介绍了FinTagging,首个面向大型语言模型的全面财务信息提取与结构化基准测试。不同于传统方法,它将XBRL标记分解为数值识别和概念链接两个子任务,能同时处理文本和表格数据。在零样本测试中,DeepSeek-V3和GPT-4o表现最佳,但在细粒度概念对齐方面仍面临挑战,揭示了当前大语言模型在自动化XBRL标记领域的局限性,为金融AI发展提供了新方向。
这项研究介绍了SweEval,一个新型基准测试,用于评估大型语言模型在企业环境中处理脏话的能力。研究团队从Oracle AI等多家机构的专家创建了一个包含八种语言的测试集,模拟不同语调和上下文的真实场景。实验结果显示,LLM在英语中较少使用脏话,但在印地语等低资源语言中更易受影响。研究还发现较大模型通常表现更好,且多语言模型如Llama系列在处理不当提示方面优于其他模型。这项工作对企业采用AI技术时的安全考量提供了重要参考。
这项研究提出了"VeriFree"——一种不需要验证器的方法,可以增强大型语言模型(LLM)的通用推理能力。传统方法如DeepSeek-R1-Zero需要验证答案正确性,限制了其在数学和编程以外领域的应用。VeriFree巧妙地计算正确答案在模型生成的推理过程后出现的概率,作为评估和训练信号。实验表明,这种方法不仅能匹配甚至超越基于验证器的方法,还大幅降低了计算资源需求,同时消除了"奖励黑客"问题。这一突破将有助于开发出在化学、医疗、法律等广泛领域具有更强推理能力的AI系统。