New Relic 已将其可观测性平台扩展至 DeepSeek,帮助企业简化使用开源大语言模型开发、部署和监控生成式 AI 应用的流程。
随着 Gartner 预测到 2026 年将有超过 80% 的企业会使用或部署生成式 AI 应用,此举正是为了满足企业在日益复杂的 AI 领域中的迫切需求。
New Relic 首席执行官 Ashan Willy 表示:"在当今竞争激烈的环境中,组织面临着做出明智 AI 实施决策的压力。可观测性通过提供 AI 技术栈的全面可视化来解决这一问题。我们正在扩展平台以支持使用 DeepSeek 构建的 AI 应用,使企业能够自信地决定部署哪些 AI 模型以及如何最有效地使用它们。"
Willy 补充说,DeepSeek 的成本效益模型与 New Relic 在可观测性和应用性能监控 (APM) 方面的专业知识相结合,可以为企业在快速发展的 AI 市场中提供显著优势。
New Relic 与 DeepSeek 的集成扩充了其拥有超过 60 个 AI 集成的生态系统,包括最近新增的 Nvidia Inference Microservices (NIM) 和 Amazon Bedrock。该平台还支持与 OpenAI、Claude、Langchain 和 Pinecone 等主要 AI 参与者的集成。
AI 应用带来了技术栈复杂性、安全性问题和潜在成本超支等挑战。New Relic 的 AI 监控提供了 AI 技术栈的全面概览,在遵守数据隐私要求的同时跟踪吞吐量、延迟和成本等指标。它还跟踪服务和模型之间的请求流,以提供对 AI 应用运作机制的深入洞察。
在开源模型如 DeepSeek 带来新的安全风险的同时,对可观测性能力的需求也在不断增长。
Sophos 全球首席技术官 Chester Wisniewski 表示:"DeepSeek 的可访问性使得善意用户和恶意行为者都能够进行探索。与 Llama 类似,其防护机制可以被很大程度地移除。这可能被网络犯罪分子滥用,尽管需要承认运行 DeepSeek 需要大量资源。"
Wisniewski 还强调了由于 DeepSeek 的成本优势而预期的广泛采用可能带来的隐私风险:"对于公司来说,进行全面的风险评估至关重要,包括可能整合 DeepSeek 或任何未来大语言模型的产品和供应商。他们还必须确保拥有做出明智决策所需的专业知识。"
Keeper Security 的首席执行官兼联合创始人 Darren Guccione 呼应了这些担忧,敦促企业仔细评估风险,特别是当这些平台在监管环境较不透明的情况下运营时。
Guccione 说:"保持对供应商合规性的可见性同样重要。确保供应商遵守认可的安全认证,如 SOC 2 (系统和组织控制 2) 和 ISO 27001,表明他们致力于健全的安全实践和监管合规。这些认证可以确保供应商维持高标准的安全性,包括遵守国际法规。"
他补充道:"培养一个知情和警惕的工作场所可以显著降低风险。教育员工了解外部平台的潜在风险并强调网络安全最佳实践,使组织能够安全地在不断发展的 AI 领域中前进。"
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。