至顶网网络频道 05月18日 编译:英特尔正在加紧推进人工智能,并发布了一个新的工具包,让开发人员能够在网络边缘部署计算机视觉,以用于摄像头和物联网设备。
英特尔表示,这个名为Open Visual Inference & Neural Network Optimization(OpenVINO)的工具包兼容主流的机器学习框架,例如开源的TensorFlow和Caffe。
OpenVINO旨在配合英特尔常规CPU以及专用加速器硬件(例如FPGA,针对特定任务编程的计算机芯片)一起工作。OpenVINO还兼容英特尔在2月发布的Movidius视觉处理单元,后者旨在加快人工智能算法的执行速度。
开发人员借助OpenVINO可以在云中构建和训练人工智能模型,并将其部署到各种产品中。例如,在零售企业工作的开发人员可以使用该工具包将计算机视觉功能部署到POS机、安全摄像头或数字标牌中的各种边缘应用中。
英特尔高级副总裁、物联网总经理Tom Lantzsch在一篇博客文章中表示:“处理高质量视频需要能够快速分析边缘附近的大量数据流并实时响应,而且只把有相关性的洞察异步转移到云中。OpenVINO工具包旨在快速开发在边缘位置的高性能计算机视觉和深度学习推理应用。”
OpenVINO工具包中有3个新的API:深度学习部署工具包、一个涵盖英特尔视觉产品的通用深度学习推理工具包、以及针对OpenCV和OpenVX的优化功能。
Moor Insights&Strategy分析师Patrick Moorhead表示,OpenVINO是英特尔推出的一项受欢迎的补充,因为它为开发人员提供了“跨越不同加速器、更容易的物联网边缘编程路径”,这里说的加速器包括图形卡、FPGA和Movidius可编程ASIC。Moorhead之前曾指出,尤其是FPGA难以编程,但表示英特尔正在致力于解决这个问题。
英特尔表示,GE Healthcare等一些大型企业已经在使用OpenVINO,GE Healthcare主要将其用于医疗成像应用。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。