ZD至顶网网络频道 08月04日 编译:所谓的“Hypernet”亦称太平洋研究平台,能以100Gb/秒的速度传输数据。Hypernet将连接美国西海岸的实验室和一些超级计算机,而500万美元的项目资金则来自美国国家科学基金会(NSF)。
Hypernet:科学家认为新型专用网络的速度可达100Gbps
据纽约时报报道,该项目将历时五年,Hypernet将连接NSF现有的基础设施。这些基础设施的建设耗资超过5亿美元,覆盖约100个美国大学校园的内部网络。
Hypernet平台可以令各个机构的科学家在诸如物理学、天文学和遗传学的数据密集型领域里更好地共享庞大数据集。
天体物理学家Larry Smarr表示,Hypernet平台“将成为未来计算机网络的模型,有点像1985年创建的、连接研究机构的NSFnet,Hypernet平台最终将成为骨干网络的一部分”。Smarr是Calit2的主任,亦是新项目的主要负责人。
“我相信,这个基础设施在未来数十年里将成为大家使用的千兆级和超规模电脑的那种结构,” Smarr告诉记者。他话里提到的是科学家在研究中获得的海量数据。
将新网络和现存的下里巴人网络分开十分关键,原因是,在传统网络连接上传输大量的数据通常是个缓慢而吃力的过程。
Smarr还提到,加州大学连在互联网上的一个服务器最近在一天里收到35000个错误的登录尝试。从硬件安全设计上,很大一部分也考虑到要将将亚太研究平台与下里巴人网络分开。
该网络将进一步移除数据集的位置基础研究的必要性,使得“科学应用上的新型分布式计算成为可能”。
Frank Wuerthwein是加州大学圣迭戈分校的物理学家,他在谈到大型强子对撞机的数据收集时称, 全球各地研究人员用作分析的数据集有重复。
Wuerthwein告诉记者,利用高速网络,实验数据则只需存在一个单一地方,而科学家可以在别的位置运行分析程序,可以达到显著成本节约的目的。
好文章,需要你的鼓励
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。