3.3亿参数打平通用大模型:垂直基础模型的算力性价比答案
通用大模型越来越强大,但制造业、能源、生物等垂直领域未必需要一个无所不能的庞然大物。文章以 Google 的 TimesFM3 为例,解析专用基础模型如何用几亿参数、更低算力实现零样本或少样本预测,并指出真正的门槛在于获...
通用大模型越来越强大,但制造业、能源、生物等垂直领域未必需要一个无所不能的庞然大物。文章以 Google 的 TimesFM3 为例,解析专用基础模型如何用几亿参数、更低算力实现零样本或少样本预测,并指出真正的门槛在于获...
大语言模型在编程和数学上越来越强,写作却越来越生硬。文章指出这是训练中奖励信号的结构性取舍,大型实验室不会优先解决,这为专注写作质感的创业公司留出了明确的市场空间。
美国建筑许可审批常常比盖房子本身更慢,背后是市政厅里堆积如山的人工核对工作。Y Combinator 在最新招募视频中指出,如果审批效率提升十倍,美国城市每年可多收 160 亿美元税收,并呼吁创业者用 AI 切入这个被 ...
研究发现,训练AI用更少文字进行推理,大多会降低思维链对预测AI决策的帮助,根源是模型变得不稳定,但对揭露AI是否被外部因素带偏的监督能力影响很小,除非压缩极端严重。
本文解读VeriHarness,一套让AI模型自我验证长周期任务输出的框架。研究发现分歧暴露正确线索、共识可能掩盖系统性错误,据此设计分歧解决者与共识挑战者双侦探机制,在五个测试集上显著超越现有验证方法,成本更低。
NAVA-WAM提出原生动作先验学习,让机器人动作策略直接从无标签视频中学习,无需中间表征或潜动作层,在多个模拟与真实机器人基准上超越现有方法,且显著提升动作标签使用效率。
论文提出局部支持学习(LSL),用高斯混合模型给权重适配器装"门禁",让新任务学习只在自己数据分布内生效,在7B参数大模型上有效避免灾难性遗忘,同时保持学习与遗忘解耦、效率与标准LoRA相当。
这篇论文提出LexReward框架,将法律回答质量拆解为风格、要素、推理链三维度,设计细粒度打分规则,构建偏好数据训练LexRM奖励模型家族,并通过DPO和强化学习验证了其在提升法律大模型生成质量上的有效性。
ProAR提出一种让自回归视频模型具备前瞻性推理能力的新框架,通过目标信念预测与未来表示自对齐两个互补机制,解决视频生成中短视决策导致任务失败的问题,在多项视觉与具身推理基准上显著优于标准自回归模型,且训练效率大幅提升。
荷兰航空初创公司Elysian Aircraft发布E9X全电动商用客机,可搭载90至100名乘客飞行1000公里,计划2034年投入运营,预计可消除全球约20%的航空飞行排放。该机型已完成第二阶段概念设计评审并试飞缩比...
Google本周发布两款新AI模型:Gemini 4 Carbon定位网络安全领域,在基准测试中超越OpenAI GPT-6 Astra,目前仅对特定安全专家开放;世界模型Genie 4新增音频功能,支持开发者为AI世界...
Akai宣布推出开源固件的MPC Sample Key,这款37键设备尚未正式发布,已向开发者开放早期访问。基于Claude等AI工具的"氛围编程"改机已展示出多款合成器模组,CEO透露将进一步开放SDK并开源MPC S...
Fortinet第三季度营收20.8亿美元,同比增长20%,调整后EPS为0.91美元,均超分析师预期,但盘后股价下跌约26%,受拖累Tenable跌逾5%,Palo Alto、CrowdStrike等同类股亦跌6%至7...
研究者用蛋白质三维结构训练语言模型,发现模型在不涉及蛋白质的十个通用推理测试上平均提升3.23个百分点,揭示结构化科学数据可能蕴含通用推理能力的训练价值。
论文提出LOOM方案,解决混合专家模型循环超过两次就性能下降的问题,通过残差缩放、嵌入重新注入、独立路由器和循环残差四项设计,实现模型稳定循环9到12次,显著提升语言模型性能与下游任务准确率。
该论文提出三元线性注意力,让RNN记忆状态从二维矩阵升级为三维张量,用极小参数代价大幅扩容记忆容量,在长文本建模和信息检索任务上显著超越传统线性注意力及其他扩容方法。
本文解读了一篇研究大语言模型训练机制的论文:为什么在线策略强化学习比监督微调泛化更好?研究发现关键在参数更新方向,并据此提出OPSFT方法,让监督微调也能获得接近强化学习的泛化能力,同时更省训练成本。