5月18日,以“目标领域发展史及最新成果研究”为主题的信息与通信工程学院学术论文沙龙第四期在北京邮电大学西土城校区学生活动中心109室如期举行。北京飞搜科技算法工程师郭秋衫和姚永强作为主讲人进行讲解。
首先,主要由主讲人郭秋衫从CNN的历史进程中引出物体识别和人脸识别的概念,和目前的baseline,以及一些出名的测试数据集。接下来,详细地讲了物体识别,从一开始的随机森林回归方式,到RCNN -》 FPPNet -》 Fast-RCNN -》Faster RCNN等具体的介绍,介绍完two-stage的方法和性能后,转向one-stage方法,主要的方式有SSD, YOLOv1, v2, v3系列,最后,介绍RetinaNet,Mask-RCNN等更为先进的发展。one-stage算法从网络结构上看只是一个多分类的rpn网络,相当于faster rcnn的第一阶段。其预测结果是从feature map中anchor对应的特征中预测得到的对于two-stage的方式,主要是通过ROI层来适应不同尺度的图片输入,进一步精细化,因此更为准确。但是one-stage的方式由于只需要通过一次卷积获得特征,所以该方法的速度会很快。
接下来,大家简要看完论文后,选出两篇论文,由郭秋衫负责讲Faster-RCNN,由姚永强负责讲SSD。并附带讲解了一些FocalLoss,深度分析了其Loss公式的一些trick和设计的意义。
最后,在小组讨论交流后,各组提出自己不理解和想更深入了解的问题,此次沙龙圆满成功。
北京飞搜科技和信息与通信工程学院学术论文沙龙已经成功举办了四期,每一期都干货满满,让在场同学能够结合相关论文材料,切实接触了到前沿概念,收获颇丰。同时我们也能看到飞搜科技在人脸识别领域的积累以及传承。期待飞搜科技在接下来的学术论文沙龙中带来更多详实的知识!
北京飞搜科技(http://www.faceall.cn/)成立于2015年,公司专注于人工智能,计算机视觉和深度学习的研发,并把研究成果应用到智慧城市解决方案中,让城市更加安全,交通更加高效,生产更加智能、购物更加方便。公司力争在2020年底成为国内领先的智慧城市解决方案提供商。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。