随着最后一届ImageNet(目前世界上图像识别最大的数据库)竞赛在2017年落下帷幕,本年度图像分类领域最高水平的比赛易主为由码隆科技联合Google Research 和美国知名电商 Wish联合举办的、针对家具家居领域的细粒度图像分类竞赛 iMaterialist Challenge (Furniture)。
竞赛力求推动自动图像分类顶尖技术的进展,所有参赛项目在 Kaggle 平台上进行评测。同时,作为CVPR2018(2018年度国际计算机视觉与模式识别学术会议)重要的研讨会之一,针对该比赛召开的 FGVC5 workshop(细粒度图像识别研讨会)将于6月22日与大会同期举行。
比赛要求对128类家具进行识别分类,共有436支队伍参赛,最终来自北京飞搜科技的李磊团队在北京邮电大学教授董远的指导下,以绝对优势获得冠军。
与 ImageNet 的粗粒度分类竞赛相比,本次竞赛更强调“在‘人造物体’领域的图像细粒度分类挑战”。一方面,这部分图像分类的技术难度更大,即便对于经过专业训练的人眼来说,也难以快速且准确地辨认很多细粒度分类数据集;另一方面,这种图像分类技术的应用前景更加广阔,可以应用于工业生产进程之中,提高效率、减少成本。
赛后,北京飞搜科技技术总监熊风烨分享了李磊团队在竞赛中使用的方法:李磊团队的识别算法主要基于CNN(卷积神经网络),针对给定的数据集,他们选择了在ImageNet上准确率较高的几种模型进行Finetune(就是用别人训练好的模型,加上自己的数据,来训练新的模型),并充分考虑了模型的差异性,以Pytorch框架为基准对其进行训练。在训练过程中,他们加入多项数据增强过程,采用SGD算法进行精细化调优参数,把全连接层的学习率设置为其他层的10倍,从而更好地调优全连接层。而对于SENet等较大的网络,则选择在SGD算法上升缓慢的时候转而使用Adam算法作为过渡。最终飞搜科技团队的单模型最好的识别效果是SENet在验证集上达到87.2%的准确率,而其他模型均有85.6%以上的表现。在测试过程中,飞搜科技团队采用了测试时数据增强的方案,采用12次增强,包括Ten crop加上原图及水平翻转图。对每个模型都得到以上12个结果的概率值进行存储,最后经过几何平均获取每个类别的准确率,取出得分最高的作为最后输出。实验证明几何平均往往在基数较大时能取得优于算术平均的效果。为了进一步减小识别可能带来的误差,飞搜团队还考虑了训练数据分布不均的情况,在测试时从贝叶斯角度加了一个校准,使得预测结果分布更均衡。
北京飞搜科技(http://www.faceall.cn/)专注于人工智能,计算机视觉和深度学习的研发,并把研究成果应用到城市运营中,让城市更加安全,交通更加高效,生产更加智能、购物更加方便。作为全球领先的深度学习技术提供商,北京飞搜科技是国家高新技术企业、中关村高新技术企业、北京市软件企业。公司不但提供智慧城市解决方案,还通过阿里云,华为云,amazon平台, 为企业与个人提供人脸/图像识别的SAAS服务; 离线SDK技术授权服务等, 到目前为止, 公司已经服务了200多家客户,为他们提供视频监控、智能鉴黄、人脸识别、图片识别、无人驾驶,线上购物支付、机器人等技术支持。
本次比赛斩获桂冠是对飞搜团队的技术水平和合作意识的一个十分有价值的肯定。北京飞搜科技公司也会借此契机继续前进,壮大团队,精进技术,更加自信地与全球精英角逐,在世界更高的舞台上为中国科技企业争光添彩!
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。