京东探索稀疏三维空间点云Global Context论文入选NeurIPS2020
2020-12-05 10:18:17爱云资讯852
近日,第34届神经信息处理系统大会(Conference on Neural Information Processing Systems,简称NeurIPS,NIPS)在线上召开。作为全球顶级的机器学习和计算神经科学会议,今年的NIPS依然受到了学者们的高度关注,甚至由于其线上开放的特性缓解了往年抢票难的问题,而将获得更多的“听众”。
据悉,今年NeurIPS稿件录取率为20.09%,创下历史新低。在如此严苛的录取标准之下,京东AI深度学习与语音语义实验室提交的探索稀疏3D点云Global Context的论文《Group Contextual Encoding for 3D Point Clouds》成功入选。今年以来,京东AI深度学习与语音语义实验室的研究成果频获国际认可,此前还有多篇论文入选国际语音和语言处理顶会比如ACL 2020、AAAI 2020、INTERSPEECH 2020等。
Global Context对视觉感知至关重要,可以根据语义信息提高物体识别的准确率,但目前针对3D点云的Global Context的研究还不够充分,特别是在三维空间的情况下,数据呈现高维、稀疏的特点,对传统深度学习算法提出了挑战。因此,京东AI研究院基于其研究实习生计划与东京大学合作了《Group Contextual Encoding for 3D Point Clouds》,针对这一研究领域提出了Group Contextual Encoding的Global Context学习方法。
从目前已有3D点云Global Context的研究成果来看,比如LG-PointNet++ 【1】,其复杂度为,N是输入点的个数。当场景复杂时,输入点数较多会导致耗费相当大的算力。Contextual Encoding Layer【2】的复杂度是,是一种有效率的方法,K是该方法里code word数目。但是点云数据稀疏导致的过拟合现象(overfitting),会影响性能的提升,导致在ScanNet,SUN-RGBD数据集上3D检测性能随着Code word数目K的增长,性能却很快就饱和不再增长。虽然目前有一些深度补全的算法可以解决数据稀疏这个问题,但是这些算法都存在结构复杂、耗费计算资源的问题,因此,京东AI研究院决定探索简单有效的方法。
首先要解决数据的稀疏问题。通过把特征通道分组,从而获得更多的等效数据,如图1所示,如果把通道分成G组特征子向量,数据就相对应增广了G倍。再将分组后的特征子向量通过Encoding layer得到Global context,从而有利于在分组后的特征子空间学习全局上下文, 然后通过channel attention的形式作用于分组后的特征。最后通过Concat操作恢复为原特征的尺寸。如此操作既解决了数据的稀疏问题,又解决算法结构复杂、算力耗费巨大的问题。
图1:Group Contextual Encoding方法图。
随后,京东AI研究院又将这种方法在多个3D数集上进行验证,不仅证实这种方法简单有效,还刷新了SOTA方法的性能。将这种方法应用在PointNet++ Backbone上,并部署到VoteNet模型。如表1所示,在ScanNet数据集以mAP@0.25指标测评时,该方法领先VoteNet 【3】 2.2mAP,增幅已然明显,但更令人惊喜的是,在更加严格的mAP@0.5 的指标下,如表2所示,该方法领先Waymo、Facebook AI Research以及Stanford大学提出的 VoteNet高达6.57 mAP,可视化结果如图2所示。
表1:ScanNet数据集mAP@0.25评测指标的结果。
表2:ScanNet数据集mAP@0.5评测指标的结果。
图2:ScanNet数据集的结果可视图。在SUN-RGBD数据集,我们的方法也领先VoteNet 3mAP,具体定量以及定性结果如表3和图3所示。
表3:SUN-RGBD数据集mAP@0.25评测指标的结果.
图3:SUN-RGBD数据集的结果可视图。
京东自2017年开始全面向技术转型,用技术重塑了京东的生态系统,逐渐突破零售边界,拓展至数字科技、物流、健康等众多领域。一直以来,消费者们更多的在购物、物流等环节体验到京东技术的进步,如今,京东在人工智能领域的长足进展不仅获得学术界的认可,也逐渐被更多的用户所知悉,京东的智能语音技术也已经在智能外呼机器人、客服语音机器人等电话交互场景中实现成熟应用,此次提出的Group Contextual Encoding方法也可以应用在下游的AR(增强现实)、MR(混合现实)以及机器人,自动驾驶等领域,推动这些领域的发展。京东技术将不仅赋能金融、医疗、教育、健康等行业,还将在更多领域为用户提供便利。
相关文章
- 京东工业城市峰会走进厦门 以数智供应链助力厦门工业企业降本增效
- 京东方车载屏跨越式进化,打造智能座舱的下一块“价值屏”
- “光伏+仓储”,阳光新能源携手京东打造零碳园区新样本!
- 首次机器人马拉松即将开赛 来京东入手赛事同款机器人
- Vidda M2 Pro成为行业首款“京东亮度认证”产品
- 罗技中国与京东企业购达成战略合作,为中小企业降本增效打造更具优势的商品、价格、服务
- OPPO Watch X2 Mini发布 京东已先人一步开启抢购
- “现”男友带动“打鸟”热潮 如何构图京东这场直播现场教
- 京东图书推出“以智慧之眸 看国际博弈”书单 “解锁”贸易战底层密码
- BOE(京东方)旗下京东方精电营收破百亿 持续领跑车载显示市场
- 京东AIPC新品现抢购热潮 微星泰坦16酷睿Ultra游戏本首销售罄
- BOE(京东方)f-OLED柔性显示技术策源地论坛举办 携手中关村论坛共筑科技创新高地
- BOE(京东方)刘晓东:持续夯实显示业务,积极促进产业融合创新
- 海信百吋电视亮相AWE 2025京东闪电新品季下单限量送三色激光投影
- 海正伊索佳携手京东买药护航无锡马拉松:守护跑者“健康每一步”
- BOE(京东方)携前沿显示技术亮相ICDT 2025 “绿色+科技”引领产业持续向新