亮亮视野AI研究所：在AR眼镜改变世界之前，需要先改变AI

AR眼镜被认为是将取代手机的下一代移动终端,也许人与世界的交互方式将因此发生翻天覆地的变革。但是,在AR技术改变世界之前,我们需要先改变AI在眼镜端的能力。作为AR眼镜的大脑,AI赋予了AR更大的想象空间,但它能在眼镜端自由驰骋的前提是跨过低功耗这道门槛。

为了打破这道业界公认的门槛,亮亮视野从2016年初就开始布局 AI 领域的技术研发,成为全球首家把主打视觉处理的VPU芯片应用在AR眼镜终端设备上的公司,并且开创性地对VPU进行了从算法到加速引擎的底层改造,实现了计算能效比的大幅飞跃。作为这一领域的拓荒者,其产品也是目前屈指可数的真正实现AI在眼镜端独立运算、拥有全栈AI能力的产品。

行业命门

AI一思考,眼镜就发烫?

近年来大展拳脚的AI技术用于 AR眼镜这个终端后,被低功耗束住了手脚。

在电池技术取得突破性进展之前,可穿戴设备的续航和体验很多时候是一对矛盾体。AR眼镜要实现人与外界的完美交互,就必须实现轻量化。当然产品的功能是不能舍弃的,于是降低功耗成为必然选择——当工程师们在以0.1克为单位缩减器件重量时,你不能容忍产品还带着一块热得发烫的笨重电池。严苛的条件限制了AR眼镜必须使用低功耗的AI系统。

一组数据可以直观地说明移动端AI与云端AI设备的功耗悬殊:一般运行云端AI的设备功耗可达10W以上,算力可达10T FLOPs级,穿戴式AI的设备功耗一般在100毫瓦级,硬件算力仅有0.1T-1TFLOPs。而且前者一般允许1秒的延迟,后者由于实时交互的需要,一般只允许100毫秒级延迟。

虽然功耗低,但是AR眼镜需要的计算量并不低,一款完美的AR眼镜需要用到对话式人工智能、计算机视觉和其他复杂系统的组合,需要产生海量的计算。

AI一思考,眼镜就发烫,这给AI工程师提出了一个新的课题:在一个体积小巧紧凑的AR眼镜内部,如何以低功耗的模式实现高效的运算?这就需要AI芯片、计算引擎和算法全栈技术整合,极致提高AR眼镜的计算能效比,从而能够在低功耗的AR眼镜上完美地运行AI算法。

亮亮视野独家AI秘笈

VPU芯片镇场+Laffe引擎加速

因为要与人互动,AR眼镜的AI系统通常要能实时运行神经网络模型,而运行神经网络模型绕不开密集的计算。传统的CPU芯片不是为了解决计算密集问题设计的,计算能效比很低。为了解决这一问题,为AR设备选择一款计算能效比出色的端AI芯片就显得十分重要。

主打视觉处理加速的VPU平台的出现为AR眼镜上的神经网络计算提供了硬件基础。亮亮视野成为第一个吃螃蟹的人,率先将Movidius Myriad 2芯片应用于智能AR眼镜终端,这颗只有9.5mm*8mm的VPU拥有相对传统CPU架构5倍的计算能效比。目前这颗VPU已升级到Movidius Myriad X,可提供每秒万亿次的计算性能,功耗不到1W。

但仅靠VPU硬件提升计算能效比还不够。尽管Movidius VPU硬件相对成熟,但其工具软件链不成熟,一些关键算子的运算效率较低。亮亮视野团队基于Movidius VPU硬件自主研发了Laffe引擎,对关键算子进行汇编级优化,部分算子比Intel官方实现速度快了2-10倍不等。采用VPU硬件和Laffe引擎软件加速,亮亮视野获得了相对于CPU的15倍计算能效比提升。

亮亮视野独家AI秘笈

深度学习算法优化,极致提升计算能效比

数据、算法和算力,是促成AI觉醒的三大基础条件。为了让AI高效运转,除了提升算力以外,追求高效率算法模型是解决问题的关键。

近年来深度学习在计算机视觉领域的应用极为成功,已经成为AR眼镜产品的标配。随着深度学习算法的性能提升,主流深度神经网络的规模也变得越来越大。但从计算能效比的角度来看,单纯依靠增大神经网络规模获取算法性能提升很不划算,往往算法模型计算量提升10倍只能获取用户感知不明显的不足1个百分点的性能提升。对深度学习的研究表明,较大的深度神经网络模型一般存在较大冗余,可以对冗余的算法模型进行压缩而基本不降低算法的性能,从而可以在算法层面提升计算能效比。

亮亮视野团队采用剪枝、蒸馏等技术对冗余的算法模型进行压缩。依托VPU和Laffe框架,利用神经网络压缩技术,再对具体算法loss函数辅以针对性改进,亮亮视野团队实现了AR眼镜上计算能效比的大幅提升。以人脸识别算法体系为例,亮亮视野团队一共约取得了相对CPU计算基准的50倍计算能效比的提升,从而在低功耗的AR眼镜上实现了AI算法实时运行。

低功耗、眼镜端独立运算、全栈AI

亮亮视野诞生杀手级AR+AI智能眼镜

正如Facebook AI研究院首席AI科学家Yann LeCun所说:AR眼镜有望成为机器学习(低功耗)从业者的理想挑战目标,因为它涉及许多尚未解决的问题。在低功耗的AR眼镜里实现高效的AI运算,颇有些螺狮壳里做道场的意味。亮亮视野已经成为这一领域的第一个拓荒者。

得益于出色的AI能力和光学设计,亮亮视野的AR设备完美实现了低功耗环境下的高效运行。如上文所述,AI计算获得了相对CPU的50倍计算能效比的提升,而使用L-PAT光波导技术的AR设备的续航时间是其他光学显示方案的6-10倍。以GLXSS ME在智能手机上的实际测试数据为例,手机+眼镜的续航时间与手机原生续航时间之间的差距非常小。

不同于多数AR终端设备将AI计算平台放在云端处理,亮亮视野的产品真正实现了从目标检测、追踪到识别,所有AI计算都部署在眼镜终端运行。以多人脸动态识别为例,这样部署计算能够保证即使在通信网络中断的情况下,AR眼镜仍能通过完全离线的方式执行人脸识别等基础任务,响应时间在毫秒级别。

另外,亮亮视野很早就明确了自主研发的基调,目前AI团队已申请6项发明专利。从对计算平台进行的优化,到从算法模型训练、推理和应用,亮亮视野摸索出了一套行之有效的AI方法论,为要求严苛的穿戴式产品提供极致的端到端的体验,实现了全栈AI能力。

从安防场景的前端识别到工业场景的泛在边缘计算,目前,亮亮视野的AI应用也受到广泛的市场认可,并且在与中科院自动化所等科研机构展开积极合作。

接下来,亮亮视野AI团队将继续围绕第一视角计算开展研发工作,为人类迈入下一个沟通纪元打下坚实基础。