国产化边缘推理首选 高性价比AI盒子——比特大陆SE5 AI计算盒

人工智能、机器深度学习技术的发展和应用使图像识别技术获得了关键性的突破，不同应用场景的图像识别率已经可以满足各方面的应用要求，并开始逐步应用于身份识别、商品识别、金融支付、安全防范、智能安检等诸多领域，呈现出高速发展势态，使视频监控系统的功能和效能出现质的飞跃，而这些智能功能的实现都离不开算力的支持。主流的智能运算如果全部依赖云端大规模GPU服务器集群，其高昂的运营成本就会让大多用户无法承担。边缘计算作为5G和高清时代非常重要的网络组成部分，主要价值在于减少超大流量对网络的消耗，同时为各种应用提供低延时和开放的网络能力。相比于传统集中部署的云计算，边缘计算在靠近数据源或用户的地方提供计算能力不失为明智的选择。a&s本次测试的比特大陆SE5 AI计算盒是基于芯片和模组，但比模组形态的产品面向场景更加广泛的高性能、低功耗边缘计算产品，搭载比特大陆自主研发的第三代TPU芯片BM1684，INT8算力高达17.6TOPS，可同时处理16路高清视频，为诸多安防、泛安防、教育、金融、安检、雪亮工程等行业项目智能运算提供算力。

工业级标准设计比特大陆SE5 AI计算盒尺寸只有188mm×148mm×44.5mm(长×宽×高)，小巧严谨，盒子上部有工业级散热齿， 可适应工作温度为-20℃ ~ +60℃(具体视配置而定)，工业级宽温设计，可以适应严苛的工作环境，在复杂条件下进行边缘侧智能分析。该设备包含USB3.1×2、 MicroSD ×1 、 HDMI ×1、 RS-232×1 、RS-485 ×1、I/O ×4、自适应10/100/1000Mbps网口×2等接口，接口丰富，使得产品可以面向的场景更加丰富、灵活。内置12GB内存，市场上的同类产品基本为8GB，可以说是高规格配置。

无线传输 部署灵活比特大陆SE5 AI计算盒内置4G卡槽，支持LTE无线回传，在网络布线不方便的室内外环境，可以直接使用无线传输，方便用户便捷安装部署。计算盒内置SATA接口，用户可以直接添加硬盘，可灵活应用在小型利旧项目或者有存储需求的小型安防项目中。目前市场上的同类的AI计算盒大多不具备存储功能，而具有存储功能的盒子又体积较大，部署不够灵活方便。比特大陆SE5 AI计算盒子在外观、体积、算力性能优异的情况下，还可以外接硬盘的设计，非常便于用户未来应用的扩容，优势不言而喻。算力优势明显AI计算的核心是芯片，边缘计算盒产品的主芯片选定后，其计算能力基本可以确定，比特大陆SE5 AI计算盒是基于其自主研发的BM1684芯片，比特大陆深耕芯片产品多年，BM168X系列芯片已经第三次流片，经过了充分的市场检验，满足所有边缘侧推理需求。算力作为最为主要的AI芯片评判标准，只看厂家的标称算力并不能准确的去评定产品。在实际的应用中，标称只能作为辅助的判断尺，采用标准算法模型进行图片分析，实际的图片分析能力对用户来说才是实实在在的收益。a&s本次测试采用业界标准测试模型，因各个芯片支持的量化精度不同，有FP32、 INT16、INT8等。这里采用各颗芯片同时支持的INT8做横向对比。原始数据即是在常见标准模型下的实测结果。将BM1684与TX2、Hi3559A、Atlas200等市场常见芯片对比测试，实测测试结果如下。

Mobilenet是轻量级模型，针对产品主要应用在手机或者移动端较多，目前数据可以超过2500张/秒。Resnet 50典型模型测试中，图片处理达到914.9张/秒。从评测对比数据来看，BM1684的处理能力普遍超过Atlas200 50%以上，而与其上一代的Hi3559A相比，更是超出其处理能力5倍以上。正是得益于强大的算力，所以SE5 AI计算盒才能在典型人脸识别算法下做到至少实时16路全流程比对。目前业界许多AI产品标称的AI分析路数一般只是指人脸检测，并不包含图像识别功能，而比特大陆的单路计算包含了人脸检测，人脸特征值提取和识别、人脸比对，即人脸全流程比对。性价比之王 单路AI成本最低

从TX2、Hi3559A、Atlas200、BM1684四种市场常见芯片对比测试结果来看，不同的测试模型，BM1684与TX2相比有5.4-22.9倍级别的性能优势。相比Atlas200，虽然理论峰值标称算力BM1684和Atlas200很接近(17.6T vs 16T)，但是从实测来看，BM1684的性能倍数在最典型Resnet 152上有1.4倍的优势，在Mobilenet上有2.36倍的优势!这说明，标称算力和实际获得的算力具有一定的差别。BM1684具有较高的有效计算利用率。相应的，基于BM1684芯片的比特大陆SE5 AI计算盒实际有计算有效利用率也在同等水平。在以上公开测试数据中，与业界主流的AI盒子相比，INT8的算力在同类产品中可以说达到最高。结合产品性能和价格，比特大陆SE5 AI计算盒的单路成本竞争力强大，可以称为业内性价比之最。除了算力、功耗，量化精度是另外一个重要评判指标，精度降低后，在有限的芯片面积下可以得到更大的算力，比特大陆的AI计算盒采用自研芯片是产品在实际应用中能够发挥更大作用的原因。软件生态完备 百度认证授权合作对于AI芯片来讲，更需要为开发者提供完备，可靠的工具链和系统软件。比特大陆在这个领域耕耘多年，随着AI芯片已经发展到第三代，相应的工具链也非常成熟，所有的产品线保持统一的编译工具链，经过多个合作客户检验。市面上常见的AI计算盒劣势就在于支持的框架少，比特大陆SE5 AI计算盒采用的芯片支持Tensorflow、PyTorch、MXNet、 Caffe等多种深度学习框架，同时对于国产深度学习框架，也有完善的支持。2020年3月24日，百度宣布，比特大陆的算丰BM168x系列AI芯片，已经通过百度飞桨的轻量化推理引擎Paddle Lite的兼容性验证。这意味着百度所有生态合作伙伴可以直接采用百度框架和算法移植，不存在任何兼容性问题。目前国家政策支持硬件、软件的国产化，百度Paddle深度学习框架是国产化中具有优势的企业，比特大陆与百度合作，实现软硬件的同时国产化，在国内具有发展优势。比特大陆SE5 AI计算盒随机配套BMNNSDK一站式工具包，提供底层驱动环境、编译器、推理部署工具等一系列软件工具。帮助开发者快速高效的在SE5上部署深度学习算法应用。BMNNSDK最大程度降低算法和软件的开发周期和成本，使用者能快速在算丰各系列AI硬件产品上部署深度学习算法，便捷实现智能应用。应用领域广泛比特大陆SE5 AI计算盒是基于边缘计算的小微型服务器，不论算法类型，基本可以支持各个行业的算法，通过完备的生态方便用户将训练好的模型移植，不光支持人脸识别算法模型，还支持数十种辅助模型，所以面向场景非常广泛。可以应用在园区、社区、商业楼宇等室内外场景，以及集成类室外半封闭场景，不需要依托X86架构服务器，充分利用其内部ARM资源，直接独立一体化开发应用。该计算盒的算力性能高，市场竞争力强，但同样保留了一部分高精度的算力。在需要高精度算力的场景，保留了高精度优势，如动态视觉无人零售柜、智慧冰箱系统中商品识别等。SE5实际可应用场景如，作为边缘人脸服务器布置在园区，进行园区通行识别比对或园区监控;在智慧食堂进行人脸支付;在家校互联系统做学生人脸识别;在学校宿舍系统做出入管理;在餐饮系统中植入菜品识别算法进行菜品结算;替代传统安检人员识图，机器判图准确度更高、降低安检员培训成本，通行速度更快，实现智能辅助安检。可以植入的算法模型多种多样，从而实现应用场景的多样化。

产品特色1. 强劲算力：高达17.6T的INT8峰值算力或2.2T的FP32高精度算力。

2. 超高性能：16路高清视频处理能力，38路1080P硬件解码与2路编码。

3. 快速移植：支持Caffe/TensorFlow/Pytorch/Mxnet/Paddle Lite等主流深度学习框架。

4. 接口丰富：持USB、HDMI、RS-485、RS-232、SATA、自定义I/O等多种接口

5. 宽温设计：适应温度-20℃至+60℃。支持无风扇被动散热。

6. 应用场景丰富：支持智慧园区/安防/工控/商业等多领域多场景灵活部署。

点评人工智能的需求贯穿了从端边云到整个网络，基于视觉的人工智能应用场景最丰富、市场需求最旺盛，而边缘端的计算需求又比云端多一个数量级，所以安全和实时响应的边缘端智能分析成为发展的必然趋势。比特大陆在芯片行业深耕多年，BM168X系列经受住了市场的考验，SE5 AI计算盒是基于第三代TPU芯片BM1684研发的AI产品，更是具有了这个芯片的特性。INT8算力高达17.6TOPS，在具有高算力的同时保持了低功耗、被动式散热、接口丰富、软件生态完备等优势，算法移植便捷，不光支持人脸识别算法模型，还支持数十种辅助模型，所以可面向应用场景非常广泛，是一款性价比非常高的边缘智能分析设备。主要规格参数