基于NXP i.MX8M PLUS结合FaceMe®的AI人脸辨识解决方案

NXP管管

现在全球最流行的话题，一个是5G，另一个则是AI (人工智能)。而AI (人工智能)目前最成熟，最广泛的运用，则是”人脸识别”。

做到AI人脸识别，已经不是很特别的技术了。现在大家比的AI人脸识别的功能：
1. 人脸识别的准确性
2. 人脸识别的实际运用
3. 人脸识别的速度


首先，人脸识别的准确性部分；Cyberlink 提供了AI人脸辨识技术” FaceMe®”，其准确性为AI人脸辨识生态系的领导者。在美国国家标准暨技术研究院（NIST）的报告中，Cyberlink的FaceMe®为全球的前20领先者。

除了，人脸识别的准确性之外，人脸识别后的实际运用也格外重要。Cyberlink的FaceMe®在人脸识别时，同时也可以支援”脸部属性撷取”与 ”情绪侦测”。
另外，因为COVID-19的环境下，Cyberlink的FaceMe®也研发出” 口罩侦测与口罩下的人脸识别”。

A.口罩侦测与口罩下的人脸识别
凭借AI技术，FaceMe®可有效辨别民众是否戴着口罩，或口鼻露出、使用其他物品遮住口鼻等非正确配戴状况。此功能可应用在许多依规定须配戴口罩才能进入的场所，例如商场，医院和火车站等人流众多的公共空间。
即便配戴口罩，FaceMe®也可借由面部特征将人脸与资料库的身份进行比对，在配戴口罩也需要身份辨识的场合，例如医院，FaceMe®可透过此辨识的方式来判别身份，可大幅减少须取下口罩之风险及不便。例如公司门禁系统，FaceMe®可在戴口罩下辨别是否是公司员工。


B.脸部属性撷取与情绪侦测
脸部属性撷取可以撷取到性别、年纪、情绪及脸部摆动角度。情绪侦测可以侦测到开心、伤心、生气、惊讶及平静。此功能可应用在许多数位广告看板上，依照不同的性别、年纪推播合适的广告内容。并透过情绪的侦测，了解拨放广告内容是否符合需求，或是再进一步调整广告内容，进而达到广告的最大效益。


针对人脸识别的速度，这跟”硬件平台”有绝对的相关。若是硬件平台，包含类神经网路加速器，这样可以让人工智能的推论更顺畅。另外，硬件平台内的CPU/GPU核心有更多的资源来做其他运用。
在这跟大家介绍NXP最新的i.MX产品— i.MX8M PLUS (包含NPU--神经网路加速器与ISP—影像讯号处理器)

i.MX8M PLUS：i.MX8M Plus面向智能世界的边缘智能，机器学习和视觉。 应用处理器在机器学习(ML)，视觉，高级多媒体和工业IoT应用方面表现出色。
i.MX 8M Plus处理器可提升边缘智能，是智能家居，智能城市，工业4.0及更高版本的绝佳基础。


主要功能如下：
A. 机器学习(Machine Learning)
             -- 恩智浦第一个将”NPU(类神经网路加速器)”包进i.MX的产品线。NPU(类神经网路加速器)的能力，可以达到2.3TOPS，适用于终端的人工智能产品。
B. 影像讯号处理器(ISP)
             -- 恩智浦第一个将”ISP(影像讯号处理器)”包进i.MX的产品线。影像讯号处理器(ISP)的能力，可以达到350MPixel/S。
C. 多媒体(Multimedia)
             -- 拥有许多的多媒体界面。在影像方面，有HDMI的输出，包含eARC的音源通道。并包含硬件的的解码(Decode)与编码(Encode)器，可以达到1080P的分辨率。解码(Decode)与编码(Encode)技术为H.264与H.265。
D. 工控网路接口(Networking)
             -- 拥有两个Gigabit的Ethernet 接口，一个可以支持TSN(Time sensitivity network)。一个可以支持AVB(Audio Video Bridge)。另外也支持工控常用的接口”CAN-FD”。
E. 高性能(Performance)
             -- 在i.MX8M PLUS中包含了4个A53的核心，达到1.8GHz的频率。也就是运算能力可以达到21600 DMIPS。另外，也包含了M7(800MHz)的MCU核心，让使用者有更多运用。

i.MX 8M PLUS产品衍生产品：

系统整合：


品佳拥有强而有力的技术支援部门，可以帮助客人。将恩智浦的硬件i.mx8m plus结合讯连科技的FaceMe的SDK，运用人脸识别的技术，将其完美的于"智慧家居"，"智慧零售"，"智慧城市"的相关产品上。
在恩智浦的硬件i.mx8m plus还在工程模式(Enginner sample)时，品佳技术团队就参于其中，从中学习到i.mx8m plus中新的核心技术。例如，NPU(类神经加速单元)，ISP(影像讯号处理单元)。


在系统整合上，我们可以将带有ISP(影像讯号处理单元)的摄像模组(Camera Module)，与i.mx8m plus完美结合。例如：Ov5640的摄像模组。
我们也可以将不带ISP(影像讯号处理单元)的摄像模组(Camera Module)，利用i.mx8m plus内建的ISP(影像讯号处理单元)将CMOS Ssensor影像处理之后，再将影像完美结合。例如：AR0821的摄像模组。
不论客户选择Ov5640的摄像模组，或是AR0821的摄像模组，都可以快速的系统中完美运作。
当然，客户或许在摄像模组上有着其他的偏好，或是惯用料件。品佳秉持着对i.mx8m plus的了解，也可协帮助客户，将其摄像模组完美结合于i.mx8m plus。


除此之外(硬件)，软件部分：品佳对于i.mx8m plus的底层架构充分了解。可以协助客人，将周边装置(Device Tree)打通，完整使用到i.mx8m plus的所有功能。
另外，不管是Linux的作业系统，或是Android的作业系统，品佳的技术团队都可以提供更好的支持。


i.mx8m plus在与讯连科技FaceMe的SDK结合，品佳即扮演了整合的角色。品佳分享与提供i.mx8m plus的硬体/韧体接口，让讯连科技FaceMe的SDK在帮助可以与摄像模组沟通得到正确的影像讯号。
并运用i.mx8m plus内部的类神经加速单元(NPU)来执行AI的运算，大幅提升AI的人脸辨识效能。另外也可以减低CPU的处理，将CPU效能充分用在其他的运用上。


以下为i.mx8m plus结合讯连科技的FaceMe的SDK的AI人脸辨识(性别/年龄/心情/口罩)

► 场景应用图

► 展示版照片


► 方案方块图

► 核心技术优势
i.mx8m plus
1. 机器学习(Machine Learning)--达到2.3TOPS
2. 影像讯号处理器(ISP)--达到每秒350MPixel
3. 多媒体(Multimedia)--硬件编码/解码器
4. 工控网路接口(Networking)--支持TSN(Time sensitivity network) /AVB(Audio Video Bridge) 网路
5. 高性能(Performance)--4个1.8GHz A53的核心，运算能力可以达到21600 DMIPS


FaceMe:
1. 人脸识别的准确性--99.7%
2. 脸部属性撷取”与 ”情绪侦测" --性别/ 年龄/心情
3. 口罩侦测


► 方案规格
处理器(MPU): NXP i.mx8m plus
摄像模组(Camera Module) : OV5640 摄像模组
显示器(Display): HDMI out (由NXP i.mx8m plus直接输出)
作业系统: Android Q10
人脸辨识SDK: 讯连 FaceMe

阅读全文