i.MX 8M Plus深度解析： 将高性能机器学习导向边缘端

NXP管管

i.MX 8M Plus深度解析： 将高性能机器学习导向边缘端

人工智能 (AI) 的研究工作已取得惊人进展，计算机的用途不断拓宽。机器在执行某些任务时比人类更快、更准确。ILSVRC图像分类竞赛就是一个很好的例子，该竞赛使用基于机器学习 (ML) 的人工智能类型。早在2012年，AlexNet就曾赢得这一竞赛，成为首个使用深度神经网络和GPU进行训练的网络。到2015年，ResNet-152在图像分类领域击败人类。

▲ 图1：机器与人类在图像分类领域的表现

计算机表现优于人类的其他例子还包括游戏。下面列举了机器击败人类冠军的一些示例，以及人类表现仍然优于机器的非游戏案例：

▲图2：1997-2019年机器与人类在游戏领域的表现

显然，机器学习能够提供一些令人惊叹的新功能，这些功能对于智能家居、智能零售、智能工厂和智慧城市等应用领域而言必不可少，也被广泛运用于当今众多行业。比如，云服务提供商提供的机器学习云服务（如Amazon AWS SageMaker、Microsoft Azure ML和Google Cloud ML Engine）显著增长就是一个明显的例子。

向边缘推进

此前，由于有大量计算和存储资源可供使用，机器学习的部署在于运行大型集中式计算机中心的云端。现在，在多种原因的驱使下，正在迅速地转向边缘，例如：

1.云处理、存储和带宽的成本高昂，阻碍将数据发送到云端以做出由人工智能推动的决策
2.更好的用户体验需要在边缘快速做出由人工智能推动的决策
3.隐私与安全问题限制了在云端存储的数据
4.更高的可靠性



基于所有这些因素，对许多应用而言，边缘端显然是进行机器学习处理的理想位置。因此，恩智浦宣布推出i.MX 8M Plus，这是第一款配备专用高性能机器学习加速器的i.MX 应用处理器。i.MX 8M Plus使用14nm FinFET工艺技术，因而具有低功耗和高性能，并具备多项新特性，包括支持两个低成本高清图像传感器或一个4K分辨率图像传感器的双摄像头ISP，能够处理人脸、物体对象和手势识别等机器学习任务。它还集成了独立的800MHz Cortex-M7（以便处理实时任务并获得低功耗支持）、H.265和H.264的视频编解码、800MHz HiFi4 DSP和用于语音识别的8通道PDM麦克风输入。工业物联网特性包括支持时间敏感型网络 (TSN) 的千兆以太网、两个CAN-FD接口和ECC。

▲i.MX 8M Plus 应用处理器框图

数据科学家正在为在边缘端部署的资源受限型设备优化特定算法，从而帮助加速迁移到边缘端。MobileNet是Google开发的图像分类算法，侧重于高精度，同时显著减少所需的计算资源数量。下图显示处理任务大幅减少。从VGG-16模型转而使用MobileNet v2模型可使边缘端所需的计算量减少50倍。这样一来，边缘端的资源受限型硬件解决方案便能够执行复杂的机器学习处理。

▲i.MX 8M Plus 应用处理器框图

数据科学家正在为在边缘端部署的资源受限型设备优化特定算法，从而帮助加速迁移到边缘端。MobileNet是Google开发的图像分类算法，侧重于高精度，同时显著减少所需的计算资源数量。下图显示处理任务大幅减少。从VGG-16模型转而使用MobileNet v2模型可使边缘端所需的计算量减少50倍。这样一来，边缘端的资

▲图3：针对边缘优化的神经网络算法

资料来源:http://arxiv.org/abs/

同样，在边缘手机中运行MobileNet v1明显比在云端运行更快。造成这一差距的原因是在边缘运行消除了云端网络延迟。


往返网络延迟很容易增加200毫秒到1.4 秒以上，响应延迟显著增加。让用户获得实时体验，目标是在100毫秒内做出响应。
源受限型硬件解决方案便能够执行复杂的机器学习处理。

▲图4：边缘提供更快的用户体验

下面是借助i.MX 8M Plus支持在边缘运行机器学习的部分应用。

如下所示，每个用例需要特定的性能指标，这决定了运行所需的硬件级别。这是i.MX 8M Plus采用专用机器学习加速器的关键原因。

▲图5：机器学习用例

就上述原因而言，在边缘端运行机器学习应用合情合理。但要成功部署，必须满足一些其他要求：


1.机器学习开发者生态系统——易于实现
2.硬件安全——保证隐私和安全
3.创新的全新混合SoC架构——提供经济高效的解决方案
4.可扩展且安全的边缘部署——便于部署

全面的机器学习开发生态系统：eIQ™

突破性机器学习应用需要一个以任务驱动的生态系统。因此，恩智浦开发了创新型边缘智能 (eIQ) 工具环境，为客户提供在包括全新i.MX 8M Plus在内的一系列恩智浦SoC上部署机器学习技术所需的工具。eIQ支持多种机器学习处理元素，包括Arm Cortex-A 和Cortex-M处理器、GPU（图形处理器）、DSP和机器学习加速器。eIQ机器学习软件环境包含开源机器学习的推理引擎和库。恩智浦已部署并优化这些技术，例如TensorFlow Lite、OpenCV、CMSIS-NN和Arm NN，对于热门i.MX RT应用处理器，这些技术可通过恩智浦的MCUXpresso 和Yocto (Linux)开发环境进行访问，从而为应用开发提供无缝支持。eIQ软件附带物体对象检测和语音识别示例应用，为在边缘部署机器学习提供了一个良好的起点。

▲图6：eIQ 机器学习开发环境

边缘安全：EdgeLock™

边缘安全至关重要。所需功能包括安全启动信任锚、片上加密、安全配置、双向设备认证、安全设备管理、空中 (OTA) 安全升级更新和生命周期管理。为支持边缘安全，恩智浦创建了可扩展的EdgeLock产品组合，其中包含安全元件、安全身份验证器、应用处理器和MCU的嵌入式安全功能。i.MX 8M Plus采用先进的EdgeLock嵌入式安全技术，包括资源域控制器、Trust Zone、HAB、加密启动、采用RSA和椭圆曲线算法的公共密钥加密。EdgeLock赋予边缘节点完整性、真实性和隐私性，从边缘到网关再到云，提供充分的安全性保障。

经济实惠的边缘人工智能

eIQ工具包为基于CPU、GPU和DSP的恩智浦现有SoC系列带来机器学习功能。但是，即便是最快的CPU，也难以高效地执行高度复杂的神经网络。因此，全新i.MX 8M Plus是一个混合人工智能SoC，将先进的嵌入式SoC与最新的人工智能/机器学习硬件NPU技术相结合。于是，用户能够同时享受到这两大技术的好处，既能利用现有SoC应用，还能增加机器学习加速器的巨大并行计算能力。

未来

在人工智能领域，变革速度不断加快。下面来自AI Index 2018和Monster.com的图表显示了深度学习领域就业机会的增长情况：

▲图7：按所需人工智能技能划分的

就业机会增长 (2015-2017)

公司财报电话会议中提及人工智能和机器学习的次数：

▲图8：公司财报电话会议提及次数

——IT 公司 (2007-2017)

人工智能和机器学习给计算机行业带来了颠覆性的变化，这一变化将有助于改善我们的生活。在全新i.MX 8M Plus的引领下，通过将人工智能和机器学习移到边缘，我们将更快地迎来更美好的明天。

▲本文作者：Tony Masterson 恩智浦半导体人工智能与媒体首席技术官







作者：NXP               文章出处： NXP客栈

阅读全文