|
为什么选i.MX 8M Plus？因为这两个新增的功能，太给力了！
面对市场，恩智浦向来特立独行，扮演一个领导者和创新者的角色。我们已成功在i.MX应用处理器上支持摄像头模块接口。同时，我们也已在许多产品的CPU和GPU上部署了机器学习。诚然，针对不同的应用，这些功能能够很好地服务客户，但本文的重点将会放在介绍恩智浦为何要开发这些功能，以及为何在最新的i.MX 8M Plus应用处理器中添加图像信号处理器（ISP）和机器学习加速器。
机器学习的重要性
一般来说，通过智能手机或智能音箱使用语音助手，或是譬如社交媒体应用甚至手机如何能够将包含某个人的照片归类到一起，在这些背后，在云端部署机器学习是关键技术。
但是，这些用例都依赖在云端服务器中运行的机器学习。而恩智浦解决的真正挑战是边缘机器学习，比如将机器学习和推理放在i.MX 8M Plus等边缘处理器上本地运行。
在边缘运行机器学习推理意味着，即使网络访问遭到破坏，应用也将继续运行——对于监控或智能家居警报中心等应用，或者在没有网络接入的偏远地区运营时，这一点至关重要。与必须将数据发送到服务器进行处理，然后将结果发送回来的情况相比，边缘计算制定决策时的延迟也低得多。例如，在工业工厂车间执行目视检查并且需要决定接受还是拒绝快速传送的产品时，低延迟非常重要。
边缘机器学习的另一个关键优势是用户隐私。收集到的数据（如边缘设备捕获的语音通信和命令、人脸、视频和图像）在边缘进行处理，并保存在边缘本地。信息不会发送到云端进行处理，而在云端，可能会记录和跟踪信息。用户的隐私不受影响，是否在云端共享个人信息由个人决定。
边缘机器学习的算力要求
如今，考虑到对边缘机器学习的需求，问题慢慢从是否需要边缘机器学习，变为了边缘机器学习需要达到什么样的性能水平。衡量机器学习加速器性能的一项指标是每秒操作次数（通常为8位整数相乘或相加），通常称为TOPS，即每秒兆级（万亿次）操作。这是初步基准，因为总体系统性能还将取决于许多其他因素，但这是广泛引用的机器学习衡量方式之一。
一般来说，在边缘执行完整语音识别（不只是关键词检索）需要大约1-2TOPS（具体取决于算法，如果您想要了解用户在说什么，而不仅仅是从语音转换为文本，则需要更多）。以60fps执行对象检测（使用Yolov3等算法）也需要大约2-3TOPS。这使得机器学习加速（如i.MX 8M Plus的2.3TOPS）成为此类应用的优势。
图像信号处理器（ISP）的作用
任何基于摄像头的系统都需要ISP，有时，它可能被内置在摄像头模块中，或集成在应用处理器中，并且可能对用户隐藏。ISP通常执行许多类型的图像增强，其主要用途是将原始图像传感器的每像素输出单色分量转换为在系统其他位置更常用的RGB或YUV图像。
当摄像头输入来自云端或网络摄像头（通常通过以太网或USB连接到应用处理器）时，不带ISP的应用处理器能够在基于视觉的系统中正常工作。在这样的情况下，摄像头与应用处理器之间可能距离较远，甚至达到100米左右。摄像头本身内置ISP和处理器，用于转换图像传感器信息并编码视频流，然后通过网络发送。
不带ISP的应用处理器也适用于分辨率相对较低的摄像头。当分辨率为100万像素或更低时，摄像头的图像传感器通常带有嵌入式ISP，并且可以将RGB或YUV图像输出到应用处理器，这表示处理器中不需要ISP。
但是，当分辨率为200万像素(1080p)或更高时，大部分图像传感器的嵌入式ISP就不能够胜任了，需要依赖系统其他位置的ISP——可以是独立ISP芯片（可以实现，但增加了系统的功率和成本），也可以依靠应用处理器中集成的ISP。
恩智浦选择采用i.MX 8M Plus提供高质量图像，并实现图像优化的方案，尤其适用于200万像素或更高像素的分辨率时。
推动智能边缘设备的发展
通过集成2.3TOPS机器学习加速器和ISP，i.MX 8M Plus应用处理器将成为边缘嵌入式视觉系统中的关键角色，广泛应用于智能家居、智能楼宇、智慧城市以及工业物联网应用。
通过嵌入式ISP，该应用处理器可用于创建与本地图像传感器直接连接的高图像质量优化系统，甚至将该图像数据馈送至最新的机器学习算法，全部卸送到本地边缘端机器学习加速器中。
得益于i.MX 8M Plus应用处理器针对机器学习与视觉系统的架构优化，边缘设备开发人员得以另辟蹊径，同恩智浦一样，成为引领市场并不断创新的推动者。他们能够受益于强大的机器学习功能和高清摄像头系统，使设备看得更清晰、更远。在嵌入式产品的格局中，新的创新机会已然浮现。
有关i.MX 8M Plus的更多信息
i.MX 8M Plus产品官网，点击访问>>>
i.MX 8M Plus工具与软件，点击访问>>>
| 
/4 
发表于 2020-12-4 10:25:37
沉默卡
照妖镜
发表于 2020-12-4 11:02:11
