|
低成本全广角智能门铃，基于i.MX RT106F AI视觉应用解决方案
前言
2020庚子年注定是不平凡的一年，病毒肆虐的速度和破坏程度超出了大家的想象，冷静下来之后我们正在朝着正确和胜利的方向前进，经历了五千年大风大浪的中华民族必将很快战胜这次疫情，一切都会恢复正常，一切病毒必将被消灭！
然而，生活还要继续，工作还要继续，我们对恩智浦i.MX RT系列MCU的神奇应用和技术探索也将继续。。。
言归正传，让我们进入干货环节。
行业现状及需要解决的问题
目前市面上有很多智能猫眼和智能门铃的方案，但都是基于应用处理器，功耗高成本也高。能支持人脸检测追踪识别功能的高性价比产品很少，并且通常只能达到水平105度的广角，而具有180度鱼眼广角及人脸检测追踪识别的智能门铃更是没有。
智能门铃存在的主要目标就是提供更高的安全性和更好的用户体验。如果能够全广角的自动侦测陌生人那就会在安全性和用户体验上趋向于完美。
恩智浦推出的全广角智能门铃方案，就是为了解决当前智能门铃产品的以下主要痛点：
高功耗导致设备电池待机时间太短（目前都是基于应用处理器的方案）
可视角度较小，有安全漏洞（陌生人可以躲在盲区躲避监控）
整机物料成本偏高（应用处理器方案会增加整体BOM成本）
陌生人侦测识别精度有待提高（为了弥补侦测精度的缺陷，需要录制并保存大量视频流）
目前的智能门铃都还是基于运动检测唤醒，发送大量视频到云端进行处理和存储，然后根据处理结果通知到用户手机，用户可以选择随时查看存储在云端的视频或者实时视频来查看门铃附近范围的情况。
在实际使用时，常常因为误触率太高，用户无法忍受经常关掉APP通知，导致安全性大打折扣。另外因为监控的过程中需要门铃与云端有大量的视频数据交互，带宽需求高，延迟大，对网络状况依赖严重。而且因为大量的视频流需要存储在云端，会产生额外的服务费用，无形中增加了消费者的使用成本。
恩智浦智能门铃方案的初衷就是要解决这些问题，通过低功耗系统设计和纯本地算法进行陌生人侦测，加上不留任何盲点的全广角检测范围，实现了产品的高安全性和良好的用户体验。
借助方案内置的AI算法实现了过滤视频数据，将关键的人脸数据保存在本地，或是云端通知手机通过人脸缩略图，来决定是否查看预存的本地超小的人脸视频文件。大大降低了对云存储的依赖，也大大降低了系统功耗，更减少了烦人的提醒，毕竟智能门铃只需要对短时间在门口逗留的陌生人展现他的智能，不是吗？
如果智能猫眼或门铃的整体价格能够大幅下降，并且功能不缩水甚至更酷炫，那这个刚需市场就能进入爆发点。恩智浦工程师团队脑洞大开，打破常规的固定思维，采用iMX RT系列网红微处理器完美解决这些痛点。
下面我们会简单介绍一下，如何通过恩智浦的MCU方案来解决这些问题。
全广角智能门铃演示说明
2020年的CES展会，恩智浦展出了基于RT106F的全景鱼眼智能门铃解决方案，该方案的演示吸引了大量客户的兴趣和后续的商务及技术探讨，这个方案是我们今年重点推进的项目，所以在这个不平凡的春天把她作为开篇来展示一下恩智浦的持续创新能力。
我们邀请了方案团队的美国帅哥录制了一段短视频，通过这个视频能直观的演示，如何对于零度角的人脸能够做到自动跟踪定位并缩放，并在满足一定人脸大小的条件下，能够快速识别。请参考视频如下：
通过下图简单说明一下。中间是演示设备，采用1080p分辨率的全广角摄像头，配合RT106F的开发板来运行Oasis Lite算法库进行实时监控，人脸追逐定位和识别，采用USB UVC标准设备视频输出到大屏幕达到更好的演示效果，实际开发通常采用5寸LCD屏幕，这样显示帧率能够更流畅。
最右边的帅哥已经从摄像头正中间转移到摄像头的零度角，并且距离摄像头的位置由近到远，整个系统能够根据人脸在图像中的位置，快速从全景鱼眼模式自动定位并分割缩放有人脸的区域，把高度扭曲的画面先通过反扭曲及拉伸算法还原，再持续运行AI算法更精确检测人脸并进行追踪识别，完全采用数字图像运算而不是物理电机驱动摄像头模组，这样大大降低了硬件成本。
RT106F的Oasis Lite库包含了恩智浦最核心的算法并且提供给客户。
为了更好地说明从鱼眼全景到最后定位跟踪识别人脸，我们用下图的中国帅哥连续四张特写来加以说明。
第一张是原始鱼眼图像，人的实际位置已经远距离大角度偏离摄像头的中心点，图像已经有很大的扭曲，后面三帧图像，通过算法逐级迅速定位，并采用局部反扭曲及缩放，还原人脸局部的清晰图像，精准识别到他本人。
下图是目前开发板的正反面图像，为了快速做方案而采用两套系统硬件对接的方式，我们正在和合作伙伴，计划做成本更低的单板硬件使其更接近于产品化的开发要求，单板的设计能够把很多冗余的器件去掉，从而大大降低参考设计的成本。敬请期待。
全广角智能门铃方案优势
在开始方案构思之前，我们也花了很多时间分析目前比较流行的系统架构，由于智能门铃通过电池供电，所以如何尽可能降低功耗是最重要的问题，用户无法接受每两个月给设备充电或换电池。
为了达到高性能低功耗的目的，通常系统待机采用一颗独立的MCU，在PIR器件侦测到运动物体时，立即将MPU主芯片冷启动进行图像采集（或者人脸检测识别），等所有任务处理完毕MPU就进入深睡眠以达到省电。由于采用”MPU+PMU+MCU”的系统设计，就会带来如下问题：
系统设计过于复杂（MCU+MPU双系统）
成本过高（MPU本身及外围器件增加成本）
功耗还是偏高（MPU本身及外围器件增加了功耗，以及软件缺乏智能而频繁录制视频流）
响应时间偏慢（Linux的启动时间决定了系统启动很慢）
下图就是目前流行的系统框架。
如果采用RT106F，单颗高性能跨界MCU处理器就实现了MCU+MPU+PMU的系统设计，因为RT系列处理器在深睡眠时以几乎零功耗运行，借助PIR侦测到物体运动触发唤醒管脚快速冷启动系统，由于超轻量级FreeRTOS的快速启动时间，从触发到全广角摄像头就绪只需几百毫秒，超快速的启动时间不仅增加了智能门铃抓取陌生人的机会从而提高安全性，同时也间接地降低了系统的功耗。
另外基于MCU的系统设计，外围只需要很低成本的QSPI Flash加上小尺寸SDRAM就足以运行整个系统，既节约成本又大大降低了功耗。
采用了MCU的方案就不得不提到性能和功耗的具体数据，在功耗降低的同时又要保证性能不缩水。通过下面的表格对基本的系统性能有个了解，这个不是最终版本，会进一步优化，某些参数的性能可以通过算法库的参数进行调整，以满足产品的具体要求。
下面的表格是恩智浦i.MX RT1062 SoC的官方功耗测试结果，通过这些大致的数据能够很好地说明整体方案设计的低功耗优势，尤其是该芯片组优异的动态频率调整，从满负荷600MHZ到SNVS深睡眠模式都能快速切换响应，从冷启动到main函数示波器测量结果仅需104毫秒。
全广角智能门铃系统框架
下面这个框图大致解释了整个系统的设计架构，最左边的全广角鱼眼模组包含合作伙伴的ISP算法芯片来实时处理全景、局部分割、区位切换、缩放、反扭曲、拉伸展平等等算法，由中间RT106F的Oasis Lite算法库通过I2C来控制模组，并且通过CSI来传输图像（RT106F只支持并口，后续RT117x可支持MIPI）。
恩智浦拥有完全知识产权的Oasis Lite算法库不仅承担了鱼眼模组的控制算法，同时也是一个超轻量级高性能的AI/ML预测引擎，包含各类人脸检测和识别等的AI算法。
为了便于调试和降低成本，RT106F的设计采用USB UVC标准设备视频输出或是直接外接LCD，能支持SPI和LCDIF的接口。
RT106F全广角智能门铃软件框架
本文所展示的全广角智能门铃方案核心平台和算法，都是基于恩智浦RT106F解决方案，配合我们合作伙伴超酷的前端芯片，对于全景图像各种硬件加速算法的完美调配，最终完成这一惊艳CES的黑科技。双方最具天赋的工程师通过半年多的合作才完成了方案的核心技术。
下面这个软件框图本身就是RT106F SDK的通用框架，我们在此基础上会进一步开发更炫酷和更具成本优势的方案，但SDK软件框架本身几乎保持一致，这样对于客户长期的投入和研发能够大量的节约成本。
RT106F的开发板及SDK
恩智浦在去年九月的IFA展会上，已经官方宣布了全球第一款基于MCU的人脸识别解决方案，本文的全广角智能门铃也是基于该开发套件而开发的新型方案！
更多信息可以点击访问
作者：秦建峰 文章出处：恩智浦MCU加油站
| 
/4 
发表于 2020-2-27 09:21:43
沉默卡
照妖镜
发表于 2020-2-27 09:45:13
发表于 2020-2-27 13:42:33
