|
深井中的深度学习：MCU+AI，让“不可能”的田园机井智能抄表成为可能！
成功案例
行走在田园和山间，欣赏美好景色和呼吸新鲜空气时，常常可以见到用于灌溉的机井。你可能除了小心，并没有更多留意它们。然而你可曾想到，它们与人工智能和微控制器也会关联在一起？
虽然人工智能早已在身边，但是在“原味”的微控制器应用场景中如何落地深度学习技术，人们还一直还在摸索。这次，小编就给还在上下求索的小伙伴们讲一个让“微控制器+AI”成功落地的小故事。
深井中强大的边缘抄表器
故事的主角是由北京智慧水务发展研究院和北京鸿成鑫鼎智能科技有限公司联合开发的“边缘抄表器”模块，这个模块将率先用于机械水表的智能抄表。我们先上靓照——
左边那个戴在水表上面浅蓝色的“帽子”就是它了，右边的图则是它的“裸照”。这个边缘智能抄表模块采用恩智浦i.MX RT1020跨界单片机读取摄像头并运行基于深度学习的“SlimSSD”检测算法，直接扣在水表表盘上就可以拍照并且识别表盘的读数。
这个模块非常强大，可以用在很多场合，除了安装在家里，还可以“落地”到主干水管上——
甚至还不只满足于 “落地”，更要“落井”——
方案广受好评，获得发明专利
这款模块经过近两年的开发和严格测试，在成果鉴定中得到了肯定的评价：
“边缘AI抄表器通讯畅通率达95%以上，平均识别准确率为83.42%，其中8块表识别准确率在98%以上，在性能方面取得了不错的成绩；自动辅助数据矫正和人工审核矫正率100%，数据真实可用；耗电量按1天1条数据功耗折算，可平均工作4425.6天（约12.1年），已大大超过了8年的设计寿命。”
更可喜的是，经过改进模型，最新的讯畅通率达96%！
下图是使用边缘AI抄表器检测出识别区域，识别出读数，并把识别结果和原始图片中检测区域一并上传的效果，一次无线传输的数据量仅几百字节（而发送全图要几万字节）。
北京智慧水务发展研究院还计划在北京市东水西调管理处、门头沟区70多处机井、甘家口大大厦等地进行应用推广试点。实现乡村水井、耕地和林区机井、供水管道网络处无人值守的用水计量，实现了无需替换原有水表，就实现了自动抄表的功能。
更加可喜的是，这个边缘AI抄表器的设计经过多次反复设计、打版，边缘AI抄表器的适用性越来越强，并且得到了含金量很高的发明专利。
解析方案的精髓：深度学习
接下来，小编就给大家讲讲作为这个方案最“精髓”的部分——深度学习。
最让小编赞叹的是，这个抄表模块使用了比图像分类更先进的物体检测（Object Detection, OD）技术，实现了无需调整参数就能自动适应新的各种表盘。而直到最近，我们看到其他一些厂商才刚刚提出类似的基于深度学习技术，但使用手写数字分类的参考模型——注意，是刚刚才提出——而且还是使用深度学习计算机视觉中最基础的“图像分类”技术。
图像分类和物体检测的关键区别是啥呢，小编画了一个草图来说明（原谅小编的美术是数学老师教的）。
最重要的是分类模型把图像当作整体，给出一个类别（确切地说是预测各类别的概率并选最大的那一类）；而检测模型要干两个事，既要找出图像中各个物体的位置，也要判断找出的物体是什么类别。不过，虽然看起来检测比分类强大得太多了，但神奇的是他们共享的技术却高度相似——特别地，在检测模型的组成部分中，最重要的被称为“骨干”（backbone）的关键部分，就是来自于分类模型的卷积神经网络部分，它用来提取出抽象概括的图像特征。
可以认为分类模型在卷积神经网络的基础上追加分类器（常常是单层全连接层，又叫感知机，就够了）；而检测模型抽取卷积神经网络的多处中间结果和最终输出，并添加检测颈和检测头的相关结构，只是比分类器要复杂得多。骨干网络的训练一般也是借助分类模型来实现。
回到AI抄表的应用，如果用分类模型，就要为每种规格的表盘人工设定分类区域，每个数字一个，麻烦得很；但是检测模型就能自动找出在哪里读数，读几个数，显然是方便多了。而在这个具体的专利中，使用了一种单发多框检测器(Single Shot Multibox Detector, SSD)模型的优化版本——发明人称为 “SlimSSD”，从名字上可以看出它是一种更“苗条（Slim）”的SSD——发明人还使用注意力机制来更准确地帮助裁剪模型。
有关SSD的详情后面咱们再接着聊，这里不妨先给出某一个高度精简后类SSD模型的“长相”。
图中那个醒目的三段显示的竖长条就是这个模型的骨干，来自一个简洁的分类模型中卷积子网络的部分。下部的几支“并联”的结构用于各自检测和分类输入图片中不同大小的物体，最终汇总成左、右两支，分别给出检测出的物体坐标信息和物体类别信息。（查看有关SSD模型的论文，请点击这里>>）。
小贴士
在物体检测领域，最近的Yolo系列模型也非常有生命力，还有其他的一些超轻量级物体检测模型，如NanoDet，YoloX-nano, PP-PicoDet等正如同雨后春笋般的涌现。物体检测技术因为实用、方便，它们的超轻量化研究十分活跃。
别让算力限制了你的想象
这个成功的故事也深深地震撼了小编，感觉自己对深度学习和实际应用的认知不足，限制了自己的想象力。
有感于很多人觉得“算力小于0.5TOPS都干不了啥事”，而这个智能边缘抄表方案是在理论上有效算力仅有0.0003TOPS的i.MX RT1020平台上完成的，这可是1600多倍啊！并且是无人值守的环境下仅靠电池就能一天抄一次连续工作12年以上！
看到这里，小编想用一句话来表达内心的感叹：
深度学习 => 创奇迹 深度学习 + NXP微控制器 => 再创奇迹
其中，令小编印象最深的，就是北京鸿成鑫鼎的总裁廉永康先生，三年前小编与他在一次MCU+AI研讨会中相识，当时小编对该项目的想法是——可以使用基础的图像分类“试一试”，而廉永康先生却毅然启动了这个项目，以极大的胆识采用了更先进的物体检测方法。要知道，3年前别说是基础的图像分类，就算是深度学习在微控制器上的基础软件也几乎还是空白，Arm CMSIS-NN也才发布几个月。
写在最后的话
上面的小故事告一段落，但完整的故事还在继续。小编了解到，北京鸿成鑫鼎科技公司没有就此止步，而是在此基础上，进一步开发出了可以用在水表以外的像灭火器压力计、液晶显示仪表上的改版，让微控制器和人工智能的结合给人民的安居乐业保驾护航！在这其中，恩智浦的高品质长寿命微控制器也将继续履行承担计算平台的光荣使命。
最后，小编想说，深度学习的抻缩性远比我们想象要大得多，只要根据应用的实际要求和硬件平台的特点合理优化和化简模型，有很多想都不敢想的应用都可以变成现实。尤其是不要小看了微控制器的潜力。
微控制器虽然算力比PC或应用处理器弱得多，但是它上面的负担开销轻得更多，再加上深度学习模型这种极大的伸缩性，有太多的“不可能”实际上是可能的，就等您延续奇迹的故事。奇迹多了，也就变得平凡了。
▲本文作者为恩智浦半导体系统工程师宋岩。感谢北京鸿成鑫鼎智能科技有限公司为本文提供的相关图片，文中部分数据和信息参考自以下这篇文章>>
| 
/4 
发表于 2021-12-9 09:58:23
沉默卡
照妖镜
发表于 2021-12-9 10:23:37
发表于 2021-12-9 11:35:20
发表于 2021-12-9 14:48:00
