|
恩智浦的产品如何在智能大赛AI视觉组上发光发热
“Bi~Bi~Bi识别成功”社区前边我们也学习到过物趣系列多物体识别，堪称经典，多物体识别！物趣系列的最终目标是实现基于55S69的智能识别，猫猫狗狗之类的，能支持到多少种“物”，看具体进度。物趣系列技术路线：OV7670采集图像➡1.77寸TFT屏显示➡ESP8266上传服务器➡获取识别结果➡显示到TFT屏上！
演示 演示 这次第十六届智能车竞赛AI视觉组，同样有用到此类功能且直接应用到了我们恩智浦的产品，并且直接实战上了，看看都能玩出什么新花样吧！
首先，我们来看看我们恩智浦的产品在智能车大赛AI视觉组有什么优点：
第一部分由恩智浦系统工程师张岩主讲：
一、 恩智浦MCU介绍
二、 模型量化工具-NNCU
三、 OpenMV NNCU \ TFLite模块
四、 公众号相关资源汇总
第二部分由逐飞科技的技术负责人徐康主讲：
一、 基础环境搭建
二、 训练动物与水果分类模型
三、 使用NNCU量化模型
四、 使用openart mini运行量化之后的模型
五、 Micropython 基础硬件控制
接下来，我们看看AI视觉组的规则：
简 介： 本文对于参加2021年第十六届智能车竞赛全国总决赛线上比赛室内AI视觉组比赛细则。
关键词： 智能车竞赛，线上比赛，室内视觉AI
一、比赛方式
由于AI视觉组的特殊识别任务，比如分赛区的竞赛中我们看到需要在赛道上特殊位置部署识别靶标，因此会造成赛道需求与其他室内赛题组不同，比赛过程中需要更换靶标，这样使得比赛流程复杂，需要人员多。为了能够方便参赛同学与其他赛题组共用赛道，简化比赛过程，在第十六届智能汽车竞赛的室内AI视觉组比赛中，我们将车模的运行功能与任务识别功能分别进行考察，分别进行积分。
这样也可以防止参赛队伍只进行赛道得分，或者只进行识别得分，这样就违背了该组别的宗旨。所以AI视觉组的比赛需要参赛队伍在给定的时间内（比如两分钟），分别执行循迹任务和识别任务。
1、循迹任务：车模在赛道上运行，计算积分值，规则及赛道要求与基础四轮组一致，只是每次运行的限定时间变为两分钟；
2、识别任务：车模在固定位置，两分钟内对固定位置的图片内容进行循环识别并作出相应动作来获得积分值，动作要求请查看图片识别得分标准里的备注栏描述；
通过任务分离的方式，就可以实现与其他室内组进行赛道共用的目的，同时也单独对所有识别任务进行单独考察，避免分赛区出现的“遇码即停”的钻空子比赛方式，需要充分考察国赛高水平小车的AI视觉的任务是否能完成。
赛道运行任务的2分钟和图片识别任务的2分钟分别进行倒计时，这样是为了让同学们中间切换时不必慌张，但中间的衔接时间也不能过长，两个任务之间可以擦轮胎，但整个小车正式比赛开始后到车模检查结束都不能更改任何结构，也不能拆掉OpenART以及旋转舵机等，因为此时参加比赛的小车应该是一个完整的作品。
二、计时与积分
1、计时：
AI视觉组的计时分为两部分，第一部分是赛道运行的两分钟倒计时，第二部分是识别任务的两分钟倒计时，两部分任务分别进行倒计时比赛。
考虑到比赛为线上多个点进行，同时结合今年的积分制赛制，所以各线上赛的赛点不必要购买计时系统。比赛进行时，只需要在直播画面中持续拍到另一个在（两分钟）倒计时的手机即可，当然如果已经有逐飞的计时系统，仍然可以采用计时系统进行（两分钟）倒计时，并且也需要拍到计时的大屏幕画面，以此来记录比赛进行的（两分钟）倒计时是否符合规范。
2、积分：
赛道运行任务的积分标准与基础四轮组的积分标准一致，每次发车的两分钟内，可以一直跑来获取最多的积分，冲出赛道或犯规后则视为本次发车的积分停止，不允许本次发车机会的两分钟内重新重车库发车，也不允许在小车犯规或冲出赛道后由选手捡回小车从赛道中间发车，这也是对车模稳定性的一个考察。
图片识别积分任务分为“积分”和相应“扣分”环节，积分也是在两分钟内可以多轮次一直识别累计积分，直到两分钟倒计时结束。“扣分”是当识别错误做出错误动作或不做动作时的惩罚手段。
扣分规则为：当屏幕上出现相应图片时，小车不能进行相应动作或动作错误，则扣除本次任务对应的分值。比如屏幕出现水果图片时，小车未能完成识别和打靶，则扣10分；出现偶数数字图片时，小车未能按要求前行进大约30厘米，然后退回到原地，则扣5分；
最终得分为赛道运行的积分+AI识别的积分。赛道运行任务和图片识别任务是分别倒计时的2分钟，两个任务之间不允许调整时间，即便放弃某一项任务，另一项任务的时间也只有2分钟。
AI视觉组赛道各元素积分分值、图片识别得分标准见下表：
上述得分标准需要进一步优化。并在8月15日之前进行正式确定公布。
下图给出了车模对于不同的图片对象进行的动作：
▲ 图0.1 识别二维码进行小范围移动 ▲ 图0.2 识别水果产生激光投射 ▲ 图0.3 对于数字根据数字的奇偶完成大幅度移动 ▲ 图0.4 识别动物车模摄像头或者前轮进行转动 三、比赛流程及裁判方式
参赛队伍有3次发车机会和识别机会，每次发车限时两分钟，每轮识别也限时两分钟；三次机会中取最高积分那次作为最终成绩。
1、赛道运行：
赛道运行的判罚与基础四轮组一致，需要小车从车库出发，按赛道顺序运行各元素，只要两分钟内没冲出赛道、没犯规，就可以一直在赛道上运行并获得积分，冲出赛道及犯规的判罚请查看裁判手册。
2、AI识别流程及动作要求：
按照传统的方式，AI识别的数据集准备就有了一定的困难，提前发布比赛数据集会导致利用其它方式进行辨别而放弃AI识别的可能性，如果比赛当天才发布比赛用的数据集也不能保证所有队伍都有彩色打印机来进行打印。
为了解决这两种矛盾，组委会委托逐飞科技用OpenART mini对电脑显示屏直接显示的图像、数字、AprilTag码进行识别做了验证，经过验证，只要设置合适的曝光，用实际图片进行训练的模型也能识别显示屏直接显示的内容。届时，逐飞科技将提供一个正式比赛版的图片显示软件，开始正式比赛时，软件按照AprilTag码、动物或水果、数字、动物或水果的顺来进行每一轮的显示，其中动物和水果是随机出现的，用固定AprilTag码和数字出现的顺序旨在为小车提供一个操作标志，降低整体难度，这一改变也是按照草案发布后部分参赛选手的诉求来做的修正。
因此比赛时将采用直接对电脑屏幕播放的图片进行识别的方式，为方便同学们训练使用，逐飞科技将首先将为大家提供一个训练板的图片显示软件，软件可以自己勾选为训练模式和模拟比赛，训练模式时点击对应名字的按钮，软件就显示对应图片，连续点击同一个按钮就会随机连续切换显示该类别的其他图片，方便选手调试，如下列图片所示：
▲ 图1.1 电机动物按钮 ▲ 图1.2 点击水果按钮 ▲ 图1.3 点击Apriltag码按钮 ▲ 图1.4 点击数字按钮 选手若想模拟比过程，勾选上模拟比赛选项即可模拟正式比赛的流程和顺序，如下列图片所示：
▲ 图1.5 勾选模拟比赛选项，点击开始后软件先显示空白 ▲ 图1.6 本轮第一次点击下一张图片按钮后首先随机显示Apriltag码 ▲ 图1.7 本轮第二次点击下一张图片按钮后，软件随机显示动物或水果图片 ▲ 图1.8 本轮第三次点击下一张图片按钮后，软件随机显示数字 ▲ 图1.9 本轮第四次点击下一张图片按钮后，软件随机显示动物或水果 此时下一张图片按钮同步变为灰色，再次点击“开始”按钮可进行下一轮识别，以此实现在2分钟限时内可以累计进行积分。需要注意的是，为防止鼠标误双击导致图片跳过，“下一张图片”的按钮有500ms延时，以确保误操作导致某一次的图片直接被跳过影响小车的识别。
训练版AI视觉组图片显示软件下载地址：链接：https://pan.baidu.com/s/1Zda0CzfemMQ7zGDhBJGtgw
提取码：ishd
正式比赛的软件版本将在比赛当天发布，图片内置在软件内，图片源文件用户不可见，同时正式比赛版本的界面也有明确标识，直播时需清楚的看到软件的版本，正式比赛时不允许使用训练版软件。同时比赛时需要直播现场通过链接下载软件到本地，根据下载的目录打开软件的过程，整个操作过程不计入2分钟图片识别任务，倒计时时间从打开软件后，点击“开始”按钮时开始。
图片识别场地设置要求：
由于小车需要根据识别的结果做出不同的动作，尤其数字和AprilTag码需要前后移动不同距离，所以在场地布置时，需要在前后各放一把不小于30CM的直尺来进行距离标识，以方便从视频中来对小车的动作进行判罚。同时国赛的数据集中将继续从之前公布的数据集中选取，但正式比赛的数据集将包含深色背景的动物或水果图片。
图片识别场地依然布置在赛道旁，任意一截大于1米的直道都可以，电脑放在原来靶标的位置，赛道边有一把1米长的直尺进行距离标识，小车放在这截直道上，如下图示意：
▲ 1.10 应用笔记本电脑进行测试示意图 为了让选手们清楚的理解规则，由“逐飞科技”为大家录制了一个图片识别任务演示视频：第十六届全国大学生智能汽车竞赛AI视觉组图片识别积分任务演示。
四、正式比赛及拍摄要求
为方便组织与开展，同一个赛点多个类别的比赛进行串行开始，所以一个赛点理论上只需要一个视频直播间，但需要提前演练直播拍摄角度，测试直播信号，建议用速度更快的5G信号进行直播，若室内WiFi信号稳定，也可采用WiFi网络进行直播，直播过程需要拍摄清楚每一个过程，如果有手持稳定器或三脚架，建议也用上此类设备，这样可以保证画面比较稳定，使得记录的视频观赏效果更好。
以下是详细要求：
1. 发车后选手不能跟车走，小车运行过程中不允许中途操作或接触小车，同时也避免挡住拍摄视线；
2. 需要在直播的视野范围内看到正在进行倒计时的手机或大屏幕或其他倒计时设备，倒计时结束后的完成动作不予积分；
3. 在赛道上运行时，发车后镜头要及时拍到小车，不能跟丢让小车跑出视野外；
4. 在拍摄识别任务时，需要拍摄清楚小车的动作以及被识别图片内容，方便通过视频判断动作是否完成的正确，同时需要在赛道边上放一把不小于100cm的直尺来进行距离标识，直尺的中心与小车的中心对齐，以方便从视频中来对小车的动作是否达标进行判罚。；
5. 需要安排一个机位直播，一个机位录制本地视频存储，以防信号出现问题时，有另一个机位的视频作为参考证据；
6. 直播视频时需要对竞赛过程进行实时解说和播报，同时需要在另一台电脑上打开直播并对整个直播过程进行录屏，最终作为有效材料汇总提交给组委会，请提前熟悉整个操作过程；
7. 正式比赛时需要像分赛区那样配备裁判对比赛过程进行判罚，具体判罚标准请查看裁判手册；
8. 车模检查过程也需要进行直播，车模检查要求参考技术要求表；
9. 直播的目的是公开透明比赛过程，不能让人产生直播没看到关键点的情况，这样就有争议，所以大家需要在准备过程中严格要求自己，做到公开透明，视频把细节都拍到，在出现质疑的时候也很容易有视频证据作为解释，大家共同维护比赛规则，才能做到消灭质疑；
五、比赛次数及同分排序
今年全国总决赛因为疫情采用了线上比赛的方式，赛道自行按规定铺设，因此每个队伍可以在准备过程中有充分的调试时间，并且队伍车模性能高，可靠性强。所以为了使得线上比赛更加的紧凑，观赏性强，可以采用三次决胜负的方式。也就是每个队伍只进行三次发车，每次发车的赛道运行及图片识别任务各两分钟，取成绩最好的一次作为最终比赛成绩。
若产生了同分的情况，根据其他组的排序方式来进行。
日天有话说：将物体识别应用到智能车上，你有什么好的见解？你觉得恩智浦的有点在哪？或者你可以复刻吗？玩起来吧，攻城狮们！有奖！有惊喜！
| 
870 NXP金币
/4 
发表于 2021-8-12 10:07:52
沉默卡
照妖镜
发表于 2021-8-12 10:14:36
发表于 2021-8-12 10:20:06
楼主
