eIQ Toolkit上手指南(二)

NXP管管 · 发表于 2022-1-10 13:01:55

eIQ Toolkit上手指南(二)

在上篇，小编给大家简要介绍了我们新推出的eIQ Toolkit工具包，一款辅助我们进行特定机器学习任务开发与部署的利器，可以说做机器学习，我们是认真的！

这次，小编主要给大家介绍下使用此工具箱进行开发的流程。不过，我们将主要讲解其中的eIQ Portal工具。

下面就是eIQ Portal的主界面，非常的简洁：

在导航栏的最上面有三个选项卡分别是：
·REMOTE DEVICES：设置远程设备，来验证/测评模型
·MARKETPLACE：提供额外服务信息和解决方案，适用于NXP及其合作伙伴
·HELP：eIQ ToolKit文档
·WORKSPACES：仅当打开一个工程后才会出现，切换eIQ Portal的各个功能块
接下来是首页，我们可以看到一共分为四个选项：CREATE PROJECT，OPEN
PROJECT，MODEL TOOL和COMMAND LINE，相信大家通过名字已经能够猜到这些按钮都有些什么用了，小编就不再赘述了。

我们来聊聊eIQ Portal的工程文件，它实际上是一个数据库文件，存储了你所用到的所有数据，以及一些相关信息。当你导入图片，添加标签，或是修改数据，这些修改都会自动更新到工程文件中。当然，所有用到的图片数据集也会存储到工程文件中，这也就导致如果使用的数据集体量比较大，那么其对应的工程文件也不会很小。

这里有两点注意：
·同时支持两种文件扩展名，.eiqp和.deepview，但两者没有任何区别
·工程文件以SQLite数据库的形式进行管理

那么怎么进行数据导入呢，我们首先点击OPEN PROJECT打开位于workspace\projects下的fooddataset.eiqp，这是一个eIQ Portal自带的工程文件，是一些食物的数据集：

数据集导入与标记
首先映入眼帘的是这个Data Set Curator，他负责管理和集成不同来源的数据集。数据集有三种导入方式以供选择：
·IMPORT：浏览本地存储并导入
·CAPTURE：通过所连接的摄像头采集
·REMOTE：通过远端设备采集

当然，单纯导入数据集只完成了其中一步，我们还需要对数据集进行标注工作，指定

其标签，告诉软件这是什么。当然，操作也相当方便，我们只需要点击需要标记的图片，即可开始标记工作：

eIQ Portal提供了两种数据标记方案：
Bouding box：通过鼠标框选我们的目标，添加标签，适用于目标检测任务
Full image：直接点击Full Image Lables添加标签，对全图进行标记，适用于图像分类任务

数据集划分
有了数据集之后，我们需要对这些小家伙们进行划分，因为我们接下来需要进行模型
的训练和测试，要保证所使用的数据集是不同的，eIQ Portal提供了方便的数据集划分方法：
手动方法：通过点击Train/Test，手动将某一图像划分为训练集/测试集

自动方法：通过Data Set Curator界面中的控制框，我们可以直接指定训练集与测试集之间的比例，随后eIQ Portal会自动完成数据集的随机划分：

数据集增广
当然，我们也可以进一步增加我们数据集的数量，考虑到一般情况，我们训练模型常常会遇到过拟合现象，即发现测试精度比训练精度低了很多，而这往往是由于我们的数据集比较少，模型不能得到更好的训练导致，模型本身缺乏一定的鲁棒性，不能适应复杂多变的真实环境。
eIQ Portal提供了一个数据增广工具，通过对原始数据施加一些简单的图像学变换来生成新的图片。
通过点击Augmentation Tool进入数据增广工具：

点击GENERATE SAMPLE，可以进行图像预览，这样通过组合变换方式，原始数据会被增广50%，作为模型训练和测试的最终数据集。

模型选择
接下来，万事俱备，我们的数据集都已经准备好了，下面开始选择模型，点击SELECT MODEL：

最简单易用的方式，软件提供了两种不同的任务选项，分类任务和检测任务。针对于这两种任务，都提供了三种类型模型供选择：
·Performance：快速模型，注重模型推理速度，但是会以牺牲精度为前提
·Balanced：性能和精度的折中
·Precision：拥有最高的精度，但是一般推理速度比较慢

接下来需要选择我们的目标平台，这里eIQ Portal给我们提供了4种选择NPU，GPU，CPU和MCU：

相信大家也注意到了左边的一排选项，这是一些高级的模型选择项，供具有一定机器学习开发经验的小伙伴使用：
·RESTORE MODEL：顾名思义，导入我们之前所训练的模型，继续训练
·BASE MODELS：内建模型网络，一般都是经典的预训练网络模型
·USER MODEL：用户自定义模型，我们将再下一篇为大家介绍如何添加自定义模型

模型训练
选好模型之后，会自动跳转到模型训练界面：

这里有几个参数和大家说明一下：
·Weight Initialization: 模型权重初始化策略，包括Imagenet（即网络预训练权重），随机权重，以及本地权重文件（即加载本地所保存的模型权重文件）
·Input Size：指定模型输入尺寸
·Learning Rate：模型训练学习率，控制每次迭代后模型权重更新速度
·Batch Size：每一次迭代所使用的数据大小
·Epochs ToTrain: 总的训练迭代次数
·Enable QAT：使能训练中量化

随后，点击START TRAINING即可进行模型训练：

当模型达到我们所接受的精度之后，我们就可以点击VALIDATA进行模型的测试，当然我们也可以通过修改参数，再次点击CONTINUE TRAINING继续进行训练：

当然，我们的VALIDATE过程并非如此简单，通过点击MODEL TOOL按钮，我们不仅可以一睹模型芳容，还可以看到我们的模型各个层的运行时间，当然，是在PC上的运行时间：

接下来点击DEPLOY可以导出我们所训练好的模型：

这里支持导出三种类型格式，*.rtm，*.tflite，*.onnx，*.h5，其中rtm格式是eIQ Portal工具所原生支持得，适用于DeepView RT推理引擎，其余几种就不再多说了。当然，也支持导出量化模型：

我们可以指定是按照Per Channel或是Per Tensor进行模型的量化，同时可以指定输入输出数据类型为uint8或是int8两种。

选择好之后，点击EXPORT MODEL即可实现指定格式的导出，而下一步就是porting到我们的板子上运行。不过限于篇幅，小编将在下一篇中介绍如何将我们训练好的模型移植到目标板上，同时还会给大家带来如何通过编写脚本的方法，导入我们的自定义模型以及自定义数据集。

那么本次小编就先给大家介绍到这儿了，相信大家看了小编的介绍，已经能够完整的训练并导出一个属于我们自己的模型了，小编先在这里预祝大家成功！我们下期见！

-------------------------------------------------
相关阅读：
eIQ Toolkit上手指南（一）
恩智浦小课堂第二十九期—30分钟在MCU上跑通机器学习
恩智浦相关的【软件大全】

阅读全文