手把手教你在FRDM-IMX93开发板上体验开箱即用的GoPoint演示程序

NXP管管

前言
NXP的FRDM-IMX93开发板是一款基于i.MX93处理器的评估平台，集成了Arm Cortex-A55、Cortex-M33双核架构、Ethos-U65的NPU以及丰富的外设资源，广泛应用于工业控制、物联网和边缘计算领域。GoPoint 是一款用户友好的应用程序，允许用户快速、轻松地演示 SoC 关键功能，最快几秒钟内即可运行；它为MPU提供了20多个演示程序，并向客户开放完整的源代码；目前FRDM-IMX93开发板支持9个演示程序。GoPoint 遵循Linux Yocto BSP 的季度发布路线图，也是EVK 板上默认映像的一部分。本文将详细介绍如何在FRDM-IMX93开发板上体验GoPoint演示程序。
GoPoint在NXP官网链接如下：
https://www.nxp.com/design/design-center/software/i-mx-developer-resources/gopoint-for-i-mx-applications-processors:GOPOINT
用户从如上链接，可以下载“GoPoint for i.MX Applications Processors User Guide”文档。
为了运行GoPoint软件，用户至少需要如下硬件。有些demo还需要额外的其它设备，可参考User Guide手册关于各个demo的详细解释。

• FRDM-IMX93开发板
• HDMI显示器
• 鼠标
• USB摄像头
  

1 启动GoPoint
1.1 手动下载模型文件
GoPoint中的一些AI/ML相关的demo需要从GitHub上下载一些模型文件和背景图片。国内的网络由于墙的原因，板卡从GitHub下载可能失败。这时候建议用户想办法（科学上网）手动从GitHub上把这些文件下载下来，然后通过网络SCP命令或者U盘拷贝到板卡上。
当前FRDM-IMX93板卡使用L6.6.36_2.1.0版本的BSP，对应的GitHub demo目录如下：
https://github.com/nxp-imx-support/nxp-demo-experience-assets/tree/lf-6.6.36_2.1.0/models
https://github.com/nxp-imx-support/nxp-demo-experience-assets/tree/lf-6.6.36_2.1.0/images
将下载完的如上两个目录中的所有文件，拷贝到本地板卡的如下目录中。
/opt/gopoint-apps/downloads
执行完上述两步后，演示GoPoint中的demo，可以不用再连接互联网了。
1.2 图形用户界面
连接HDMI显示器、鼠标、USB摄像头，启动FRDM-IMX93开发板。在显示屏左上角可以看到一个NXP logo，通过点击这个logo可以启动GoPoint。

鼠标选中某一个demo后，点击右下角的“Launch Demo”按钮，可运行该demo。

1.3 文本用户界面
GoPoint也可以通过远程登录到主板或使用板载串口调试控制台从命令行启动。请记住，大多数演示仍然需要显示器才能成功运行。
要启动文本用户界面(TUI)，请在命令行中键入以下命令：
# gopoint tui
在文本用户界面下可以使用以下键盘操作：

向上和向下箭头键：从左侧列表中选择一个演示

• Enter 键：运行所选演示
• Q 键或 Ctrl+C 键：退出界面
• H 键：打开帮助菜单
  

1.4 关闭演示
当使用图形用户界面来启动演示，要关闭演示时，请使用鼠标移开显示窗口，然后按演示 UI 中的退出按钮或者GoPoint界面的“Stop Current Demo”按钮。当使用文本界面来启动演示，除了使用前述的UI中的退出按钮外，还可以在控制台窗口同时按下“Ctrl”和“C”键来关闭演示。


2 演示GoPoint
2.1 图像分类（Image Classification）
图像分类是一项机器学习任务，旨在从整体上理解整幅图像。目标是通过将图像分配给特定标签来对其进行分类。通常，它指的是仅出现一个对象并进行分析的图像。此示例使用 NNStreamer。
首先选择相机源和后端，然后按运行按钮，图像分类窗口将显示。

如果这是第一次运行此演示，并且没有手动拷贝模型文件，它将自动下载模型文件并编译模型，这种情况下需要确保网络连接正常。后续与AI/ML相关的demo都需要对应的模型文件，此描述同样适用。

2.2 物体检测（Object Detection）
物体检测是机器学习任务，用于检测图像中某一类对象的实例。为每个检测到的对象找到一个边界框和一个类标签。此示例使用 NNStreamer。在之前的文章中，我们进行了相似功能的视频演示，详细信息可以参考之前的公众号文章，i.MX演示示例 - i.MX8MP ISP摄像头与视觉机器学习。

2.3 自拍分割器（Selfie Segmenter）
Selfie Segmenter 通过使用 NPU 加速实例分割模型，展示了 i.MX 93 的 ML 功能。此模型可让您分割人物肖像，并可用于替换或修改图像的背景。此示例使用 NNStreamer。

2.4 i.MX 智能健身（i.MX Smart Fitness）
i.MX Smart Fitness 通过使用 NPU 加速两个基于深度学习视觉的模型，展示了 i.MX 的机器学习功能。这些模型共同检测场景中的人，并预测 33 个 3D 关键点以生成完整的身体标志，这称为姿势估计。根据姿势估计，该应用程序跟踪“深蹲”健身运动。此示例使用 NNStreamer。

在之前的文章中，我们进行了相似功能的视频演示，详细信息可以参考之前的公众号文章，i.MX演示示例 - i.MX8MP与视觉机器学习（跌倒检测及姿态识别）。
2.5 DMS驾驶员监控系统（Driver Monitor System）
该应用展示了在 i.MX 93 平台上实现 DMS 的能力，以及神经处理单元 (NPU) 带来的性能提升。DMS 总共使用四个 ML 模型来实现人脸检测、捕捉人脸标志和虹膜标志、吸烟检测和打电话检测。

2.6 ML 基准（ML Benchmark）
该示例基于 Tensorflow Lite 框架中的 benchmark_model 工具，可以轻松比较在CPU（Cortex-A）和 NPU 上运行的 TensorFlow Lite 模型的性能。

2.7 视频测试（Video Test）
这是一个简单的演示，允许用户播放在相机或测试源上捕获的视频。它基于gstreamer 管道。

2.8 i.MX 智能厨房（i.MX Smart Kitchen）
i.MX 智能厨房展示了 i.MX 的多媒体功能，通过语音命令控制的 GUI 模拟交互式厨房。该 GUI 基于 LVGL（小型多功能图形库），NXP 的语音智能技术 (VIT) 支持语音命令。该演示需要一个麦克风输入。

2.9 i.MX 电动自行车 VIT（i.MX E-Bike VIT）
i.MX E-Bike VIT 展示了 i.MX 的多媒体功能，可通过语音命令控制的 GUI 模拟交互式电动自行车。GUI 基于 LVGL（小型多功能图形库），NXP 的语音智能技术 (VIT) 支持语音命令。该演示需要一个麦克风输入。

支持唤醒词：

• HEY NXP
• HEY E Bike
• 支持语音命令：
• NEXT PAGE
• LAST PAGE
• RUN DEMO
• STOP DEMO
  

3 一些有用的链接
GoPoint User Guide:
https://www.nxp.com/design/design-center/software/i-mx-developer-resources/gopoint-for-i-mx-applications-processors:GOPOINT
GoPoint repo:
https://github.com/nxp-imx-support/nxp-demo-experience-demos-list/tree/lf-6.6.36_2.1.0 (Including source code of demo: Selfie Segmenter, DMS, ML benchmark, Video test)
GoPoint模型文件：
https://github.com/nxp-imx-support/nxp-demo-experience-assets/tree/lf-6.6.36_2.1.0/
Image Classification/Object Detection:
https://github.com/nxp-imx/eiq-example/tree/lf-6.6.36_2.1.0
i.MX Smart Fitness:
https://github.com/nxp-imx-support/imx-smart-fitness
i.MX Smart Kitchen:
https://github.com/nxp-imx-support/smart-kitchen
i.MX E-Bike VIT:
https://github.com/nxp-imx-support/imx-ebike-vit


编后语
本文展示了FRDM-IMX93开发板支持的9个GoPoint演示程序，用户可以参考“GoPoint for i.MX Applications Processors User Guide”文档获取具体细节。关于GoPoint演示程序的更多问题，欢迎留言或私信咨询。

阅读全文