站在巨人肩膀上做AI!基于i.MX RT700的手势识别方案开发实录,欢迎围观~

分享到:

11

 

 

 

小编最近接了一个活儿——要在恩智浦新近发布的MCU产品i.MX RT700上做手势识别的开发。

 

可能小伙伴们才听说i.MX RT700这个恩智浦跨界MCU家族的新成员,小编先来简单介绍一下Ta:

 

 i.MX RT700有5个计算内核,为支持智能AI的边缘端设备赋能,包括可穿戴设备、消费电子医疗设备、智能家居和HMI设备。

 

  • i.MX RT700计算子系统包括一个运行频率为325MHz的主Arm Cortex-M33核,以及一个Cadence Tensilica HiFi 4 DSP,可执行要求更高的DSP和音频处理任务。

  • i.MX RT700的超低功耗感知子系统包括第二个Arm Cortex-M33核和Cadence Tensilica HiFi 1 DSP。这样就不需要外部传感器集线器,从而降低了系统设计的复杂性、占用空间和BOM成本。

  • i.MX RT700包括恩智浦的eIQ Neutron NPU,可将AI工作处理速度提高172倍,并集成了7.5MB的板载SRAM。

 

12

i.MX RT700跨界MCU框图

 

了解恩智浦i.MX RT700跨界MCU的更多技术信息,点击这里>>

 

回到正题,这好像是一个很简单的事情啊,先来个AI开发四联:

 

1.

有数据集吗?有→下载看看,没有→自己拍一些?

 

2.

模型结构是啥样的?是不是有开源的模型呢~

 

2.

模型怎么办?自己搭一个吧~

 

3.

模型部署?那当然是要用上NPU加速啊,不用的话,哪能发挥i.MX RT700的全部实力,那可是内嵌了一颗NXP自研的NPU啊,可将AI工作处理速度提高172倍,简直如虎添翼。

 

这还真让小编找到了,那就是由Google推出的MediaPipe解决方案,可能有小伙伴听说过这个框架。

 

Google MediaPipe是一个开源的跨平台框架,用于构建多模态(如视频、音频、传感器数据)的实时机器学习应用管道。它由Google Research开发并开源,专注于高效处理实时数据流,尤其适用于移动设备、边缘计算和嵌入式系统。

 

Google MediaPipe核心特点包括:

 

01

跨平台支持

  • 支持 Android、iOS、Linux、macOS、Windows和Web,甚至嵌入式设备 (如树莓派)

  • 提供统一的API,简化多平台部署

 

02

模块化设计

  • 通过预构建的“计算单元” (称为 Calculators) 组合成数据处理管道 (Graph),开发者可以灵活定制或扩展功能

 

03

高性能实时处理

  • 优化了延迟和资源占用,适合实时应用 (如摄像头流处理)

  • 支持GPU加速 (通过OpenGL/Vulkan) 和硬件加速 (如Android Neural Networks API)

 

04

丰富的预置解决方案

提供多种开箱即用的模型和管道:

  • 人脸检测与网格 (Face Detection/Mesh)

  • 手势识别 (Hand Tracking)

  • 姿态估计 (Pose Estimation)

  • 物体检测与跟踪 (Object Detection/Tracking)

  • 语音识别 (Audio Classification)

 

05

支持自定义模型

  • 可集成TensorFlow、TFLite或其他框架训练的模型

 

那么开心的事情就来了,这里恰好就有手势识别的项目可供借鉴,点击了解详情>>

 

我们可以调用MediaPipe的手势识别器来进行手部识别并能够标记出关键点。

15

利用MediaPipe的手势识别器进行手部识别并标记关键点

 

太好了!那接下来就可以站在巨人的肩膀上开始搞事情了?

 

虽然有了巨人的肩膀加持,但是我们其实才只走了"AI四步走"的前两步:数据集+模型。真正的难点在于怎么将我们的模型部署到MCU上。尤其是针对于这一类大佬开发的"开源模型 + 闭源推理引擎"来说,我们要自行摸索模型的部署,尤其是涉及到模型预处理部分。

 

接下来,小编将围绕以下这些需要解决的问题,和大家做深入地探讨:

 

1

模型文件的转换:浮点or量化?训练框架?

 

2

推理过程:使用了几个模型?输出结果的含义?

 

3

模型结构优化?

 

 

相关的内容详见本专题中的其他文章,敬请点击阅读——

 

Part.2

如何打造一个属于自己的手势识别应用?

为大家抽丝剥茧,分析整个手势识别的模型处理关系,点击阅读>>

 

Part.3

如何量化tflite模型?

介绍一个好办法,帮你在Windows上玩转tflite2pb工具,点击阅读>>

 

好了!至此,站在巨人的肩膀上开发AI应用的任务就到此完结!

 

本系列专题文章分享了小编的一次项目开发历程,尤其是涉及到如何将网上找到的、不包含推理代码的模型,如何通过一步步地分析,最终转换成可以为我们所用的模型。希望能够帮助大家开发出更多创新的AI应用!

相关资讯
站在巨人肩膀上做AI!基于i.MX RT700的手势识别方案开发实录,欢迎围观~

 i.MX RT700有5个计算内核,为支持智能AI的边缘端设备赋能,包括可穿戴设备、消费电子医疗设备、智能家居和HMI设备。

精彩活动