头脑风暴：视觉类应用都需要做到什么

NXP管管

头脑风暴：视觉类应用都需要做到什么

随着人工智能和机器视觉技术的飞速发展，现在没有AI的介入，就显得不是那么高级了，就连现在的MCU都加上NPU了。注入新品MCX N947，视觉类应用已经成为重要组成部分。从工业自动化到消费电子产品，视觉技术的应用确实无处不在。又到了每年一度的主题类最后一个话题：AI，今年有了N947的加持，我想大家在机器学习这个话题上应该更上一层楼了！

头脑风暴内容：
1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些
2、对于处理一些大数据，NPU是不是成为了比较重要的一环？说一说看法
3、除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？

推荐：
MCXN94x： AI模型替换方法

风暴时间：12月18日-12月31日
风暴形式：根据上方3部分内容，大家有没有什么想法在评论区留下来吧。（评论区禁止出现签到这种水回复，希望看到大家的想法）

风暴奖励：本期管管备了：摄像头模块*10个，3.5寸显示屏（带触摸）*5个，5人送出10NXP年豆。

下年将为大家准备各类适配模块，官方的非官方的，也请大家推荐一波，下一期头脑风暴征集一下

阅读全文

lospring

1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些
摄像头和显示屏应该是基础硬件，加上算力好的MCU。
2、对于处理一些大数据，NPU是不是成为了比较重要的一环？说一说看法
有NPU当然好，因为运算量大，有NPU可以更快得出结果。减少算发的复杂程度
3、除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？
何不搞个听觉类的项目呢，声源定位，声源距离测量什么的

qintian0303

1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些
视觉类项目肯定离不开屏幕，至于信号源就多种多样了，摄像头，热成像/甚至tof都能作为来源，都可以试着做，最主要还是处理器
2、对于处理一些大数据，NPU是不是成为了比较重要的一环？说一说看法
这里就要定义一下大数据是多大的，有的项目相对的大数据只要处理速度能够覆盖显示或者采集需求就是可以的，NPU有肯定好，不过不是必须的，相应的适配也要搞起来才行，相对来说成本也会高很多
3、除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？
图象识别语音识别这些做的人比较多，可以借鉴的demo想对多一点，主要是素材比较好找，其实可以高一些震动检测方面的项目玩一玩，或者SD扫描建模的那种，航展被抓的那个手里的扫描设备看着有点高级

许个愿，希望得个3.5寸显示屏（带触摸），虽然我自己画了一个，适配驱动太麻烦了，最后也没点亮

eefocus_3891719

1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些
1)核心处理单元
MCU + NPU（如N947）: 用于运行轻量级的 AI 模型。
GPU/TPU: 在需要更高性能时处理复杂的图像或视频数据。
FPGA: 针对特定算法进行优化。

2)摄像头/传感器
高分辨率摄像头：用于图像采集。
多光谱传感器：支持红外、热成像等特殊场景需求。
深度摄像头（如ToF/结构光）：支持3D建模和深度检测。

3)存储设备
高速内存（RAM）：用于实时处理数据。
本地存储（eMMC/SD卡/SSD）：存储训练数据、模型及结果。

4)通信模块
Wi-Fi/5G：支持实时数据传输。
CAN/RS485/以太网：工业自动化中的有线通信。
BLE/NFC：适用于小型便携式设备。

5)电源管理
高效电源模块：确保长时间运行。
电池：针对便携式设备。

6)辅助设备
屏幕/显示模块：实时显示处理结果。
外部控制模块：按键、触摸屏等用于人机交互。
云接入模块：用于模型更新、数据分析或远程控制。

2、对于处理一些大数据，NPU是不是成为了比较重要的一环？说一说看法

1)加速AI计算：传统的MCU可能无法高效处理复杂的神经网络任务，而NPU可以通过硬件加速快速完成推理（如卷积操作、激活函数等），尤其在处理图像识别、语义分割等任务时，NPU显得尤为重要。

2)降低功耗：相比于用GPU处理AI任务，NPU的设计更加专注于AI计算，能耗大幅降低，非常适合嵌入式设备和边缘计算。

3)实时性需求：在工业自动化或消费电子产品中，实时性是关键，NPU可以显著减少延迟，满足实时决策需求。

4)性价比优化：将NPU集成到MCU中（如N947）降低了AI硬件门槛，使得边缘AI设备的开发更具性价比。

3、除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？

1)医疗辅助
- 简化的皮肤病变检测设备，用于辅助健康管理。
- 使用视觉分析检测人的姿势，用于康复训练或纠正坐姿。

2)创意性娱乐项目

- “AI画师”：摄像头捕捉实时图像并生成艺术风格化的照片。
- 游戏化项目：根据视觉数据实时生成关卡（如跳跃物体生成）。

3)无人设备

- 自动驾驶小车：搭建简易的视觉导航车，用于避障和自动驾驶。
- 无人机视觉跟踪：实现人或物的自动跟随拍摄。


许个愿：摄像头模块。

ltbo4b8d6e

工业方面一般的视觉是需要检测产品的缺陷：
比如 电子元器件的裂痕、喷码等

消费类电子一般是识别物品：
比如  车牌的识别 、电子锁的脸识别

车辆电子一般是识别车辆周围的物体：
比如 是否是行人或者是否是深坑等

如果使用AI的话可能会更简便的使用视觉识别，毕竟视觉貌似是要先对图片处理把特征体现出来再进行计算，可能AI只要标定就行了

不知道分析的对不对，希望大佬指点指点

ldptest

1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些    前端：各种视觉传感器（摄像头，热电堆红外传感器阵列，距离测量传感器，X光，CT，超声，核磁共振等）
    处理器：边缘由各类MCU/MPU（带NPU更好）；后台云平台、服务器等
    后端：显示屏（含AR眼镜等）、显示器、

2、对于处理一些大数据，NPU是不是成为了比较重要的一环？说一说看法
    核心还是模型、算法，好的效率呈指数倍提升。
    对于边缘AI：NPU强弱也决定做出产品的功能与性能。属于次重要吧。

3、除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？

1）社会：人脸识别，人流计算，车牌识别，各类扫码
2）机器人、无人机：自动追随，熟人识别，自动航行
3）安防：跨界追踪，烟火识别，遗物（含人员）入侵识别
4）娱乐：ai相机（修图；换背景）；可以开发视觉类游戏（通过VR\AR眼镜）
5）医疗：各种片的智能识别
6）工业：异常件识别、
7）学习：OCR、各类物品的识别（如识鸟、识花等）


答了一大堆，发现偏题了。除了图像识别外还有：
语音识别：人机对话，语音输入，智能翻译等
异常波形识别：如：示波器、震动传感器、温度传感器、音频传感器等数据采集中异常波形自动识别与捕捉（不像各种触发，而是发现波形与正常有差异时自动触发）；
游戏上有不少AI应用。

sumoon_yao

1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些     机器视觉的配套硬件少不了3大件：摄像头、屏幕和NPU，前两个不用说了吧，没有NPU的加持，CPU算到爆也算不完。

2、对于处理一些大数据，NPU是不是成为了比较重要的一环？说一说看法
     NPU本就是为了模型运算而生，从边缘AI到大数据模型，少了NPU就像用板车去运煤。

3、除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？

     可以做设备预测性维护，比如电机振动监测。

eefocus_3889073

1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些
视觉类应用的开发需要从硬件、算法、应用场景等多个方面综合考虑，尤其是随着AI和机器视觉技术的快速发展，硬件的选择和系统的设计显得尤为重要。首先，从硬件角度来看，一个完整的视觉项目往往需要核心处理单元（如MCU或MPU），而如今为了提升AI处理能力，NPU（神经网络处理器）已经成为不可或缺的组件。NPU的作用主要是加速神经网络的推理过程，特别是在执行卷积操作、大矩阵计算等深度学习任务时效率极高。此外，视觉类项目还需要高质量的图像传感器，例如CMOS或CCD摄像头，用于捕捉清晰的图像或视频。如果需要3D视觉能力，还可以加入深度传感器或ToF（飞行时间）模块，用于获取深度信息或环境建模。存储和内存同样是关键部分，RAM负责实时数据处理，而Flash或SD卡则用于存储训练好的模型和捕获的数据。对于物联网场景，通信模块（如Wi-Fi、蓝牙或5G）也不可忽视，因为它能实现数据传输和远程控制。辅助设备如显示屏和照明模块会进一步提升用户体验，比如在检测结果中实时显示分类标签或在暗光环境中提供补光。
2、对于处理一些大数据，NPU是不是成为了比较重要的一环？说一说看法
在处理大数据时，NPU的重要性愈发显现。与传统的CPU或GPU相比，NPU的设计目标更专注于AI运算，尤其在边缘设备中，NPU表现出低功耗、高效率的优势。它能显著加速大模型的推理过程，实现实时性要求较高的任务，比如目标检测、语义分割或动作识别。这种实时性对于工业自动化、监控系统、无人机等应用场景至关重要。此外，随着神经网络模型复杂度的提升（如YOLO、Transformer等架构），NPU通过支持量化和剪枝等模型优化技术，能够在有限的硬件资源下高效运行，这使得它在未来的嵌入式视觉应用中成为不可替代的组件。
3、除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？
除了传统的图像识别任务，视觉技术还可以应用在许多有趣且易实现的项目中。例如，姿态估计和手势控制可以用于智能家居操作或机器人控制，通过捕捉人体或手部的关键点实现自然的人机交互。智能相机是另一个具有吸引力的方向，可以应用于宠物监控或家庭安防，通过人脸识别或区域入侵检测实现自动化提醒。垃圾分类与物品识别也非常实用，可以结合轻量化的模型实现教育或环保类项目。虚拟背景替换和图像分割技术则可以为视频会议或娱乐应用提供新颖的功能，通过实时去除背景并叠加虚拟场景，增强用户体验。此外，基于视觉的增强现实（AR）技术正逐渐成为热点，用户可以在实际场景中叠加虚拟物体，如虚拟试衣或3D物品展示。对于工业场景，视觉技术可以用于产品缺陷检测或自动化质检，通过部署边缘设备实时发现问题，提高生产效率。更有趣的是，实时翻译和OCR技术也可以结合视觉能力，通过文字识别和翻译为用户提供便捷的语言辅助。

NXP管管

eefocus_3889073 发表于 2024-12-19 16:58
1、你觉得如果想做一个完整的视觉类项目需要的配套硬件都有哪些
视觉类应用的开发需要从硬件、算法、应用 ...

你这个回复感觉就很AI

tobot

认识这个吗？


80、90后的小伙伴第一次认识到视觉类应用应该都是它吧：显像一号
除了图像反馈，还有如下功能
物体识别（一开始区分不出汽车人和霸天虎是训练太少，后面就可以了）
目标跟踪，语音报警
图像增强（包括通过红外图恢复原始图）
多角度静态图实现3D建模
……
还有哪些我暂时想不起来


配套硬件支撑当然是NPU、外置存储和输入输出了
在动画里面，可以用自然语言+触摸输入，显像一号的输出系统包括室内安全警报（激光枪）、智能家居（比如医疗仓）等


处理一些大数据，NPU是不是成为了比较重要的一环？
怎么说呢？我认为大数据的处理可能更重要的是算法，我大学的时候是读的少年班，过目不忘可能是标配，但差别真的很大，同样是读一篇论文，有的人看过就能够复述，有的人是连标点和每行断句位置都能记下来，而有的人能够很快理解其中精髓，并实现应用，类比一下，十几岁的小朋友硬件差异可能不是很大，但思维方法明显是不一样的。


除了图像识别，你觉得还有哪些好实现好玩的项目可以一搞的？
好玩的东西不少啊，自然语言分析、语音合成、图像（视频）生成都是可以搞一搞的。