AI ISP技术及行业分析

标签:AIISP
分享到:

最近几年,随着国产手机厂商的崛起,作为手机相机最重要的核心芯片:ISP(Image Signal Processing,图像信号处理)的研发也在崛起。2021年中,OPPO于12月发布了自己的ISP芯片马里亚纳MariSilicon X,此前,小米于3月发布了自己独立的ISP芯片澎湃C1,vivo于9月发布了V1 ISP芯片,而最早的是华为用自研的NPU+ISP实现了独具特色的AI拍照功能。智能手机时代,相机是手机上非常重要的部件,所以各厂家独立研发ISP推出各自特色的相机变得非常重要。相机在手机领域的重要性如此,在大摄像头领域(譬如安防、无人机、自动驾驶、海洋、边防及特种行业等等)也是如此。

不过,大摄像头领域的ISP需求有所区别,主要的痛点体现在:是否看得见(在黑夜中),是否看得清、是否看得远。原因在于,在大摄像头领域往往需要在漆黑的夜晚(低照度)也能看得见,在噪声非常大的情况下也能还原图像(看得清,并还原彩色),在无人机、自动驾驶等情况下能够看得远。

为解决这些需求引发的痛点,最近几年行业内出现了一种新的技术:AI ISP。

AI ISP技术

谈到AI ISP技术,不得不把它与传统的ISP技术进行对比。

什么是AI ISP,与传统ISP技术有何区别?

 

7d625f8d53137c4a67cc69fc4879f3d0

传统ISP与AI IS原理

传统的ISP有三种形式,整个pipeline中有不同的模块负责不同的功能。

AI ISP已经有很多公司进行研究,国外英特尔实验室的《Learning to see in the dark》论文中提出,可以通过整个神经网络来实现ISP的全部功能。在这篇论文中,通过一个raw图进入,然后输出RGB或者YUV图像。

什么是AI ISP?我们可以与文中开头提到的手机摄像头的ISP来进行比较,早期手机上的ISP会接收摄像头传感器(CMOS等)获得的原始数据进行处理,后面自从有NPU(神经网络处理器)以来,ISP会把处理过的图像数据发给NPU再次进行深度处理。

早期带ISP的大摄像头(安防等领域)由于没有或者没法集成性能强劲的CPU和NPU,只能把原始图像数据交给ISP处理后,再发给后端强大的服务器(可能是CPU、GPU或者还包含NPU)进行分析处理。而最近两年已经量产并实现了非常好效果的AI ISP相当于把后端服务器的分析处理能力(NPU能力)前移,放到了ISP芯片里面。这实际上就是在ISP芯片之内再进行AI分析。因此,AI算法的优劣就决定了AI ISP性能的好坏,也决定了“看得见”、“看得清”、“看得远”能力的强弱。

AI ISP与传统ISP在上层的应用原理区别如下:

 

0d3013c643e9f56decbcc5acf8e42609

详细的ISP原理、AI ISP原理在此不做深入介绍,感兴趣者可以关注我们或联系作者(微信同名)看相关文章。

AI ISP技术需要解决的问题

文中开头提到,AI ISP技术是为了解决现实需求中的痛点(看得见、看得清、看得远)而研发的。

“看得见”的照度要求

在日常生活和应用场景中,我们在晴天的日光下,照度可以达到10万lux,在树荫下照度下降到了1万lux,在日光灯下,只有300lux,白炽灯下又下降了一半只有150lux,在夜晚的路灯下只有10lux;

烛光下是1lux,在有月亮并且是满月的情况下照度只有0.1lux;

星光下是0.001lux,在没有月亮也没有星星的漆黑的夜晚,照度达到了最低,仅仅1/10000 lux(万分之一)。

在大摄像头领域,包括安防、无人机、自动驾驶等等对“看得见”的基本要求是在10lux,也即是在路灯下能够看得见。

军工级别的要求是在0.001lux也就是有星星的夜晚能够可视(看得见)的要求。

在AI ISP技术的加持下,普通的可以做到0.01lux下能够看得见,更优秀的技术可以做到万分之一照度下(高于军工标准)仍然能够还原图像。

“看得清”:行业升级亟需突破极弱光下彩色成像难题

在十多年前,安防领域对摄像头的要求是晚上能看得见,只要有黑白即可。但是随着市场需求的提高,特别是在城市和重点领域的监控和照射,对看得见彩色的要求越来越高。不仅仅要能看得见黑白色,还得还原“彩色”。而在传统的ISP技术下,很难实现这个要求。

 

f44f1f2b87d70f8a4ff7419b017ef3a8

低照度下的实时全彩夜视是一个世界性难题

不同于手机摄像头的需求,一般都是在有光线或者补光且距离不太远的情况下利用ISP处理并加以NPU还原处理便能实现AI智能ISP。安防等领域的大摄像头的彩色还原对视觉处理已经是一个比较难的问题,在极低照度下的全彩夜视更是一个世界性难题。

下面是夜晚的照度和光通量情况:

 

43af674eb6f813dda044b5ba661d418e

太阳的光通量=3.56 10^28 lm

月球反射的光通量=3.56 10^28 * 9.49*10^6 / (2.82*10^17) * 0.12 *2 =2.87*10^17 lm

满月时地球表面照度=2.87 10^17/(2*3.14*380000*380000*1000*1000) = 0.3 lux

满月下1ms 内 1um^2 的感光芯片接收到的光子数量 =1/683 * 0.3 * 3 * 10^ 12 /

3.67*57^ 19 = 1.2 个

 

c29d26d508b1bcf7ccc6d0383f7615e5

我们从上面夜晚月亮下的光通量和照度情况,再对比光圈与光子数量的情况就可以看出,低照度下对全彩还原的的难度是非常高的。

AI ISP 解决看得见、看的清、看得远

色彩是什么?色彩其实就是不同波段的光,或者不同波长的光,有些光的波长可能是几十米,比如长波、微波,有些光的波长可能只有几个微米,或者只有几个纳米,但是它本质上都是一颗粒子在做弦的运动,有弦比较长,有些弦比较短,本质上都是粒子的运动,我们人的大脑其实在翻译不同频率粒子的运动。

AI ISP是唯一可以实现彩色夜视的技术路线

在过去几乎所有的夜视技术都需要用红外光去做夜间成像,因为在夜间有大量的红外辐射,光的强度足以去激发感光芯片的信号,但在夜间因为可见光非常非常少,所以以往行业基本上没有考虑过用可见光做成像。

传统的微光夜视仪运用近红外波段,热成像仪运用远红外波段来进行彩色还原。

然而,380-790 纳米的可见光波(红、橙、黄、绿、蓝、、紫光)段是光谱中唯一有色彩信息的波段。

 

f41c6a8384edbe9c96c91aa0a4a97034

如上图,所有的色彩(红、成、黄、绿、蓝、紫)都在380纳米到790纳米这样一个波段,AI ISP技术恰恰可以使用这部分的光线,所以能够做到真实色彩的还原。当然,还原的程度就需要看技术算法的优劣。

AI 计算革命将突破传统成像系统天花板

AI的出现带来的计算速度的变化,不同于摩尔定律。大约在2011年和2012年出现了计算革命理论:随着计算规模的提升、数据规模的提升、神经网络复杂度的提升,神经网络所体现出来的速度和效果会远远大于传统的其他方法,它会不断的去超越传统的算法。

 

aefa99a52e99ecd0edcaa6a4356f4fe0

传统的算法再怎么优化都会出现天花板,夜视就是这样,每年可能只有5%和10%的提升,它对色彩的还原其实在十年前已经进入到天花板了。 

但是现在的AI技术能够把夜视技术的速度和效果提升100倍,甚至200倍,主要是因为现在使用了AI的神经网络模型来进行高效运算处理。

AI ISP经过数年的数据的积累,对神经网络模型的不断的改进,对神经网络复杂度的优化,它正在全面去算法的天花板,到了一定的程度就会产生巨大的变化,现在有的厂家已经能够达到200倍以上的提升,所以能够把夜视(全彩还原)做的非常惊艳。

AI成像技术的四大优势

根据业界的AI ISP技术,AI成像具有颠覆性的四大优势:

1、其中,全彩实时成像能够提高30%的目标识别速度,减少60%的识别错误;

2、夜间高分辨率>200万像素全彩成像,从“看得见”到“看得清”;

3、全天候应用结构化数据应用由12小时延伸至24小时;

4、性价比高,无需补光,能耗低,结构简单,可靠性高。

 

23fc558ee1ed0e6bce08d37023e10ddb

市场分析

我们从市场规模,行业应用场景及空间,市场厂商来对AI ISP市场进行分析。

市场规模

2022CMOS出货量近100亿颗

得益于多摄手机的广泛普及和安防监控、智能车载摄像头和机器视觉的快速发展,CMOS图像传感器的整体出货量不断扩大。2020年全球CMOS图像传感器出货量达77.2亿颗,同比增长21.57%。

 

5bcd729f9253641b30a2630cc456c411

预计2022年出货量将进一步增长至91.4亿颗。

 

50fc5cad6caa6259f9d682c833862c30

数据来源:Frost&Sullivan

未来10-30CMOS货量将达到1000亿-3000亿

根据 Frost&Sullivan 统计,全球 CMOS 图像传感器市在2012-2020 年 CAGR 分别达到 17.1%和 15.8%。得益于智能手机、汽车电子等下游应用的驱动,预计未来全球 CMOS 图像传感器市场仍将保持较高的增长速度,至 2025 年全球出货量将达到116.4亿颗,市场规模有望提升至 330.0 亿美元,分别实现 8.6%和 13.0%的年均复合增长率。

未来10 年全球视觉传感器出货量的增长将更快,有望超过1000亿颗,未来30年全球视觉传感器出货量将接近3000亿颗。

行业应用场景

在国内外行业应用中,国内的无人机、自动驾驶、公安、中国铁塔、石油石化、矿井、安全应急、远洋船只、铁路以及消费品行业将是主要的应用场景。

 

335e7a69a5e212f93613212e91b8a0f4

厂商赛道

目前,大摄像头领域的市场根据视觉远近主要划分为三个赛道:

传统安防领域最大的厂商主要有海康、大华、宇视、华为、高德红外,这些厂商的产品主要应用场景是50m-100m范围。

在200-800米范围内的主要厂商有海康、大华和深知未来;

在更远距离上有深知未来、SHEENRUN等。

 

3a6f904d073e3cebcd1366907bccb6ce

其中深知未来是最近两年崛起的厂商,可以称之为黑马,其知影AI ISP技术无论是技术成熟度和效果以及应用便利性等在第二、第三赛道上具有非常强的实力。

知影AI ISP技术的三大优势

在本届世界无人机大会上,笔者了解到AI ISP厂商深知未来的AI ISP技术具有比较明显的优势。无论是在低照度中的可见性还是色彩还原度以及应用方案的匹配易用性与数家传统知名厂商都要出色不少(见后面的效果图)。

1、知影AI ISP 全彩夜视技术与业界通用技术应用效果对比

 

e60d955905888101947c644d2617bc2e

2、知影AI ISP在低照度的全彩还原方面成像快、准、耗费资源少

在芯片方面的说法是算的快、算的准、少烧脑。

知影AI ISP 技术加速镜头和CMOS适配

在大摄像头行业的工程调试过程中,由于采用了新的ISP和AI ISP技术,新一代的传感器与上下游的整合是一个非常大的问题。譬如,手机厂商发布一款新的摄象头,可能采用索尼或者三星的最新一代产品,它要适应这颗新的摄象头大概需要800-2000个算法工程师做调试,大概有3000-4000个参数需要调整,要在500-1000个场景下调试这3000个左右的参数,为了在每一个场景下保证图像的一致性,需要耗费大量的人力。

因为其本身的建模不复杂,建模不复杂带来的副作用就是需要很多的参数来适应不同的场景。比如夕阳下和正午的光照环境和色温有很大的差距,你为了保持图像的一致性就需要通过模型来控制你的参数来做不同的图像表达。

但是新一代的AI ISP通过上亿个参数建模之后,它的鲁棒性、对场景的适应能力变得非常强。

笔者了解到,深知未来没有任何调参的工程师,他们通过大量AI的方法就可以自适应各种不同的新芯片。当然也不是完全不需要时间,以往传统的技术需要180天左右的调参,现在只需大约15 天就可以通过AI完成对芯片的自适应匹配。

效果图

在没有任何光源的暗室现场,我们看到并截取了几个现场图片,如下:

 

2b5ec012ae3fcaa7f0a1c951ca1d4dae

左上角:深知未来;右上角:知名厂商1;左下角:知名厂商2;右下角:普通摄像头

如上图,这是在照度为0.001lux的暗室下的静止图像效果。其中深知未来和知名厂商2的摄像机效果最佳,深知未来的全才还原更真实,颗粒度更饱满细腻。

 

dc51a833db35a449b253a4fb7e183dcd

如上图,这是在有人物走动,相当于有画面流动的情况下的视觉效果。依然是深知未来和知名厂商2效果较好,其中深知未来效果最佳。

 

1ea6428ccb1b5c5b488ab1dfa19d865a

如上图,这是在照度为0.0001lux(万分之一lux,超过军工标准的10倍)的暗室下的静止图像效果。其中深知未来的摄像机效果最佳,依然可以还原全彩效果。

更多AI ISP厂商的优势和技术效果请看后续深入分析和测试,感兴趣者可以关注我们或者联系作者(微信同名)。

结语

AI与ISP技术的结合解决了低照度下实时全彩夜视的世界性难题,传统的安防时代早已过去,过去几年通过大量后端AI算力进行分析的时代也将很快过去,AI前移的AI ISP技术时代或将掀起第三次视觉领域的浪潮。未来10年1000亿颗的规模将给这些AI ISP厂商更大的舞台,市场或许也将产生新的领头羊和独角兽。

在AI算力突破传统成像系统天花板的计算革命下,AI ISP技术也将不断发展,其算力也将越来越强,其产品成本将不可避免的越来越低,拍摄距离也将越来越远,效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术,或许不久将成为现实。

继续阅读
如何让 AI 像人类一样存有大量记忆?

神经网络可以在很多任务上有超越人类的表现,但如果要求一个 AI 系统吸收新的记忆,它们可能会突然忘记之前所学的内容。

网红AI “ChatGPT”在线创作

近日,网红AI“ChatGPT”在AI圈传遍了,据说其能够按照人类的指令创作出各式各样的东西,诸如生成AI绘画词搞设计,输入代码执行以及本文文字创作等。AI正在指数级发展,ChatGPT究竟什么来头,一起来看看。

AI也需要睡觉?研究发现:AI在睡眠后学习力可媲美人脑

AI(人工智能)一直都是人类当下的重点研究对象,目前,它在计算机领域内,得到了愈加广泛的重视,并在机器人,经济政治决策,控制系统,仿真系统中得到应用。

情感AI:为什么它是数字医疗的未来?

听说过情感AI吗?情感AI,是计算机科学的一个领域,帮助机器理解人类的情感。麻省理工学院媒体实验室和Rosalind Picard博士是这一领域的主要创新者。通过他们的工作,激发了帮助机器发展同理心的想法。

让AI走进工业应用的最大障碍是什么?

我相信人工智能(AI)、机器学习(ML)、贝叶斯优化、大数据和其他现代技术可以提高我们建模、理解和优化流程的能力;并且这些技术可以使行业走向操作和维护的自主性。这些是工业 4.0、工业物联网 (IIoT)、智能制造、智能仪器仪表、资产模型和数字孪生等流行语的核心要素。