中科院微电子所在多模态神经形态感知方面获重要进展

标签:微电子
分享到:

躯体感受系统中的多模态感知可帮助人们获得更全面的物体属性,并对物体的状态做出准确判断。尤其是不同受体的感觉信号在一定的条件下还可被神经元整合并发送到大脑皮层作进一步处理(图1a)。与单模态感知相比,多模态融合感知在评估物体属性和提高物体识别精度方面具有明显优势。在传统的人工感知系统中,多模态信息的处理多采用串行计算架构,传感信号需转换为数字模式才能被处理器处理,产生了较大的功耗和通信带宽开销。此外,传统半导体技术在脉冲域构建这种多模态感知系统还面临着器件集成和电路复杂性方面的挑战,迫切需要开发更高效的多模态融合感知硬件方案。生物感知系统具有并行分布式感官信息处理、低能耗、高容错性等特点,显示出克服传统困境的巨大潜力。 

  近日,微电子所刘明院士团队和复旦大学刘琦教授团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列,该阵列由异质集成的压力传感器和NbOx忆阻器构成(图1b),其中压力传感器用来感知压力,NbOx忆阻器用来产生脉冲输出并感知温度变化。当压力和温度两种激励同时作用于MFSN时,多模态的模拟感觉信息可以融合为一个脉冲序列,显示出优异的数据压缩和脉冲转换能力。此外,通过解耦输出脉冲的频率和振幅,还可从融合信号中获得独立的压力和温度信息,支持了神经元对于单模态信息的保真度和多模态感知能力。团队进一步将MFSN阵列与脉冲神经网络(SNN)结合构建了一种人工多模态感知系统,成功地模拟了人体躯体感觉系统中的多模态信息(温度和压力)感知和多模态物体(不同温度、重量和形状的物体)的分类能力。该工作使构建高效的多模态脉冲感知系统成为可能,为发展高智能机器人技术提供了新思路。 

  该工作得到了国家重点研发计划、国家自然科学基金委、国家重大科技专项、中国博士后科学基金等项目的资助。成果以题“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”发表在国际知名学术期刊《Advanced Materials》上。微电子所博士研究生朱佳雪为本文的第一作者,复旦大学芯片与系统前沿技术研究院刘琦教授和博士后张续猛为共同通讯作者。 

 

7c3ac06b372dd18c15a0a090e4e9dc60

图1.生物躯体感觉系统与人工体躯体感觉系统。(a)人手感知杯子的温度、重量和水杯形状的示意图。(b)由MFSN阵列和SNN分类器组成的人工躯体感觉系统模拟触觉感知的示意图。 

继续阅读
中科院微电子所在无外场单级电压控制SOT-MTJ自旋逻辑器件的研究中取得进展

自旋逻辑器件由于具有非易失性、低功耗以及易于小型化等优点,尤其是基于SOT的自旋逻辑器件具有高速、高耐久性,因而更加适合存内计算领域的应用,具有巨大的应用潜力。

中科院微电子所在新型垂直互补场效应晶体管(CFET)结构设计与仿真研究方面取得进展

垂直堆叠纳米线/纳米片全包围栅(Gate All Around, GAA)互补场效应晶体管(Complementary Field Effect Transistor,CFET),将不同导电沟道类型(N-FET和P-FET)的GAA器件在垂直方向进行高密度三维单片集成。

中科院微电子所在超低功耗IC与AI领域取得新进展

近日,中科院微电子所感知中心低功耗智能技术与微系统团队在低功耗集成电路设计与人工智能领域取得新进展,成功研发出基于亚阈值技术的超低功耗基础电路单元以及超低功耗语音关键词识别技术,可广泛应用于低功耗智能芯片与微系统。

中科院微电子所在存内计算领域取得重要进展

中科院微电子所重点实验室科研团队在40nm 256Kb RRAM 芯片上实现了图神经网络小样本学习的功能验证。在算法层面,研究团队开发了记忆增强图神经网络(Memory-augmented graph neural network, MAGNN)模型。

中科院微电子所在DRAM领域取得重要研究进展

DRAM是存储器领域最重要的分支之一。随着尺寸微缩,传统1T1C结构的DRAM的存储电容限制问题以及相邻存储单元之间的耦合问题愈发显著,导致DRAM进一步微缩面临挑战。

精彩活动