中科院微电子所在忆阻器实现连续学习方面取得新进展

标签:微电子
分享到:

近年来,以深度学习和神经网络为代表的人工智能技术在人脸识别、自动驾驶、智慧城市和健康监测等多个领域迅速发展。但传统神经网络模型在处理多任务连续学习时将会面临灾难性遗忘问题,即神经网络在学习新任务时会遗忘已经学到的知识,导致在执行先前任务时性能大幅下降。 

针对这一问题,微电子所微电子器件与集成技术重点实验室刘明院士团队的尚大山研究员、香港大学的王中锐博士和清华大学刘勇攀教授等基于忆阻器存算一体芯片,开发了一款软—硬件协同设计的连续学习原型系统。在软件方面,受人类大脑启发,团队提出了一种基于突触元可塑性的混合精度连续学习模型(MPCL)。该模型采用前馈全连接神经网络架构,其中隐藏层权重分别由二值权重和浮点型权重两部分组成(图1a)。模型在进行多任务连续学习时采用了非对称权重更新策略,通过限制与新任务相关性弱的权重更新,平衡权重的可塑性与稳定性,从而有效缓解灾难性遗忘(图1b)。在硬件方面,团队将MPCL模型部署在一个由忆阻器(RRAM)存算一体(IMC)芯片和通用数字处理器组成的混合模拟数字硬件系统上(图1c)。通过将二进制权重映射到忆阻器阵列,该系统采用IMC计算范式,利用基尔霍夫定律和欧姆定律加速向量矩阵乘法操作,减少了处理器和存储器之间数据传输的能量和时间开销。同时,为减轻忆阻器非理想因素对系统性能的影响,团队在软件模拟中重构了与硬件完全相同的计算流程,并利用原位精调的方法优化了权重的映射过程,并使硬件系统在保持推理准确率的同时最大限度地提高计算并行度(图1d)。该原型系统在MNIST和Fashion MNIST数据集上分别实现五个任务连续学习94.9%和95.3%的平均准确率(图1e),同时相较于传统数字系统,核心运算能耗得到大幅降低(图1f)。这种基于忆阻器存算一体能力的连续学习实现方案,为未来构建具有自适应能力的低能耗人工智能体提供了参考。 

该项目得到了科技部、国家自然科学基金委、中科院和香港大学的支持。成果近期发表在《先进智能系统》期刊上(Advanced Intelligent Systems, DOI: 10.1002/aisy.202200026),微电子所博士研究生李熠为文章的第一作者,香港大学王中锐博士,微电子所尚大山研究员为该文章的共同通讯作者。Wiley学术出版集团科技新闻网站Advanced Science News对这一研究结果以“Continual learning, just like humans”为题进行了专题报道。 

 

}LB6HM)Y$T%L{$OGCKB7G2F

图1. (a) 混合精度连续学习模型程序框图;(b)非对称更新策略限制权重更新;(c)基于忆阻器芯片的数模混合硬件系统;(d)并行度优化前后准确率对比;(e)多任务连续学习的硬件准确率与软件基准对比;(f)与数字系统MAC功耗对比。

 

继续阅读
中科院微电子所在多模态神经形态感知方面获重要进展

躯体感受系统中的多模态感知可帮助人们获得更全面的物体属性,并对物体的状态做出准确判断。尤其是不同受体的感觉信号在一定的条件下还可被神经元整合并发送到大脑皮层作进一步处理

中科院微电子所在忆阻器实现连续学习方面取得新进展

近年来,以深度学习和神经网络为代表的人工智能技术在人脸识别、自动驾驶、智慧城市和健康监测等多个领域迅速发展。但传统神经网络模型在处理多任务连续学习时将会面临灾难性遗忘问题,即神经网络在学习新任务时会遗忘已经学到的知识,导致在执行先前任务时性能大幅下降。

中科院微电子所在氧化铪基阻变存储器领域研究中取得进展

为应对大数据时代海量数据的存取需求,基于新材料、新原理、新结构的新型存储技术必须具备低功耗和高密度集成的特点。阻变存储器具有低功耗、高速存取、易于三维集成及存算融合等特点,有望成为下一代主流的存储技术。

中科院微电子所在SOT型磁性存储器研究领域取得进展

日前,微电子所微电子器件与集成技术重点实验室在SOT型磁性存储器(MRAM)研究领域取得新进展。

微电子所在毫米波GaN MIS-HEMT器件研究方面取得突破

近日,微电子所刘新宇研究员团队以PEALD 沉积SiN作为栅介质,成功研制出高性能毫米波MIS-HEMT,并通过远程等离子体预处理(RPP)技术,在EC - ET > 0.4 eV条件下, 界面态密度达到了6×1011 cm-2 eV-1~2.1×1012 cm-2 eV-1,实现了低界面态密度,减小了器件的关态泄漏电流,保证了器件具有良好的阈值电压稳定性。与常规HEMT器件相比,MIS-HEMT器件沟道载流子迁移率显著提高,器件电流崩塌效应得到抑制,在30GHz连续波测试中

精彩活动