东芝宣布时域神经网络技术:让低功率IoT设备也能深度学习

分享到:

为了追求其在物联网和大数据分析领域的未来,东芝公司正在开发一种时域神经网络(TDNN/Time Domain Neural Network),采用了超低功耗的神经形态半导体电路,可用于执行深度学习的运算。TDNN 由大量使用了东芝自家的模拟技术的微型处理单元构成,这让它和传统的数字处理器不一样。TDNN 在 11 月 8 日的 A-SSCC 2016(2016 年亚洲固态电路会议)上报告了出来——这是由 IEEE 赞助的一个在日本举办的国际性半导体电路技术会议。

深度学习需要大量的计算,所以通常需要在高功率的高性能处理上运行。但是,如果要将深度学习和物联网边缘设备(IoT edge device)(如传感器和智能手机)结合起来,就需要非常高能效的 IC(集成电路)——它可以执行大量所需的运算,同时仅需消耗极少的能量。

在冯诺依曼型的计算机架构中,大部分能量都消耗在了将数据在片上或片外存储设备与处理单元之间的传递之中。减少数据移动的一种最有效的方式是使用大量处理单元,其中每一个都仅处理与其接近的一个数据。这些数据点在将输入信号(比如猫的照片)转换成输出信号(比如识别照片中有猫)的过程中会有一个权重。数据点离目标输出越近,其获得的权重就越高。该权重是自动化引导深度学习过程的一个参数。

生物大脑也有相似的架构。在生物大脑中,神经元之间的耦合强度(权重数据)内建于突触(处理单元)之中。在大脑里面,突触是神经元之间的连接,每一个都有不同的强度。这些强度(权重)决定了通过该连接的信号。突触可以通过这种方式执行某种形式的计算处理。这种架构被称作是完全空间展开架构(fully spatially unrolled architecture);它很有吸引力,但也有一个明显的缺点——将其复制到芯片上需要大量的算术电路(arithmetic circuits),而且会很快变大到难以承受的程度。

东芝的 TDNN 从 2013 年开始开发,使用了时域的模拟和数字混合的信号处理(TDAMS/time-domain analog and digital mixed signal processing)技术,可以实现处理单元的小型化。在 TDAMS 中,比如加法这样的算术运算可以通过使用像模拟信号一样的数字信号通过逻辑门的延迟时间来有效地执行。使用这项技术,用于深度学习的处理单元可以仅有完全空间展开架构的 3 个逻辑门和 1 bit 内存即可。东芝已经制造出了一款用于概念验证的芯片,其使用了 SRAM(静态随机存取存储器)单元作为内存,并且已经证明能够用来识别手写数字。其每条指令的能量消耗是 20.6 fJ,仅有之前一场顶级会议上报道的成绩的 1/6.

东芝计划将 TDNN 开发成一种电阻式随机存取存储器(ReRAM/resistive random access memory),以进一步提升能量和数据的效率。其目标是得到一款能够在边缘设备上实现高性能深度学习技术的 IC。

 

更多恩智浦(NXP)及科技资讯请关注:
NXP中文官方:https://www.nxp.com/zh-Hans/
NXP中文技术论坛:https://www.nxpic.org.cn/

 

继续阅读
培养产业人才的“芯片大学”真的来了!南京集成电路大学正式成立!

10月22日,南京集成电路大学揭牌暨产业人才培养高端论坛在南京举行。会上,由南京江北新区联合企业、高校共同成立的南京集成电路大学,在南京江北新区人力资源产业园举行揭牌仪式。

工信部:引导国家集成电路产业等基金投资运作,着力发挥产业基金作用

工信部副部长辛国斌在2020金融街论坛年会上表示,着力发挥产业基金作用,引导国家集成电路产业基金、制造业转型升级基金、中小企业基金和先进制造业投资基金等投资运作,配合产业、财税、金融等政策,加强投贷联动。

江苏省科技厅党组书记:江苏集成电路产业产值占全国28%,重点实验室已开始研发6G技术

据中国江苏网报道,近日,江苏省科技厅党组书记、厅长王秦表示,在刚刚迈入5G时代的同时,江苏省的重点实验室已经开始研发6G技术。

多种统计口径的数据都纷纷显示,中资对美国的直接投资呈现大幅下降的趋势

多种统计口径的数据都纷纷显示,自2017年下半年以来,中资对美国的直接投资呈现大幅下降的趋势。路孚特(Refinitiv,原汤森路透金融与风险业务)向21世纪经济报道提供的数据显示,在中资跨境并购的高峰期也就是2016年,美国是中资第一大海外并购目的地,其中高科技在所有行业吸引中资最多占比近24%,当年披露的并购总规模近145亿美元,这一数字在2017年下降至了19亿美元左右,而今年迄今的规模仅不到7亿美元(6.888亿美元)。

浙江大学硅材料国家重点实验室制备出了能耗可以低至皮焦耳(pJ)光遗传学启发的神经突触器件

近日,浙江大学硅材料国家重点实验室的杨德仁院士和皮孝东教授等人利用硅纳米晶体的突出光电性能,制备出了能耗可以低至皮焦耳(pJ)光遗传学启发的神经突触器件。这些器件首次实现了神经突触器件的电刺激(光输出)。它们能够模拟生物神经突触的一系列重要的行为如短程可塑性、长程可塑性和尖峰时序可塑性。它们也可以进行逻辑计算,有望实现存储和计算的一体化。相关研究成果发表在了学术期刊Nano Energy(《纳米能源》)上。

精彩活动