基于忆阻器的脉冲神经网络硬件加速器架构设计

脉冲神经网络(spiking neural network, SNN)作为第三代神经网络,其计算效率更高、资源开销更少,且仿生能力更强,展示出了对于语音、图像处理的优秀潜能.传统的脉冲神经网络硬件加速器通常使用加法器模拟神经元对突触权重的累加.这种设计对于硬件资源消耗较大、神经元/突触集成度不高、加速效果一般.因此,本工作开展了对拥有更高集成度、更高计算效率的脉冲神经网络推理加速器的研究.阻变式存储器(resistive random access memory, RRAM)又称忆阻器(memristor),作为一种新兴的存储技术,其阻值随电压变化而变化,可用于构建crossbar架构模拟矩阵运算,已经在被广泛应用于存算一体(processing in memory, PIM)、神经网络计算等领域.因此,本次工作基于忆阻器阵列,设计了权值存储矩阵,并结合外围电路模拟了LIF(leaky integrate and fire)神经元计算过程.之后,基于LIF神经元模型实现了脉冲神经网络硬件推理加速器设计.该加速器消耗了0.75k忆阻器,集成了24k神经元和192M突触.仿真结果显示,在5...     

铝基薄膜忆阻器作为感觉神经系统的习惯化特性

感觉神经系统可在外界刺激与生物体反应之间建立联系.感觉神经系统中的最小单位神经元可直接将外界刺激传递至中枢神经,再由中枢神经通过控制和调节生物体对外界刺激作出反应.神经突触连接了相邻神经元进行脉冲信息传递功能.习惯化是神经突触在信息传递中过滤外界无关信息时的一个基本特性,可以让感觉神经系统更快速地适应外界环境变化.忆阻器模拟神经突触功能在近年获得进展,然而针对以忆阻器为基础的具有习惯化特性的神经突触以及完整神经系统的研究相对匮乏.本文利用磁控溅射技术制备了厚度约为40 nm且含铝纳米颗粒的氮化铝薄膜忆阻器,并发现这种结构忆阻器对于重复的外界刺激有明显的习惯化行为,该行为与感觉神经系统的习惯化特性极为相似.若将这种具有习惯化的神经突触与感觉神经元串联,可形成LIF(leaky integrate-and-fire)生物模型模拟完整的神经系统行为,也为忆阻器在第三代神经网络(脉冲神经网络)中的应用提供理论参考.     

基于二维材料MXene的仿神经突触忆阻器的制备和长/短时程突触可塑性的实现

兼具长时程可塑性与短时程可塑性的电子突触被认为是类脑计算系统的重要基础.将一种新型二维材料MXene应用到忆阻器中,制备了基于Cu/MXene/SiO_2/W的仿神经突触忆阻器.结果表明, Cu/MXene/SiO_2/W忆阻器成功实现了稳定的双极性模拟阻态切换,同时成功模拟了生物突触短时程可塑性的双脉冲易化功能和长时程可塑性的长期增强/抑制行为,其中双脉冲易化的易化指数与脉冲间隔时间相关. Cu/MXene/SiO_2/W忆阻器的突触仿生特性,归功于MXene辅助的Cu离子电导丝形成与破灭的类突触响应机理.由于Cu/MXene/SiO_2/W忆阻器兼具长时程可塑性与短时程可塑性,其在突触仿生电子学和类脑智能领域将会具有巨大的应用前景.     

基于忆阻器的spiking神经网络在图像边缘提取中的应用

根据生物视觉系统的功能原理,用忆阻器模拟生物突触,结合忆阻器的记忆特性和spiking神经网络的高效处理能力,构造了一种可用于图像边缘提取的三层spiking神经网络模型,该网络用忆阻器电导的变化量来表征图像边缘信息,仿真结果表明,该方法的边缘提取结果具有连续性、光滑性、低误检漏检性和边缘定位准确性,该神经网络的处理过程符合生物信息处理机制,为视觉系统的仿生实现提供了新的思路。     

仿生生物感官的感存算一体化系统

生物感官集感知、存储与运算为一体的架构使其可以高效并且实时地采集和处理外界信息,这样的感存算一体化架构可为物联网时代面临的传感器数据爆炸问题提供很好的解决方案.为此,本文提出仿生生物感官的感存算一体化系统,采用不同的传感器模拟生物感受器的功能,以获取环境信息,传感器输出的模拟信号输入到模拟信号处理系统进行预处理,这样信号不需要在模拟域与数字域之间转换,可极大降低功耗和延时;预处理后的信号输入类脑运算芯片中进行分析和决策,该芯片由基于忆阻器的人工突触及人工神经元组成,通过控制突触与神经元的连接方式,可以实现不同的算法架构,如全连接脉冲神经网络、卷积脉冲神经网络以及循环脉冲神经网络等;通过运行不同的神经网络,类脑运算芯片可以实现对不同传感器信号的识别、预测以及分类等任务;更进一步,将多种仿生感觉系统的识别或预测结果结合起来,就可以实现多感官融合,这样的系统架构可以用于自动驾驶及智能机器人等复杂的场景中.     

面向神经形态感知和计算的柔性忆阻器基脉冲神经元

受人脑工作模式的启发,脉冲神经元作为人工感知系统和神经形态计算体系的基本计算单元发挥着重要作用.然而,基于传统互补金属氧化物半导体技术的神经元电路结构复杂,功耗高,且缺乏柔韧性,不利于大规模集成和与人体兼容的柔性感知系统的应用.本文制备的柔性忆阻器展示出了稳定的阈值转变特性和优异的机械弯折特性,其弯折半径可达1.5 mm,弯折次数可达10~4次.基于此器件构建的神经元电路实现了神经元的关键积分放电特性,且其频率-输入电压关系具有整流线性单元相似性,可实现基于转换法的脉冲神经网络中神经元的非线性处理功能.此外,基于电子传输机制和构建的核壳模型,对柔性忆阻器的工作机制进行分析,提出了电场和热激发主导的阈值转变机制;进一步对忆阻器和神经元的电学特性进行电路仿真模拟,验证了柔性忆阻器和神经元电路工作机制的合理性.本文对柔性神经元的研究可为神经形态感知和计算系统的构建提供硬件基础和理论指导.     

基于忆容器件的神经形态计算研究进展

人工智能的快速发展需要人工智能专用硬件的快速发展,受人脑存算一体、并行处理启发而构建的包含突触与神经元的神经形态计算架构,可以有效地降低人工智能中计算工作的能耗.记忆元件在神经形态计算的硬件实现中展现出巨大的应用价值;相比传统器件,用忆阻器构建突触、神经元能极大地降低计算能耗,然而在基于忆阻器构建的神经网络中,更新、读取等操作存在由忆阻电压电流造成的系统性能量损失.忆容器作为忆阻器衍生器件,被认为是实现低耗能神经网络的潜在器件,引起国内外研究者关注.本文综述了实物/仿真忆容器件及其在神经形态计算中的最新进展,主要包括目:前实物/仿真忆容器原理与特性,代表性的忆容突触、神经元及神经形态计算架构,并通过总结近年来忆容器研究所取得的成果,对当前该领域面临的挑战及未来忆容神经网络发展的重点进行总结与展望.     

氧化物基忆阻型神经突触器件

忆阻器具有高密度、低功耗和阻值能够连续可调的特性,被认为是模拟神经突触最具潜力的候选者.而金属氧化物,因其氧离子可迁移,组分易于调控,与传统CMOS兼容等优点,是发展高性能忆阻器件的理想材料.本文首先介绍了氧化物基忆阻器件阻变行为及其运行机制,包括数字型和模拟型忆阻器.主要综述了基于模拟型忆阻器实现的突触器件认知功能模拟,包括非线性传输特性、时域突触可塑性、经验式学习和联合式学习等.然后进一步介绍了忆阻型突触器件在模式识别、声音定位、柔性可穿戴和光电神经突触方面的潜在应用.最后总结展望氧化物基忆阻神经突触在相关领域的可能发展方向.     

忆阻类脑计算

随着深度学习的高速发展,目前智能算法的飞速更新迭代对硬件算力提出了很高的要求.受限于摩尔定律的告竭以及冯·诺伊曼瓶颈,传统CMOS集成无法满足硬件算力提升的迫切需求.利用新型器件忆阻器构建神经形态计算系统可以实现存算一体,拥有极高的并行度和超低功耗的特点,被认为是解决传统计算机架构瓶颈的有效途径,受到了全世界的广泛关注.本文按照自下而上的顺序,首先综述了主流忆阻器的器件结构、物理机理,并比较分析了它们的性能特性.然后,介绍了近年来忆阻器实现人工神经元和人工突触的进展,包括具体的电路形式和神经形态功能的模拟.接着,综述了无源和有源忆阻阵列的结构形式以及它们在神经形态计算中的应用,具体包括基于神经网络的手写数字和人脸识别等.最后总结了目前忆阻类脑计算从底层到顶层所遇到的挑战,并对该领域后续的发展进行了展望.     

忆阻突触耦合环形Hopfield神经网络动力学分析及其电路实现

提出一种新型忆阻器模型, 利用标准非线性理论分析三个忆阻特性, 并设计模拟电路。基于忆阻突触, 构建一个忆阻突触耦合环形Hopfield神经网络模型。采用分岔图、李雅普诺夫指数谱、时序图等方法, 揭示与忆阻突触密切相关的特殊动力学行为。数值仿真表明: 在忆阻突触权重的影响下, 它能够产生多种对称簇发放电模式和复杂的混沌行为。实现了该忆阻环形神经网络的模拟等效电路, 并由PSIM电路仿真验证MATLAB数值仿真的正确性。     

基于Knowm忆阻器的新型忆感器模型的设计与分析

以往有关忆阻器模型及其应用研究主要集中于忆阻器基本概念构建并分析忆阻器模型及其等效电路模型,而基于市场上商用忆阻器件的研究则很少.本文根据忆感器与忆阻器之间的理论关系,基于全球首款商用忆阻器芯片:Knowm忆阻器,结合第二代电流传输器和跨导运算放大器,构建了一种新型忆感器模型.通过调节输入信号的频率和幅值以及运算跨导放大器的跨导增益,可有效地在电路中实现忆感器忆感值的连续调节.设计了新型忆感器的LTspice电路模型和硬件实验电路,以电路仿真结果和硬件电路实验结果验证了新型忆感器模型的有效性和设计方法的正确性.     

基于六角氮化硼二维薄膜的忆阻器

报道了一种基于多层六角氮化硼(h-BN)二维薄膜的忆阻器件.该器件不需要电预处理过程,且具有自限流的双极性阻变行为;具有较好的抗疲劳性和较长的数据保持时间.该器件在脉冲编程条件下具有模拟转变特性,即在连续的电压脉冲下器件的电阻态能被连续地调控,使得该器件能够模仿神经网络系统中的神经突触权重变化行为.综上所述,基于多层h-BN的忆阻器具有应用在非易失性存储和神经计算中的潜力.     

面向感存算一体化的光电忆阻器件研究进展

脑启发神经形态计算系统有望从根本上突破传统冯·诺依曼计算机系统架构瓶颈,极大程度地提升数据处理速度和能效.新型神经形态器件是构建高能效神经形态计算的重要硬件基础.光电忆阻器作为新兴的纳米智能器件,因具备整合光学感知、信息存储和逻辑计算等功能特性,被认为是发展类脑视觉系统的重要备选.本文将综述面向感存算功能一体化的光电忆阻器研究进展,包括光电忆阻材料与机制、光电忆阻器件与特性、感存算一体化功能及应用等.具体将根据机制分类介绍光子-离子耦合型和光子-电子耦合型光电忆阻材料,根据光电忆阻特性调节方式介绍光电调制型和全光调制型光电忆阻器件,根据感存算一体化功能介绍其在认知功能模拟、光电逻辑运算、神经形态视觉功能、动态探测与识别等方面的应用.最后总结光电忆阻器的主要优势以及所面临的挑战,并展望光电忆阻器的未来发展.     

蛋白质基忆阻器研究进展

忆阻器作为一种可实现高密度、多功能、低功耗、多级数据存储的新型电子元器件,为电路结构设计、信息存储理论及突触仿生模拟等领域带来了重大变革.在广泛的忆阻器种类中,蛋白质基忆阻器由于具有结构可控降解、原料丰富低廉、生物兼容等优势,在可植入计算、人机交互、人机结合等前沿信息技术领域有着其他材料基忆阻器无可比拟的天然优势,因此被视为是构建下一代高科技信息电子产品最具潜力的候选者.本文归纳了近期蛋白质基忆阻器的研究进展,首先总结了部分蛋白质的研究进展,包含被广泛研究的鸡蛋白蛋白及性能优越的人工重组蛋白等,然后进一步介绍了蚕丝蛋白基忆阻器的研究历程,详细介绍了功能化策略所带给蚕丝蛋白基介观忆阻器的性能提升,并分析了功能化蚕丝蛋白结构与性能之间的构效关系.最后对蛋白质基忆阻器性能进行了综合分析,并展望了该生物电子器件的未来发展契机.     

改进型细胞神经网络实现的忆阻器混沌电路

在通用细胞神经网络单元的基础上,本文利用忆阻器本身的非线性实现了一种改进型细胞神经网络单元.通过连接4个改进的细胞神经网络单元导出了一种基于状态控制细胞神经网络的忆阻器混沌电路.为了验证该方法的正确性,采用通用的电子器件构建了一个忆阻器的模拟等效电路,并对提出的电路进行了实验分析.实验结果与数值仿真结果的一致性表明采用改进型的细胞神经网络可以有效地实现忆阻器混沌电路.     

钙钛矿相界面插层对SrFeOx基忆阻器的性能提升

SrFeO_x(SFO)是一种能在SrFeO_2.5钙铁石(BM)相和SrFeO₃钙钛矿(PV)相之间发生可逆拓扑相变的材料.这种相变能显著改变电导却维持晶格框架不变,使SFO成为一种可靠的阻变材料.目前大部分SFO基忆阻器使用单层BM-SFO作为阻变功能层,这种器件一般表现出突变型阻变行为,因而其应用被局限于两态存储.对于神经形态计算等应用,单层BM-SFO忆阻器存在阻态数少、阻值波动大等问题.为解决这些问题,本研究设计出BM-SFO/PV-SFO双层忆阻器,其中PV-SFO层为富氧界面插层,可在导电细丝形成过程中提供大量氧离子并在断裂过程中回收氧离子,使导电细丝的几何尺寸(如直径)在更大范围内可调,从而获得更多、更连续且稳定的阻态,可用于模拟长时程增强和抑制等突触行为.基于该器件仿真构建了全连接神经网络(ANN),在手写体数字光学识别(ORHD)数据集进行在线训练后获得了86.3%的识别准确率,相比于单层忆阻器基ANN的准确率提升69.3%.本研究为SFO基忆阻器性能调控提供了一种新方法,并展示了它们作为人工突触器件在神...     

一种改进的WOx忆阻器模型及其突触特性分析

忆阻器被定义为第四种基本电子元器件, 其模型的研究呈现多样性. 目前, 忆阻器模型与忆阻器实际特性的切合程度引起了研究者的广泛关注. 通过改变离子扩散项, 提出了一种新的WO_x忆阻器模型, 更好地匹配了忆阻器的实际行为特性. 首先, 新的模型不仅能够描述忆阻器的一般特性, 而且能够俘获记忆丢失行为. 另外, 将新的忆阻器作为神经突触, 分析了脉冲速率依赖可塑性、短期可塑性、长期可塑性, 并发现了与生物系统中极为相似的“经验学习”现象. 最后, 考虑到温度与离子扩散系数的关系, 探讨了温度对突触权值弛豫过程的影响. 实验表明, 新忆阻器模型比原来的模型更切合实际, 且更适合作为突触而应用到神经形态系统之中.     

应用于感存算一体化系统的多模调控忆阻器

交互式人工智能系统的构建依赖于高性能人工感知系统和处理系统的开发.传统的感知处理系统传感器、存储器和处理器在空间上是分离的,感知数据信息的频繁传输和数据格式转换造成了系统的长延时与高能耗.受生物感知神经系统的启发,耦合感知、存储、计算功能的感存算一体化技术为未来感知处理领域提供了可靠的技术方案.具有感知光、压力、化学物质等能力的忆阻器是应用于感存算一体系统的理想器件.本文从器件层面综述了应用于感存算一体化系统忆阻器的研究方向和研究进展,包括视觉、触觉、嗅觉、听觉和多感官耦合类别,并在器件、工艺与集成、电路系统架构和算法方面指出现阶段的挑战与展望,为未来神经形态感存算一体化系统的发展提供可行的研究方向.     

一个通用的记忆器件模拟器

本文根据惠普忆阻器模型提出了一个新的接地忆阻器模拟等效电路.并以此为基础,采用常规的电子元件构建了一个通用的记忆器件模拟器.该模拟器能在电路拓扑结构不变的情况下,通过改变接入元件的性质能将接地忆阻器分别转化为浮地忆阻器、浮地忆感器和浮地忆容器.由于该模拟器是浮地的,因而可以方便的与其他电子器件实现灵活的连接形式.Pspice仿真实验验证了模拟器的真确性和有效性.     

NbOx忆阻神经元的设计及其在尖峰神经网络中的应用

NbO_x忆阻器凭借其纳米尺寸、阈值切换及局部有源特性在神经形态计算领域展现出巨大的应用前景.对NbO_x忆阻器动力学特性的深入分析和研究有利于忆阻神经元电路的设计和优化.本文基于局部有源理论,采用小信号分析方法对NbO_x忆阻器物理模型展开了研究,定量分析了产生尖峰振荡的区域和条件,并确定了激励信号幅值和尖峰频率之间的定量关系.基于上述理论分析,进一步设计了NbO_x忆阻器神经元,并结合忆阻突触十字交叉阵列,构建了25×10的尖峰神经网络(spiking neuron network,SNN).最后,分别利用频率编码和时间编码两种方式,有效地实现了数字0到9模式的识别功能.