首 页 >> 单篇全文
基于新型存储器的储备池计算系统研究 [2026-01-22] |
| 【作者】 余杰 中国科学院微电子研究所 【导师】 刘明 中国科学院微电子研究所 近年来,人工神经网络迅速发展,其中循环神经网络被提出用于处理与时间相关的应用场景,如自然语言处理,机器翻译,语音识别等。这些任务对网络的规模要求十分庞大,存在运算量大、训练困难、功耗大梯度消失或爆炸等问题,难以在终端芯片上实现完整的训练和推理过程。因此限制了循环神经网络在时间信号处理和预测等方面的发展。为了解决循环神经网络在信号识别预测任务中的问题,研究人员提出了储备池计算的概念。储备池计算是循环神经网络的一种简化形式,其核心是“储备池”。储备池将输入的时序信号转换到高维空间中,输出层可以通过简单的训练方法进行分类和预测。这个过程储备池不需要训练,因此大幅度降低了循环神经网络的计算量。基于新型存储器的储备池计算,存储与计算发生在原位,不需要进行数据搬移,同时,还可以利用器件本身的物理特性构建大量节点,能够高效高速实现神经网络。然而,基于新型存储器的储备池计算研究尚处于起步阶段,从器件需求到系统实现都不成熟。在器件层面上,器件的非理想特性和器件的波动性制约了系统的实现与能效。在系统层面上,现阶段储备池计算研究主要停留在新型存储器验证阶段,还没有基于新型存储器实现储备池计算的全硬件系统。针对这些问题,本文在器件、网络模型、硬件系统等层面进行了研究。本论文取得的主要创新成果包括:(1)阻变存储器随机电阻阵列实现回声状态网络储备池针对循环神经网络在训练过程中复杂度高,计算量大,参数量大等问题,提出使用阻变存储器阵列构建回声状态网络(Echo State Networks,ESN)模型。基于中芯国际14nm工艺阻变存储器阵列的低电导随机分布特性,并结合python软件平台实现对Mackey-Glass(MG)时间序列的预测。研究阻变存储器阵列稳定性对计算系统的影响,对于预测1000长度的MG信号,初始正规化方均根差(Normalized Root Mean Square Error,NRMSE)为0.0018,100h之后,阻变存储器阵列阻值发生退化,NRMSE增加了170倍。基于此问题,我们分析了阻变存储器退化机理,提出一种延迟脉冲编程方案(Programming with Delayed Pulse,PDP)对阻变存储器导电细丝进行优化 ,提高了阻变存储器的稳定性。与传统的编程方案(Programming with Traditional Pulse,PTP)相比,使用PDP编程方案,对Mackey-Glass序列进行预测,经过100h之后,NRMSE的变化量降低了56倍。(2)动态存储器实现延迟储备池计算针对ESN模型中储备池对器件数目需求量大的问题,设计了一种带有虚拟节点的超薄铁电隧穿结器件。通过增大器件的漏电流提高退极化场,在超薄铁电隧穿结中实现由铁电畴的自发退极化形成极化电流的衰减特性。利用该退极化特性构建了储备池的虚拟节点,首次实现了基于超薄铁电隧穿结的延迟自反馈储备池,降低储备池对硬件器件规模的需求。同时,分析了训练输出层的实现方案,采用华力40nm工艺阻变存储器芯片实现二值输出层提高系统鲁棒性。最终,利用FPGA搭建的电路系统,采用软硬件协同方式实现一套完整的基于新型存储器构建的储备池计算系统。该系统在处理数字序列分类方面表现出低能耗(35pJ/Input)、高处理速度(500ns)和高准确率(98.1%)。(3)延迟储备池计算系统优化针对延迟反馈型储备池计算系统中能效、面积以及吞吐率问题,采用新型易失性存储器NbOx器件结合SMIC 28nm MOSFET将模拟信号转换成振荡信号,实现对储备池状态的转换,同时将储备池状态转换成频率信号传递到输出层中进行训练与推理。该设计方案替代了传统ADC电路方案,提高了储备池计算系统的计算能力。采用该优化方案,储备池计算系统面积减低了0.0015mm2,吞吐率提升了3Mbit/s,能效提升了4.4倍。本论文面向新型存储器实现储备池计算系统中面临的问题,通过仿真分析了器件特性对系统的影响,明确了器件的优化目标;首次将动态储备池与二值输出层结合,优化了储备池网络架构,并进一步优化编码方案,提升了延迟反馈型储备池计算系统的性能。在器件、算法和系统层面对储备池计算系统的优化进行了研究,为储备池计算技术走向实际应用进行了有意义的探索。 基于新型存储器的储备池计算系统研究.pdf |



