基于ZYNQ集群的神经形态计算加速研究与实现

基于脉冲神经网络（SNN）的神经形态计算由于工作机理更接近于生物大脑,被认为有望克服深度学习的不足而成为解决人工智能问题的更佳途径。但是如何满足高性能、低功耗和适应规模伸缩需求是神经形态计算系统需要解决的挑战性问题。基于FPGA异构计算平台ZYNQ集群,在NEST类脑仿真器上,重点解决了具有脉冲时间依赖可塑性（STDP）突触计算复杂度高、并行度低、硬件资源占用大的问题。实验结果表明,设计的方法在8节点ZYNQ 7030集群上,性能是Xeon E5-2620 CPU的14.7倍。能效比方面,是Xeon E5-2620 CPU的51.6倍,是8节点ARM Cortex-A9的20.6倍。     

SWAM:SNN工作负载自动映射器

为了满足大规模脉冲神经网络(SNN)的计算需求,类脑计算系统通常需要采用大规模并行计算平台.因此,如何快速为SNN工作负载确定合理的计算节点数(即如何把工作负载合理映射到计算平台上)以获得最佳的性能、功耗等指标就成为类脑计算系统需解决的关键问题之一.首先分析了SNN工作负载特性并为其建立起计算模型;然后针对NEST类脑仿真器,进一步实例化了SNN的内存、计算和通信负载模型;最终设计并实现了一种基于NEST的SNN工作负载自动映射器(SWAM).SWAM可以自动计算出映射结果并完成映射,避免了极其耗时的工作负载映射手动试探过程.在ARM+FPGA、纯ARM、PC集群三种不同的计算平台上运行SNN典型应用,并比较SWAM、LM算法拟合和实测的映射结果.实验结果表明:SWAM的平均映射准确率达到98.833％,与LM方法与实测映射相比,SWAM具有绝对的时间代价优势.     

PEST:由PYNQ集群实现的高能效NEST类脑仿真器

高性能且低功耗地进行大规模类脑仿真是类脑计算所需解决的最具挑战的问题之一.目前类脑计算的实现方式主要分为硬件实现和软件实现两种.通过硬件实现的专用类脑计算芯片与系统可以提供更佳的能效指标,但代价高、适应性差;基于软件方式的仿真(如NEST)拥有完整的应用生态,可用性好但存在计算速度慢的问题.如果将两种实现方式相结合,通过软硬件协同设计,可以在保证良好应用生态的同时获得更高的计算能效,提出了一种基于FPGA异构平台PYNQ集群的NEST类脑仿真器的高能效实现(PEST).通过构建大规模PYNQ集群,设计软硬件数据交互接口实现基于NEST仿真器的规模可伸缩类脑计算系统,针对IAF神经元进行FPGA硬件电路设计,利用MPI分布式计算等方式提升了NEST计算效率.实验结果表明:针对不同的计算模型,在PYNQ集群最佳适配情况下,PEST上神经元更新部分的性能相比AMD 3600X提升超过4.6倍,相比Xeon 2620提升超过7.5倍;PEST的更新能效比相比3600X提升超过5.3倍,相比Xeon 2620提升超过7.9倍.     

基于SNN神经元重分布的NEST仿真器性能优化

为满足大规模脉冲神经网络（SNN）的计算需求,类脑计算系统通常需要采用大规模并行计算平台。然而随着节点数量的增多,通信在仿真中所占比例大幅增加,导致计算效率下降。类脑模拟器开源软件NEST采用缓冲区大小相等的策略,有效缩短了通信时间,但是由于缓冲区互相无交流,使得通信数据量持续增加,因此其在能耗方面表现较差。分析NEST集群的负载特性,针对其中的通信问题进行稀疏性优化,提出基于SNN子图跨节点优化的神经元重分布算法ReLOC。通过优化SNN子图的跨节点分布减少每一轮神经元到进程的数量,从而减少跨节点脉冲,使进程间通信更加稀疏,达到缩减每一轮通信进程的目的。在此基础上,以稀疏交换的思想对NEST本身的通信机制进行改进,使有脉冲交换的进程进行数据交换,从而在连接稀疏的情况下提升通信效率。以包含28个Xilinx PYNQ节点的计算集群作为实验平台,运行皮质微电路SNN模型和平衡随机网络模型,验证ReLOC算法的有效性。实验结果表明,相比循环分布算法,重分布算法能够使通信的平均稀疏性提高20%,同时配合稀疏交换最多可使通信能耗减少98.63%。