基于ZYNQ的卷积神经网络加速器设计

针对卷积神经网络在嵌入式系统需要耗费大量计算资源、计算复杂度高等问题,提出一种基于ZYNQ系列FPGA的加速方法。通过HLS工具对卷积神经网络加速器进行设计,提出相邻层位宽合并和权重参数重排序的策略实现数据传输的优化,利用卷积分解、并行展开充分发挥FPGA并行计算的优势。为验证卷积神经网络加速器的加速效果,将YOLO目标检测模型进行部署。实验结果表明,在PYNQ-Z2上达到了39.39GOP/s的计算性能,是intel i5-2400 CPU的3.4倍,是ARM-Cortex A9 CPU的147.5倍。在相同FPGA平台上与之前的工作相较也有更高的性能。     

基于异构FPGA的卷积网络加速器

基于神经网络的方法计算量通常十分庞大,限制方法在嵌入式场景领域的应用.为了解决这一问题,文中提出基于异构现场可编程门阵列的卷积网络加速器.采用滑动窗并行加速卷积计算过程,可同时处理不同输入、输出通道的卷积过程.同时结合网络量化过程进行8 bit定点加速器设计,降低计算资源的使用.实验表明,文中定点加速器运算速度较快,功耗较小,算法性能损失较小.     

基于混合架构的卷积神经网络算法加速研究

具有优越性能的卷积神经网络算法已得到广泛应用,但其参数量大、计算复杂、层间独立性高等特点也使其难以高效地部署在较低功耗和较少资源的边缘场景.为此结合该种算法的特点提出了一种基于混合架构的卷积神经网络计算加速方法,该方法选用CPU加FPGA的混合架构,对网络模型进行了压缩优化;在FPGA上通过指令控制数据流的DSP阵列结...     

高性能人脸识别加速器优化设计及FPGA实现

计算机视觉的快速发展对嵌入式产品的系统性能要求越来越高,传统的现场可编程门阵列（Field Programmable Gate Array,FPGA）平台存在计算吞吐未能很好匹配内存带宽,通用处理器对卷积神经网络（Convolutional Neural Network,CNN）的实现效率不高,未能满足性能要求等问题。针对以上设计瓶颈,使用经典的LeNet-5神经网络模型,在Xilinx ZC706嵌入式开发平台上设计了一个高性能的人脸识别神经网络加速器,在高层次综合（High Level Synthesis,HLS）工具的基础上通过存储优化、定点量化、运算优化等方法对神经网络模型进行优化改进,实现了7层的CNN加速器。实验结果表明,CNN加速器的工作频率为200 MHz,相较于CPU,加速器实现了126倍加速,相较于GPU速度提升10倍以上,并且功耗仅为2.62 W。     

基于FPGA的通用卷积神经网络识别系统研究

针对目前在中央处理器(CPU)中部署卷积神经网络速度慢、在图形处理器(GPU)中功耗高等问题,采用基于现场可编程门阵列(FPGA)平台开发的卷积神经网络识别系统,对卷积神经网络的各个环节进行算法加速。考虑到算法的计算量和逻辑资源的消耗主要集中在卷积层,提出了在特征图的通道方向进行双卷积并行模块设计。在卷积神经网络的池化层和激活函数Softmax中,设计了流式池化,并提出改进的分段查表计算Softmax函数的方法。另外,在归一化和预处理阶段也分别进行了优化。卷积神经网络识别系统选用XILINX公司的ZCU104开发平台。该平台内部包含片上系统与可编程逻辑控制器。通过自制水果数据集,分别在ZCU104、CPU和GPU上进行试验。试验结果显示,ZCU104分类的准确率达到了95.8%,识别速度约为计算机端上CPU实现同种网络模型的3倍,并且高于GPU。此外,该系统通用性高、资源占用率低,可应用在其他神经网络模型中。     

基于FPGA的卷积神经网络并行加速设计

为提升在资源、功耗受限的嵌入式平台上运行的深度卷积网络算法的速度和能效,提出一种基于现场可编程门阵列(FPGA)的卷积并行加速方案。利用卷积层与批归一化(batch normalization,BN)层融合减少计算复杂度;利用数据分片减少片上存储消耗;利用数据复用、并行计算提升运算速度,减少系统硬件开销;利用设计空间探索找到最符合硬件资源约束的计算并行度。实验结果表明,在100MHz的工作频率下,加速器的峰值计算性能可以达到52.56GFLOPS,性能是CPU的4.1倍,能耗仅为GPU的9.9%,与其它FPGA方案相比综合性能有一定的提升。     

小型嵌入式平台实时目标跟踪算法的研究与实现

针对高实时性要求、低计算能力的小型嵌入式平台的应用背景,本文提出一种低时间复杂度、高鲁棒性的目标跟踪算法。首先,构建基于时空上下文贝叶斯概率模型的跟踪算法架构,然后提出低时间复杂度的灰度特征尺度池策略实现尺度自适应更新,最后利用基于置信图最大似然概率的目标模型更新策略来提高抗遮挡性能。利用基准数据集OTB2013对本文算法进行测试,跟踪精度为58.9%,成功率为51.3%,优于时间复杂度相近的STC(Spatio-Temporal Context)和CSK(Circulant Structure with Kernels)算法。搭建以DSP为核心的小型目标跟踪平台对算法进行测试,可实现对视场中目标的实时稳定跟踪。当目标波门为64×64 Pixel时,稳定跟踪帧率可达42 frame/s,能够满足实时性和工程实用性的应用需求。     

面向人车识别的目标检测系统实现

为将参数量巨大的神经网络模型部署到资源有限、功耗要求极高的嵌入式端,以较好的速度运行,研究8 bit整型量化算法和神经网络前向推理过程在FPGA上的具体实现。通过8 bit整型量化,将模型的参数量从22.5 M缩减至5.7 M,模型参数量缩小近4倍,提高神经网络在嵌入式端部署的可行性。基于FPGA并行处理的特点,设计精简指令,优化卷积运算中输入输出和计算过程的并行处理。在实验中可以在较低功耗下加速神经网络前向推理过程。     

面向嵌入式的卷积神经网络硬件加速器设计

近年来,随着神经网络模型越来越复杂,针对卷积神经网络推理计算所需内存空间过大,限制其在嵌入式设备上部署的问题,提出一种动态多精度定点数据量化硬件结构,使用定点数代替训练后推理过程中的浮点数执行卷积运算。结果表明,采用16位动态定点量化和并行卷积运算硬件架构,与静态量化策略相比,数据准确率高达97.96%,硬件单元的面积仅为13 740门,且内存占用量和带宽需求减半。相比Cortex M4使用浮点数据做卷积运算,该硬件加速单元性能提升了90%以上。     

基于FPGA的Mean Shift跟踪算法实现

实际应用中对目标跟踪的实时性要求越来越高。针对这个问题,设计并实现一种基于FPGA的Mean Shift跟踪系统。针对FPGA硬件平台的浮点运算复杂度高的特点,对核函数和权重计算进行优化,使用定点运算替代浮点运算。在处理同样分辨率的视频/图像数据时,与通用CPU E7400相比,该系统可使得性能有很大的提升。采用此方法大大提高了Mean Shift跟踪算法的计算速度,满足实时性的要求。     

High-efficient MPSoC-based CNNs accelerator with optimized storage and dataflow

The convolutional neural networks (CNNs) are widely used in modern AI systems for their superior accuracy but at the cost of high computational complexity, which involve enormous communication bandwidth and storage resources requirement. The computation requirement can be addressed effectively to achieve high throughput by highly parallel compute paradigms of current CNNs accelerators. But the energy consumption still remains high as communication can be more expensive than computation, especially for low power embedded platform. To address this problem, this paper proposes a CNNs accelerator based on a novel storage and dataflow on multi-processor system on chip (MPSoC) platform. By minimizing data access and movement and maximizing data reuse, it can achieve the energy efficient CNNs inference acceleration. The optimization strategies mainly involve four aspects. Firstly, an external memory sharing architecture adopting two-dimensional array storage mode for CPU-FPGA collaborative processing is proposed to achieve high data throughput and low bandwidth requirement for off-chip data transmission. Secondly, the minimized data access and movement on chip are realized by designing a multi-level hierarchical storage architecture. Thirdly, a cyclic data shifting method is proposed to achieve maximized data reuse based on both spatial and temporal. In addition, a bit fusion method based on the 8-bit dynamic fixed-point quantization is adopted to achieve double throughput and computational efficiency of a single DSP. The accelerator proposed in this paper is implemented on Zynq UltraScale?+?MPSoC ZCU102 evaluation board. By running the benchmark network of VGG16 and Tiny-YOLO on the accelerator, the throughput and the energy efficiency are evaluated. Compared with the current typical accelerators, the proposed accelerator can increase system throughput by up to 41x, single DSP throughput by up to 7.63x, and system energy efficiency by up to 6.3x.

     

YOLOv3-tiny的硬件加速设计及FPGA实现

YOLOv3-tiny具有优秀的目标检测能力,但模型所需的计算力依然较大,难以实现面向嵌入式领域的应用。提出一种YOLOv3-tiny的硬件加速方法,并在FPGA平台上实现。首先,针对网络定点化设计,以数据精度与资源消耗为设计指标,通过对模型中数据分布的统计以及数据类型的划分,提出了不同的定点化策略。其次,针对网络并行化设计,通过对卷积神经网络计算特性的分析,使用循环调整、循环分块、循环展开和数组分割等方法,设计了可扩展的常用硬件计算单元架构。然后,针对网络流水化设计,从层间与层内2个方面进行研究,以层间数据流方向和层内任务划分为基础,设计了一种灵活的流水化计算架构。最后,在XILINX XC7Z020CLG400-1平台上进行实验,结果表明,相较于667 MHz的单核ARM-A9处理器,加速比高达290.56。     

面向“边缘”应用的卷积神经网络量化与压缩方法

针对卷积神经网络（CNN）推理计算所需内存空间和资源过大,限制了其在嵌入式等"边缘"设备上部署的问题,提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先,根据卷积神经网络各层权重的分布,采用阈值法对网络精确率影响较小的权重进行裁剪,保留网络中重要连接的同时除去冗余信息;其次,针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽,采用动态定点量化方法减小权重数据的位宽;最后,对网络进行微调,在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明,该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点,几乎实现无损压缩;同时,通过多个网络模型的验证,该方法在平均1.46个百分点精确率变化范围内,最大降低网络模型96.12%的存储空间,能够有效地压缩卷积神经网络。     

Hardware/software co-design of a real-time kernel based tracking system

The probabilistic visual tracking methods using color histograms have been proven to be robust to target model variations and background illumination changes as shown by the recent research. However, the required computational cost is high due to intensive image data processing. The embedded solution of such algorithms become challenging due to high computational power demand and algorithm complexity. This paper presents a hardware/software co-design architecture for implementation of the well-known kernel based mean shift tracking algorithm. The design uses color histogram of the target as tracking feature. The target is searched in the consecutive images by maximizing the statistical match of the color distributions. The target localization is based on gradient based iterative search instead of exhaustive search which makes the system capable of achieving frame rate up to hundreds of frames per second while tracking multiple targets. The design, which is fully standalone, is implemented on a low-cost medium-size field programmable gate array (FPGA) device. The hardware cost of the design is compared with some other tracking systems. The performance of the system in terms of speed is evaluated and compared with the software based implementation. It is expected that the proposed solution will find its utility in applications like embedded automatic video surveillance systems.     

基于硬件加速的轻量级网络心音分类器

近年来,卷积神经网络被广泛应用于心音信号分类。为满足先心病机器辅助诊断系统低功耗、可移动等方面需求,基于轻量级神经网络MobileNet,实现了一种适用于FPGA硬件平台的心音分类器。心音分类器的深度卷积、逐点卷积与最大池化等模块通过高层次综合进行设计。该心音分类器在利用深度可分离卷积减少网络参数与运算量的同时,通过多像素多通道并行及定点量化等方式,提升了分类器运行速度。经心音数据集实验结果表明,在计算效率方面,该心音分类器在FPGA上相较于在通用CPU上实现约14倍加速。     

动态云台摄像机无人机检测与跟踪算法

为应对小型无人机的黑飞、滥飞对个人隐私、公共安全造成的威胁,本文采用高清云台摄像机定点巡航的方式对近地动态复杂背景中的无人机进行检测与跟踪,并提出了一种适用于动态云台摄像机的闭环无人机检测与跟踪算法,包含检测与跟踪两种模式。在检测模式下,本文设计了一种基于运动背景补偿的运动目标检测算法来提取分类候选区域,然后利用基于神经网络结构搜索得到的轻量级卷积神经网络对候选区域进行分类识别,可在不缩小高清视频图像的条件下实现无人机检测;在跟踪模式下,本文提出了一种结合卡尔曼滤波的局部搜索区域重定位策略改进了核相关滤波跟踪算法,使之在高清云台伺服追踪过程中仍能对目标进行快速稳定的跟踪;为将检测模式与跟踪模式结合在闭环框架中,本文还提出了一种基于检测概率和跟踪响应图状态的自适应检测与跟踪切换机制。实验表明,本文算法可应用于定点巡航状态的高清云台摄像机,实现近地复杂动态背景中无人机的实时准确检测、识别与快速跟踪。     

A scalable and efficient convolutional neural network accelerator using HLS for a system-on-chip design

This paper presents a configurable convolutional neural network accelerator (CNNA) for a system-on-chip (SoC). The goal was to accelerate inference in different deep learning networks on an embedded SoC platform. The presented CNNA has a scalable architecture that uses high-level synthesis (HLS) and SystemC for the hardware accelerator. It can accelerate any convolutional neural network (CNN) exported from Keras in Python and supports a combination of convolutional, max-pooling, and fully connected layers. A training method with fixed-point quantised weights is proposed and presented in the paper. The CNNA is template-based, enabling it to scale for different targets of the Xilinx Zynq platform. This approach enables design space exploration, which makes it possible to explore several configurations of the CNNA during C and RTL simulation, fitting it to the desired platform and model. The CNN VGG16 was used to test the solution on a Xilinx Ultra96 board using productivity for Zynq (PYNQ). The result gave a high level of accuracy in training with an autoscaled fixed-point Q2.14 format compared to a similar floating-point model. It was able to perform inference in 2.0 s while having an average power consumption of 2.63 W, which corresponds to a power efficiency of 6.0 GOPS/W.