在线光束平差法的高速计算方法研究

光束平差法（bundle adjustment,BA）是同步定位和地图构建（simultaneous localization and mapping,SLAM）后端优化的关键技术。在线使用光束平差时能否满足实时性要求,是将其应用于自动驾驶车端等实时系统的关键因素。首先分析特定场景中SLAM数据特点,提出滑动窗口机制降低计算规模;分析局部BA计算中稀疏矩阵性质提升算法的可并行性;最后基于嵌入式GPU对算法进行并行加速。将其应用于车载SLAM系统并在真实场景下测试,实验结果表明,在AGX Xavier嵌入式GPU上,针对720P道路场景,该方法比同平台CPU上处理性能平均提升4.8倍,可以处理15 fps的相机位姿地图数据,满足了30 fps的视频处理需求,达到了车载系统的实时性要求。     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.     

光照变化条件下的光流估计

目的 为了提高光流法在处理光照变化和大位移方面的稳健性。提出一种结合结构纹理分解预处理和加权中值滤波的光流场模型。方法 该方法数据项采用灰度守恒假设和梯度守恒假设相结合、局部约束与全局约束相结合的思想。同时采用结构纹理分解、加权中值滤波、金字塔结构等高效的光流估计技术,进一步增强了光流算法的精确性与实用性。结果 分别通过Middlebury光流数据库图像和真实场景图像对提出的光流估计算法进行了大量实验验证。实验结果表明,改进的光流估计法在处理光照变化方面表现不错,不仅获得稠密的光流场,而且提高了光流场准确提取目标边缘的能力。结论 和传统光流方法相比,所提方法在光照变化情况下能获得更加理想的结果,降低了实际场景中光线变化的干扰,能更好地适用于实际场景中。     

一种针对大尺度运动的快速光流算法

传统的光流法必须满足一致连贯性假设,不适用于大幅度运动目标的跟踪。为克服复杂场景下,大尺度运动中目标位移量超出特征跟踪窗口带来的光流计算问题,提出了一种针对大尺度运动的快速光流计算方法。引入图像金字塔模型,利用基于多尺度分层的金字塔结构和光流映射变换,实现小窗口捕获大运动。同时,采用非极大值抑制方法保留图像自相关矩阵的大特征值,得到的强角点作为特征点,降低了光流计算的时间开销。实验结果表明,提出的方法在复杂场景和运动条件下,可准确快速地计算出表征目标运动方向和速率的光流矢量,具有较高的鲁棒性和实时性。     

利用光流法实现运动目标提取的研究

为了满足对于道路交通车流量的预测评估需求,需要实现对监控视频中运动目标的准确提取。论文提出了一种方案:采用LK高斯金字塔光流法和帧差法相结合的方法实现流动车辆的提取。LK光流法在相对理想化的条件下,无需提前了解场景信息,能够自己独自检测运动对象。但是LK光流法在实际跟踪环境中并不太理想,针对该问题,提出结合高斯金字塔和帧差法,提高光流法的跟踪性能。二者的巧妙结合恰好可以扬长避短,获取了较好的实验效果。该方法是在VS平台上用C++语言进行程序编写,并调用了OpenCV里面的光流法有关函数。实验结果表明,采用LK高斯金字塔光流法和帧差法相结合的方法可以准确统计当前待检测视频中流动车辆的数目,实用性较高,对道路交通的疏导和公共安全领域具有一定的参考价值。     

面向交通标志检测的尺度感知双向特征金字塔网络

实时精准的交通标志检测是实现自动驾驶和智能交通的重要技术之一.针对真实智能驾驶场景中背景复杂且交通标志尺度较小,现有的检测方法容易出现错检和漏检等问题,提出一种尺度感知的双向特征金字塔网络,实现复杂交通场景中实时、精准的交通标志检测.首先,为解决微小标志在传统金字塔网络中尺度丢失的问题,通过构建自底向上和自顶向下的双向金字塔网络,循环地学习尺度感知的融合特征;然后引入前景注意力模块和尺度感知损失函数,学习和优化不同尺度下的前景显著特征和关联,实现多尺度前景目标分离;最后,引入轻量级和非轻量级主干卷积网络,可以同时提高模型效率和精度.在真实复杂场景的交通标志数据集TT100K和STSD中的实验结果表明,该方法的检测精度达到了66.7%和60.9%,同时实时检测速率达到了30帧/s.     

一种用于无人机室内定位的改进ORB光流算法

针对无人机室内无GPS的导航定位问题,结合ORB特征与LK金字塔光流,提出了一种改进的ORB特征光流算法。采用ORB算法提取每帧图像的特征点,送入金字塔中估计下一帧点集坐标;采用前后双向单追踪策略进行粗匹配;采用FLANN-KNN匹配规则和前后双向双追踪策略组成的精匹配,进行误匹配点集的滤除。通过多种场景提取效果和无人机实际应用两部分实验,从实时性和精确性对算法性能进行了验证分析。仿真结果表明,改进算法具有较好的定位效果和较好的实时性。     

基于金字塔光流法的移动增强现实三维跟踪注册研究

应用于室外场景识别的移动增强现实系统,需要保持高效且精准的三维注册,从而实现稳定的虚实融合。为了减小复杂场景对目标跟踪的影响,提出一种基于AKAZE和金字塔光流法相结合的三维跟踪注册方法,采用AKAZE算法检测视频流图像的特征点,再用光流法对目标区域进行持续跟踪,实现特征匹配后计算摄像机标定结果,最终完成三维跟踪注册。实验结果表明,该方法能实现实时持续的目标跟踪,同时三维注册效果良好。     

适合车载边缘计算的拥挤行人检测算法

针对目前车载计算单元的计算资源和计算能力有限,不能运行网络层次较深的目标检测算法,设计了一种轻量化的网络模型用于对拥挤行人场景的检测,将Darknet53骨干网络替换为GhostNet,通过引入线性计算获得与普通卷积相似的特征图来减少计算资源消耗;引入空间金字塔池化模块实现多尺度融合,加强特征提取;提出使用更加高效的搜索机制改进卷积块注意力机制模块,联合分类网络AlexNet对自适应搜索广度k值进行选取,进一步提高网络性能;采用Grad-CAM算法将网络模型实现热力图可视化来对注意力机制进行分析;引入CIOU损失函数实现真实框和预测值在中心点上的拟合,以此来加速模型收敛和实现更加精确的定位。研究结果表明：改进后的网络在WiderPerson行人检测数据集上行人类别查准率达到75.35%,相比于改进前的模型在行人查准率和平均查准率上分别提高了5.76个百分点和3.28个百分点。在Visdrone数据集上,改进后的网络平均查准率达到35.6%,在基本接近于YOLOv3的基础上,每秒检测图片的数量可以达到60张,相较于传统的单阶段检测算法,检测速率最高提升了52.1%,能满足移动设备以及车载...     

隐特征监督的孪生网络弱光光流估计

目的 弱光照条件下成像存在信噪比低、运动模糊等问题,这对光流估计带来了极大挑战。与现有“先增强—再估计”的光流估计方法不同,为了避免在弱光图像增强阶段损失场景的运动信息,提出一种隐特征监督的弱光光流估计孪生网络学习方法。方法 首先,该方法采用权重共享的孪生网络提取可映射的弱光光流和正常光照光流特征;进而,计算弱光邻帧图像的K近邻相关性卷表,以解决计算4D全对相关性卷表的高时空复杂度问题;在全局运动聚合模块中引入针对二维运动特征的注意力机制,以降低弱光条件下强噪声、运动模糊及低对比度对光流估计的不利影响。最后,提出隐特征监督的光流估计模块,采用正常光照光流特征监督弱光照光流特征的学习,实现高精度的光流估计。结果 与3种最新光流估计方法的对比实验表明,在正常光照条件下,本文方法取得了与现有最佳光流估计方法相近的性能。在FCDN(flying chairs dark noise)数据集上,本文方法光流估计性能最优,相较于次优方法端点误差精度提升了0.16;在多亮度光流估计（various brightness optical flow,VBOF）数据集上,本文方法端点误差精度提升了0.08。...     

CUDA平台下的超声弹性成像并行处理算法

超声弹性模式成像是新兴高端超声成像系统中出现的新型成像模式,与传统的黑白超,彩超成像模式不同,它能够为临床诊断提供组织器官的硬度信息.弹性成像模式可以帮助医生定性和定量地检测组织的弹性值变化,特别是对一些肿瘤疾病如乳腺癌等的早期检测有巨大的推动作用,因此,这一新型检测手段具有十分重大的临床应用价值.但是弹性成像系统在处理时涉及大量的复杂运算,使其难于在临床实时系统中得到应用,为此文章研究并提出一种基于CUDA(Compute Unified Device Architecture,统一计算设备架构)平台的超声弹性成像模式并行处理算法.算法包括了信号预处理,运动计算,应变估计和图像后处理与显示等处理步骤的并行实现.由弹性体模得到的数据实验表明,基于CUDA的超声弹性成像处理结果与基于CPU的实现相比,不仅可以得到相同质量的显示图像,而且可以取得较大的加速效果,满足实时系统需求,文章的数据测试显示对于256×512的信号数据能够达到63fps的帧率,速度提高了85倍.     

基于PWC-Net的多层权值和轻量化改进光流估计算法

针对现有光流估计方法实时性不够的问题,提出轻量化的深度可分离卷积的PWC-Net改进模型(depth separable pyramid, warping and cost volume, DS-PWC)。其改进是将常规二维卷积网络层解耦为深度可分离卷积层,并且DS-PWC在金字塔层增加基于层数的权重系数,从而使得网络结构在不损失精度的情况下大幅减少模型参数量。在训练过程中,使用图像及对象感知数据随机擦除(image and object-aware random erasing, I+ORE)等数据增强技术,进一步提升估计预测结果泛化能力。实验结果表明,在数据集测试DS-PWC模型,在保持质量的同时运行效率达到约58 fps(frame per second)。同时为了验证算法有效性,进行了模型结构和数据增强的消融实验。结果证明了DS-PWC模型的有效性。     

Design space exploration of SW beamformer on GPU

Ultrasound imaging has become one of the most widely used modalities in medical diagnosis today. However, real‐time ultrasound imaging requires large amount of data transfer and massive computation and therefore mainly relies on a complex dedicated hardware system. A recent trend of a graphics processing unit (GPU) based software‐based approach offers the advantages of flexibility and quick implementation. The GPUs have been reported as excellent accelerators across a wide range of applications. For best exploiting outstanding computational power and high memory bandwidth of a GPU, the paper explores the design space of implementing an ultrasound beamformer on a GPU platform. The design spaces are expanded by applying different optimization strategies to the beamformer on a GPU platform, and we also discuss the performance evaluation results on the various GPUs whose architectural characteristics are different to each others. The performance analysis shows that by optimizing CUDA code, our real‐time‐GPU‐based beamformer can be successfully implemented with 181 frames per second (fps) and speedup of 230.6X compared with the single‐threaded implementation on a high‐performance CPU platform. Copyright © 2014 John Wiley & Sons, Ltd.     

基于GPU的地下管线三维可视化建模研究

地下管线的三维建模与可视化是构建“数字城市”的重要内容,总结现有地下管线实时建模算法的不足,提出一种利用GPU编程实现的地下管线实时三维可视化建模算法。利用现代GPU的可编程特性将管线建模的计算任务全部移植到GPU端完成,CPU端只需传入管径和管线节点坐标,利用GPU提供的几何着色器完成管线模型的顶点坐标计算、管线顶点数据自动生成及管线三角网构建等工作,并通过光照和纹理映射实现管线材质的真实感效果。实验结果表明,该算法克服了现有建模算法的缺陷,能够在保证管线拟合逼真度的基础上完成大规模管网系统三维实时可视化建模的任务。     

Massively parallel Lucas Kanade optical flow for real-time video processing applications

This paper deals with dense optical flow estimation from the perspective of the trade-off between quality of the estimated flow and computational cost which is required by real-world applications. We propose a fast and robust local method, denoted by eFOLKI, and describe its implementation on GPU. It leads to very high performance even on large image formats such as 4 K (3,840 × 2,160) resolution. In order to assess the interest of eFOLKI, we first present a comparative study with currently available GPU codes, including local and global methods, on a large set of data with ground truth. eFOLKI appears significantly faster while providing quite accurate and highly robust estimated flows. We then show, on four real-time video processing applications based on optical flow, that eFOLKI reaches the requirements both in terms of estimated flows quality and of processing rate.     

基于嵌入式GPU 虚拟仪表图形软件的实现

提出并实现了一种基于嵌入式GPU(OES:OpenGL?ES)的跨平台图形应用软件的系统框架.它包括外部事件的驱动,图形应用软件,嵌入式系统入口,嵌入式系统硬件等四个模块.外部事件的驱动主要是响应外部数据或事件的变化,从而控制图形显示内容的实时更新,以及功能画面的实时切换.图形应用软件模块包括了三个组成部分(1)接口界面(2)中间通讯层(3)处理单元.图形应用软件的接口界面主要是实现客户化的目标要求,采用C++类的面向对象的设计方法.中间通讯层,是为了实现图形应用的任务而安排的结构化的类.处理单元是各种最基本内容的单元实现,它建立在我们的各种实用库之上.嵌入式系统入口,它封装了图形软件的核心函数功能,实现和上层的处理单元间的数据调度.嵌入式系统硬件模块主要是各主流平台(CPU,GPU)相关的数据信息,支持上层的图形应用.本文在虚拟仪表盘面上实践了上述应用软件系统,满足了实时响应,高效处理,高质量图形显示的要求.为实现嵌入式平台的图形显示应用打下了重要的基础.同时,本文的工作提出并解决了若干嵌入式图形显示技术的优化问题,为嵌入式图形显示开发提供了有力的帮助.     

H.264软件解码器在PXA270平台上的优化

研究了嵌入式系统中 H.264 Baseline 软件解码器设计和优化的问题,提出了四种有效的优化方法,并在 PXA270平台上进行了测试。测试结果显示,综合使用提出的四种方法,H.264软件解码器在 PXA270(520MHz)上运行时帧率可以达到22f/s(CIF 格式)和80f/s(QCIF 格式)。     

基于前—后向光流点匹配运动熵的视频抖动检测算法

目前大部分视频监控系统面临着高效实时性智能分析与低效滞后的人工故障排查的矛盾。视频质量智能诊断系统可以为此提供有效的解决方案。针对视频质量诊断系统中的画面抖动异常检测问题,提出一种简单有效的实用算法。该算法通过有效融合图像的稀疏光流与特征点匹配算法,根据前向-后向误差标准估计图像帧的全局运动参数,引入连续帧的运动熵用于衡量视频画面片段运动的混乱程度,判断是否存在视频抖动现象。算法在不同分辨率的实际监控录像数据集上进行了测试和比较。实验证明,该算法在一定程度上克服了大位移抖动的影响,具备良好的实时特性以及较高的检测精度,能够满足实际工作的需求。