基于时空一致性约束视频目标车辆的 检测与跟踪算法研究

复杂场景中的目标感知是深度学习在计算机视觉中最重要的研究领域之一,而复杂交通场景中的车辆检测与跟踪是当今众多学者研究的热点问题。在视频目标检测过程中由于运动物体的时间维度特征信息利用不充分,导致在长序列之间的时间特征极其容易被忽略,本文提出一种时空一致性的视频车辆的检测跟踪算法。该算法由双分支网络结构组成：分支一是由基于空间相关性的Transformer网络模块组成,该分支网络主要用于判断前后帧的相关性、感知相邻帧之间的一致性,预测目标车辆时空一致性的关联度;另一网络分支是由基于交叉特征金字塔融合的网络模块组成,该模块主要是提取检测对象的局部信息结合浅层的空间边缘信息和深层的语义特征信息,提取对象空间位置的特征信息。该网络结构将Transformer机制和交叉特征金字塔模块相结合,利用Transformer对长序列之间时间关联性敏感和特征金字塔网络模块对边缘信息敏感的特性,对视频帧对象进行检测和跟踪,确保相邻帧的长程相关性以及边缘和深层的特征信息深度融合。实验结果表明,本文设计的双分支网络结构在视频目标跟踪和检测中取得更好精度和更快的收敛速度;同时在显著性视频目标检测中,实验表明算法的...     

基于多特征的半脆弱视频水印算法研究

针对目前视频常遭到恶意篡改的问题,提出了一种半脆弱视频水印算法,可以实现视频内容完整性认证并能准确定位篡改区域.该算法通过把视频I帧分成不同区域Ia,Ib来分别提取特征和嵌入水印,避免了水印嵌入对特征的影响;利用边缘轮廓和块间DCT低频系数能量关系不变的特点作为特征生成水印,能更好地代表原视频帧内容.然后,置乱水印并嵌入到视频帧中,通过比较重新提取的水印和特征完成视频内容认证.实验结果表明,嵌入的水印具有较好的不可见性,在对视频内容进行认证时能更准确地定位被篡改的区域,具有较高的查准率和查全率.     

基于颜色匹配和改进LBP的胶囊内镜视频缩减

针对胶囊内镜视频中存在大量的冗余图像,提出了一种基于颜色匹配和改进LBP的视频缩减算法。该算法首先将胶囊内镜图像转换到HSI空间并从中提取色彩信息,通过余弦角对相邻两帧的色彩信息进行相似性度量来实现颜色匹配。接着构建图像金字塔,用改进的LBP算子提取出多尺度的纹理特征,然后根据相邻两帧纹理统计的加权曼哈顿距离和纹理不同区域面积占全局的比例来进行纹理的相似性度量。最后采用级联分类器完成对图像的分类,将差异图像组建成精简视频从而实现视频缩减。实验结果表明,算法得到的召回率,准确率和综合性能指标分别达到了0.91,0.87和0.89,处理速度达0.055 s/帧。该算法与已有的算法相比,分类效果更好并且处理速度更快。     

一种视频对象分割技术的研究与实现

本文提出一种可以从复杂场景中分割出视频对象的方法.首先对视频图像进行全局运动估计和补偿校正,并将相邻两帧进行差分检测.然后利用Neyman-Pearson准则从差分图像中提取运动区域,根据提取的运动区域研究了一种在序列图像差分域中进行区域生长的算法,获得了视频对象的二值化分割模板.最后利用运动检测算法剔除由于噪声导致的标记块.实验结果表明,本文所述方法能够有效的分割出视频对象.     

融合DCLBP和HOAG特征的人脸表情识别方法

为了进一步提高人脸表情识别算法的准确性,提出一种融合双编码局部二值模式(DCLBP)算子和绝对梯度直方图(HOAG)算子的人脸表情识别方法,该方法首先利用DCLBP算子提取人脸图像的局部纹理特征,利用HOAG算子提取人脸图像的局部形状特征;然后,采用典型相关分析法(CCA)融合所提取的两种特征;最后,利用支持向量机(SVM)进行人脸表情分类。实验结果表明,与单一特征识别方法和级联特征识别方法相比,本文方法获得了更好的识别效果,在CK (Cohn-Kanade)和JAFFE数据集上的实验分别达到了100%和99.05%的识别率,与其他相关方法的比较也验证了其有效性。     

基于模糊集的图像边缘检测算法

边缘检测一直是图像处理中一个热门课题，本文在对经典模糊边缘检测算法思想进行分析的基础上，提出了一种边缘检测算法，该算法通过阈值分区间定义一种模糊隶属函数，可将数字图像转化在等效的模糊特征平面上，然后选用适当的增强算子对图像进行模糊增强，增强后的图像经逆变换后进行边缘提取即可得到所需图像的边缘特征。应用这种算法计算量小，运算速度较快，提取的边缘细致，是一种很有实用价值的边缘提取算法。     

基于Contourlet域伪3D-DCT变换的视频水印

提出了一种新颖的Contourlet域伪3D-DCT变换的视频水印算法,Contourlet变换采用方向滤波器组,能有效捕获自然图像的边缘轮廓信息。本算法首先对原始视频的每帧图像进行Contourlet变换,取其变换后的低频图像,然后对低频图像进行分组,每一组分别进行伪3D-DCT,最后在变换后的直流系数中嵌入经过Arnold变换置乱后的水印,提取算法简单并实现了水印的盲提取,实验结果表明,本算法在保证不可见性的前提下显著提高了嵌入水印的鲁棒性,能够有效地抵抗MPEG压缩及其他常见的攻击。     

融合边缘检测的遥感图像超分辨率重建算法

针对基于生成对抗网络的遥感图像超分辨率重建存在训练不稳定,参数冗余,图片纹理细节不够清晰等问题。提出一种融合边缘检测的遥感图像超分辨率重建算法。首先,在生成器网络中引入改进后的Canny边缘检测算子用于低分辨率图像特征提取,通过在Canny算子边缘提取流程中利用双边滤波和3×3邻域梯度以检测图像的边缘信息,使网络能够更好的表达高频特征;其次,为降低网络参数和提高网络训练的稳定性,去除判别器网络中冗余的BN层,同时将Wasserstein距离定义为对抗损失以解决生成对抗网络训练出现的梯度消失现象。在NWPU RESISC45数据集上,所提方法的峰值信噪比与结构相似性较WDSR和CARN算法分别提升了1.22 dB、0.114和0.32 dB、0.013,且重建后的图像相比较WDSR、CARN等其他SR算法在图像纹理细节和主观视觉效果方面也均有提升。     

Gabor多方向特征融合与分块统计的表情识别

为了克服传统Gabor特征存在提取时间长和数据维数过高的不足,提出一种Gabor多方向特征融合与分块统计的表情特征提取方法。为了提取局部方向信息并降低特征维数,首先对预处理的人脸表情图像进行Gabor变换并提取多尺度多方向的表情特征;然后借鉴局部二值模式(local binary pattern,LBP)的思想将相同尺度、不同方向的特征进行融合,并对融合图进行分块,统计每块融合图的均值和标准差,以此构建块特征矢量(block feature vector,BFV),再将其联合起来形成整幅图像的表情特征矢量(expression feature vector,EFV);最后利用支持向量机(support vector machine,SVM)对提取的EFV进行分类。该算法在JAFFE和Cohn-Kanade(CK)库上进行实验,分别取得了95.67%、96.17%的平均识别率以及1 213 ms和4 565 ms的平均特征提取时间。实验结果表明所提方法能较快、较准确地进行人脸表情识别。     

基于无人机图像处理的输电线路提取技术研究

为进一步减轻输电线路进行定期检查、巡视的任务,文章提出了一种利用智能化无人机巡检技术,对航拍图像进行线路的提取和跟踪。采用直方图均衡化及图像滤波对航拍图像进行预处理,解决了航拍图像光照强度以及背景对输电线路元素提取的干扰;采用LSD算法实现了线路边缘的提取,在去除图像背景信号的基础上使用Hough变换数学算法实现了输电线路的准确连接;分别采用粒子滤波和扩展卡尔曼滤波两种图像跟踪方法对航拍视频进行线路跟踪,通过建立输电线运动模型,用仿真软件对其进行识别,两种方法的检测准确度分别为95.34%和94.72%,证实文章处理算法可实现输电线路的提取和跟踪。     

CNN A-BLSTM network的双人交互行为识别

关节点数据结合卷积神经网络用于双人交互行为识别存在图像化过程中对交互信息表达不充分且不能有效建模时序关系问题,而结合循环神经网络中存在侧重于对时间信息的表示却忽略了双人交互空间结构信息构建的问题。为此提出一种新的卷积神经网络结合加入注意机制的双向长短时期记忆网络（CNN A BLSTM network）模型。首先对每个人的关节点采用基于遍历树结构进行排列,然后对视频中的每一帧数据构建交互矩阵,矩阵的中的数值为排列后双人之间所有的关节点坐标间的欧氏距离,将矩阵进行灰度图像编码后所得图像依次送入CNN中提取深层次特征得到特征序列,然后将所得序列送入A BLSTM网络中进行时序建模,最后送入Softmax分类器得到识别结果。将新模型用于NTU RGB D数据集中的11类双人交互行为的识别,其准确率为90%,高于目前的双人交互行为识别算法,验证了该模型的有效性和良好的泛化性能。     

基于分割注意力的特征融合 CNN-Bi-LSTM 人体行为识别算法

针对传统人体行为识别算法不能有效抑制空间背景信息,网络间缺乏信息交互,以及无法对全局时间相关性进行建模的问题,提出一种基于分割注意力的特征融合卷积神经网络-双向长短时记忆网络(CNN-Bi-LSTM)人体行为识别算法。首先以一定采样率采样30帧图像,通过分割注意力网络提取图像的深度特征,并引入特征融合机制增强不同卷积层间的信息交互;然后将深度特征输入到Bi-LSTM网络对人体动作的长时时间信息建模,最后使用Softmax分类器对识别结果进行分类。相较于传统双流卷积网络,该算法在UCF101和HMDB51数据集上的准确率分别提高了6.6%和10.2%,有效提高了识别准确率。     

基于多层注意力机制的4DC-BGRU脑电情感识别

为了提高脑电情感识别的准确率，提取更丰富的特征信息，提升网络模型稳定性，提出一种改进的基于多层注意力机制的脑电情感识别模型。在特征提取方面，将原始脑电信号转换成四维空间 频谱 时间结构，提取丰富的脑电信息。在网络模型方面，构建双路卷积神经网络学习空间及频率信息，有效提取多尺度特征，增加网络宽度来学习更丰富的特征信息；在卷积层及池化层后融入批量归一化层，防止过拟合。最后，构建多层注意力机制 双向门控循环单元模块处理时间特征并配合Softmax分类。采用双向门控循环单元学习更全面的上下级特征信息。利用多层注意力机制使四维特征中不同时间切片与整体时间切片之间产生关联。该文在DEAP数据集唤醒度和效价两个维度进行了评估实验，二分类平均准确率分别为96.38%和96.73%，四分类平均准确率为93.78%。实验结果显示，与单路卷积神经网络及其他文献算法相比，该文算法的平均准确率有所提高，表明该算法可以有效提升脑电情感识别性能。     

复杂背景下多特征结合的深度学习手势识别

科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分,同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究,发现主要是利用肤色检测算法实现手势识别和分类,但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题,提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先,在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征,经算法判断后,对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次,提出一种边缘填充方法对手势边缘图像处理,得到手势轮廓完整的手势边缘图像。最终,采用逻辑运算和形态学运算得到手势分割图像,并输入卷积神经网络进行训练和识别。实验结果表明,该方法在复杂背景下具有较好的手势识别效果,在NUS-II数据集上的平均识别率为98.83%。     

利用动态步态图进行步态识别

基于轮廓的步态识别方法容易受行人的携带物、衣物等遮挡因素的影响。针对这一问题提出了动态步态图。动态步态图将步态轮廓图划分为动态部分和静态部分,更有利于提取受遮挡影响较小的动态步态信息。设计了双路步态识别网络(Bi-Route)提取步态特征,通过增加动态特征占比,稀释静态特征占比降低遮挡物的影响。网络以动态步态图为输入,使用二维卷积分别提取步态序列中的全局轮廓特征和帧级轮廓特征,使用三维卷积神经网络从帧级轮廓特征中提取动态特征。为了验证本方法的有效性,在CASIA-B数据集上进行了评估,在正常(NM)、背包(BG)、穿大衣(CL)条件下的准确率分别达到了92.9%、87.2%和65.6%。结果表明本方法可以降低遮挡、衣物和携带物等对识别准确率的影响。     

一种基于特征重用金字塔的舰船检测算法

针对现有算法在SAR图像舰船目标检测场景中难以提取模糊目标特征的问题,提出一种基于特征重用金字塔的舰船目标检测算法。所提算法以YOLOV4-tiny为主体,首先将线性因子引入到K-means算法中整合初始锚框,加强网络对多尺度目标的适应性;其次在主干CSPDarknet53-tiny中添加注意力机制来抑制干扰信息,减弱复杂背景的影响;最后利用特征重用机制强化特征金字塔,提升网络对模糊目标特征的提取能力。实验结果表明,相较于YOLOV4-tiny网络,改进后的算法在SSDD数据集上的平均检测精度提升11.79%,证明了改进后算法在舰船检测中的有效性。     

基于贝塞尔曲线网络的电表用电信息识别算法

利用计算机视觉技术来快速、准确地获得用户的用电信息对于电力部门具有重要意义。针对传统算法精度低、速度慢等问题,提出了一种基于自适应贝塞尔曲线网络的用电信息识别算法。该框架集检测、识别于一体,实现了端到端的文本定位和预测。检测端结合了特征金字塔网络和残差网络,对输入图像进行特征提取,并通过四个控制点生成贝塞尔曲线,能更好地拟合文本框。识别端采用了卷积循环神经网络,引入门控循环单元替代长短期记忆网络,再结合注意力机制对文本进行识别。最后在数据集上开展五组消融实验,进行性能对比和评估分析。实验结果显示,该算法识别精度高达99.08%,且推理速度快,可被用于用电信息检测与识别的实际应用中。     

基于稠密连接时空双流网络的行为识别方法研究

针对视频中复杂人体动作识别精度低、效率差的问题,提出了一种时空特征提取的稠密连接网络模型。首先利用两个稠密连接网络进行时空特征的提取;其次构建时空网络间的稠密连接,将时间网络中提取到的特征信息逐层输入到空间流网络中,提高两个流的时空交互性;然后使用LSTM网络分别对双流网络特征进行处理得到两个流的预测结果;最后融合双流网络的预测结果,从而实现视频中复杂行为的识别。在UCF101和HMDB51两个基准数据集上进行对比实验,得到94.69%和68.87%的准确率,优于其他算法。实验证明,本文模型可增加时空网络之间的交互性,有利于对复杂人体动作的识别。     

基于改进Faster RCNN的小尺度入侵目标识别及定位

为实现无人值守变电站视频监控系统对动态小尺寸入侵目标体的识别与定位,提出一种基于改进Faster RCNN的快速神经网络辨识方法。该方法通过构建深度卷积网络计算目标样本的强语义特征,并利用密集连接的传输通道融合位置信息,从而得到适应于小目标检测的基础骨干网络;然后利用锚框挑选出目标可能存在的区域,采用双线性插值法计算定位框的坐标以实现像素级别的精确定位。使用采集的变电站监控图像对模型进行训练,得到适应小尺寸异物的改进Faster RCNN检测模型。通过对比实验结果表明,所提改进方法在进行小尺寸异物检测时能够保持高精度并具有时效性,具备一定的工程实用价值。     

基于非对称卷积神经网络的电弧故障检测系统

串联电弧故障是引发电气火灾的重要原因,对其有效检测能确保线路的正常运行和电气设备的可靠工作。 根据低压串 联电弧故障的检测难点,提出了基于非对称卷积神经网络的识别模型,用于适应性地提取串联电弧故障信息。 针对串联电弧故 障种类多、信息隐蔽等问题,首先利用格拉姆角差场时域数据处理方法,将负载模拟的时域信号经过极坐标变换、三角变换后映 射到二维矩阵中,以增加故障数据点的空间占有率和数据关联信息。 之后,为了不增加时间开销,同时改善模型的识别效能,使 用自适应非对称卷积、多通道离散注意力机制改进残差神经网络,作为低压线路中的串联电弧故障模型。 最后,利用容器封装 已训练好的故障识别模型,实现故障信息的快速分析。 验证表明,所提方法对串联电弧故障的识别率达到 99. 95%,具有良好的 识别效果。