空间目标融合识别算法及实验研究

提出了基于红外与可见光图像的空间目标融合识别算法。算法针对空间目标的物理特征,利用红外和可见光图像提供的互补信息进行空间目标融合识别。方法以空间卫星为识别目标,采用不变矩和仿射不变矩来描述目标特征,提出了基于红外和可见光的特征级和决策级融合识别方案,并进行了半物理仿真实验和分析。实验证明这两种基于红外和可见光的融合识别算法可明显改善目标识别的精度和可靠性。     

激光雷达与高光谱成像技术数据融合研究进展

近年来,为提高地物分类精度,突破单一传感器的技术擎制,弥补单一数据源应用的局限性,多源遥感数据融合的成为了遥感领域众多学者关注的研究热点。高光谱遥感技术的光学影像同激光雷达点云数据的融合技术在技术层面为提升地物识别与分类的精度上提供了一种可行方案,打破了单一传感器的技术上限,为目标三维空间—光谱信息一体化获取提供了一种新的解决途径,同时为高光谱激光雷达成像技术研究奠定基础。本文回顾了激光雷达与高光谱成像数据融合发展历程,论述其在特征级和决策级的主要融合方法和研究进展,将常用特征级融合和决策级融合方法进行详细介绍,并对最新几种研究算法进展进行小结和概述,探讨了其面临的挑战和未来发展与应用前景,最后对激光雷达和高光谱成像数据融合未来发展做出系统展望。     

融合混合注意力的自编码器视频异常检测

为提高视频异常检测的准确率,提出一种融合混合注意力的自编码器视频异常检测算法。针对自编码器网络强大的“泛化”能力可能重构异常行为问题,提出一种混合注意力模块(CSCFAM)并将其融合至编码器和解码器之间的跳跃连接层以限制异常行为的生成。为考虑正常样本的多样性,在编码器和解码器之间的瓶颈处引入存储记忆模块(Memory),记录正常样本潜在特征的原型模式。实验结果表明,该算法在UCSD Ped2、CUHK Avenue数据集上帧级AUC分别达到97.3%、87.0%,与当前先进的视频异常检测算法相比,异常检测能力得到有效提升。     

基于长短期记忆的车辆行为动态识别网络

高级辅助驾驶装置采用机器视觉技术实时处理摄录的行车前方车辆视频，动态识别并预估其姿态和行为。针对该类识别算法精度低、延迟大的问题，提出一种基于长短期记忆（LSTM）的车辆行为动态识别深度学习算法。首先，提取车辆行为视频中的关键帧；其次，引入双卷积网络并行对关键帧的特征信息进行分析，再利用LSTM网络对提取出的特性信息进行序列建模；最后，通过输出的预测得分判断出车辆行为类别。实验结果表明，所提算法识别准确率可达95.6%，对于单个视频的识别时间只要1.72 s；基于自建数据集，改进的双卷积算法相比普通卷积网络在准确率上提高8.02%，与传统车辆行为识别算法相比准确率提高6.36%。     

基于去噪自编码器和长短时记忆网络的语音测谎算法

为进一步提升语音测谎性能,提出了一种基于去噪自编码器（DAE）和长短时记忆（LSTM）网络的语音测谎算法。首先,该算法构建了优化后的DAE和LSTM的并行结构PDL;然后,提取出语音中的人工特征并输入DAE以获取更具鲁棒性的特征,同时,将语音加窗分帧后提取出的Mel谱逐帧输入到LSTM进行帧级深度特征的学习;最后,将这两种特征通过全连接层及批归一化处理后实现融合,使用softmax分类器进行谎言识别。CSC（Columbia-SRI-Colorado）库和自建语料库上的实验结果显示,融合特征分类的识别准确率分别为65.18%和68.04%,相比其他对比算法的识别准确率最高分别提升了5.56%和7.22%,表明所提算法可以有效提高谎言识别精度。     

基于EfficientDet网络的细粒度吸烟行为识别

在实际场景中，因香烟目标过于微小且特征不明显，现有的目标检测算法难以区分类烟物与香烟，导致吸烟行为识别效果差。提出一种基于弱监督细粒度结构与EfficientDet网络的吸烟行为识别算法。采用Edge Boxes算法检测图像块的特征边缘，通过非极大值抑制对边缘进行筛选，形成候选区域块。构建包含物体级筛选器和局部级筛选器的细粒度两级注意力模型，其中物体级筛选器使用改进的EfficientDet网络滤除候选区域的背景噪声，以分类前景物体及特征较强的候选区域，并在局部级筛选器中使用通道注意力卷积块对候选区域进行聚类，筛选出得分最高的像素块。通过融合物体级筛选器与局部级筛选器得到的结果，以准确识别吸烟行为。在BUU-Smoke数据集上的实验结果表明，该算法的吸烟行为识别准确率为93.10%，误检率为3.6%，并且具有较优的鲁棒性和泛化能力。     

基于改进CURE聚类算法的网络用户异常行为识别方法

由于传统异常行为识别方法无法对随时变化的异常行为实现精准识别，因此对CURE聚类算法作出改进，针对网络用户异常行为提出了一种新的识别方法。通过改进CURE聚类算法将用户的上网行为分为正常行为簇和异常行为簇，标记正常行为簇，并利用超矩形建模方式识别数据，分析正常行为簇在每个维度上的正常值域，判断其是否包含在所建立的超矩形内。如果在判定用户行为为正常，反之判断其为异常行为。仿真实验选取了学生上网行为数据，分四个时间段注入异常行为数据，结果表明，所提方法识别结果与设定情况一致，没有出现误识别或不识别现象，改进CURE聚类算法的网络用户异常行为识别精度较高，而且具有超高的效率。     

基于三维骨骼节点的人体行为识别方法

针对传统行为识别方法存在的数据存储空间不足、识别效率不高以及扩展性不强等问题,本文在利用空间中人体关节点数据进行人体行为表示的基础上,通过自建行为数据集结合Spark MLlib算法库的随机森林算法对行为识别进行建模。为了提升识别模型的泛化能力,本文利用Spark平台下算法的并行且快速迭代的特性,提出了一种多重随机森林的加权大数投票算法。实验结果表明,随着基分类器个数的增加,行为分类准确率显著增高,基分类器个数在5个以后行为识别准确率趋于稳定且高达95%以上。在MSR Daily 3D与MSRC-12数据集上也验证本文行为识别方法的有效性。     

基于深度学习的驾驶员分心行为识别

分心驾驶行为识别是提高驾驶安全的主要方法之一。针对分心驾驶行为识别精度低的问题,本文提出一种基于深度学习的驾驶员分心行为识别算法,由目标检测网络和行为精确识别网络级联构成。基于State Farm公开数据集,第一级利用目标检测算法SSD(Single Shot Multibox Detector)对数据集中的驾驶员原始图像进行局部信息提取,确定行为识别候选区域;第二级分别利用迁移学习VGG19、ResNet50和MobileNetV2模型对候选区域内的行为信息进行精确识别;最后,实验对比级联架构与单模型架构对分心驾驶行为的识别精度。结果表明,提出的级联网络模型相较于主流单模型检测方法,驾驶员行为识别的准确率总体上提升4~7%个百分点。该算法不仅减少噪声和其他背景区域对模型的影响,提高分心行为识别准确率,还可以有效识别更多的行为类别以避免动作的误分类。     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

Gender recognition from visible and thermal infrared facial images

Most present research of gender recognition focuses on visible facial images, which are sensitive to illumination changes. In this paper, we proposed hybrid methods for gender recognition by fusing visible and thermal infrared images. First, the active appearance model is used to extract features from visible images, as well as local binary pattern features and several statistical temperature features are extracted from thermal infrared images. Then, feature selection is performed by using the F-test statistic. Third, we propose using Bayesian Networks to perform explicit and implicit fusion of visible and thermal infrared image features. For explicit fusion, we propose two Bayesian Networks to perform decision-level and feature-level fusion. For implicit fusion, we propose using features from one modality as privileged information to improve gender recognition by another modality. Finally, we evaluate the proposed methods on the Natural Visible and Infrared facial Expression spontaneous database and the Equinox face database. Experimental results show that both feature-level and decision-level fusion improve the gender recognition performance, compared to that achieved from one modality. The proposed implicit fusion methods successfully capture the role of privileged information of one modality, thus enhance the gender recognition from another modality.     

Fuzzy system based human behavior recognition by combining behavior prediction and recognition

With the development of intelligent surveillance systems, human behavior recognition has been extensively researched. Most of the previous methods recognized human behavior based on spatial and temporal features from (current) input image sequences, without the behavior prediction from previously recognized behaviors. Considering an example of behavior prediction, “punching” is more probable in the current frame when the previous behavior is “standing” as compared to the previous behavior being “lying down.” Nevertheless, there has been little study regarding the combination of currently recognized behavior information with behavior prediction. Therefore, we propose a fuzzy system based behavior recognition technique by combining both behavior prediction and recognition. To perform behavior recognition during daytime and nighttime, a dual camera system of visible light and thermal (far infrared light) cameras is used to capture 12 datasets including 11 different human behaviors in various surveillance environments. Experimental results along with the collected datasets and open database showed that the proposed method achieved higher accuracy of behavior recognition when compared to conventional methods.     

Fusion of visible and thermal images for facial expression recognition

Most present research into facial expression recognition focuses on the visible spectrum, which is sensitive to illumination change. In this paper, we focus on integrating thermal infrared data with visible spectrum images for spontaneous facial expression recognition. First, the active appearance model AAM parameters and three defined head motion features are extracted from visible spectrum images, and several thermal statistical features are extracted from infrared (IR) images. Second, feature selection is performed using the F-test statistic. Third, Bayesian networks BNs and support vector machines SVMs are proposed for both decision-level and feature-level fusion. Experiments on the natural visible and infrared facial expression (NVIE) spontaneous database show the effectiveness of the proposed methods, and demonstrate thermal IR images’ supplementary role for visible facial expression recognition.     

基于动机分析的区块链数字货币异常交易行为识别方法

当前区块链数字货币被众多恶意交易者利用,导致了"粉尘"注入、"空投"操作、勒索、骗局等一系列异常交易行为.因此,研究区块链数字货币异常交易行为的识别方法对于规范交易行为、保障网络空间安全具有重要意义.在众多区块链数字货币中,比特币市值超过所有区块链数字货币市值和的一半,具有高代表性.比特币系统的用户数量多、交易规模大、...     

基于数据融合的无线传感器网络林火监控算法

针对无线传感器网络在林火监控应用中存在的问题,提出了一种分层聚簇数据融合算法。簇内传感器节点使用加权平均法对原始数据进行数据级融合处理,以消除原始数据中的冗余成分,减少从簇内传感器节点到簇头节点的通信量;簇头节点采用D-S证据理论建立识别框架,通过对本簇成员的反馈信号进行决策级融合处理,提高了火灾事件的识别精度和网络的鲁棒性。实验结果表明,该算法能有效消除无线传感器网络的冗余数据,并能够在失效节点数不超过总节点数40%的情况下正确工作。     

Feature-level and decision-level fusion of noncoincidently sampledsensors for land mine detection

We present and compare methods for feature-level (predetection) and decision-level (postdetection) fusion of multisensor data. This study emphasizes fusion techniques that are suitable for noncommensurate data sampled at noncoincident points. Decision-level fusion is most convenient for such data, but it is suboptimal in principle, since targets not detected by all sensors will not obtain the full benefits of fusion. A novel algorithm for feature-level fusion of noncommensurate, noncoincidently sampled data is described, in which a model is fitted to the sensor data and the model parameters are used as features. Formulations for both feature-level and decision-level fusion are described, along with some practical simplifications. A closed-form expression is available for feature-level fusion of normally distributed data and this expression is used with simulated data to study requirements for sample position accuracy in multisensor data. The performance of feature-level and decision-level fusion algorithms are compared for experimental data acquired by a metal detector, a ground-penetrating radar, and an infrared camera at a challenging test site containing surrogate mines. It is found that fusion of binary decisions does not perform significantly better than the best available sensor. The performance of feature-level fusion is significantly better than the individual sensors, as is decision-level fusion when detection confidence information is also available (“soft-decision” fusion)     

基于改进双流法的井下配电室巡检行为识别

井下配电室监控视频持续时间较长且行为类型复杂,传统双流卷积神经网络(CNN)法对此类行为识别效果较差.针对该问题,对双流CNN法进行改进,提出了一种基于改进双流法的井下配电室巡检行为识别方法.通过场景分析,将巡检行为分为站立检测、下蹲检测、走动、站立记录、坐下记录5种类型,并制作了巡检行为数据集IBDS5.将每个巡检行为视频等分为3个部分,分别对应巡检开始、巡检中和巡检结束;对3个部分视频分别随机采样,获取代表空间特征的RGB图像和代表运动特征的连续光流图像,并分别输入空间流网络和时间流网络进行特征提取;对2个网络的预测特征进行加权融合,获取巡检行为识别结果.实验结果表明,以Res Net152网络结构为基础,且权重比例为1∶2的空间流和时间流双流融合网络具有较高的识别准确度,Top-1准确度达到98.92%;本文方法在IBDS5数据集和公共数据集UCF101上的识别准确率均优于3D-CNN、传统双流CNN等现有方法.     

基于多特征融合的医学图像识别研究*

以医学图像为研究对象,针对任何一类特征都不能很好地表达医学图像的缺点以及进一步提高医学图像的识别率,提出了一种基于特征级数据融合与决策级数据融合相结合的分类方法。实验结果表明,采用特征级数据融合,融合后的特征可以较好地表达医学图像,且减少了后期分类的计算量;采用决策级数据融合,取得了比单个分类器更高的识别率。     

基于骨架序列提取的异常行为识别

视频监控系统中的人员异常行为识别研究具有重要意义. 针对传统算法检测实时性和准确性差, 易受环境影响的问题, 提出一种基于骨架序列提取的异常行为识别算法. 首先, 改进YOLOv3网络用以对目标进行检测、结合RT-MDNet算法进行跟踪, 得到目标的运动轨迹; 然后, 利用OpenPose模型提取轨迹中目标的骨架序列; 最后通过时空图卷积网络结合聚类对目标进行异常行为识别. 实验结果表明, 在存在光照变化的复杂环境下, 算法识别准确率达94%, 处理速度达18.25 fps, 能够实时、准确地识别多种目标的异常行为.