改进Hu矩的ATM机异常行为识别研究

提出一种基于改进Hu矩和隐马尔可夫模型相结合的ATM机异常行为识别方法。对ATM机前用户存(取)款行为的视频序列用改进Hu变换提取运动目标的行为特征,采用Baum-Welch算法对用户的正常行为进行训练,并建立隐马尔可夫模型;最后通过模型输出测试样本序列的概率来识别异常行为。采用Matlab对ATM机用户运动行为的模拟视频进行实验仿真,结果表明:该方法对ATM机前的用户行为具有较高的识别率。     

基于手部轨迹识别的ATM智能视频监控系统

为实时阻止针对自动取款机的犯罪行为发生,设计一种基于手部轨迹识别的ATM智能视频监控系统。对于采集所得的监控区域内的视频图像,利用混合高斯背景建模方法为视频图像建立背景模型,通过背景剪除法和跟踪算法得到监控区域内的人体信息,分析进入监控区域的人体面积变化情况,由此判断是否有异常行为发生,存在异常则报警,否则采用基于颜色空间的皮肤检测算法和位置约束检测人手部分,利用隐马尔可夫模型对分段的手部运动轨迹分别进行匹配识别,进一步判断是否存在犯罪行为。实验结果表明,该方法对于犯罪行为的识别率能达到88%。     

基于深度学习的视频行为动作识别在无纸化考试中的应用

面向在无纸化考试中的视频行为识别应用需求，提出了基于深度学习的可疑行为识别方法。首先，分析考试视频，提取事件信息。其次，结合深度学习模型，将事件信息作为输入进行训练，以识别可疑行为。最后，基于考试视频数据集进行对比实验，评估所提出方法的准确率。实验结果表明，文章提出的卷积神经网络-长短期记忆网络（Convolutional Neural Networks-Long Short Term Memory,CNN-LSTM）组合模型适用于视频较长的应用场景，CNN-BiGRU适用于视频较短的场景。     

恶意程序发布检测平台的设计与实现

设计了一种恶意程序发布检测平台,其中的检测方法为:从HTTP请求消息中提取摘要信息;将摘要信息与恶意、安全网站识别库中的识别信息进行匹配;如果匹配不成功,则使用决策分类器对摘要信息进行分类处理;如果确定为可疑恶意网站,则生成可疑恶意资源的下载连接信息;将多个可疑恶意资源的下载连接信息进行关联,确定可疑恶意资源的网络发布信息.该方法通过网络节点图可以更好地描述恶意程序发布网络的活动,关注恶意程序分发网络的机理和网络基础架构的属性,提高恶意程序的检出率,加强网络安全.     

基于增强动态稠密轨迹特征的布料材质识别

为了克服基于视频的布料材质识别中由于忽略了动态因素的影响导致材质识别准确率低的难点,利用布料仿真视频库,提出一种基于增强动态稠密轨迹特征的布料材质识别方法以有效识别布料的材质属性信息.首先利用材质合成方法构造64种不同材质的布料仿真视频数据库;然后利用构造的布料动态视频库,通过迁移预训练的VGG网络增强布料动态视频的各帧特征信息,并消除部分非动态特征;其次利用动态稠密轨迹特征描述布料视频的动态特征,以充分捕捉不同布料材质视频的动态信息;最后通过Fisher向量编码生成布料动态信息的特征数据库,并训练SVM分类器建立布料材质视频动态信息到材质属性参数的映射.利用构建的布料仿真视频库作为数据集进行实验的结果表明,该方法对64种不同布料材质视频的材质种类识别准确率达到73.83%.     

基于深度运动图和密集轨迹的行为识别算法

为了融合深度图中不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于深度运动图（Depth Motion Maps,DMMs）和密集轨迹的人体行为识别算法。利用卷积神经网络训练DMMs数据并提取高层特征作为行为视频的静态特征表示,使用密集轨迹来描述RGB视频序列的动态运动信息,将行为视频的静态特征和动态特征串联,作为整个视频的行为特征表示并输入到线性支持向量机（Support Vector Machine,SVM）进行识别。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取深度信息和纹理信息,并取得了较好的识别效果。     

三维扩散模型在视频行为识别中的应用

内容识别是视频和图像分析的主要目的之一,由于视频内容的复杂性,视频内容自动分析和识别并不容易实现,目前没有通用的视频行为识别方法和理论。三维各向异性扩散方程可以实现视频信号的多尺度分析,方便行为特征的描述和提取。通过多尺度分析结合支持向量机分类,可以系统地解决视频对象识别、运动识别和行为识别等一系列问题。实验表明,即使在样本行为特征未知的情况下,通过机器学习,也可以实现对视频行为的识别,说明这种行为识别方法可以用于任意已知样本的行为识别问题。     

结合目标检测的人体行为识别

人体行为识别领域的研究方法大多数是从原始视频帧中提取相关特征, 这些方法或多或少地引入了多余的背景信息, 从而给神经网络带来了较大的噪声. 为了解决背景信息干扰、视频帧存在的大量冗余信息、样本分类不均衡及个别类分类难的问题, 本文提出一种新的结合目标检测的人体行为识别的算法. 首先, 在人体行为识别的过程中增加目标检测机制, 使神经网络有侧重地学习人体的动作信息; 其次, 对视频进行分段随机采样, 建立跨越整个视频段的长时时域建模; 最后, 通过改进的神经网络损失函数再进行行为识别. 本文方法在常见的人体行为识别数据集UCF101和HMDB51上进行了大量的实验分析, 人体行为识别的准确率(仅RGB图像)分别可达96.0%和75.3%, 明显高于当今主流人体行为识别算法.     

多模态零样本人体动作识别

目的 在人体行为识别算法的研究领域,通过视频特征实现零样本识别的研究越来越多。但是,目前大部分研究是基于单模态数据展开的,关于多模态融合的研究还较少。为了研究多种模态数据对零样本人体动作识别的影响,本文提出了一种基于多模态融合的零样本人体动作识别（zero-shot human action recognition framework based on multimodel fusion, ZSAR-MF）框架。方法 本文框架主要由传感器特征提取模块、分类模块和视频特征提取模块组成。具体来说,传感器特征提取模块使用卷积神经网络（convolutional neural network, CNN）提取心率和加速度特征;分类模块利用所有概念（传感器特征、动作和对象名称）的词向量生成动作类别分类器;视频特征提取模块将每个动作的属性、对象分数和传感器特征映射到属性—特征空间中,最后使用分类模块生成的分类器对每个动作的属性和传感器特征进行评估。结果 本文实验在Stanford-ECM数据集上展开,对比结果表明本文ZSAR-MF模型比基于单模态数据的零样本识别模型在识别准确率上提高了4 %左右。结论 本文所提出的基于多模态融合的零样本人体动作识别框架,有效地融合了传感器特征和视频特征,并显著提高了零样本人体动作识别的准确率。     

基于张量的KFLD-SIFT与RVM模糊积分融合的人体行为识别方法

针对人体行为识别领域中视频序列的大样本及多特征问题,提出一种基于张量的核Fisher非线性鉴别(KFLD)-尺度不变特征变换(SIFT)与相关向量机(RVM)模糊积分融合的人体行为识别方法.该方法首先通过预处理视频序列得到二值视频,并采用三阶张量表示.然后针对大样本特征提出KFLD-SIFT局部特征提取算法,对不同初始尺度下的关键点周围的多特征降维,同时提出RVM模糊积分融合算法进行行为分类.最后应用4种经典评价指标及计算得到的平均识别率对比分析文中方法与其他相关方法的识别效果,数据采用KTH人体行为数据库中的视频,并采用三重交叉方法验证和测试.实验表明文中方法对多种行为取得较好的识别效果,平均识别率比其他主流方法至少提高2.3%.     

Location estimation for indoor autonomous vehicle navigation by omni-directional vision using circular landmarks on ceilings

A novel approach to location estimation by omni-directional vision for autonomous vehicle navigation in indoor environments using circular landmark information is proposed. A circular-shaped landmark is attached on a ceiling and an omni-directional camera is equipped on a vehicle to take upward-looking omni-directional images of the landmark. This way of image taking reduces possible landmark shape occlusion and image noise creation, which come from the existence of nearby objects or humans surrounding the vehicle. It is shown that the perspective shape of the circular landmark in the omni-directional image may be approximated by an ellipse by analytic formulas with good shape-fitting effect and fast computation speed. The parameters of the ellipse are then used for estimating the location of the vehicle with good precision for navigation guidance. Both simulated and real images were tested and good experimental results confirm the feasibility of the proposed approach.     

基于全维视觉的足球比赛机器人目标定位

本文给出了robocup中型组足球比赛机器人在全维视觉情况下,对足球比赛中目标定位的一种方法。文中推导了一种针对全向摄像机镜面投影的变换关系,该方法简单有效,为全维视觉下的图像处理提供了必要模型。实验结果证明了该种方法的有效性。     

基于编码孔径的折反射散焦模糊图像复原

360度折反射成像系统由于其曲面反射的成像特点,获得的全向图像会不可避免地产生散焦模糊问题,使得全向图像的应用受到限制。针对全向图像成像过程中的散焦模糊问题,首先通过分析折反射系统中入射光线和图像模糊的关系,建立全向图像散焦数学模型;然后利用编码孔径技术估计出图像中各个位置的模糊程度;最后通过反卷积算法复原图像。通过该方法,可以很好地消除全向图像的散焦模糊,获得全聚焦的清晰全向图像。获得的全聚焦全向图像在全向智能视频监控、战场环境全向智能感知以及机器人全向视觉等领域具有较大应用价值。     

智能全方位振动传感器的设计研究

传感器是传感器网络这一国际前沿研究领域的重要基础.该文基于振动数学模型,提出一种集振动分析、图像处理及网络通信等技术于一体的可视化智能全方位振动传感器的研制理论与方法,以实现全方位振动传感、振动可视化、全方位物理空间监控及传感信息共享,降低误判率,提高判断准确度.实验结果表明,上述理论与方法可以实现全方位振动传感及振动可视化.     

Robot navigation using panoramic tracking

A vision-based navigation system is presented for determining a mobile robot's position and orientation using panoramic imagery. Omni-directional sensors are useful in obtaining a 360° field of view, permitting various objects in the vicinity of a robot to be imaged simultaneously. Recognizing landmarks in a panoramic image from an a priori model of distinct features in an environment allows a robot's location information to be updated. A system is shown for tracking vertex and line features for omni-directional cameras constructed with catadioptric (containing both mirrors and lenses) optics. With the aid of the panoramic Hough transform, line features can be tracked without restricting the mirror geometry so that it satisfies the single viewpoint criteria. This allows the use of rectangular scene features to be used as landmarks. Two paradigms for localization are explored, with experiments conducted with synthetic and real images. A working implementation on a mobile robot is also shown.     

全景摄像系统中展开图像的电子稳像方法研究*

深入分析和研究了全景图像的解算算法与稳像的实现方法,提出了全景摄像系统的稳像方法——基于灰度投影的电子稳像算法。该系统的硬件由全景装置、CCD、图像采集卡和计算机构成,软件编程基于DirectShow平台,通过VC++实现。通过对结果的分析表明,该算法的设计具有快速、准确的特征,是实现全景摄像系统的电子稳像的一种切实可行的方法。     

地物提取的多尺度特征遥感应用分析

通过空间尺度效应分析,阐述不同属性景观地物在同一分辨率或同一尺度影像中提取的不合理性。为获得精确的地表信息,提出多尺度遥感影像分析方法,解决不同地物在不同空间尺度影像数据中提取的难题。通过多种分辨率影像的多尺度影像信息提取的应用实践,分析地物提取中的多尺度特性、尺度与分辨率关系等。     

Constructing Virtual Cities by Using Panoramic Images

Simultaneously acquired omni-directional images contain rays of 360 degree viewing directions. To take advantage of this unique characteristic, we have been developing several methods for constructing virtual cities. In this paper, we first describe a system to generate the appearance of a virtual city; the system, which is based on image-based rendering (IBR) techniques, utilizes the characteristics of omni-directional images to reduce the number of samplings required to construct such IBR images. We then describe a method to add geometric information to the IBR images; this method is based on the analysis of a sequence of omni-directional images. Then, we describe a method to seamlessly superimpose a new building model onto a previously created virtual city image; the method enables us to estimate illumination distributions by using an omni-directional camera. Finally, to demonstrate the methods' effectiveness, we describe how we implemented and applied them to urban scenes.     

折反射全向图像与遥感图像配准的建筑物高度提取算法

提出一种折反射全向图像与遥感图像配准的建筑物高度提取算法,可应用于大范围三维城市重建。首先,利用全向Hough变换方法提取折反射全向图像中建筑物的顶部边界线;然后基于提取的边界线,根据空间水平直线全向成像的角度不变性对折反射全向图像与遥感图像进行配准;最后利用配准结果,依据折反射全向图成像模型计算建筑物高度。实验结果证明该方法简捷易行且计算结果准确,误差较小。     

半自动全向图与卫星遥感图快速配准

折反射全向图和卫星遥感图配准属于异构传感器图像配准问题,目前快速有效的解决方法比较少,但应用需求又比较多,鉴于此,提出了一种基于等角原理的半自动快速配准算法。通过全向Hough变换方法提取全向图中建筑物顶部轮廓直线,同时手工找出卫星图中建筑物顶部轮廓直线,通过角度关系结合投票方法计算出全向图可能拍摄位置,并用所有可能位置组成可行集,从可行集中选出最满意解。仿真实验与实景实验均表明该方法快速有效。