基于图像处理的公交车内人群异常情况检测

为有效地监控公交车这一特定环境中人群的异常行为,提出一种公交车内人群异常情况检测的方法。对视频图像确立感兴趣区域,进行预处理;通过改进Vi Be算法提取运动目标,引入多尺度滑窗算法确定识别区域;结合连续多帧识别区域进行改进卷积神经网络算法的异常行为识别,通过识别结果判断公交车内人群是否异常。与传统方法的比较结果表明,该算法的检测正确率较高,可达93.5%,误检率较低,仅为1.6%,在实际应用中具有较高的参考价值。     

基于骨架序列提取的异常行为识别

视频监控系统中的人员异常行为识别研究具有重要意义. 针对传统算法检测实时性和准确性差, 易受环境影响的问题, 提出一种基于骨架序列提取的异常行为识别算法. 首先, 改进YOLOv3网络用以对目标进行检测、结合RT-MDNet算法进行跟踪, 得到目标的运动轨迹; 然后, 利用OpenPose模型提取轨迹中目标的骨架序列; 最后通过时空图卷积网络结合聚类对目标进行异常行为识别. 实验结果表明, 在存在光照变化的复杂环境下, 算法识别准确率达94%, 处理速度达18.25 fps, 能够实时、准确地识别多种目标的异常行为.     

基于深度学习与稀疏光流的人群异常行为识别

目前公共场所人群异常行为检测的异常种类检测准确率较低,且多数对突然奔跑等部分异常行为无法识别.为此,提出一种基于YOLO_v3与稀疏光流的人群异常行为识别算法,通过检测小团体异常为群体异常预警与采取相应的应急措施提供充足的时间.为方便定位异常发生区域,将视频分割为多个子区域,通过获取子区域的图像样本进行诱发群体异常的小团体异常检测,利用改进YOLO_v3神经网络对传统算法较难检测行人持棍、持枪、持刀与面部遮挡等异常进行检测,在未检测到上述异常诱因时,使用稀疏光流法获取人群平均动能与运动方向熵,将得到的特征数据通过PSO-ELM进行分类,区分正常行为与同向突散或无规则突散.实验结果表明,与现有同类算法相比,该算法能有效检测行人持械与面部遮挡等小团体异常,并且定位异常发生区域的准确率达到98.227%.     

轨道交通车站乘客集散系统Anylogic仿真优化

为了研究地铁轨道交通车站站台乘客行为的特殊性对地铁轨道交通车站设施设备布局的影响,本文运用基于社会力模型算法的Anylogic动态仿真软件构建了面向复杂交织乘客行人流的地铁轨道交通站台场景模型。以某市地铁轨道交通车站为例对该模型进行了校核与验证,针对地铁车站内的设施设备布局的缺陷提出了优化改进措施。实证研究表明:优化后的地铁轨道交通站台场景模型,能够科学合理地阐述客流组织与地铁轨道交通之间的动态关系,同时对其他地铁轨道交通车站的规划设计与运营具有重要的借鉴与指导意义。     

基于视频的人体异常行为识别与检测方法综述

作为计算机视觉的重要分支,异常行为识别与检测技术已在智能安防、医疗监护、交通管控等领域获得了广泛应用.对异常行为的界定及判别方法与场景因素紧密相关,针对不同应用场景特点,适当选择特征提取及异常行为识别与检测方法,进而保证预警准确率,在实际应用中至关重要.基于此,对基于视频的人体异常行为识别与检测方法进行综述,首先给出人体异常行为的定义、特点及分类;其次,对特征提取方法进行总结,特征提取方法的选取及提取特征的好坏直接影响后续判别结果;再次,从异常行为识别和异常行为检测两个角度对异常行为判别方法进行分析和讨论,给出常用异常行为检测数据集及相关算法表现;最后,对本领域未来研究方向提出展望.     

基于手部轨迹识别的ATM智能视频监控系统

为实时阻止针对自动取款机的犯罪行为发生,设计一种基于手部轨迹识别的ATM智能视频监控系统。对于采集所得的监控区域内的视频图像,利用混合高斯背景建模方法为视频图像建立背景模型,通过背景剪除法和跟踪算法得到监控区域内的人体信息,分析进入监控区域的人体面积变化情况,由此判断是否有异常行为发生,存在异常则报警,否则采用基于颜色空间的皮肤检测算法和位置约束检测人手部分,利用隐马尔可夫模型对分段的手部运动轨迹分别进行匹配识别,进一步判断是否存在犯罪行为。实验结果表明,该方法对于犯罪行为的识别率能达到88%。     

基于运动矢量交点密集度的人群恐慌行为检测

为了更准确有效的识别人群恐慌行为,本文提出了一种利用视频中人群运动矢量的交点密集度来判断人群恐慌异常的新算法.该算法以LK光流法为基础来提取运动人群的运动矢量信息,接着通过获得的信息求取运动矢量间的两两交叉点,然后运用分块法求得区域交叉点密集度,并以此来识别人群异常.对多个视频进行测试,测试结果表明:该算法能够以较高正确率识别视频中人群的恐慌行为.     

视频文字信息检查工具的设计与实现

针对某些特定视频中,画面文字信息经常包含较为敏感文字信息,导致信息泄露,设计实现了一种视频画面中的文字的检测识别系统,对视频画面中的文字标语、文字条幅,新闻画面中的文字导语等信息进行识别与比对;采用基于双阈值的视频镜头分割算法,根据颜色直方图信息提取关键帧,采用最大稳定极值区域算法提取图像中稳定区域,通过聚类和级联分类器实现文字区域提取,最后将文字区域分割后进行OCR识别,实验表明系统针对复杂背景中的文字能够达到较高的检测识别率.     

视频异常检测技术研究进展

视频异常检测是指对偏离正常行为事件的检测识别,在监控视频中有着广泛的应用.对基于深度学习的视频异常检测算法进行了深入的调查研究和全面的梳理与总结.首先,对视频异常检测相关内容以及异常检测面临的挑战进行了分析;然后,从有监督、半监督和无监督三方面对视频异常检测的相关算法进行了介绍和分析.对三种不同场景下的算法进一步细化分...     

基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

Activity recognition in beach volleyball using a Deep Convolutional Neural Network

Many injuries in sports are caused by overuse. These injuries are a major cause for reduced performance of professional and non-professional beach volleyball players. Monitoring of player actions could help identifying and understanding risk factors and prevent such injuries. Currently, time-consuming video examination is the only option for detailed player monitoring in beach volleyball. The lack of a reliable automatic monitoring system impedes investigations about the risk factors of overuse injuries. In this work, we present an unobtrusive automatic monitoring system for beach volleyball based on wearable sensors. We investigate the possibilities of Deep Learning in this context by designing a Deep Convolutional Neural Network for sensor-based activity classification. The performance of this new approach is compared to five common classification algorithms. With our Deep Convolutional Neural Network, we achieve a classification accuracy of 83.2%, thereby outperforming the other classification algorithms by 16.0%. Our results show that detailed player monitoring in beach volleyball using wearable sensors is feasible. The substantial performance margin between established methods and our Deep Neural Network indicates that Deep Learning has the potential to extend the boundaries of sensor-based activity recognition.     

CNN与决策树结合的新型人体行为识别方法研究

基于智能手机内置加速度传感器的人体行为识别是近年来人工智能领域一个研究热点,传统的贝叶斯、极速学习机、决策树等识别方法都必须先针对加速度传感器采集数据提取时频域特征,并从大量的时频特征中进行特征优选。本文采用深度学习中卷积神经网络算法（Convolutional Neural Network）在大数据量与小数据量两种情况下分别进行特征学习,直接读取智能手机内置三轴加速度数据,自动提取加速度信号的特征,利用自动提取出来的加速度数据特征,结合决策树算法实现人体行为的分类识别。实验表明,该识别方法准确率较传统机器学习方法提高了1.1%～5.2%,尤其在大数据量下准确率提高更为明显。     

基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升,针对这个问题,提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型,命名为聚类关联网络（CRN）。首先,利用卷积神经网络（CNN）提取场景特征,再利用区域特征聚集提取场景中的人物特征。然后,利用AP的层次关联网络模块提取群组关联信息。最后,利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息,并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明,CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于骨骼时序散度特征的人体行为识别算法

人体行为识别是智能监控、人机交互、机器人等领域的一项重要的基础技术。图卷积神经网络（GCN）在基于骨骼的人体行为识别上取得了卓越的性能。不过GCN在人体行为识别研究中存在以下问题：1）人体骨架的骨骼点采用坐标表示,缺乏骨骼点的运动细节信息;2）在某些视频中,人体骨架的运动幅度太小导致关键骨骼点的表征信息不明显。针对上述问题,首先提出骨骼点的时序散度模型来描述骨骼点的运动状态,从而放大了不同人体行为的类间方差。并进一步提出了时序散度特征的注意力机制,以突显关键骨骼点,进一步扩大类间方差。最后根据原始骨架的空间数据特征和时序散度特征的互补性构建了双流融合模型。所提算法在权威的人体行为数据集NTU-RGB+D的两种划分策略下分别达到了82.9%和83.7%的准确率,相比自适应图卷积网络（AGCN）提高了1.3个百分点和0.5个百分点,准确率的提升证明了所提算法的有效性。     

基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升，针对这个问题，提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型，命名为聚类关联网络（CRN）。首先，利用卷积神经网络（CNN）提取场景特征，再利用区域特征聚集提取场景中的人物特征。然后，利用AP的层次关联网络模块提取群组关联信息。最后，利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息，并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比，CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明，CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

基于深度学习的海底观测视频中鱼类的识别方法

针对海底环境恶劣、海底观测视频品质差导致视频中的海洋鱼类识别难的问题，提出一种基于深度学习的海洋鱼类识别方法。首先，将海底观测视频分解为图片，由于海底观测视频中存在较大比例的空白数据，使用背景差分法过滤不包含鱼类的图片，缩短处理全部数据的时间；然后，考虑到海底拍摄环境亮度低、场景模糊的实际情况，对图片基于暗通道先验算法进行预处理提高品质；最后，以卷积神经网络（CNN）为基础构建深度学习模型，并且提出了权重化特征的卷积过程，提高模型的鲁棒性。实验结果表明:面对较差品质的海底观测视频图片，在深度学习模型结构相同的条件下，与普通卷积神经网络模型相比，使用权重化卷积作为隐层并且加入预处理过程后，对海洋鱼类识别准确率的提升幅度达到23%，有助于实现对海底观测视频图片中海洋鱼类的精准识别。     

基于深度运动图和密集轨迹的行为识别算法

为了融合深度图中不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于深度运动图（Depth Motion Maps,DMMs）和密集轨迹的人体行为识别算法。利用卷积神经网络训练DMMs数据并提取高层特征作为行为视频的静态特征表示,使用密集轨迹来描述RGB视频序列的动态运动信息,将行为视频的静态特征和动态特征串联,作为整个视频的行为特征表示并输入到线性支持向量机（Support Vector Machine,SVM）进行识别。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取深度信息和纹理信息,并取得了较好的识别效果。     

基于三维卷积神经网络的航运监控事件识别

针对传统的机器学习算法对大数据量的航运监控视频识别分类的效果不佳,以及现有的三维（3D）卷积的识别准确率较低的问题,基于3D卷积神经网络模型,结合较为流行的视觉几何组（VGG）网络结构以及GoogleNet的Inception网络结构,提出了一种基于VGG-16的3D卷积网络并引入Inception模块的VIC3D模型对航运货物实时监控视频进行智能识别。首先,将从摄像头获取到的视频数据处理成图片;然后,将等间隔取帧的视频帧序列按照类别进行分类并构建训练集与测试集;最后,在保证运行环境相同并且训练方式相同的前提下,将结合后的VIC3D模型与原模型分别进行训练,根据测试集的测试结果对各种模型进行比较。实验结果表明,VIC3D模型的识别准确率在原模型的基础上有所提升,相较于组约束循环卷积神经网络（GCRNN）模型的识别准确率提高了11.1个百分点,且每次识别所需时间减少了1.349 s;相较于C3D的两种模型的识别准确率分别提高了14.6个百分点和4.2个百分点。VIC3D模型能有效地应用到航运视频监控项目中。     

Lip reading with Hahn Convolutional Neural Networks

Lipreading or Visual speech recognition is the process of decoding speech from speaker's mouth movements. It is used for people with hearing impairment, to understand patients attained with laryngeal cancer, people with vocal cord paralysis and in noisy environment. In this paper we aim to develop a visual-only speech recognition system based only on video. Our main targeted application is in the medical field for the assistance to laryngectomized persons. To that end, we propose Hahn Convolutional Neural Network (HCNN), a novel architecture based on Hahn moments as first layer in the Convolutional Neural Network (CNN) architecture. We show that HCNN helps in reducing the dimensionality of video images, in gaining training time. HCNN model is trained to classify letters, digits or words given as video images. We evaluated the proposed method on three datasets, AVLetters, OuluVS2 and BBC LRW, and we show that it achieves significant results in comparison with other works in the literature.     

结合余弦相关性的卷积网络识别汉字的方法

为了提高卷积神经网络（Convolution Neural Network,CNN）的识别率,增强卷积网络的特征提取能力,使其在模糊、光照不均等恶劣条件下能够有更好的识别效果,因此提出将余弦相关性加入神经卷积网络作为相似度度量的方法。较传统神经卷积网络相比较,有着更强的模式检测能力、更快的收敛速度以及更高的准确率的优点。在卷积神经网络的卷积层加入余弦相似性度量,最后通过对比传统神经卷积网络方法和余弦相关性神经卷积网络在脱机手写汉字的识别实验,在进行20次实验后,得出了在相同训练参数以及相同层数的卷积神经网络上,基于余弦相关性的神经卷积网络在手写汉字数据集上的准确率比传统的神经卷积网络的识别率平均提高了2.01%,并且有着更快的收敛速度。最后通过与现今流行的算法在MNIST数据集上的实验进行准确度、损失函数、时间复杂度的比较,得出结合余弦的卷积神经网络在准确度和损失函数上有一定的优势性,在时间复杂度上还需进一步提高。