一种基于三维小波系数上下文模型的视频压缩方法

受视频编码方法3D-ESCOT的启发，提出了一种新的基于三维小波系数上下文模型的视频编码方法．该方法分为：首先．利用人眼视觉模型（HVS）对经过三维小波变换的小波系数进行量化；然后利用空间和时间相邻的系数对当前系数进行预测．以预测值的量化值作为上下文，对系数进行基于上下文的算术编码．该方法具有空间和时间分辨率可扩展性质，在视频传输中能够自动适应不同类型设备和网络带宽的变化．实验表明，该方法不仅在每个质量等级和每个时间和空同分辨率获得了比3D-ESCOT更高的压缩比，而且编解码所需要的时间更少．     

时空上下文编码的视频拷贝检测

基于内容的视频拷贝检测,目前最流行的方法是基于词袋模型的关键帧内容匹配方法。由于在空间上丢失了视觉词汇的上下文信息,而在时域中,同样丢失了关键帧时域上下文信息,此类方法的精度受到限制。针对这一问题,通过使用一个上下文模型用于计算视频关键帧的空间上下文信息和时域上下文信息,同时将时空上下文信息量化成二进制编码,并通过海明距离实现快速的时空上下文验证。在TREVID—2009视频集上的实验验证了该算法具有较高的效率与准确性。     

基于CNN和LSTM混合模型的人体跌倒行为研究

目前深度学习模型不能较好地把监控视频中跌倒行为的空间和时序特征有效结合起来。为此,提出基于CNN（convolutional neural network）和LSTM（long-short term memory）混合模型的人体跌倒行为识别方法。该模型采用两层结构,将视频以每5帧为一组输入到网络中,CNN提取视频序列的空间特征,LSTM提取视频时间维度上的特征,最后使用softmax分类器进行识别。实验表明,该方法可以有效提高跌倒识别的准确率。     

基于形状上下文和方向梯度直方图特征的异源图像配准

针对单模态图像包含的信息存在局限性的问题,提出了一种基于形状上下文和HOG（histogram of oriented gradient）特征的红外和可见光图像配准方法.在混合高斯模型前景检测的基础上,通过提出的形状上下文和HOG特征结合的方法实现轮廓特征匹配,再利用TPS（thin plate spline）转换模型将匹配延伸到整个形状,并使用正则化和缩放特性迭代重组对应关系及估计转换降低估计误差.最后,采用RANSAC（random sample consensus）算法去除错误匹配点.与已有的形状上下文方法相比,此方法结合了边缘和轮廓特征信息,降低了误差,鲁棒性更好.     

融合运动特征和深度学习的跌倒检测算法

为了利用计算机视觉技术准确检测老年人的跌倒状况,针对现有跌倒检测算法中人为设计特征造成的不完备性以及跌倒检测过程中前后景分离困难、目标混淆、运动目标丢失、跌倒检测准确率低等问题,提出了一种融合人体运动信息的深度学习跌倒检测算法对人体跌倒状态进行检测。首先,通过改进YOLOv3网络进行前景与背景的分离,并根据YOLOv3网络的检测结果对前景人体目标进行最小外接矩形标记;其次,分析人体跌倒过程中的运动特征,将人体运动特征向量化并通过Sigmoid激活函数转化为0到1之间的运动权重信息;最后,通过全连接层将将运动特征与卷积神经网络（CNN）提取的特征进行拼接和融合从而实现人体跌倒分类判别。将所提跌倒检测算法与背景差分、高斯混合、VIBE、方向梯度直方图（HOG）等人体目标检测算法及阈值法、分级法、支持向量机（SVM）分类和CNN分类等人体跌倒判断方案进行了对比实验,并将所提跌倒检测算法在不同光照条件下和混合日常噪声运动干扰下进行了实验,结果表明所提算法在环境适应性和跌倒检测准确率上都优于传统的人体跌倒检测方法。该算法能有效检测出视频中的人体并对人体跌倒状态进行准确检测,进一步验证了融合运动信息的深度学习识别方法在视频跌倒行为分析上的可行性与高效性。     

基于人类演示视频的机器人指令生成框架

为了提高机器人学习技能的能力,免除人工示教过程,本文基于对无特殊标记的人类演示视频的观察,提出了一种基于序列到序列模式的机器人指令自动生成框架。首先,使用Mask R-CNN（区域卷积神经网络）来缩小操作区域的范围,并采用双流I3D网络（膨胀3D卷积网络）从视频中提取光流特征和RGB特征;其次,引入双向LSTM（长短期记忆）网络从先前提取的特征中获取上下文信息;最后,使用自我注意力机制和全局注意力机制,学习视频帧序列和命令序列的关联性,序列到序列模型最终输出机器人的命令。在扩展后的MPII烹饪活动2数据集和IIT-V2C数据集上进行了大量的实验,与现有的方法进行比较,本文提出的方法在BLEU_4（0.705）和METEOR（0.462）等指标上达到目前最先进性能水平。结果表明,该方法能够从人类演示视频中学习操作任务。此外,本框架成功应用于Baxter机器人。     

基于多模态信息融合的新闻独白镜头检测

新闻视频中的独白镜头具有较大的信息量,在视频检索和挖掘中具有较高的应用价值。提出了一种融合音频、视频、时域以及上下文信息等多模态特征进行独白场景检测的方法。首先利用规则移除广告和“其他”镜头,然后应用聚类的方法检测主持人镜头,最后应用条件随机场（CRFs）模型标记独白和记者镜头。该方法无需额外的信息,具有较好的普适性,实验取得了较好的性能。     

基于肤色和行为的色情视频检测

传统色情视频识别方法大多是色情图像识别方法的直接扩展,没有考虑到“行为”这一包含在色情视频中的关键信息。光流上下文直方图能描述运动物体的连续动作,基于此,提出了一种新的用于描述行为的特征——光流上下文直方图（OFCH）,并采用主成分分析（PCA）进行特征降维,得到的PCA-OFCH特征用于训练敏感行为识别器;同时采用基于直方图技术的贝叶斯肤色预测模型对视频中是否含有足够的肤色信息进行判断,以降低对正常行为的误报率。实验结果表明,提出的基于PCA-OFCH特征结合肤色检测能有效地对色情视频和正常视频进行鉴别,为色情视频识别提供了新的思路。     

基于知识图谱上下文的图注意矩阵补全

针对图卷积编码器提取用户、项目信息过程中权重共享,不能区分邻域之间重要性,以及知识图谱作为辅助信息时,基于图神经网络方法无法显示对知识图谱非本地上下文（最相关的高阶邻居集合）信息进行捕获的问题,提出一种基于双向交互图传递的图注意编码器框架,显示利用知识图谱本地（一阶邻居集合）和非本地上下文信息。通过图注意编码器获取用户、项目的嵌入向量;考虑用户对实体的个性化偏好,通过特定于用户的图注意机制来捕获知识图的本地上下文信息;使用随机游走抽样提取实体的非本地上下文,并使用递归神经网络建模实体与非本地上下文实体之间的依赖关系,通过一个双线性解码器重建二部图中的链接。与现有的方法相比,在真实数据集上的实验结果验证了该模型的优越性。     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

Fall detection method based on Spatio-temporal feature fusion using combined two-channel classification

Nowadays, the growing population of senior citizens is a challenge for almost all developing countries. New technologies can help monitor elderlies at home by providing an innovative and secure environment and further enhancing their quality of living. Vision-based systems offer promising results in analyzing human posture and detecting abnormal events like falls. Falls appear to possess the most considerable risk for seniors living alone. In this article, a new fall detection method is proposed based on a fusion of motion-based and human shape-based features. Motion History Images (MHI) represent the temporal feature in our approach. Simultaneously, the height-to-width ratio and centroid of the moving person represent the spatial features. A two-channel classification model is designed using a threshold-based and a keyframe-based approach. The two channels are further combined based on any classification disparity for which more information is used to classify between falls and daily activities. Keyframes are selected based on the displacement of the spatial features having a threshold higher than a preset value. Keyframes are subject to a K-NN classification. The proposed algorithm delivers promising results on the UR fall detection dataset’s simulated fall and daily activity sequences. It provides satisfactory performance compared to existing state-of-the-art methods and shows a peak accuracy of 98.6% and recall of 100% in detecting falls. Specificity and precision are over 96%.

     

Human fall detection using normalized shape aspect ratio

In video surveillance, automatic human fall detection is important to protect vulnerable groups such as the elderly. When the camera layout varies, the shape aspect ratio (SAR) of a human body may change substantially. In order to rectify these changes, in this paper, we propose an automatic human fall detection method using the normalized shape aspect ratio (NSAR). A calibration process and bicubic interpolation are implemented to generate the NSAR table for each camera. Compared with some representative fall detection methods using the SAR, the proposed method integrates the NSAR with the moving speed and direction information to robustly detect human fall, as well as being able to detect falls toward eight different directions for multiple humans. Moreover, while most of the existing fall detection methods were designed only for indoor environment, experimental results demonstrate that this newly proposed method can effectively detect human fall in both indoor and outdoor environments.

     

基于视频和人体姿态估计的老年人摔倒监测研究

人口老龄化所带来的养老服务问题是现代社会面临的严重问题。例如在很多国家跌倒是造成老年人因伤致死的最大原因,因此如何对老年人进行自动摔倒监测就成为养老服务亟待解决的问题。目前,在室内摔倒监测领域中,基于可穿戴设备和基于环境传感器等主流摔倒监测方法面临着设备复杂、成本较高等问题。鉴于此,将人体姿态估计引入摔倒监测领域,提出了一种基于2D视频的摔倒监测算法。首先利用OpenPose数据集提取原始数据中人体关节的位置;其次利用这些具有增强特征的数据构建静态分类模型和动态分类模型;最后,在3个公共摔倒数据集上进行模型训练和摔倒监测的测试,取得了较好的效果,可以为摔倒监测相关研究提供一定的参考。     

Social acceptance by senior citizens and caregivers of a fall detection system using range sensors in a nursing home

We developed a fall detection system with a status view function using range sensors in nursing homes and investigated how it was evaluated by seniors and caregivers about their intention to use and feelings of security. Our system calculates the positions and heights of seniors using range sensors for falling detection and sends an alert to the terminals of caregivers. Moreover, the system sends silhouette images from the range sensors that display the largest appearance of a person to the terminal to provide detailed information of seniors for the caregivers. In user evaluation, seniors and caregivers watched the three videos: simulated out-of-bed sensor, fall detection under constant observation and fall detection without constant observation. Participants answered questionnaires and were interviewed after watching each video. As a result, the seniors indicated significantly higher intention to use and feelings of security in the second and third videos than in the first video. Most seniors could accept being constantly monitored by the caregivers because they deemed safety to be more important than privacy. A few seniors (often healthy individuals) felt nervous under constant observation. Caregivers commented on the importance of flexibly switching the functions of the fall detection system to reflect individual status.     

Human fall detection in surveillance video based on PCANet

Fall incidents have been reported as the second most common cause of death, especially for elderly people. Human fall detection is necessary in smart home healthcare systems. Recently various fall detection approaches have been proposed., among which computer vision based approaches offer a promising and effective way. In this paper, we proposed a new framework for fall detection based on automatic feature learning methods. First, the extracted frames, including human from video sequences of different views, form the training set. Then, a PCANet model is trained by using all samples to predict the label of every frame. Because a fall behavior is contained in many continuous frames, the reliable fall detection should not only analyze one frame but also a video sequence. Based on the prediction result of the trained PCANet model for each frame, an action model is further obtained by SVM with the predicted labels of frames in video sequences. Experiments show that the proposed method achieved reliable results compared with other commonly used methods based on the multiple cameras fall dataset, and a better result is further achieved in our dataset which contains more training samples.     

目标识别的相似性测量方法

相似性测量是图像后期特征匹配的关键步骤,本文深入研究了特征向量顺序比对和交叉比对方法的差异,并以形状上下文提取的图像二维直方图特征为基础,分别结合x²距离、推土机距离和扩散距离三种不同的相似性测量方法对多种图像标准库进行了识别验证.     

基于递归神经网络的跌倒检测系统

针对现有跌倒检测方法存在适应性差和功能较单一等问题，引入递归神经网络，通过发掘位置传感器数据之间的内在联系提高检测跌倒行为的效果。首先，设计了传感器、训练与检测输入数据的序列化表示方法，为发掘其中与跌倒和接近跌倒行为相关的内在关联提供了基础；接着，给出了用于跌倒检测的RNN训练算法以及基于RNN的跌倒检测算法，将跌倒检测转换为输入序列的分类问题；最后，在前期实现的基于分布式神经元大规模RNN系统的基础上，在Spark平台上实现了基于RNN的跌倒检测系统，使用Fall_adl_data数据集进行了测试与分析，验证了其能有效提高跌倒检测的准确率和召回率，F值相比现有跌倒检测系统提高12%和7%，同时能有效检测出接近跌倒的行为，有助于及时采取保护措施减少伤害。     

基于OpenCV的视频目标检索

通过分析视频处理流程,设计并实现了一套基于OpenCV的视频目标检索方案。首先使用经过改良的背景差分法获取视频中的运动前景,接着根据前景的轮廓得到前景的位置,然后根据前景的颜色直方图特征对前景物体进行分类跟踪,最后将分好类别的目标进行排序,以便根据要求得到最迫切需要的目标及其运动过程。实验结果表明,该方法科学合理,思路清晰,功能完备,对视频目标检索的深入研究具有很高的研究价值。     

基于双摄像头的摔倒检测技术

随着人口老龄化趋势的加快, 老人独居现象增多, 为了减少老人摔倒所带来的伤害, 本文对基于双摄像头的摔倒检测技术进行研究. 针对Vibe算法在运动目标检测过程中存在的鬼影问题, 结合了帧间差分法进行鬼影区域的判断, 加快了鬼影的消除, 避免了其干扰. 利用人体外接矩形对检测到的人体进行标记, 求取出人体运动过程中高度、外接矩形高宽比、质心、Hu矩特征, 通过基于阈值分析法和支持向量机(SVM)的摔倒检测算法判断是否摔倒. 为了提高摔倒行为的检测率, 提出采用双摄像头进行联合判断. 实验结果表明, 系统能有效识别摔倒与其他日常行为, 算法准确度高、实时性好.     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。