基于人体时空骨架特征的图卷积行为识别算法

【目的】为了充分利用动态的人体骨架特征，提高行为识别精度，提出一种基于人体时空骨架特征的图卷积行为识别算法。【方法】首先在空间上确定主关节点，再融合各关节点与主关节点之间的向量和关节点间的骨骼长度，获取瞬时状态下关节点的相对位置关系；然后计算相邻两帧之间由相同关节点构成的时序动作信息来描述运动状态；最后，将时空信息融合到时空图卷积网络中，进行端到端训练。【结果】与时空图卷积网络识别算法相比，在400分类Kinetics行为识别数据集上的Top-1和Top-5指标分别提升了1.78%和1.77%，在NTURGB+D数据集的两个基准上的Top-1分别提升4.13%和2.61%。【结论】提出的基于人体时空骨架特征的图卷积行为识别算法是有效实用的。     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

MRTP:时间-动作感知的多尺度时间序列实时行为识别方法

针对行为识别中时空信息分布不均衡以及对长时间跨度信息表征获取难的问题,提出了一种时间-动作感知的多尺度时间序列实时行为识别方法MRTP。以RGB视频为输入,使用两个并行的感知路径在不同的时间分辨率上对视频进行空间特征与动作特征提取。在空间路径中,使用基于特征差分的动作感知寻找并加强通道动作特征表征;在动作路径中,基于动作感知的权重对通道进行筛选,并加入通道注意力和时间注意力加强关键特征;在两个路径提取出特征后,对特征进行融合,融合后的特征通过激活函数映射出样本在各个类别的得分,取得分最高的类别为最终识别结果。实验结果表明：所提方法在UCF101数据集上达到了95.6%的准确率,优于未使用时间注意力的方法;在AVA2.2数据集上的平均精度达到了28%,优于未使用动作感知和时间注意力的方法。与目前主流的基于光流法的双流网络、以Slowfast为代表的3D卷积网络、Transformer等方法进行了准确率、参数量、处理速度对比,结果表明所提方法具有更良好的识别效果和鲁棒性。     

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

基于光流和深度运动图的行为识别算法

为了融合不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于光流和深度运动图(Depth Motion Map,DMM)的人体行为识别算法.首先从RGB视频序列获取彩色信息(RGB视频帧)和光流信息,并且从同步的深度视频序列获取深度信息,以增强特征互补性,其次把3种特征信息分别作为基于ResNet101的空间流网络、时间流网络和深度流网络的输入,通过LSTMs进行特征融合,最后将特征送入Softmax层得到每个行为类别的概率值.实验结果表明,在具有挑战性的UTD-MHAD数据集和MSR Daily Activity 3D数据集上的行为识别准确率分别为94.86%和97.69%,在与该领域中的同类算法比较中表现优异.     

Hmnan Action Recognition in Complex Scenes Based on Fuzzy Integral Fusion

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3 D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

基于模糊积分融合的复杂场景下人体行为识别

利用局部特征描述符来表征视频中一系列关键点的方法已被广泛应用于识别复杂场景下的人体行为,但这些关键点之间隐含的结构化的位置关系目前并未得到有效表征.为此,文中首先采用尺度不变的关键点的检测子和3D-Harris检测子检测视频样本中的局部关键点,结合已有的局部特征描述符和形状描述符来表征关键点位置之间结构化的信息,然后利用bag-of-features模型来计算这些特征的分布,再通过模糊积分对这些局部特征进行有效融合,并给出具体的算法描述.在具有复杂场景的YouTube数据集下的实验表明,所提出的局部特征表征方法能够更有效地表征复杂场景中的人体行为,模糊积分融合方法可有效进行决策层融合.     

结合上下文词汇匹配和图卷积的材料数据命名实体识别

材料领域的文献中蕴含着丰富的知识, 利用机器学习和自然语言处理等手段对文献进行数据挖掘是研究热点. 命名实体识别(named entity recognition, NER)是高效利用挖掘和抽取数据中信息的首要步骤. 为了解决现有实体识别方法中存在的向量表示无法解决一词多义、模型常提取上下文特征而忽略全局特征等问题, 提出了一种基于上下文词汇匹配和图卷积命名实体识别方法. 该方法首先利用 XLNet 获取文本的上下文动态特征, 其次利用长短期记忆网络并结合文本上下文匹配词汇的图卷积神经网络(graph convolutional network, GCN)模型分别获取上下文特征与全局特征, 最终经过条件随机场输出标签序列. 2 种不同语料对模型进行验证的结果表明, 该方法在材料数据集上的精确率、召回率和 F1 值分别达到 90.05%、88.67% 和 89.36%, 可有效提升命名实体识别的准确率.     

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于改进YOLOv4网络的水表读数识别方法

在远程水表读数自动识别系统中,为减少网络模型参数量,改善受雾化、抖动等干扰的水表复杂场景图像读数识别精度及半字识别问题,提出了一种基于改进YOLOv4网络的水表读数识别方法?该方法利用深度可分离卷积与引入压缩与激发(squeeze-and-excitation, SE)注意力机制的MobileNetv2瓶颈结构,分别替代YOLOv4网络原有的标准卷积和主干网络,并利用加权平均非极大值抑制算法改进预测输出头,形成了一种网络模型参数量明显降低但检测精度不下降的改进YOLOv4网络,同时有效改善了对水表读数“半字”识别的漏检和错检问题;最后基于字符边框定位的水表读数提取方法,实现“半字”准确提取问题?实验结果表明,本文方法与多种网络学习方法相比,模型参数量压缩14.4%以上,读数识别的准确率和召回率对普通场景水表图像分别提升了0.04%和0.05%以上,对受雾化、抖动等干扰的复杂场景水表图像分别提升了0.11%和0.37%以上.     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于卷积神经网络的胶囊内镜息肉与溃疡辅助诊断

针对目前胶囊内镜(WCE)自动检测方法需要对每种病灶设计对应的识别算法以及识别准确率不高的问题,设计一种基于卷积神经网络的息肉与溃疡辅助诊断算法。与传统检测算法相比,卷积神经网络可自动学习病灶图像特征,实现更强泛化能力,更高准确率和效率。该方法针对具体WCE图像,首先评价图像R、G、B通道携带信息的特征;其次,分析全局直方图均衡化、伽玛变换和拉普拉斯变换对提升图像对比度的效果,选择其中表现最佳者与信息最丰富的2个颜色通道组合成3通道输入到卷积网络中训练和识别。测试表明,本算法识别准确率96.8%,比传统的经典图像检测方法高出至少16.73%,检测速度达到68.6图/s,能够推广应用到医疗辅助诊断领域。     

改进深度可分离卷积的SSD车型识别

针对现有车辆识别方法对于车型实时识别能力不足的问题,提出一种改进的深度可分离卷积的SSD(single shot multibox detector)算法用于车型识别研究.首先,利用深度可分离卷积网络进行特征提取,并引入反残差模块来解决因通道数少、特征压缩导致的准确率下降问题.其次,以车辆的刚体特性为依据,重新设计区域候选框,减少模型参数运算量.最后,在BIT-Vehicle数据集上进行消融实验来对比不同网络模型性能差异.结果表明:改进的深度可分离卷积的SSD车型识别方法有更好的车型识别效果,可以达到96.12％的识别精度,检测速度提高至0.078 s/帧.     

基于显著性区域的红外行为识别

视频特征的提取是行为识别方法中一个关键步骤,当视频场景中存在无关行人或者背景干扰时,提取的特征往往会包含较多的干扰信息,这将严重影响分类器的分类效果,进而影响行为识别准确率。针对这类问题,提出了一种基于显著性区域的红外行为识别方法。该方法对视频序列提取光流运动历史图(optical flow motion history image, OF-MHI)特征,获取视频序列的运动信息,此步骤旨在消除图像背景及静止目标干扰。利用类别激活映射(class activation map, CAM)方法进一步消除运动目标干扰,获得兴趣目标显著性区域,进而获得显著性区域特征图。输入卷积神经网络(convolutional neural network, CNN)提取最终特征,并采用支持向量机(support vector machine, SVM)获得识别结果。与传统方法相比,实验结果表明,该方法有效地提升了识别准确率。     

改进残差神经网络在遥感图像分类中的应用

针对传统卷积神经网络随着深度加深而导致网络退化以及计算量大等问题,提出一种改进残差神经网络的遥感图像场景分类方法。该方法以残差网络ResNet50作为主框架,在残差结构中引入深度可分离卷积和分组卷积,减少了网络的参数量和计算量,加快模型收敛的同时也提升了分类精度。此外在网络中嵌入多尺度SE block模块对通道特征进行重校准,提取出更加重要的特征信息,进一步提升了网络的分类性能。在AID和UCMerced_Land Use两个公开数据集上的分类精度分别为91.92%和93.52%,相比常规残差网络分类精度分别提高了3.38%和10.24%,证明所提方法在遥感图像场景分类任务中的可行性和有效性。     

基于高阶累积量和改进GRNN的CSI手臂行为识别

为了挖掘信道状态信息(channel state information,CSI)在手臂行为识别中的非线性深层特征,提高识别准确度,提出了一种基于高阶累积量和改进广义回归神经网络(generalized regression neural network,GRNN)的CSI手臂行为识别算法.离线阶段,将在不同手臂动作下...     

基于多模态的贝叶斯网络疼痛识别方法

有效的疼痛管理对病人的治疗和护理至关重要，针对传统的单模态疼痛识别准确度低的问题，提出了一种基于多模态的贝叶斯网络（MMBN）疼痛识别方法。首先利用互信息对多模态特征进行相关性判断，剔除冗余的特征向量，使得模型简洁；其次将多模态特征与贝叶斯网络结构的可扩展性相结合设计了一种基于多模态的BN结构，并建立疼痛识别模型；最后利用BN概率推理算法完成疼痛识别，并在UNBC-McMaster数据库上进行验证。实验结果表明，与传统基于单模态的疼痛识别方法相比较，MMBN方法利用多模态之间的信息互补性能够有效地提高疼痛识别准确度，为目前的疼痛识别与研究提供了一种新手段。