时空双仿射微分不变量及骨架动作识别

目的 人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果 实验在两个大型动作识别数据集NTU（Nanyang Technological University）RGB+D（NTU 60）和NTU RGB+D 120（NTU 120）上与若干最新方法及两种基线方法进行比较,在两种实验设置（跨参与者识别与跨视角识别）中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络（spatio-temporal graph convolutional networks,ST-GCN）,在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。     

基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

融合空洞卷积与注意力的胃癌组织切片分割

目的 病理组织切片检查是诊断胃癌的金标准,准确发现切片中的病变区域有助于及时确诊并开展后续治疗。然而,由于病理切片图像的复杂性、病变细胞与正常细胞形态差异过小等问题,传统的语义分割模型并不能达到理想的分割效果。基于此,本文提出了一种针对病理切片的语义分割方法ADEU-Net （attention-dilated-efficient U-Net++）,提高胃癌区域分割的精度,实现端到端分割。方法 ADEU-Net使用经过迁移学习的EfficientNet作为编码器部分,增强图像特征提取能力。解码器采用了简化的U-Net++短连接方式,促进深浅层特征融合的同时减少网络参数量,并重新设计了其中的卷积模块提高梯度传递能力。中心模块使用空洞卷积对编码器输出结果进行多尺度的特征提取,增强模型对不同尺寸切片的鲁棒性。编码器与解码器的跳跃连接使用了注意力模块,以抑制背景信息的特征响应。结果 在2020年“华录杯”江苏大数据开发与应用大赛（简称“SEED”大赛）数据集中与其他经典方法比较,验证了一些经典模型在该分割任务中难以拟合的问题,同时实验得出修改特征提取方式对结果有较大提升,本文方法在分割准确度上比原始U-Net提高了18.96%。在SEED数据集与2017年中国大数据人工智能创新创业大赛（brain of things,BOT）数据集中进行了消融实验,验证了本文方法中各个模块均有助于提高病理切片的分割效果。在SEED数据集中,本文方法ADEU-Net比基准模型在Dice系数、准确度、敏感度和精确度上分别提升了5.17%、2.7%、3.69%、4.08%;在BOT数据集中,本文方法的4项指标分别提升了0.47%、0.06%、4.30%、6.08%。结论 提出的ADEU-Net提升了胃癌病理切片病灶点分割的精度,同时具有良好的泛化性能。     

代码搜索方法研究进展

开源软件的成功推动了软件产业的蓬勃发展,大量代码资源为代码搜索创造了条件.如何通过代码搜索技术找到需求代码成为一个重要问题.为了更好地推进后续研究工作,首先对代码搜索相关概念及研究趋势进行介绍和说明;其次对使用不同技术的代码搜索研究工作进行综述,包括基于信息检索、查询和代码描述增强、程序特征分类以及深度学习等方面,并进一步总结归纳不同方法的优缺点;接下来针对代码搜索技术所应用的多个领域进行介绍,包括程序合成、代码推荐与补全和代码风格改善等方面;最后分析现阶段代码搜索面临的主要问题,为未来该方向的发展提供一定的参考与建议.     

基于混合方法的IPSec VPN加密流量识别

文中提出了一种混合方法,将指纹识别与机器学习方法相结合,实现了IPSec VPN加密流量的识别。该方法首先基于负载特征从网络流量中筛选出IPSec VPN流量;接着,基于时间相关的流特征,利用随机森林算法建立了IPSec VPN流量分类模型,通过参数优化以及特征选择,整体流量识别的准确率达到了93%。实验结果验证了通过流特征提取的机器学习方法识别IPSec VPN流量的可行性;同时表明了该方法能够有效均衡识别精度与识别速度,达到了高效识别IPSec VPN加密流量的效果。     

跨模态行人再识别的协同学习方法

跨模态行人再识别是实现全天候智能视频监控系统的一项关键技术。该技术旨在匹配某一特定身份行人在不重叠摄像头场景下的可见光图像和红外图像,因而面临着巨大的类内变化和模态差异。现有方法难以较好地解决这两大困难,很大程度上是由于欠缺了对特征判别能力的有效挖掘和对多源异质信息的充分利用。鉴于以上不足,使用协同学习方法设计了一个精细化多源特征协同网络,提取多种互补性特征进行信息融合,以提升网络的学习能力。从骨干卷积网络中提取多尺度和多层次特征,实现精细化特征协同学习,以增强特征的判别能力来应对类内变化。设计了模态共有与特有特征协同模块和跨模态人体语义自监督模块,达到多源特征协同学习的目的,以提高多源异质图像信息的利用率,进而解决模态差异。在SYSU-MM01和RegDB数据集上验证了该方法的有效性和先进性。     

自适应融合特征的人群计数网络

针对人群计数方法中存在的尺度变化和多层级特征融合不佳的问题,基于U-Net的编码器-解码器网络结构,提出一种自适应特征融合网络,来进行精准的人群计数。提出自适应特征融合模块,根据解码器分支的需要,高效地聚合编码器分支提取的高层语义信息和底层的边缘信息;提出自适应上下文信息提取器,从不同感受野下提取多尺度的上下文信息并自适应加权融合,提高网络对于人头尺度变化的鲁棒性。在ShanghaiTech、UCF-CC-50和UCG-QNRF上的实验表明,与目前主流的人群计数算法相比,该算法具有更强的准确性和鲁棒性。     

融合文本特征的汉老双语句子相似度计算方法

双语句子相似度旨在计算不同语言句子间的语义相似程度,在信息检索、平行语料库构建、机器翻译等领域有重要作用。由于汉语、老挝语平行语料稀少,且老挝语在语义表达、句子结构上与汉语有明显差异,导致汉老双语句子相似度研究的难度较大。该文提出了一种融合文本特征的汉老双语句子相似度计算方法,并构建了句子相似度模型。首先,在句子相似度模型中将汉语、老挝语的词性、数字共现等文本特征与GloVe预训练词向量融合,以此丰富句子特征,提升模型计算准确率。其次,由基于自注意力的双向长短时记忆网络组成多层孪生网络来提取长距离上下文特征和深层次语义信息,其中自注意力机制可以保证语义信息的有效利用。最后,采用迁移学习的方法将通用模型参数初始化,并使用不同的微调参策略增强模型的泛化能力。实验表明,该文提出的方法,其召回率、准确率和F₁值分别达到了82.5%、85.78%和84.00%。     

无人机航拍图像中裸露地表的识别

电力输电线路下方或附近的无覆盖物的裸露地表,是引起输电线路事故的主要隐患之一;从无人机电力巡检航拍图像中识别裸露地表可以预防类似事故的发生;由于Mask RCNN识别无人机电力巡检航拍图像中裸露地表的精度较低,提出一种图像特征融合的方法,即人工提取HOG和LBP两种不同的图像特征,经过不同权重的融合共同表征图像中裸露地表区域的特征,再对SVM进行训练并用于识别;实验结果表明,采用该方法识别率可以达到80％以上,识别时间少于60 ms;HOG和LBP两种特征在进行融合时,当两种特征的数量级相当时,得到的识别率最高;可见,该方法在具有较高识别率的同时,具有比较好的实时性,适合于无人机机载平台对航拍图像的初筛,且训练时间较少,权重参数规模小,为无人机航拍图像中目标物的识别提供一种新思路.     

基于生成对抗网络的灰度照片上色方法

为了黑白和灰度老旧照片的上色效果,论文提出了一种改进后的生成对抗网络的图像上色方法。与传统的上色方法相比,使用机器学习的方法提取图像的色彩特征,避免了人工特征提取的时间成本,提高了图像上色的效率。加快了上色的速度。实验针对收集的图像数据集,通过对目标函数添加L1正则化约束条件提高图像上色的效果。在训练好的网络模型后,能够对黑白和灰度老旧照片自动上色。论文实验结果峰值信噪比为30.01,结构相似度为0.83,优于传统方法。