基于注意力机制的CycleGAN服装局部风格迁移研究

针对复杂背景下服装图像局部区域风格迁移难以控制及迁移后容易产生边界伪影的问题,提出一种基于注意力机制的CycleGAN服装局部风格迁移方法。通过VGG16网络分别提取服装图像的内容特征与风格特征,将其输入基于注意力机制的CycleGAN生成器中,应用注意力机制在复杂背景下的各个服装区域分配概率分布信息,获得注意力分布更多的区域及相关度更高的区域,并采用改进的损失函数校正边界伪影,对该区域进行风格迁移得到所需的风格迁移服装图像。实验结果表明,与CNN、FCN、BeautyGAN图像局部风格迁移方法相比,该方法不仅可以突出服装图像局部风格迁移效果,而且增强了图像细节,有利于提高输出图像的真实性和艺术性。     

基于注意力机制的增强特征描述子

传统手工获取特征描述子的方式不能保证特征点在非线性形变状态下进行正确匹配,无法有效解决图像存在较大形变时的特征描述问题。针对柔性生物组织MR影像特征点匹配问题,提出一种结合注意力机制的增强描述子。采用多层感知机对特征点位置信息进行编码并与特征点的初始描述子相结合,将图注意力神经网络中的自我注意与交叉注意的方法相结合,并运用消息传递方法传递节点信息。通过充分利用图注意力神经网络的层次性,以融合不同层次间的节点信息并最终获得特征描述子。在真实柔性生物组织MR影像数据集上的实验结果表明,该描述子相比SIFT、SURF、DAISY、GIH描述子的描述性能更优,且适用于真实MR影像的匹配任务。     

基于流形结构神经网络的服装图像集分类方法

随着大规模时尚数据集的公开,基于深度学习的服装图像分类得到快速发展.然而,目前服装图像分类多数是在同一件服装具有单张的、正面或接近正面的图像的场景下进行分类,这导致了当视角发生变化时常出现服装图像误分类的情况,现实中服装具有的形变大、遮挡严重等特性进一步加剧了该问题.基于上述问题,提出了一种基于流形结构神经网络的服装图像集分类方法,利用流形空间更好地表示服装的内部结构特征.该方法选用多视角度服装图像集作为实验数据集,首先通过卷积神经网络提取服装图像集的浅层特征,再通过协方差池化将欧氏数据转换为流形数据,最后通过基于流形结构的神经网络学习服装图像集的内部结构特征,获取准确的分类结果.实验结果表明,所提方法在MVC数据集上的Precision、Recall和F-1指标可达到89.64％,89.12％和88.69％,与现有的图像集(视频)分类算法相比,其分别获得了2.04％,2.65％和2.70％的提升,该方法比已有算法更加准确、高效、鲁棒.     

基于动态规划和流形排序的知识库问答未登录词处理

为解决知识库问答中较多实体未被纳入到词库中以及新词层出不穷旧词库无法及时更新的问题，提出一种基于动态规划和流形排序的知识库问答模型DPQA来为未登录词选择最优表征，缓解知识库未登录词描述信息不足的问题。该方法通过动态规划获取未登录词的子词序列；使用一种基于流形排序的子词排序方法得到最优子词；使用最优子词的向量表示未登录词。实验结果表明，基于动态规划的方法在多个数据集上的问答结果表现最佳。     

基于背景自适应学习的行人重识别算法研究

现有的基于语义分割的行人重识别研究大多还是停留在人体语义信息的提取本身，忽视了人体自身语义信息之间以及人体与环境语义信息之间的相互关系，为了解决这一问题，此项研究提出了基于背景自适应学习的人体语义空间关系模型。该模型主要分为语义分离，特征粗提取以及空间关系学习三部分，语义分离主要用于区分人体语义信息和环境语义信息，特征粗提取则是用于提取不同语义信息的浅层特征，空间关系学习主要是对上述的浅层特征进行空间关系维度的特征关联。通过广泛的实验证明，该方法在两组公开数据集中（DukeMTMC-reID、CUHK-03）均取得了较好的效果。