基于堆叠交叉注意力的图像文本跨模态匹配方法

图像文本跨模态匹配是计算机视觉与自然语言处理交叉领域的一项重要任务,然而传统的图像文本跨模态匹配方法要么只考虑到全局图像与全局文本匹配,要么只考虑到局部图像与局部文本匹配,无法全面有效的考虑局部和全局信息,导致提取出来的特征信息不完善.或者只是简单的对全局图像与全局文本特征进行提取,局部细节信息无法凸显,导致全局特征无...     

基于语义融合的文本相似度算法研究

针对在传统语义融合的文本相似度算法设计与实现中由于汉语语义复杂存在容易形成局部极小值而得不到全局最优、训练次数较多、学习效率降低、隐节点的选取缺乏理论依据等问题,提出一种改进算法。首先在把握文本相似度算法内涵和分类情况的基础上,通过调整数字识别方向、选取合适的数据来源,依据图像识别技术和算法深度学习的共性需求,从语义融合角度提出以核心词为节点进行文本相似度计算;然后通过多特征融合向量空间模型对特征项的类间分布问题进行分析,最终通过加权计算得到文本相似度。从算法实现效果来看,相较于传统算法能够获得更高文本分类准确度,改进基于文本相似度算法的语言处理技术更加高效、准确。     

基于特征增强生成对抗网络的文本生成图像方法

针对文本生成图像任务过程中存在图像视觉特征和通道特征信息利用不充分问题,提出一种基于特征增强生成对抗网络(FE-GAN)的文本生成图像方法.首先,在动态记忆读取时,设计二次记忆(MoM)模块来对生成的中间特征进行注意与融合,利用注意力机制在记忆读取时进行第一次视觉特征增强,再将得到的注意力结果和上一个生成器生成的图像特征进行融合,实现第二次图像视觉特征增强.然后,在残差块中引入通道注意力来获取图像特征中的不同语义,提升相似语义通道之间的关联性,实现通道特征增强.最后,将实例归一化上采样块和批量归一化上采样块相结合来提高图像分辨率,同时缓解批量大小对生成效果的影响,提升生成图像风格多样性能力.在CUB-200-2011和Oxford-102数据集上进行的仿真实验表明,所提方法的IS分别达到了4.83和4.13,与DM-GAN相比分别提高了1.68%和5.62%.实验结果表明,FE-GAN生成的图像在细节处理上更好,更加符合文本语义.     

基于二次表示的空间目标图像分类

针对空间目标图像的特点,该文提出一种基于局部不变特征的空间目标图像分类方法.该方法首先提取每幅图像的局部不变特征,利用混合高斯模型(GMM)建立全局的视觉模式,然后依据最大后验概率匹配局部特征和视觉模式来构造整个训练集图像的共现矩阵,采用概率潜在语义分析(PLSA)模型得到图像的潜在类别表示来实现图像的二次表示,最后利用SVM算法实现分类.实验结果验证了该方案的有效性.     

基于Bert-GNNs异质图注意力网络的早期谣言检测

网络谣言的广泛传播已经造成了很大的社会危害,因此早期谣言检测任务已成为重要的研究热点.现有谣言检测方法主要从文本内容、用户配置和传播结构中挖掘相关特征,但没有同时利用到文本全局语义关系和局部上下文语义关系.为了克服以上局限性,充分利用到谣言数据中的文本全局-局部上下文语义关系、文本语义内容特征和推文传播的结构特征,本文提出了一种基于Bert-GNNs异质图注意力网络的早期谣言检测算法（Bert-GNNs Heterogeneous Graph Attention Network,BGHGAN）.该方法根据历史谣言集和用户特征构建一个推文-词-用户异质图,通过采用预训练语言模型Bert和图卷积神经网络（Graph Convolutional Network,GCN）结合的方法进行特征学习,以挖掘谣言的文本语义特征和文本之间的关系,并将异质图分解为推文-词子图和推文-用户子图,采用图注意力网络（Graph Attention network,GAT）的方式分别进行特征学习,从而更充分利用文本全局-局部上下文语义关系和传播图的全局结构关系以加强特征表达;最后,通过子图级注意力机制将不同模块的...     

融合局部语义与全局信息的人脸表情识别

人脸表情识别在人机交互等人工智能领域发挥着 重要作用,当前研究忽略了人脸的语 义信息。本 文提出了一种融合局部语义与全局信息的人脸表情识别网络,由两个分支组成:局部语义区 域提取分支 和局部-全局特征融合分支。首先利用人脸解析数据集训练语义分割网络得到人脸语义解析 ,通过迁移训 练的方法得到人脸表情数据集的语义解析。在语义解析中获取对表情识别有意义的区域及其 语义特征, 并将局部语义特征与全局特征融合,构造语义局部特征。最后,融合语义局部特征与全局特 征构成人脸 表情的全局语义复合特征,并通过分类器分为7种基础表情之一。本文同时提出了解冻部分 层训练策略, 该训练策略使语义特征更适用于表情识别,减 少语义信息冗余性。在两个公开数据集JAFFE 和KDEF上 的平均识别准确率分别达到了93.81%和88.78% ,表现优于目前的深度学习方法和传统方法。实验结果证 明了本文提出的融合局部语义和全局信息的网络能够很好地描述表情信息。     

基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础，直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失，但大多数深度学习模型的研究主要集中在提取局部几何特征，没有考虑点云不同局部结构之间的上下文关系，并且忽略了低级与高级特征之间的语义差距，限制了特征表示的能力，影响了点云语义分割的精度。因此，文中提出一种基于全局上下文注意力的点云语义分割方法，该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系，从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力，设计基于后向竞争性注意力的邻近尺度特征融合模块，学习低级与高级语义特征之间的相似度，重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估，结果表明，所提方法的平均交并比在Area5上达到了65.2%，相比于RandLA-Net提高了2.5%，在6折交叉验证上的平均交并比达到了71.4%，相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征，提高了语义分割的精度。     

融合TextRank算法的中文短文本相似度计算

传统的VSM向量空间模型忽略了文本语义,构建的文本特征矩阵具有稀疏性。基于深度学习词向量技术,文中提出一种融合改进TextRank算法的相似度计算方法。该方法利用词向量嵌入的技术来构建文本向量空间,使得构建的向量空间模型具有了语义相关性,同时采用改进的TextRank算法提取文本关键字,增强了文本特征的表达并消除了大量冗余信息,降低了文本特征矩阵的稀疏性,使文本相似度的计算更加高效。不同模型的仿真实验结果表明,融合改进的TextRank算法与Bert词向量技术的方法具有更好的文本相似度计算性能。     

面向自然场景分类的贝叶斯网络局部语义建模方法

本文提出了一种基于贝叶斯网络的局部语义建模方法.网络结构涵盖了区域邻域的方向特性和区域语义之间的邻接关系.基于这种局部语义模型,建立了场景图像的语义表述,实现自然场景分类.通过对已标注集的图像样本集的学习训练,获得贝叶斯刚络的参数.对于待分类的图像,利用该模型融合区域的特征及其邻接区域的信息,推理得到区域的语义概率;并通过网络迭代收敛得到整幅图像的区域语义标记和语义概率;最后在此基础上形成图像的全局描述,实现场景分类.该方法利用了场景内部对象之间的上下文关系,弥补了仅利用底层特征进行局部语义建模的不足.通过在六类自然场景图像数据集上的实验表明,本文所提的局部语义建模和图像描述方法是有效的.     

利用模糊形状上下文关系的红外与可见光图像匹配方法

对于同一场景可见光和红外图像提取的灰度特征存在差异导致匹配性能下降的问题,利用了该两个谱段图像仅在形状上模糊相似的特点,提出采用形状上下文思想实现红外与可见光图像之间的匹配方法.具体方法是在提取图像边缘的基础上,用采样模板获取点特征图像,然后利用提出的不等分坐标空间提取局部形状统计信息的直方图,再以形状上下文特征开支与全局特征匹配开支的加权和作为相似性测度实现匹配.与已有的形状上下文算法相比,此方法减少了25%的特征维数,鲁棒性更好.针对多个红外和可见光图像序列的匹配实验结果显示,此方法与归一化灰度互相关、Hausdorff距离、文献中的形状上下文和SIFT算子等匹配算法相比,其匹配正确率分别平均提高了34.7%、21.2%、7.7%、88.9%,证明了该方法的有效性.     

融合耦合距离区分度和强类别特征的短文本相似度计算方法

短文本相似度计算在社会网络、文本挖掘和自然语言处理等领域中起着至关重要的作用.针对短文本内容简短、特征稀疏等特点,以及传统的短文本相似度计算忽略类别信息等问题,提出一种融合耦合距离区分度和强类别特征的短文本相似度计算方法.一方面,在整个短文本语料库中利用两个共现词之间的距离计算词项共现距离相关度,并以此来对词项加权从而捕获词项间内联和外联关系,得到短文本的耦合距离区分度相似度;另一方面,基于少量带类别标签的监督数据提取每类中强类别区分能力的特征项作为强类别特征集合,并利用词项的上下文来对强类别特征语义消歧,然后基于文本间包含相同类别的强类别特征数量来衡量文本间的相似度.最后,本文结合耦合距离区分度和强类别特征来衡量短文本的相似度.经实验证明本文提出的方法能够提高短文本相似度计算的准确率.     

基于特征融合的主观题智能阅卷算法研究

为了实现主观题智能阅卷,本文提出了一个基于多特征融合的主观题智能阅卷算法.首先,分别设计两种算法:关键词相似度算法和语义相似度算法,计算学生答案和标准答案之间的关键词相似度和语义相似度;然后,以题目的 题型和科目作为特征值,分别计算出两相似度的权值,并利用权值计算出学生答案的得分实验表明,本文提出的算法,能有效主观题智能阅卷算法的准确性,具有较好的应用前景.     

用EDA和禁忌搜索算法进行文本聚类

基于VSM的文本聚类忽略了文本关键词稀疏带来的相似度漂移问题和关键词之间的语义信息和各维度之间的关系,致使文本的相似度计算不精确,文中对相似度计算方法 TF-IDF进行了改进,并提出一种新的聚类方法,利用分布式估计算法和禁忌搜索算法进行聚类,融合分布式估计算法的收敛速度快和禁忌搜索算法能跳出局部搜索的优点,首先对文本进行预处理,然后用分布式估计算法和禁忌搜索算法聚类,既能快速聚类又能防止聚类收敛到局部最优。测试结果表明这种算法行之有效。     

基于变换域多合成规则的双色中波红外图像融合

为了综合多个合成规则的优点,取得更好的双色中波红外图像融合效果,提出了基于变换域多合成规则的融合方法.采用支持度变换分别获得两个中波细分波段图像的低频成分图像和支持度图像序列;根据像素值最大法、区域特征最大法、区域特征加权法等合成规则的特点,提出了低频成分图像三个合成规则的组合方法;根据支持度图像的能量最大法、区域特征加权法等合成规则的特点,提出了支持度图像序列两个合成规则的组合方法.与单一合成规则的方法相比,融合后的图像局部标准偏差、局部粗糙度和融合质量参数分别提高了6.77%、4.86%和9.59%,实验结果证明了该融合方法的有效性.     

用EDA和禁忌搜索算法进行文本聚类

基于VSM的文本聚类忽略了文本关键词稀疏带来的相似度漂移问题和关键词之间的语义信息和各维度之间的关系,致使文本的相似度计算不精确,文中对相似度计算方法TF—IDF进行了改进,并提出一种新的聚类方法,利用分布式估计算法和禁忌搜索算法进行聚类,融合分布式估计算法的收敛速度快和禁忌搜索算法能跳出局部搜索的优点,首先对文本进行预处理,然后用分布式估计算法和禁忌搜索算法聚类,既能快速聚类又能防止聚类收敛到局部最优。测试结果表明这种算法行之有效。     

局部加权稀疏表示的文本分类算法研究

基于稀疏表示方法的文本分类强调使用训练样本特征的全局结构对测试样本进行稀疏表示,而对文本特征的局部邻域结构和文档之间相似性缺乏考虑,导致文本分类准确率低和高耗时。为了解决上述问题,本研究以最近邻和最近特征子空间为基础,并建立局部邻域结构和距离加权机制,提出一种局部加权稀疏表示的文本分类算法,使文本语义信息表达更丰富、稀疏表示更具判别力。实验结果表明本文算法准确率高于基线算法2.4%～5%,运行速度提高1.35～2.8倍。     

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。     

星载光学遥感图像特征误匹配剔除方法研究

误匹配剔除是提高特征匹配精度的重要手段,星载光学遥感图像由于数据量大、纹理重复、光照强度变化等特点,导致现有误匹配剔除方法的性能下降。针对此问题,提出一种基于局部和全局几何约束的误匹配剔除方法。在初始匹配集的基础上,首先利用特征局部一致性对误匹配进行初步过滤;然后根据图像间的变换关系构建特征拓扑结构,并提取其几何属性描述结构相似度,基于此建立特征全局结构一致性约束模型,通过推导模型的最优解剔除残留误匹配;采用引导式匹配策略,选取局部一致性高的匹配点组成高内点率匹配集,以此作为特征全局邻域,提高全局约束的鲁棒性和效率。实验结果表明,与现有方法相比,所提方法对星载光学遥感图像的匹配性能更优,平均精确率、召回率分别为0.9和0.89;在不同内点率的初始匹配集上表现鲁棒,平均F分数为0.86。     

激光雷达中基于组合纹理的低空风切变识别算法

针对不同的风切变在激光雷达图像上所呈现的不同纹理特性,提出了一种组合局部纹理特征和全局纹理特征的识别方法。先分别从激光雷达风切变图像中提取LBP特征和灰度-梯度共生矩阵特征,LBP特征反应图像的局部纹理,代表风场局部风速的变化,灰度-梯度共生矩阵特征反应图像的全局纹理,代表风场全局的风速变化,再通过典型相关分析对两种特征进行融合,最后采用最近邻分类器对三种风切变进行匹配识别。实验结果表明,该算法对三种低空风切变的平均识别率达到99.02%,与三种单一的纹理特征分类识别相比,分别提高了18.86%,5.88%和7.01%。     

红外和可见光图像互补融合的运动目标检测方法

可见光和红外图像具有互补特性,融合可产生更好的召回率,但现有方法融合后总会导致精度下降。这项研究提出了一种在特征级进行融合检测行人目标的方法:1提取前景目标特征的极大稳定极值区域Maximally Stable Extremal Regions(MSERs),计算红外图像MSERs稠密度和相似度特性,并根据此特性分类MSERs。2搜索匹配可见光图像中的相似MSERs区域,定位前景目标。3融合提取红外与可见光图像中的相似匹配MSERs区域,完成运动目标轮廓提取。该方法融合可见光图像信息,能有效滤除背景物,辅助定位在红外图像中检测的前景目标,并补充仅利用红外图像提取前景目标的缺失部分。已使用公共数据库对该方法进行测试,并与早期融合方法进行比较,能获得更好的召回率,同时融合后准确率不会下降。不需要对背景建模,因此比以往算法计算上更高效,更简单,单帧检测的效果也能达到实时处理要求。