基于语义对齐和重构的零样本学习算法

为同时缓解零样本学习算法中固有的枢纽问题和域漂移问题,提出一种基于语义对齐和重构的零样本学习算法。以语义特征嵌入到图像空间的神经网络映射模型为基础,对模型添加语义原型和图像原型对齐的约束条件进一步缓解高维向量枢纽问题对标签预测的影响;对模型添加语义特征重构建的约束条件,缓解域漂移问题对识别正确率的影响。实验结果表明,所提算法在AwA和CUB数据集上达到了较优的识别正确率,验证了其有效性。     

零样本图学习综述

深度学习方法的提出使得机器学习研究领域得到了巨大突破,但是却需要大量的人工标注数据来辅助完成.在实际问题中,受限于人力成本,许多应用需要对从未见过的实例类别进行推理判断.为此,零样本学习(zero-shot learning,ZSL)应运而生.图作为一种表示事物之间联系的自然数据结构,目前在零样本学习中受到了越来越多的...     

基于信息对齐的半监督少样本学习方法

针对深度学习中遇到数据样本不足,数据获取难度大的问题,提出一种基于信息对齐的半监督少样本学习方法。将支持集和查询集输入到特征提取网络得到特征向量,通过类原型计算查询集与支持集的每个局部区域对的距离用于信息对齐;采用注意力机制得到重新加权后的联合关系矩阵,利用关系模块将联合关系矩阵映射成类别的相似度分数;采用伪标签的半监督训练方法,辅助模型训练。理论和实验分析结果表明,与主流少样本学习方法相比,该方法具有更强的区分差异性的能力和更好的泛化能力。     

基于Swin Transformer的嵌入式零样本学习算法

零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间,在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失,该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入,特征提取过程没有考虑语义信息,基于此本文采用Swin Transformer作为骨干网络,输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验,与目前最先进的算法相比取得了最佳的调和平均精度.     

零样本学习研究进展

近几年来,深度学习在机器学习研究领域中取得了巨大的突破,深度学习能够很好地实现复杂问题的学习,然而,深度学习最大的弊端之一,就是需要大量人工标注的训练数据,而这需要耗费大量的人力成本.因此,为了缓解深度学习存在的这一问题,Palatucci等于2009年提出了零样本学习(Zero-shot learning).零样本学习是迁移学习的一种特殊场景,在零样本学习过程中,训练类集和测试类集之间没有交集,需要通过训练类与测试类之间的知识迁移来完成学习,使在训练类上训练得到的模型能够成功识别测试类输入样例的类标签.零样本学习的意义不仅在于可以对难以标注的样例进行识别,更在于这一方法模拟了人类对于从未见过的对象的认知过程,零样本学习方法的研究,也会在一定程度上促进认知科学的研究.鉴于零样本学习的应用价值、理论意义和未来的发展潜力,文中系统综述了零样本学习的研究进展,首先概述了零样本学习的定义,介绍了4种典型的零样本学习模型,并对零样本学习存在的关键问题及解决方法进行了介绍,对零样本学习的多种模型进行了分类和阐述,并在最后指明了零样本学习进一步研究中需要解决的问题以及未来可能的发展方向.     

基于最小样本平面距离的支持向量机增量学习算法

支持向量机增量算法的关键是对历史样本集的剪辑,在历史样本集中选择出尽可能少又能表示尽可能多历史样本集信息的子集,再把这个子集与新增训练样本集放在一起进行训练.Liva Ralaivola[1]提出保留新增样本最近邻样本来表示历史样本集,而这样的最近邻样本中可能存在冗余样本.根据历史样本与分类平面间的距离可以去除新增样本最近邻样本集中的冗余样本.根据样本平面距离提出了MSPDISVM (minimum sample plane distance incremental support vector machines)算法.实验结果表明,MSPDISVM比Liva Ralaivola提出的算法有更快的速度,而精度没有太大的差异.使用样本平面距离可以有效地去除新增样本最近邻中的冗余样本.     

零样本学习综述

尽管自深度学习发展以来,减少大量人工标记样本的需求使得零样本学习取得了不错的进展,以至于已经拥有比较完善的理论体系.但是对于零样本学习应用的研究寥寥无几,如何有效地对应用领域进行梳理是现阶段急需解决的问题.对零样本的理论体系进行介绍,通过一个例子引出零样本学习的定义,继而与广义零样本、监督学习比较,再而列举4个关键问题...     

原型对齐和域感知的零样本哈希

为了实现对未见类别图像的有效检索,零样本哈希(ZSH)方法通常将类别属性中的监督知识从已见类转移到未见类。然而,获取类别属性需要花费额外的计算资源,并且视觉特征和类别属性之间存在跨模态的异构鸿沟。此外,现有方法忽视了强偏差问题,导致模型错误地将已见类样本识别为未见类,从而降低了检索精度。与此同时,ZSH在保持哈希码和原始数据语义一致性以及实现哈希码的离散优化等方面也面临着挑战。为此,提出一种原型对齐和域感知的ZSH方法,其不依赖类别属性等特殊监督知识,能够节省注释属性的花销同时避免跨模态异构鸿沟的影响。首先计算各类样本在海明空间中的原型,然后通过对齐哈希码和类原型来学习语义一致的哈希码。为了避免松弛策略造成的量化误差,提出一种离散优化算法来求解哈希码的离散约束,并且实现线性的计算复杂度。同时,设计一个域感知策略用于分离源域和目标域样本,以缓解强偏差问题的影响。在a PY、AWA2和Image Net数据集上的实验结果表明,该方法的检索精度相较对比方法中的最优值分别提升了2.6、9.4和14.9个百分点,训练时间也远低于大部分对比方法。     

基于对比学习与数据增强的零样本事件检测

事件检测是一项经典的自然语言处理任务。然而在实践中,获取高质量的标注数据需要耗费大量的人力,这使得现有的基于监督学习的方法在面对大量未定义的新事件类型时表现不佳。面对零样本事件检测的困境,现有方法或者需要预定义的事件类型作为启发规则,或者由于自编码器类间特征提取能力不足,无法进一步归类发现的未知事件。为此,该文提出了一种基于对比学习与数据增强的零样本事件检测方法,通过对事件描述的重构与复写,自动为无监督的对比学习提供训练样本。模型只需要部分已知事件类别标准数据,便可以从大量文本中自动发现并归类新的事件类型。实验表明,该方法在保持对已知类别事件识别能力的同时,能够显著提升对未知事件类别识别的准确率。     

基于知识架构的持续学习情感分类方法

当情感分类模型依次学习多个领域的情感分类任务时,从新任务中学到的参数会直接修改模型原有参数,由于缺少对原有参数的保护机制,降低了模型在旧任务上的分类准确率。为缓解灾难遗忘现象对模型性能的影响,并增加任务间的知识迁移,提出一种用于中文情感分类的基于知识架构的持续学习方法。在Transformer编码层中,采用任务自注意力机制为每个任务单独设置注意力变换矩阵,通过区分任务特有的注意力参数实现知识保留。在TextCNN的全连接层中,利用任务门控注意力(HAT)机制控制每个神经元的开闭,为每个任务训练特定的网络结构,仅激活对任务重要的神经元加强知识挖掘,提升分类效率与准确率。在JD21中文数据集上的实验结果表明,该方法的Last ACC和负类F1值相比于基于HAT的持续学习方法分别提升了0.37和0.09个百分点,具有更高的分类准确率,并且有效缓解了灾难遗忘现象。     

基于序列结构信息的多序列比对算法

在介绍生物信息学中多序列比对定义和原理的基础上,给出了序列结构信息集的表示形式和基于序列结构信息的度量函数,该函数只与参加比对序列自身信息有关,不受主观因素的影响,能更客观、有效地反映生物序列之间的进化距离.通过利用该函数计算序列间的进化距离,在渐进比对的基础上,采用迭代策略,不断修正指导树,进而提高比对的准确性,避免了局部最优问题.最后,通过实验模拟,本算法在保证不提高计算时间复杂度的基础上,提高了序列比对的准确性,同时也很好地反映了生物学意义.     

基于遗传算法与星比对的多序列比对混合算法

多序列比对(MSA)是一个典型的NP完全问题,星比对是一种有效的多序列比对算法。文章针对MSA问题提出了将遗传算法与星比对算法结合在一起的混合算法,该算法充分发挥了遗传算法和星比对算法的优越性,可提高求解MSA问题的计算精度和计算速度,整个算法模拟了自然界进化的周期性,较好的解决了群体的多样性和收敛深度的矛盾。实验表明,该算法是有效的。     

核正交判别局部正切空间对齐算法

针对现有的局部正切空间算法中存在的问题,文中提出一种基于核变换的特征提取方法——核正交判别局部正切空间对齐算法(KOTSDA)。该算法首先利用核方法将人脸图像投影到一个高维非线性空间,提取其非线性信息;然后在目标函数中利用正切空间判别分析算法在保持样本的类内局部几何结构的同时最大化类间差异;最后添加正交约束,得到核正交判别局部正切空间对齐算法。该算法不需要经过PCA降维,有效避免判别信息的丢失,在ORL和Yale人脸库上的实验验证算法有效性。     

基于形状参数回归的人脸对齐算法*

针对传统人脸对齐算法效率较低等问题,提出基于形状参数回归的人脸对齐算法.首先,采用人脸形状空间约束人脸,以低维形状参数刻画人脸形状.然后,在二级形状参数回归算法框架下,结合明确形状特征索引方法和多重随机特征选择方法,学习一系列形状参数回归量,最终刻画对齐的人脸形状.文中算法减少数据存储量,提高人脸对齐速度,在复杂人脸数据库上取得较好效果.此外,该算法能直接应用于手机、平板电脑等低端设备上.     

求解多重序列比对问题的蚁群算法

多重序列比对是生物信息学特别是生物序列分析中一个重要的基本操作。提出求解多重序列比对问题的蚁群算法,利用人工蚂蚁逐个选择各个序列中的字符进行配对。在算法中,蚂蚁根据信息素、字符匹配得分以及位置偏差等信息决定选择各序列中字符的概率,通过信息素的更新与调节相结合的策略较为有效地解决了局部收敛的问题,加强了算法寻求全局最优解的能力。另外在该算法的基础上,提出了基于分治策略的多序列比对蚁群求解算法,不但减少了原算法的计算时间,而且显著改善了算法所求得的解的质量。     

基于潜语义分析的概念名称相似度算法

概念名称是本体映射中的一个重要要素。针对目前概念名称相似度计算中存在的概念名称多义性问题,提出一种改进的算法。该算法结合概念注释和义项解释,利用潜语义分析,明确概念在Wordnet中对应的义项,在一定程度上提高了相似度计算的准确度。实验表明该方法是切实可行的。     

基于动态拓扑图的人体骨架动作识别算法

传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题.针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图.将具有多关系特性的人体骨架序列数据重新编码...     

基于双语词典的汉英词语对齐算法研究

研究利用多部人读双语词典扩充双语词典的规模来改善词语对齐质量。介绍了一个在Ker算法基础上用双语词典进行汉英词语对齐的算法。提出了对齐窗口的概念，通过在对齐过程中设置对齐窗口，可以找到多对多的词语对应。     

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.