基于神经网络迁移学习的蒙汉机器翻译方法

针对蒙汉神经机器翻译过程中出现严重未登录词的问题,利用字节编码技术对蒙汉平行语料进行预处理,实验结果表明字节对编码技术有效缓解了未登录词现象。同时,为缓解蒙汉平行语料不足问题,将迁移学习策略应用到在蒙汉神经机器翻译中,实验结果表明最终的翻译译文提高了1.6个BLEU值。另外,考虑到在神经机器翻译模型中的双语词向量的质量对最终的翻译译文质量有较大影响,将基于Word2vec预训练得到的词向量嵌入到蒙汉神经机器翻译模型中,实验结果表明译文提升了0.6个BLEU值。     

基于依存图网络的汉越神经机器翻译方法

汉越神经机器翻译是典型的低资源翻译任务，由于缺少大规模的平行语料，可能导致模型对双语句法差异学习不充分，翻译效果不佳。句法的依存关系对译文生成有一定的指导和约束作用，因此，该文提出一种基于依存图网络的汉越神经机器翻译方法。该方法利用依存句法关系构建依存图网络并融入神经机器翻译模型中，在Transformer模型框架下，引入一个图编码器，对源语言的依存结构图进行向量化编码，利用多头注意力机制，将向量化的依存图结构编码融入到序列编码中，在解码时利用该结构编码和序列编码一起指导模型解码生成译文。实验结果表明，在汉越翻译任务中，融入依存句法图可以提升翻译模型的性能。     

融合语义角色的神经机器翻译

近年来,深度学习取得了重大突破,融合深度学习技术的神经机器翻译逐渐取代统计机器翻译,成为学术界主流的机器翻译方法。然而,传统的神经机器翻译将源端句子看作一个词序列,没有考虑句子的隐含语义信息,使得翻译结果与源端语义不一致。为了解决这个问题,一些语言学知识如句法、语义等被相继应用于神经机器翻译,并取得了不错的实验效果。语义角色也可用于表达句子语义信息,在神经机器翻译中具有一定的应用价值。文中提出了两种融合句子语义角色信息的神经机器翻译编码模型,一方面,在句子词序列中添加语义角色标签,标记每段词序列在句子中担当的语义角色,语义角色标签与源端词汇共同构成句子词序列;另一方面,通过构建源端句子的语义角色树,获取每个词在该语义角色树中的位置信息,将其作为特征向量与词向量进行拼接,构成含语义角色信息的词向量。在大规模中-英翻译任务上的实验结果表明,相较基准系统,文中提出的两种方法分别在所有测试集上平均提高了0.9和0.72个BLEU点,在其他评测指标如TER(Translation Edit Rate)和RIBES(Rank-based Intuitive Bilingual Evaluation Score)上也有不同程度的性能提升。进一步的实验分析显示,相较基准系统,文中提出的融合语义角色的神经机器翻译编码模型具有更佳的长句翻译效果和翻译充分性。     

基于编码器-解码器重构框架的蒙汉神经机器翻译

近年来,端到端的神经机器翻译方法由于翻译准确率高,模型结构简单等优点已经成为机器翻译研究的重点,但其依然存在一个主要的缺点,该模型倾向于反复翻译某些源词,而错误地忽略掉部分词。针对这种情况,采用在端到端模型的基础上添加重构器的方法。首先利用Word2vec技术对蒙汉双语数据集进行向量化表示,然后预训练端到端的蒙汉神经机器翻译模型,最后对基于编码器-解码器重构框架的蒙汉神经机器翻译模型进行训练。将基于注意力机制的蒙汉神经机器翻译模型作为基线系统。实验结果表明,该框架显著提高了蒙汉机器翻译的充分性,比传统的基于注意力机制的蒙汉机器翻译模型具有更好的翻译效果。     

基于单语语料和词向量对齐的蒙汉神经机器翻译研究

近年来,随着人工智能和深度学习的发展,神经机器翻译在某些高资源语言对上取得了接近人类水平的效果。然而对于低资源语言对如汉语和蒙古语,神经机器翻译的效果并不尽如人意。为了提高蒙汉神经机器翻译的性能,该文基于编码器—解码器神经机器翻译架构,提出一种改善蒙汉神经机器翻译结果的方法。首先将蒙古语和汉语的词向量空间进行对齐并用它来初始化模型的词嵌入层,然后应用联合训练的方式同时训练蒙古语到汉语的翻译和汉语到蒙古语的翻译。并且在翻译的过程中,最后使用蒙古语和汉语的单语语料对模型进行去噪自编码的训练,增强编码器的编码能力和解码器的解码能力。实验结果表明该文所提出方法的效果明显高于基线模型,证明该方法可以提高蒙汉神经机器翻译的性能。     

基于篇章上下文的蒙汉神经机器翻译方法

为了对句子有更全面的表示,增强翻译模型的能力,汉字利用子词特征,蒙古文端使用混合编码器。同时,为了缓解歧义问题,将篇章上下文方法应用于蒙汉神经机器翻译中。实验结果表明,在67 288句对蒙汉平行语料和118 502句对蒙汉平行语料中应用篇章上下文方法后,与基准系统相比,BLUE值分别提升了0.9和0.5。且随着篇章上下文语料的增大,BLUE值提升效果更明显。说明篇章上下文语境方法能够提高译文的质量。     

基于源语言句法增强解码的神经机器翻译方法

当前性能最优的机器翻译模型之一Transformer基于标准的端到端结构,仅依赖于平行句对,默认模型能够自动学习语料中的知识;但这种建模方式缺乏显式的引导,不能有效挖掘深层语言知识,特别是在语料规模和质量受限的低资源环境下,句子解码缺乏先验约束,从而造成译文质量下降。为了缓解上述问题,提出了基于源语言句法增强解码的神经机器翻译（SSED）方法,显式地引入源语句句法信息指导解码。所提方法首先利用源语句句法信息构造句法感知的遮挡机制,引导编码自注意力生成一个额外的句法相关表征;然后将句法相关表征作为原句表征的补充,通过注意力机制融入解码,共同指导目标语言的生成,实现对模型的先验句法增强。在多个IWSLT及WMT标准机器翻译评测任务测试集上的实验结果显示,与Transformer基线模型相比,所提方法的BLEU值提高了0.84~3.41,达到了句法相关研究的最先进水平。句法信息与自注意力机制融合是有效的,利用源语言句法可指导神经机器翻译系统的解码过程,显著提高译文质量。     

基于LSTM的蒙汉机器翻译的研究

由于内蒙古地区蒙汉机器翻译水平落后、平行双语语料规模较小,利用传统的统计机器翻译方法会出现数据稀疏以及训练过拟合等问题,导致翻译质量不高。针对这种情况,提出基于LSTM的蒙汉神经机器翻译方法,通过利用长短时记忆模型构建端到端的神经网络框架并对蒙汉机器翻译系统进行建模。为了更有效地理解蒙古语语义信息,根据蒙古语的特点将蒙古文单词分割成词素形式,导入模型,并在模型中引入局部注意力机制计算与目标词有关联的源语词素的权重,获得蒙古语和汉语词汇间的对齐概率,从而提升翻译质量。实验结果表明,该方法相比传统蒙汉翻译系统提高了翻译质量。     

基于CNN词根形态选择模型的改进蒙汉机器翻译研究

随着科学技术的发展,以循环神经网络为基础的机器翻译方法由于翻译质量更好而逐渐取代统计机器翻译方法,特别是在国际大语种之间的互译方面,RNN在对语料编码时能够提取更好的特征,这对翻译质量好坏至关重要。然而在蒙古语这类小语种的翻译方面,由于语料不足导致的数据稀疏和RNN模型训练梯度消失等问题,很难从语料中充分获取语义关系,因此该文提出一种基于卷积神经网络CNN(convolutional neural network)的蒙汉机器翻译方法,在对源语料编码时利用池化层获取语义关系,并根据蒙古语构词特点得到句子的语义信息,再通过融合全局注意力机制的GRU循环神经网络将编码过后的源语言解码为汉语。实验结果表明,该方法在翻译准确率和训练速度两方面均优于RNN基准机器翻译方法。     

域信息共享的方法在蒙汉机器翻译中的应用

蒙汉翻译属于低资源语言的翻译,面临着平行语料资源稀缺的困难,为了缓解平行语料数据稀缺和词汇表受限引发的翻译正确率低的问题,利用动态的数据预训练方法ELMo（Embeddings from Language Models）,并结合多任务域信息共享的Transformer翻译架构进行蒙汉翻译。利用ELMo（深层语境化词表示）进行单语语料的预训练。利用FastText词嵌入算法把蒙汉平行语料库中的上下文语境相关的大规模文本进行预训练。根据多任务共享参数以实现域信息共享的原理,构建了一对多的编码器-解码器模型进行蒙汉神经机器翻译。实验结果表明,该翻译方法比Transformer基线翻译方法在长句子输入序列中可以有效提高翻译质量。     

融合全局编码与主题解码的文本摘要方法

基于编码器解码器的序列到序列模型广泛应用于生成式自动文摘，但传统Seq2Seq模型会产生重复、偏离主题等问题。该文提出两点优化：一是全局信息编码，通过卷积和自注意力机制获取原文全局信息并将其传递到解码器；二是主题信息解码，从原文中提取重要实体并将其编码为主题向量，帮助解码器获取值得聚焦的信息，提升文本摘要的真实性和可靠性。在LCSTS上的实验表明，全局编码和主题解码相较之前的模型在各项Rouge指标上均有提升，融合二者的模型提升效果更为明显。     

基于对抗学习的蒙汉神经机器翻译

在机器翻译模型的构建和训练阶段,为了缓解因端到端机器翻译框架在训练时采用最大似然估计原理导致的翻译模型的质量不高的问题,本文使用对抗学习策略训练生成对抗网络,通过鉴别器协助生成器的方式来提高生成器的翻译质量,通过实验选择出了更适合生成器的机器翻译框架Transformer,更适合鉴别器的卷积神经网络,并且验证了对抗式训练对提高译文的自然度、流利度以及准确性都具有一定的作用.在模型的优化阶段,为了缓解因蒙汉平行数据集匮乏导致的蒙汉机器翻译质量仍然不理想的问题,本文将Dual-GAN (dual-generative adversarial networks,对偶生成对抗网络)算法引入了蒙汉机器翻译中,通过有效的利用大量蒙汉单语数据使用对偶学习策略的方式来进一步提高基于对抗学习的蒙汉机器翻译模型的质量.     

基于自注意力机制预训练跨蒙汉语言模型

针对蒙汉机器翻译中平行语料资源稀缺的问题,提出利用单语语料库对蒙汉机器翻译进行研究。由于利用单语语料库进行机器翻译的效果较差,故将基于自注意力机制预训练跨蒙汉语言模型应用于基于单语语料库训练的蒙汉机器翻译系统中。实验结果表明,基于自注意力机制预训练跨蒙汉语言模型的方法极大改善了蒙汉机器翻译系统的性能。     

基于注意力机制的Tree2Seq代码注释自动生成

代码注释可以帮助开发人员快速理解代码，降低代码维护成本。为了保留代码的结构信息，针对经典的Seq2Seq模型将代码的结构信息压缩为序列，导致结构信息丢失的问题，提出使用Tree-LSTM编码器直接将代码转化成抽象语法树进行编码，使注释生成模型能有效获取代码的结构信息，提升注释生成效果。采用基于注意力机制的Tree2Seq模型实现代码注释生成任务，避免了编码器端将所有输入信息压缩为固定向量，导致部分信息丢失的情况。通过在Java和Python 2种编程语言的数据集上进行实验，使用3种机器翻译常用的自动评测指标进行评估验证，并选取一部分测试数据进行了人工评估。实验结果表明，基于注意力机制的Tree2Seq模型能为解码器提供更全面且丰富的语义结构信息，为后续实验分析和改进提供指导。     

汉蒙翻译模型中的依存语法与形态信息应用研究

该文提出将源语言句法信息和目标语言形态信息引入汉蒙机器翻译的模型构造中,以降低译文的词形错误率等问题。在源语言端,利用汉语依存句法分析器获取依存树,将依存句法信息以标注形式记在每个词上;在目标语言端,分析并获取蒙古语形态信息;利用LOP思想将源语言依存句法信息和目标语言形态信息引入翻译模型构造中。实验表明,其BLEU评分比传统的短语统计翻译模型有明显提高。该方法通过词、短语、句法三层面信息的结合,实现了汉蒙两种语言语法结构的平衡,特别适合于源语言形态信息贫乏而目标语言形态信息丰富的统计机器翻译系统。     

基于GAN模型优化的神经机器翻译

在机器翻译任务中,输入端的一些微小的干扰信息,可能引起NMT的模型翻译性能的下降。该文提出了一种融入对抗学习的神经机器翻译方法。给出一个源句子序列,构造了一个将源句子添加了微小噪声的新序列,并且两者的语义相近。然后把这两个序列交由编码器处理,产生各自的向量表示;并将处理结果交给判别器和解码器做进一步处理,最后比较加入噪声前后的翻译性能。实验表明,在多个语言对的翻译任务上,使用该模型的方法不仅提升了翻译性能,而且对噪声输入也表现出了鲁棒性。     

基于结构感知混合编码模型的代码注释生成方法

代码注释能够提高程序代码的可读性，从而提升软件开发效率并降低成本。现有的代码注释生成方法将程序代码的序列表示或者抽象语法树表示输入到不同结构的编码器网络，无法融合程序代码不同抽象形式的结构特性，导致生成的注释可读性较差。构建一种结构感知的混合编码模型，同时考虑程序代码的序列表示和结构表示，通过序列编码层和图编码层分别捕获程序代码的序列信息和语法结构信息，并利用聚合编码过程将两类信息融合至解码器。设计一种结构感知的图注意力网络，通过将程序代码的语法结构的层次和类型信息嵌入图注意力网络的学习参数，有效提升了混合编码模型对程序代码的复杂语法结构的学习能力。实验结果表明，与SiT基准模型相比，混合编码模型在Python和Java数据集上的BLEU、ROUGE-L、METEOR得分分别提高了2.68%、1.47%、3.82%和2.51%、2.24%、3.55%，能生成更准确的代码注释。     

面向对象分配带宽的极低比特率视频编码器

在低比特率环境下,如何提高图象编码质量是许多人感兴趣的课题,针对此问题,提出了一种面向对象分配带宽（OOBA）的视频编码器,用以提高低比特率环境下编码图象的主观质量,在充分考虑人的主观视觉特性的基础上,该编码器把图象序列分成不同的视频对象,而每个对象以宏块为单位构成,并且对每个对象单独分配大小不同的带宽,以把更多的比特分配人主观感兴趣的对象,来达到在低比特率环境下提高编码图象主观视觉质量的目的。虽然每个对象独立编码,但在比特流的组织上却能与H．263兼容。为了合理地在多个对象间分配带宽,还给出了基于速率－失真（R－D）模型、基于序列分析和比值加权法等3种带宽分配方法。实验结果表明,该编码器与传统的基于帧的编码器相比,在极低的速率下,峰值信噪比虽略有降低,但图象的视觉质量却得到较大的提高。从而表明了该编码器的有效性,也说明在低比特率环境下,仅以客观准则作为评价编码器好坏的标准是不够的。     

基于多编码器多解码器的大规模维汉神经网络机器翻译模型

为提升维汉机器翻译模型的翻译能力,该文提出使用多编码器多解码器的结构,搭建大规模的维汉神经网络机器翻译模型。相比于单编码器单解码器的浅层的小模型,多编码器多解码器模型具有多个编码器,可以对源语言进行多层次、多视角的压缩表示;同时具有多个解码器,可以增强目标语言的生成能力。实验证明,在大规模的训练数据上,使用该方法搭建的大规模维汉神经网络机器翻译模型,译文质量可以大幅度地超过基于短语的统计机器翻译模型和基本的神经网络翻译模型。该文还针对维汉翻译源端语言和目标端语言的翻译单元粒度进行了实验,发现维吾尔语端使用字节对编码单元、汉语端使用字单元,可以消除对汉语分词器的依赖,做到和双端都使用字节对编码单元可比的效果。     

基于类编码的判别特征学习

经典的自编码模型(BAE、SAE、DAE、CAE)都是基于输出数据对原始数据的重构,提取输入信息的低维度特征,将该特征用于图像分类不一定能够取得很好的判别效果。利用标签信息,提出了堆叠判别自编码模型(SDcAE),该模型将类编码作为隐层神经元约束加入到堆叠自编码器的训练中,使得隐层学习的特征具有更好的判别能力。同时,将类编码作为判别损失加入到Softmax分类器中,提出了类编码分类器(CEC)。由于类间样本特征误差的降低,该分类器可以取得更好的训练效果,从而提高了最终分类的正确率。实验表明,堆叠判别自编码器和类编码分类器在图像分类中是有效可行的。