基于Transformer融合词性特征的中文语法纠错模型

针对中文同一个词的不同词性在句子中所代表的关系不同的问题,提出基于Transformer融合词性特征的中文语法纠错(CGEC)模型,所提模型将语言学知识作为辅助信息融入中文语法纠错任务。首先,在不改变句子序列长度的基础上,在原始词嵌入层中以不同方式拼接词性向量,得到全差异词嵌入、词差异词嵌入和词性差异词嵌入三种不同的词嵌入方式;然后,将新的词嵌入方式与Transformer模型相结合,对错误语句进行语法纠错。实验结果表明,三种词嵌入方式均不同程度地提高了F_0.5值,且全差异词嵌入方式的效果最好：与Transformer模型相比,F_0.5提升了2.73个百分点,BLEU提升了6.27个百分点;与基于Transformer增强架构的中文语法纠错模型相比,F_0.5提升了1.88个百分点。所提模型在对词性特征提取时可以侧重源语句与目标语句的语法差异,更好地捕捉句子的语法特征。     

基于BART噪声器的中文语法纠错模型

在中文语法纠错中,基于神经机器翻译的方法被广泛应用,该方法在训练过程中需要大量的标注数据才能保障性能,但中文语法纠错的标注数据较难获取.针对标注数据有限导致中文语法纠错系统性能不佳问题,提出一种基于BART噪声器的中文语法纠错模型——BN-CGECM.首先,为了加快模型的收敛,使用基于BERT的中文预训练语言模型对BN...     

基于指针网络融入混淆集知识的中文语法纠错

在中文语法纠错(CGEC)任务上,虽然替换类错误在数据集中占比最多,但还没有研究者尝试过将音近和形近知识融入基于神经网络的语法纠错模型中。针对这一问题,该文做了两方面的尝试。首先,该文提出了一种基于指针网络融入混淆集知识的语法纠错模型。具体而言,该模型在序列到编辑(Seq2Edit)语法纠错模型基础上,利用指针网络融入汉字之间的音近和形近知识。其次,在训练数据预处理阶段,即从错误-正确句对抽取编辑序列过程中,该文提出一种混淆集指导的编辑距离算法,从而更好地抽取音近和形近字的替换类编辑。实验结果表明,该文提出的两点改进均能提高模型性能,且作用互补;该文所提出的模型在NLPCC 2018评测数据集上达到了目前最优性能。实验分析表明,与基准Seq2Edit语法纠错模型相比,该文模型的性能提升大部分来自于替换类错误的纠正。     

基于Transformer的单通道语音增强模型综述

深度学习可以有效地解决带噪语音信号与干净语音信号之间复杂的映射问题,改善单通道语音增强的质量,但是增强语音的质量依然不理想。Transformer在语音信号处理领域中已得到了广泛应用,由于集成了多头注意力机制,可以更好地关注语音的长时相关性,该模型可以进一步改善语音增强效果。基于此,回顾了基于深度学习的语音增强模型,归纳了Transformer模型及其内部结构,从不同实现结构出发对基于Transformer的语音增强模型分类,详细分析了几种实例模型。并在常用数据集上对比了Transformer单通道语音增强的性能,分析了它们的优缺点。对相关研究工作的不足进行了总结,并对未来发展进行展望。     

基于Transformer模型的神经机器翻译改进方法研究

神经机器翻译为加深世界交流做出了巨大贡献,它的发展促进了世界化的发展。研究针对基础的Transformer模型存在的问题,对Transformer模型进行改进,进而提出一种组合式神经机器翻译模型。该模型引入ELMo、Mix-BA以及DMAL,优化了机器翻译对单词的表达形式、多头注意力层之间的联系以及句子中重点单词的关注度。研究利用WMT14en-de数据集与IWSLT14de-en数据集进行对比实验,在两种数据集中,组合式神经机器翻译模型的BLEU得分相较于Transformer基线模型分别高出1.07、0.92;在长句翻译中,组合式神经机器翻译模型的BLEU评分达到33.56,并高出LSTM模型5.72。结果表明研究所提出机器翻译模型具有更好的翻译效果,为神经机器翻译的发展提供新的思路。     

融合语义增强的中文短文本分类方法研究

中文短文本具有长度短以及上下文依赖强的特点。目前主流的基于词向量的双向循环神经网络分类方法依赖于词向量语义表达以及上下文特征提取能力,其分类准确率有待进一步改善。针对此问题,论文提出融合语义增强的中文短文本分类方法,该方法提出融合语义增强的思想,在词向量表示阶段,引入Bert生成融合字、文本以及位置的向量作为训练文本的词表征进行文本语义增强,接着输送到Bi-GRU网络中提取上下文关系特征,并通过多头注意力机制调整权值强化重要特征表达,最后使用softmax分类器进行文本分类。通过与其他主流方法进行对比论证,实验表明,论文提出的方法在短文本分类效果上有显著提升。     

自然语言语法纠错的最新进展和挑战

语法纠错(grammatical error correction,GEC)是自然语言处理领域的重要应用之一,在近几年取得了较大的进展和丰富的研究成果.对语法纠错研究进行了深入调研,旨在更好地了解当前的研究进展、面对的挑战和未来发展趋势.介绍了语法纠错的基本含义和研究概况,分析了语法纠错领域的重要研究进展,对数据处理方...     

融合MLP与循环神经网络算法的语法自动纠错方法研究

为了进一步提升语法自动纠错技术的实用性,研究对以循环神经网络为核心的Sep2Sep模型进行优化改进,引入双向LSTM循环神经网络,将基于双向LSTM的Sep2Sep模型与MLP神经网络相结合构建语法自动纠错系统,并通过测试实验验证语法自动纠错系统的准确率。研究结果表明,研究所设计的语法自动纠错系统F_0.5值为56.37,P值和R值分别为66.78和35.09,检测准确率较高。纠错系统的运行响应时间保持在1.34 s,能在多个检测目标并发情况下进行快速系统响应。研究利用双向LSTM和MLP神经网络解决传统纠错模型的梯度爆炸问题,并采用分布式架构提升自动纠错系统的运行能力,对进一步加强自动语法纠错技术的实用性具有重要意义。     

基于Transformer的时序数据异常检测方法

近年来,异常检测在电力系统运维、故障诊断等智能运维场景中起到关键作用。其中,深度学习在时序数据异常检测上取得了成功的应用。然而,基于长短期记忆(Long Short-Term Memory, LSTM)等异常检测方法因其序列学习模式中包含递归运算,导致模型难以并行计算,同时长期依赖性会导致模型性能下降。因此,提出了一种基于Transformer的时序数据异常检测方法,利用自注意力机制并行训练数据捕获内部有效信息,利用编码-解码框架使用端到端的方式通过时序数据生成异常得分。这个方法能更完整地提取时序数据的上下文关系,精确地捕获时序数据的异常关系。经实验证明,基于Transformer的时序数据异常检测方法在WADI、SWaT、KDDCUP99与AIOPS18等数据集上的异常检测表现出比其他方法更优的性能。     

基于差分融合句法特征的英语语法纠错模型

当前的英文语法纠错模型往往忽略了有利于语法纠错的文本句法知识, 从而使得英语语法纠错模型的纠错能力受到影响. 针对上述问题, 提出一种基于差分融合句法特征的英语语法纠错模型. 首先, 本文提出的句法编码器不仅可以直接从文本中无监督地生成依存关系图和成分句法树信息, 而且还能将上述两种异构的句法结构进行特征融合, 编码成高维的句法表征. 其次, 为了同时利用文本中的语义和句法信息, 差分融合模块先使用差分正则化加强语义编码器捕获句法编码器未能生成的语义特征, 然后采用协同注意力将句法表征和语义表征进一步融合, 作为Transformer编码端的输出特征, 最终输入到解码端, 从而生成语法正确的文本. 在CoNLL-2014 英文纠错任务数据集上进行对比实验, 结果表明, 该方法的准确率和F_0.5值优于基于Copy-Augmented Transformer的语法纠错模型, 其F_0.5值提升了5.2个百分点, 并且句法知识避免了标注数据过少问题, 具有更优的文本纠错效果.     

面向汉语作为第二语言学习的个性化语法纠错

语法纠错任务旨在通过自然语言处理技术自动检测并纠正文本中的语序、拼写等语法错误.当前许多针对汉语的语法纠错方法已取得较好的效果,但往往忽略了学习者的个性化特征,如二语等级、母语背景等.因此,该文面向汉语作为第二语言的学习者,提出个性化语法纠错,对不同特征的学习者所犯的错误分别进行纠正,并构建了不同领域汉语学习者的数据集...     

基于LSTM和N-gram的ESL文章的语法错误自动纠正方法

针对英语文章语法错误自动纠正(Grammatical Error Correction,GEC)问题中的冠词和介词错误,该文提出一种基于LSTM(Long Short-Term Memory,长短时记忆)的序列标注GEC方法;针对名词单复数错误、动词形式错误和主谓不一致错误,因其混淆集为开放集合,该文提出一种基于ESL(English as Second Lauguage)和新闻语料的N-gram投票策略的GEC方法。该文方法在2013年CoNLL的GEC数据上实验的整体F₁值为33.87%,超过第一名UIUC的F₁值31.20%。其中,冠词错误纠正的F₁值为38.05%,超过UIUC冠词错误纠正的F₁值33.40%,介词错误的纠正F₁为28.89%,超过UIUC的介词错误纠正F₁值7.22%。     

基于动态质心迭代与偏差修正的室内定位方法

射频识别技术（RFID）是室内精确定位的重要技术之一.基于经典LANDMARC算法定位精度不高问题,提出了基于动态质心迭代和偏差修正相结合的定位算法.该算法采用最小关联度为准则,通过将近邻区域质心作为下一个参考标签依次迭代近邻成员,直至与目标标签的关联度低于阈值,实现预定位;通过实施k近邻成员重定位并引入修正系数对预定位坐标进行偏差修正.实验结果表明,相比于LANDMARC算法,该算法的定位准确度得到较大提高.     

数据增广策略在英语语法纠错中的应用综述

近年来,将语法错误纠正当作机器翻译任务在英语语法纠错领域取得重大进展,对于数据驱动的自然语言处理方法,大规模、高质量的标注语料成为翻译等相关任务最重要的资源.在调查中,主要关注英语语法纠错领域的数据集和数据增广方法.全面地概括了英语语法纠错领域使用的数据集、数据合成、评价方法及应用现状,并对其进行归纳分析;对今后如何提...     

实时光测数据系统误差修正方法

由于测量设备本身或环境条件的影响,光测数据总存在一定的系统误差,如果不加以修正,将直接影响实时数据处理精度。依托靶场实际工程背景,对实时光测数据的光电波折射误差和轴系误差进行了分析,并提出了简化的误差修正方法,通过实测数据的计算分析可知,这些方法可以有效地减小实时光测数据处理的误差。     

一种基于斜率的摄像机畸变校正方法

普通 CCD摄像机在成像时都存在畸变成像误差 ,在机器人视觉检测及自动装配中 ,有效地进行误差校正对准确确定物体的位置具有重要的意义 .本文采用带有一阶径向畸变的小孔摄像机模型 ,提出一种基于线段斜率的方法 ,对摄像机镜头的径向畸变进行校正 ,不必标定太多的摄像机的外参数 ,方法简洁 ,适合于视觉系统中对摄像机畸变的实时校正 ,或对摄像机捕获的图像进行几何校正 .实验表明 ,具有很强的鲁棒性和较高的校正精度     

基于误差修正的自适应边缘保持图像插值

传统插值算法容易产生细节模糊和边缘锯齿效应,而边缘是图像的重要信息,直接影响插值图像的视觉效果。为了解决这一问题,提出了一种新的基于误差修正的自适应边缘保持插值算法。首先将原图像向插值图像进行映射,再定义一个3×3的滑动窗口,用水平和垂直两个模板确定边缘类型,根据边缘类型进行插值,最后对仍未定义像素点用插值误差定理进行处理,总体上对所有像素都进行了分情况插值处理。实验结果表明,本算法有效地保持了图像的边缘信息,能够获得视觉质量较好的插值图像,且算法比较简单,容易实现。