基于中文自然语言的SQL生成综述

自然语言转为SQL (NL2SQL)的研究有较高的应用价值, 随着深度学习技术的成熟, 越来越多的研究者开始将深度学习技术应用于NL2SQL任务中. 本文梳理了英文和中文领域NL2SQL的研究现状, 总结按年份发布的数据集和模型, 对比当前4大中文NL2SQL数据集的特点, 阐述了当前基于深度学习的NL2SQL任务的基本框架以及针对中文领域的单表简单问题和跨表复杂问题所适用的典型模型, 介绍了一般常用的模型评测方法, 并提出未来研究方向的展望.     

基于自裁剪异构图的NL2SQL模型

自然语言转换为结构化查询语言（NL2SQL）是语义解析领域的重要任务,其核心为对数据库模式和自然语言问句进行联合学习。现有研究通过将整个数据库模式和自然语言问句联合编码构建异构图,使得异构图中引入大量无用信息,并且忽略了数据库模式中不同信息的重要性。为提高NL2SQL模型的逻辑与执行准确率,提出一种基于自裁剪异构图与相对位置注意力机制的NL2SQL模型（SPRELA）。采用序列到序列的框架,使用ELECTRA预训练语言模型作为骨干网络。引入专家知识,对数据库模式和自然语言问句构建初步异构图。基于自然语言问句对初步异构图进行自裁剪,并使用多头相对位置注意力机制编码自裁剪后的数据库模式与自然语言问句。利用树型解码器和预定义的SQL语法,解码生成SQL语句。在Spider数据集上的实验结果表明,SPRELA模型执行准确率达到71.1%,相比于相同参数量级别的RaSaP模型提升了1.1个百分点,能够更好地将数据库模式与自然语言问句对齐,从而理解自然语言查询中的语义信息。     

结合数据库结构及内容的问句理解方法研究

问句理解是模型将自然语言问句转换成SQL的重要基础。目前多数利用深度学习的模型仅是通过数据库结构,未结合数据库内容充分理解问句生成SQL查询。在SQLova模型的基础上,提出一种基于表结构和内容的问句理解方法。利用表结构和表内容关注机制获得问句更准确的语义表达式,通过子类分类任务填充SQL草图完成SQL查询。在阿里云首届中文NL2SQL挑战赛发布的中文数据集上进行测试,结果表明,结合数据库结构与内容的问句理解方法取得78%的准确率,比不结合表内容的模型高出1.8%,在WikiSQL数据集上比SQLova准确率高出1.4%,可以有效提高生成SQL查询的准确率。     

基于自监督学习的输电线路螺栓螺母异常检测技术

针对输电线路螺栓螺母异常检测问题,对无标签螺栓数据训练深度学习预训练模型进行了研究,首次采用了自监督学习的方法,使用大量无标签数据集进行学习,首先,使用少量带标签的螺栓目标检测数据集训练目标检测模型,推理获取大量的单图无标签螺栓数据集,然后,采用自监督学习方法通过单图无标签螺栓数据集训练螺栓预训练大模型并获取可视化的螺栓注意力图,最后通过实验对比螺栓预训练大模型在螺栓分类和检索任务中与非预训练模型的效果,实验结果表明无标签数据得到的预训练大模型可以注意到螺杆、螺母、连接件的位置,进一步表明螺栓预训练大模型在分类任务中准确率提升了2%到7%,在螺栓检索任务中平均精度提升了8%。     

基于Transformer模型的中文文本自动校对研究

提出将Transformer模型应用于中文文本自动校对领域。Transformer模型与传统的基于概率、统计、规则或引入BiLSTM的Seq2Seq模型不同,该深度学习模型通过对Seq2Seq模型进行整体结构改进,从而实现中文文本自动校对。通过使用公开数据集对不同模型进行对比实验,采用准确率、召回率与F1值作为评价指标,实验结果表明,Transformer模型相比较于其他模型,在中文文本自动校对的性能上有了大幅提升。     

基于树状模型的复杂自然语言查询转SQL技术研究

自然语言查询转SQL(NL2SQL)是指将自然语言表达的查询文本自动转化成数据库系统可以理解并执行的结构化查询语言SQL表达式的技术.NL2SQL可以为普通用户提供数据库查询访问的自然交互界面,从而实现基于数据库的自然问答.复杂查询的NL2SQL是当前数据库学术界的研究热点,主流方法采用序列到序列(Seq2seq)的编解码方式对问题进行建模.然而,已有的工作大多基于英文场景,面向中文领域实际应用时,中文特殊的口语化表达导致复杂查询转化困难;此外,现有工作难以正确输出包含复杂计算表达式的查询子句.针对上述问题,提出一种树状模型取代序列表示,将复杂查询自顶向下分解为多叉树,树结点代表SQL的各组成元素,采用深度优先搜索来预测生成SQL语句.在Du SQL中文NL2SQL竞赛的两个官方测试集中,该方法分别取得了第1名和第2名的成绩,验证了其有效性.     

融合LSTM的自然语言转结构化查询语句算法的研究与设计

自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集，而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进，在其中融入了预训练模型，增强了其提取特征的能力；之后又分别对分类模型和条件值模型进行了改进：在分类模型中增加了LSTM进一步捕捉特征，在条件值模型中使用正则表达式等手段对特殊的条件子句进行了预处理.实验表明，本文对分类模型和条件值模型所做的改进都能有效提升模型的表达效果.     

BERT-Single：半监督的话题检测与追踪方法

针对无监督聚类方法在应用于话题检测与追踪任务时难以学习到深层语义特征及任务相关特征,K均值聚类、潜在狄利克雷分布（LDA）等方法无法用于增量式聚类的问题,提出基于预训练语言模型的BERT-Single半监督算法。首先使用小规模有标注数据训练预训练语言模型BERT,使BERT模型学习到任务特定的先验知识,生成能够适应话题检测与追踪任务且包含深层语义特征的文本向量;然后利用改进的Single-Pass聚类算法将预训练语言模型学习到的有标签样本信息泛化到无标签数据上,提升模型在话题检测与追踪任务上性能。在构建的数据集上进行实验,结果显示,相较于对比模型,BERT-Single模型精确率至少提升了3个百分点、召回率至少提升了1个百分点、F1值至少提升了3个百分点。BERT-Single模型对于解决话题检测与追踪问题具有较好效果,并能够很好地适应增量式聚类任务。     

基于动态词遮掩的句子匹配预训练模型

BERT通过遮掩语言模型、下一句预测等自监督学习任务学习通用语言规律,在自然语言理解任务中取得了良好效果。但BERT的下一句预测任务不能直接建模句子的语义匹配关系,且随机遮掩策略也不能高效处理句子的关键内容。针对上述问题,该文提出基于动态词遮掩的预训练模型: 基于预训练模型获得句子的向量表示,并通过近似语义计算获取大规模“句子对”预训练数据,最后遮掩重要字词训练遮掩语言模型。在4个句子匹配数据集上的实验表明,使用该文提出的预训练方法,RBT3和BERT base的效果都有一定提升,平均准确率分别提升1.03%和0.61%。     

结合自监督学习和生成对抗网络的小样本人脸属性识别

目的 人脸属性识别是计算机视觉和情感感知等领域一个重要的研究课题。随着深度学习的不断发展,人脸属性识别取得了巨大的进步。目前基于深度学习的人脸属性识别方法大多依赖于包含完整属性标签信息的大规模数据集。然而,对于小样本数据集的属性标签缺失问题,人脸属性识别方法的准确率依然较低。针对上述问题,本文提出了一种结合自监督学习和生成对抗网络的方法来提高在小样本数据集上的人脸属性识别准确率。方法 使用基于旋转的自监督学习技术进行预训练得到初始的属性识别网络;使用基于注意力机制的生成对抗网络得到人脸属性合成模型,对人脸图像进行属性编辑从而扩充训练数据集;使用扩充后的训练数据集对属性识别网络进行训练得到最终模型。结果 本文在小样本数据集UMD-AED（University of Maryland attribute evaluation dataset）上进行了实验并与传统的有监督学习方法进行了比较。传统的有监督学习方法达到了63.24%的平均准确率,而所提方法达到了69.01%的平均准确率,提高了5.77%。同时,本文在CelebA（CelebFaces attributes dataset）、LFWA（labeled faces in the wild attributes dataset）和UMD-AED数据集上进行了使用自监督学习和未使用自监督学习的对比实验,验证了自监督学习在小样本数据集上的有效性。结论 本文所提出的结合自监督学习和生成对抗网络的人脸属性识别方法有效提高了小样本数据集上属性识别的准确率。     

一种基于标签传播的半监督核学习算法

一个好的核函数能提升机器学习模型的有效性,但核函数的选择并不容易,其与问题背景密切相关,且依赖于领域知识和经验。核学习是一种通过训练数据集寻找最优核函数的机器学习方法,能通过有监督学习的方式寻找到一组基核函数的最优加权组合。考虑到训练数据集获取标签的代价,提出一种基于标签传播的半监督核学习方法,该方法能够同时利用有标签数据和无标签数据进行核学习,通过半监督学习中被广泛使用的标签传播方法结合和谐函数获得数据集统一的标签分布。在UCI数据集上对提出的算法进行性能评估,结果表明该方法是有效的。     

结合伪标签生成与噪声标签学习的弱监督点云分割

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%.     

基于单语语料库和无监督学习的翻译系统研究

针对传统翻译系统在单语语料库中易出现翻译语料丢失和翻译准确率低的问题,以单语语料库中的自动英诗汉译为研究对象,提出基于无监督学习的神经网络机器翻译方法,该方法将序列到序列模型Seq2Seq和注意力机制Attention相结合,构建Seq2Seq+Attention的单语语言机器翻译模型;在编码器中加入BiLSTM网络,通过回译策略对机器翻译模型进行反向训练和翻译,从而将无监督学习方法转换为有监督学习,以提升最终翻译结果准确率。实验结果表明,在单语语料库中,提出的基于无监督机器翻译方法在不同训练次数下BLEU值最高可达25。且通过人工评分发现,人工评分总分可达17.72分,总体分数较高。由此说明提出的方法可有效避免翻译语料丢失现象,提升翻译准确率。     

一种结合LPA半监督学习的排序学习算法

针对有监督排序学习所需训练集的大量标注数据不易获得的情况,引入基于图的标签传播半监督学习。利用有限的已标记数据和大量未标记数据来完成训练数据的自动标注工作,解决大量训练数据集标注工作耗时耗力的难题。首先以训练数据为节点建立εNN图模型实现标签传播算法进行训练数据的自动标注,再基于得到的训练集使用Ranking SVM实现排序学习,在OHSUMED数据集上衡量该方法在MAP和NDCG@n评价准则下的性能。实验结果表明,该方法的性能优于普通pointwise排序学习方法,略低于普通pairwise排序学习方法,能够在达到可用性要求的前提下节省接近60%的训练集标注工作量。     

基于课程学习的无监督常识问答模型

无监督常识问答是利用机器自动生成问答数据来对模型进行训练的问答模型,目前方法生成的问答数据中存在噪声数据和问题的难度随机的问题。提出一种基于课程学习的无监督常识问答模型,首先根据知识生成问答数据集,再对问答数据集进行多样化评估和流畅性评估,结合两个评估结果进行数据过滤,去除噪声数据;最后根据课程学习策略,使用干扰项与正确答案的相似度作为问题难度评估标准,使得模型根据难度等级来进行训练。在测试任务上具有1.5%～3.5%的准确率提升,证明了该模型在无监督常识问答任务上的有效性。     

一种鲁棒的半监督联邦学习系统

联邦学习允许边缘设备或客户端将数据存储在本地来合作训练共享的全局模型。主流联邦学习系统通常基于客户端本地数据有标签这一假设,然而客户端数据一般没有真实标签,且数据可用性和数据异构性是联邦学习系统面临的主要挑战。针对客户端本地数据无标签的场景,设计一种鲁棒的半监督联邦学习系统。利用FedMix方法分析全局模型迭代之间的隐式关系,将在标签数据和无标签数据上学习到的监督模型和无监督模型进行分离学习。采用FedLoss聚合方法缓解客户端之间数据的非独立同分布（non-IID）对全局模型收敛速度和稳定性的影响,根据客户端模型损失函数值动态调整局部模型在全局模型中所占的权重。在CIFAR-10数据集上的实验结果表明,该系统的分类准确率相比于主流联邦学习系统约提升了3个百分点,并且对不同non-IID水平的客户端数据更具鲁棒性。     

ALICE:一种面向中文科技文本分析的预训练语言表征模型

深度学习模型应用于自然语言处理任务时依赖大型、高质量的人工标注数据集。为降低深度学习模型对大型数据集的依赖,提出一种基于BERT的中文科技自然语言处理预训练模型ALICE。通过对遮罩语言模型进行改进并将其与命名实体级遮罩相结合,改善基础模型在下游任务中的表现,使其学习到的语言表征更贴合中文的语言特性。实验结果表明,与BERT模型相比,ALICE模型对于中文科技文本的分类准确率和命名实体识别的F1值分别提高1.2%和0.8%。     

面向工业生产的中文Text-to-SQL模型

英文自然语言查询转SQL语句（Text-to-SQL）任务的模型迁移到中文工业Text-to-SQL任务时,由于工业数据集的可解释差且比较分散,会出现数据库的表名列名等信息与问句中关键信息的表示形式不一致以及问句中的列名隐含在语义中等问题导致模型精确匹配率变低。针对迁移过程中出现的问题,提出了对应的解决方法并构建修改后的模型。首先,在数据使用过程中融入工厂元数据信息以解决表示形式不一致以及列名隐含在语义中的问题;然后,根据中文语言表达方式的特性,使用基于相对位置的自注意力模型直接通过问句以及数据库模式信息识别出where子句的value值;最后,根据工业问句查询内容的特性,使用微调后的基于变换器的双向编码器表示技术（BERT）对问句进行分类以提高模型对SQL语句结构预测的准确率。构建了一个基于铝冶炼行业的工业数据集,并在该数据集上进行实验验证。结果表明所提模型在工业测试集上的精确匹配率为74.2%,对比英文数据集Spider上各阶段主流模型的效果后可以看出,所提模型能有效处理中文工业Text-to-SQL任务。     

基于对比学习的心电信号情绪识别方法

现有的机器学习和深度学习在解决基于心电信号的情绪识别问题时主要使用全监督的学习方法。这种方法的缺点在于需要大量的有标签数据和计算资源。同时,全监督方法学习到的特征表示通常只能针对特定任务,泛化性较差。针对这些问题,提出了一种基于对比学习的心电信号情绪识别方法,该方法分为预训练和微调两步。预训练的目的是从未标记的心电数据中学习特征表示,具体为：设计了两种简单高效的心电信号增强方式,将原始数据通过这两种数据增强转换成两个相关但不同的视图;接着这两种视图在时间对比模块中学习鲁棒的时间特征表示;最后在上下文对比模块中学习具有判别性的特征表示。微调阶段则使用带标记数据来学习情绪识别任务。在三个公开数据集上的实验表明,该方法在心电信号情绪识别准确率上与现有方法相比提高了0.21%～3.81%。此外,模型在半监督设定场景中表现出高有效性。     

基于全局与局部特征对比的点云自监督学习EI北大核心CSCD

传统的有监督学习依赖大量的标签数据,而收集标签数据通常是昂贵的.因此,提出一种通过对比点云的全局和局部特征的自监督学习算法,包括数据构造和对比学习2个阶段.在数据构造阶段,通过不同的局部视角和局部子结构生成全局物体的局部区域;在对比学习阶段,将全局物体和局部区域分别依次输入编码器、投影层和预测器得到全局和局部特征,使用基于对比学习的目标函数增强全局和局部特征相似.通过在2个公开数据集ModelNet40和ShapeNet上与Info3D等自监督学习算法对比,实验结果表明,所提算法在无监督点云分类和小样本学习任务上的分类准确率得到显著提升,并且在训练数据匮乏时比现有算法具有更强的鲁棒性.