用于金融文本挖掘的多任务学习预训练金融语言模型

近年来,机器学习,尤其是深度神经网络方法促进了金融文本挖掘研究的发展,在金融科技(Fintech)领域起着越来越重要的作用.如何从金融大数据中提取有价值的信息已经成为学术界和工业界一个非常有挑战的研究.由于深度神经网络需要大量标注数据,但是金融领域缺乏训练数据,因此,将深度学习应用于金融大数据挖掘并没有取得很好效果.为了更好地解决该问题,利用自监督学习和多任务学习等深度学习领域最新的思想和技术,提出了基于BERT模型架构的开源金融预训练语言模型F-BERT.F-BERT是一种针对特定领域(金融文本数据)的预训练语言模型,它通过在大型金融语料库上进行无监督训练得到.基于BERT架构,F-BERT可以有效地自动将知识从金融大数据中提取出并记忆在模型中,而无需进行特定于金融任务的模型结构修改,从而可以直接将其应用于下游各种金融领域任务,包括股票涨跌预测、金融情绪分类、金融智能客服等.在金融关系提取、金融情绪分类、金融智能问答任务上的大量实验表明了F-BERT模型的有效性和鲁棒性.同时,F-BERT在这3个有代表性的金融文本挖掘任务上均取得了很高的模型准确率,进一步验证了模型的性能.     

AMR文本生成的数据扩充方法

在抽象语义表示（AMR）文本生成过程中,AMR图到文本形式的转换在很大程度上受语料规模的影响。提出一种简单有效的动态数据扩充方法,在已标注数据集规模有限的情况下提高AMR文本生成性能。将AMR文本生成模型解码端视作一个语言模型,使用单词级别的扩充方法,通过动态地对目标端单词进行随机替换,得到带噪声的数据,从而增强模型的泛化能力。在加载数据时,随机选择目标句子中的部分单词做噪声化处理,利用约束编码器预测被覆盖的单词并还原出原始语句,使模型具有更深层的语言表征能力。基于AMR2.0和AMR3.0英文标准数据集进行实验,结果表明,该方法可有效提升AMR文本生成系统性能,与未引入噪声的基准Transformer模型相比,能够获得更优的BLEU、Meteor和chrF++指标,其中BLEU值在人工标注语料场景下分别提升0.68和0.64,且在大规模自动标注语料场景下也能提升0.60和0.68。     

基于多任务深度学习的关键词生成方法

针对现有的关键词生成模型往往不能充分利用题目与关键词之间密切的关系预测关键词的问题,提出一种基于序列到序列的多任务注意力联合训练模型(Joint-MT)。将关键词生成任务作为主要任务,题目生成作为辅助任务;在目标函数上,除独立的多任务交叉熵损失,还添加一致性损失,加强多任务注意力机制之间的约束。实验结果表明,Joint-MT无论是在文内关键词预测还是在缺失关键词预测上都优于其它对比模型,说明Joint-MT模型能够增强任务之间的相互关系,提升关键词预测的效果。     

基于增量预训练和对抗训练的文本匹配模型

文本匹配是自然语言理解的关键技术之一,其任务是判断两段文本的相似程度.近年来随着预训练模型的发展,基于预训练语言模型的文本匹配技术得到了广泛的应用.然而,这类文本匹配模型仍然面临着在某一特定领域泛化能力不佳、语义匹配时鲁棒性较弱这两个挑战.为此,本文提出了基于低频词的增量预训练及对抗训练方法来提高文本匹配模型的效果.本文通过针对领域内低频词的增量预训练,帮助模型向目标领域迁移,增强模型的泛化能力;同时本文尝试多种针对低频词的对抗训练方法,提升模型对词级别扰动的适应能力,提高模型的鲁棒性.本文在LCQMC数据集和房产领域文本匹配数据集上的实验结果表明,增量预训练、对抗训练以及这两种方式的结合使用均可明显改善文本匹配结果.     

基于预训练语言模型的藏文文本分类

藏文文本分类是藏文自然语言处理中的基础任务,具有基础性和重要性。大规模预训练模型加微调的方式是当前的主流文本分类方法。然而藏文缺少开源的大规模文本和预训练语言模型,未能在藏文文本分类任务上进行验证。针对上述问题,该文抓取了一个较大规模的藏文文本数据集,并在该数据集的基础上训练一个藏文预训练语言模型(BERT-base-Tibetan)。将该方法应用到多种基于神经网络的文本分类模型上的实验结果表明,预训练语言模型能够显著提升藏文文本分类的性能(F₁值平均提升9.3%),验证了预训练语言模型在藏文文本分类任务中的价值。     

基于BERT的民间文学文本预训练模型

民间文学文本中含有大量生动形象的修辞手法;人名、地名极其复杂,难以判断词与词之间的边界;与现代汉语表达差别较大,预训练语言模型难以有效地学习其隐含知识,为机器自然语言理解带来困难。该文提出一种基于BERT的民间文学文本预训练模型MythBERT,使用民间文学语料库预训练,将BERT的字隐蔽策略改进为对中文词语隐蔽策略。对民间文学文本中解释字、词的注释词语重点隐蔽,减小BERT隐蔽的随机性并有利于学习词语语义信息。同时利用注释增强语言模型表示,解决一词多义、古今异义等问题。将MythBERT与BERT、BERT-WWM和RoBERTa等主流中文预训练模型在情感分析、语义相似度、命名实体识别和问答四个自然语言处理任务上进行比较。实验结果表明,注释增强的民间文学预训练模型MythBERT在民间文学文本任务上性能显著提升,与基线方法相比取得了最优的效果。     

基于句子级LSTM编码的文本标题生成

在标题自动生成任务中,BiLSTM表示文本是随着时间循环递归对每个单词进行编码,需要逐字读取单词序列,语义信息会随着状态的传递不断减弱.对此,构建一个句子级LSTM的编码器,并行对文本中每个单词编码表示.循环步骤同时对单词之间的局部状态和整体文本的全局状态进行信息交换,编码得到语义表示后使用混合指针网络的解码器生成标题...     

基于用户意图的微博文本生成技术研究

微博是个人和组织用户分享或获取简短实时信息的重要社交平台,微博文本自动生成技术能帮助用户在微博平台上快速实现各种社交意图。为辅助用户发表博文并表达社交意图,提出一种基于用户意图的微博文本生成技术,以挖掘提取微博文本特征,并在给定微博主题的条件下生成与用户意图相一致的微博文本。采用预训练语言模型与微调相结合的方法,在预训练语言模型GPT2上实现联合主题和用户意图的文本控制生成,以及具备用户对话功能的文本预测生成。实验结果表明,该技术生成的文本具有较高的可读性且符合微博文本语言风格,结合主题和5类用户意图的生成样本人工评分达77分以上。     

硬约束限制的情感文本生成方法研究

预训练语言模型在情感文本的生成任务中取得了良好效果,但现有情感文本生成方法多使用软约束的方式控制文本整体的情感属性,缺乏单词和短语级别的硬性控制。为解决以上问题,提出硬约束限制下的情感文本生成方法。首先使用方面情感分析技术提取句子的方面词、情感词并判断情感极性;之后,选择目标情感的方面词和情感词作为预训练语言模型的硬约束输入来重建完整句子,其中,设计了一种新的单词权重计算方法,旨在使模型优先生成重要单词。实验结果表明,该方法生成的句子不仅具有方面级情感,在文本质量和多样性的评价指标上也有显著提高。     

融合源端句法和语义角色信息的AMR解析

序列到序列(seq2seq)的框架可以应用到抽象语义表示(AMR)解析任务中,把AMR解析当作一个从源端句子到目标端AMR图的翻译任务。然而,以前的工作通常把源端句子表示为一个单词序列,忽略了句子内部潜藏的句法和语义角色信息。基于seq2seq框架,该文提出了一个直接而有效的融合句法和语义角色信息的AMR解析方法。实验结果表明,该文的方法在AMR英文标准数据集上取得了6.7%的显著提升。最后,该文从多个角度深入分析了源端的句法和语义角色信息是如何对AMR解析提供帮助的。分析表明,词性信息和subword技术对AMR解析性能提升的贡献最大,上层句法和语义角色信息次之。     

基于联合学习的成分句法与AMR语义分析方法

抽象语义表示(Abstract Meaning Representation,AMR)解析任务是从给定的文本中抽象出句子的语义特征,成分句法分析(Constituency Parsing)任务则探寻句子中的层次逻辑结构。由于AMR解析和成分句法分析之间存在着很强的互补性,抽象语义需要把握文本的句法结构,而句法分析可以通过理解句子中的语义信息来避免歧义,因此该文提出了一种联合训练方法用于捕获两个任务之间的内部联系从而提升各自任务的性能。此外,为了解决两个任务由于数据量过少造成的数据依赖问题,该文利用外部语料获得大规模自动标注 AMR 图以及自动标注句法树,并基于上述联合学习方法,采用预训练+微调的半监督学习方法进行训练。实验结果表明,该方法可以有效提高模型的性能,其中AMR解析任务在AMR 2.0上提升了8.73个F₁值,句法分析在PTB上获得了6.36个F₁值的提升。     

面向视觉语言理解与生成的多模态预训练方法

大多数现有的视觉语言预训练方法侧重于理解任务,并在训练时使用类似于BERT的损失函数(掩码语言建模和图像文本匹配).尽管它们在许多理解类型的下游任务中表现良好,例如视觉问答、图像文本检索和视觉蕴涵,但它们不具备生成信息的能力.为了解决这个问题,提出了视觉语言理解和生成的统一多模态预训练(unified multimodal pre-training for vision-language understanding and generation, UniVL). UniVL能够处理理解任务和生成任务,并扩展了现有的预训练范式,同时使用随机掩码和因果掩码,因果掩码即掩盖未来标记的三角形掩码,这样预训练的模型可以具有自回归生成的能力.将几种视觉语言理解任务规范为文本生成任务,并使用基于模版提示的方法对不同的下游任务进行微调.实验表明,在使用同一个模型时,理解任务和生成任务之间存在权衡,而提升这两个任务的可行方法是使用更多的数据. UniVL框架在理解任务和生成任务方面的性能与最近的视觉语言预训练方法相当.此外,实验还证明了基于模版提示的生成方法更有效,甚至在少数场景中它优于判别方法.     

基于多任务学习的古诗和对联自动生成

实现古诗和对联的自动生成是极具挑战性的任务。该文提出了一种新颖的多任务学习模型用于古诗和对联的自动生成。模型采用编码-解码结构并融入注意力机制,编码部分由两个BiLSTM组成,一个BiLSTM用于关键词输入,另一个BiLSTM用于古诗和对联输入;解码部分由两个LSTM组成,一个LSTM用于古诗的解码输出,另一个LSTM用于对联的解码输出。在中国的传统文学中,古诗和对联具有很多的相似特征,多任务学习模型通过编码器参数共享,解码器参数不共享,让模型底层编码部分兼容古诗和对联特征,解码部分保留各自特征,增强模型泛化能力,表现效果大大优于单任务模型。同时,该文在模型中创新性地引入关键词信息,让生成的古诗及对联表达内容与用户意图一致。最后,该文采用自动评估和人工评估两种方式验证了方法的有效性。     

预训练增强的代码克隆检测技术

代码克隆检测是软件工程领域的一项重要任务, 对于语义相似但语法差距较大的四型代码克隆的检测尤为困难. 基于深度学习的方法在四型代码克隆的检测上已经取得了较好的效果, 但是使用人工标注的代码克隆对进行监督学习的成本较高. 提出了两种简单有效的预训练策略来增强基于深度学习的代码克隆检测模型的代码表示, 以减少监督学习模型中...     

未知环境下基于粒子群优化的多任务联盟生成

针对多Agent系统(MAS)资源有限、环境信息未知、任务依次随机产生的情况,通过引入惩罚系数,基于剩余资源平衡定义一种新的适应度函数,并提出改进的二进制离散粒子群优化(BPSO)算法。新的适应度函数不仅考虑系统收益,同时还考虑系统剩余资源的平衡性,并通过调整惩罚系数在两者之间做出折衷。利用改进的BPSO算法对联盟进行优化,给出粒子速度和位置的更新公式,从而控制粒子的发散性,提高算法的局部搜索能力。仿真结果表明,新的适应度函数可使MAS执行更多的任务。与基本BPSO和遗传算法相比,改进算法在解的质量、收敛速度和稳定性方面具有更好的性能。     

移动Agent多任务调度算法

提出一种可覆盖全部解空间的移动agent多任务分配与调度混合遗传算法。给出问题模型及染色体表示方法,采用禁忌表加随机算法生成初始种群,设计新的交叉机制保证交叉进化解的合法性。为促进算法的收敛,变异个体使用禁忌及任务均衡启发变异算子。还采用保持解的不降性的最佳个体保留策略。2种任务节点、3种通信代价、3种主机节点共18组图的仿真结果表明该算法进化的最优解较标准遗传算法有37.1%的平均改进量。     

基于多任务学习的中文事件抽取联合模型

事件抽取旨在从非结构化的文本中提取人们感兴趣的信息,并以结构化的形式呈现给用户.当前,大多数中文事件抽取系统采用连续的管道模型,即：先识别事件触发词,后识别事件元素.其容易产生级联错误,且处于下游的任务无法将信息反馈至上游任务,辅助上游任务的识别.将事件抽取看作序列标注任务,构建了基于CRF多任务学习的中文事件抽取联合模型.针对仅基于CRF的事件抽取联合模型的缺陷进行了两个扩展：首先,采用分类训练策略解决联合模型中事件元素的多标签问题（即：当一个事件提及中包含多个事件时,同一个实体往往会在不同的事件中扮演不同的角色）.其次,由于处于同一事件大类下的事件子类,其事件元素存在高度的相互关联性.为此,提出采用多任务学习方法对各事件子类进行互增强的联合学习,进而有效缓解分类训练后的语料稀疏问题.在ACE 2005中文语料上的实验证明了该方法的有效性.     

基于预训练-微调策略的COVID-19预测模型

COVID-19的世界性大流行对整个社会产生了严重的影响,通过数学建模对确诊病例数进行预测将有助于为公共卫生决策提供依据。在复杂多变的外部环境下,基于深度学习的传染病预测模型成为研究热点。然而,现有模型对数据量要求较高,在进行监督学习时不能很好地适应低数据量的场景,导致预测精度降低。构建结合预训练-微调策略的COVID-19预测模型P-GRU。通过在源地区数据集上采用预训练策略,使模型提前获得更多的疫情数据,从而学习到COVID-19的隐式演变规律,为模型预测提供更充分的先验知识,同时使用包含最近历史信息的固定长度序列预测后续时间点的确诊病例数,并在预测过程中考虑本地人为限制政策因素对疫情趋势的影响,实现针对目标地区数据集的精准预测。实验结果表明,预训练策略能够有效提高预测性能,相比于卷积神经网络、循环神经网络、长短期记忆网络和门控循环单元模型,P-GRU模型在平均绝对百分比误差和均方根误差评价指标上表现优异,更适合用于预测COVID-19传播趋势。     

基于多任务无参考图像质量评价模型研究

基于深度学习的无参考图像质量评价(NRIQA)模型常见2种结构,即单任务(Single-task)结构和多任务(Multi-task)结构。为了探讨在没有预训练情况下多任务结构对模型准确率影响,对比分析了基于MEON调整后的多任务模型及单任务模型在无参考图像质量评价任务上的性能优劣,其中多任务模型在图像质量评价数据库LIVE、TID2013上分别取得了0.882、0.871的准确率,表现出同等甚至优于单任务模型的性能。在此基础上,多任务模型的子任务输出维度实验表明在NRIQA研究中,子任务能够根据需求和目标在相关数据集上预训练,再结合质量评价任务微调,具有可迁移学习集成于其他任务中的优点。