基于预训练模型与知识蒸馏的法律判决预测算法

针对法律判决预测中罪名预测和法条推荐子任务,提出基于BERT （bidirectional encoder representation from transformers）预训练模型与知识蒸馏策略的多任务多标签文本分类模型.为挖掘子任务间的关联,提高预测准确率,运用BERT预训练模型进行多任务学习,建立BERT₁₂multi文本分类模型;针对罪名、法条类别中的样本不均衡问题,采用分组的焦点损失（focal loss）以增强模型对于罕见罪名及法条的辨别能力;为降低模型计算复杂度并且提高模型推理速度,提出一种以教师模型评价为参考的知识蒸馏策略,通过动态平衡蒸馏中的蒸馏损失和分类损失,将BERT₁₂multi压缩为浅层结构的学生模型.综上,构建出可以处理不均衡样本且具有较高推理速度的多任务多标签文本分类模型BERT₆multi.在CAIL2018数据集上的实验表明:采用预训练模型及分组focal loss可显著提高法律判决预测的性能;通过融入教师模型评价,知识蒸馏得到的学生模型推理速度提高近一倍,并且在罪名预测及法条推荐任务...     

基于过程监督的序列多任务法律判决预测方法

法律判决预测是人工智能技术在法律领域的应用,因此对法律判决预测方法的研究对于实现智慧司法具有重要的理论价值和实际意义。传统的法律判决预测方法大都是只进行单一任务的预测或仅基于参数共享的多任务预测,并未考虑各子任务之间的序列依存关系,因此预测性能难以得到进一步的提升。文中提出了一个端到端的基于过程监督的序列多任务法律判决预测模型,在建模各子任务之间的依存关系时,通过引入过程监督来确保依赖信息的准确性,从而提升序列子任务的预测性能。将所提模型应用到CAIL2018数据集上,取得了较好的分类效果,平均分类准确率比现有的state-of-the-art方法的准确率提升了2%。     

融合句法指导与字符注意力机制的案情阅读理解方法

案情阅读理解是机器阅读理解在司法领域的具体应用。案情阅读理解通过计算机阅读裁判文书,并回答相关问题,是司法智能化的重要应用之一。当前机器阅读理解的主流方法是采用深度学习模型对文本词语进行编码,并由此获得文本的向量表示。模型建立的核心问题是如何获得文本的语义表示,以及问题与上下文的匹配。考虑到句法信息有助于模型学习句子主干信息,以及中文字符具有潜在的语义信息,提出了融合句法指导与字符注意力机制的案情阅读理解方法。通过融合句法信息及中文字符信息,提升模型对案情文本的编码能力。在法研杯2019阅读理解数据集上的实验结果表明,所提出的方法与基线模型相比EM值提升了0.816,F1值提升了1.809%。     

融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析

文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题: 一是未能充分考虑到文本的层次化结构对情感倾向性判定的重要作用,二是传统的分词技术在处理文本时会产生歧义。该文针对这些问题基于卷积神经网络与层次化注意力网络的优点提出了一种深度学习模型C-HAN(Convolutional Neural Network-based and Hierarchical Attention Network-based Chinese Sentiment Classification Model),先用并行化卷积层学习词向量间的联系与组合形式,再将其结果输入到基本单元为双向循环神经网络的层次化注意力网络中判定情感倾向。实验表明: 模型在中文评论数据集上倾向性分类准确率达到92.34%,和现有多个情感分析模型相比有所提升;此外,对于中文文本,选择使用字级别词向量作为原始特征会优于词级别词向量作为原始特征。     

融入法律知识的问句匹配

问句匹配是问答系统的重要任务,当前方法通常采用神经网络建模两个句子的语义匹配程度.但是,在法律领域中,问句常存在文本表征稀疏、法律词的专业性较强、句子蕴含法律知识不足等问题.因此,通用领域的深度学习文本匹配模型在法律问句匹配任务上效果并不好.为了让模型更好的理解法律问句的含义、建模法律领域知识,首先构建一个法律领域知识库,在此基础上提出一种融合法律领域知识(如法律词汇和法律法条)的问句匹配模型.具体地,构建了合同纠纷、离婚、交通事故、劳动工伤、债务债权等5种法律纠纷类别下的法律词典,并且收集了相关法律法条,构建法律领域知识库.在问句匹配中,首先查询法律知识库检索问句对所对应的法律词汇和法律法条,进而通过交叉关注模型同时建模问句、法律词汇、法律法条三者之间的关联,最终实现更精准的问句匹配,在多个法律类别下的实验表明提出的方法能有效提升问句匹配性能.     

融合情感轮注意力的情感分布学习

情感分布学习是一种近年提出的有效的多情绪分析模型,其核心思路是通过情感分布记录示例在各个情绪上的表达程度,适于处理存在情绪模糊性的情感分析任务。针对现有的情感分布学习方法较少考虑情感心理学先验知识的问题,提出一种基于情感轮注意力的情感分布学习（emotion wheel attention based emotion distribution learning,EWA-EDL）模型。EWA-EDL模型为每种基本情绪生成一个描述情绪心理学相关性的先验情感分布,再通过注意力机制将基于情感轮的先验知识直接融入深度神经网络。EWA-EDL模型采用端到端的方式对深度网络进行训练,同时学习情感分布预测和情绪分类任务。EWA-EDL模型主要由5部分构成,分别为输入层、卷积层、池化层、注意力层和多任务损失层。在8个常用的文本情感数据集上的对比实验表明,EWA-EDL模型在情感分布预测和情绪分类任务上的性能均优于对比的情感分布学习方法。     

联合注意力机制与MatchPyramid的文本相似度分析算法

文本相似度分析是自然语言处理领域的核心任务,基于深度文本匹配模型进行文本相似度分析是当前研究该任务的主流思路。针对传统的MatchPyramid模型对文本特征提取的不足之处进行改进,提出了基于增强MatchPyramid模型进行文本相似度分析的方法。该方法在输入编码层加入多头自注意力机制和互注意力机制,同时对双注意力机制的输入词向量使用自编码器做降维处理,以降低模型的计算量。接着将双注意力机制的输出与原始词向量相连接,提升了词向量对文本关键信息的表征能力。最后将两个文本的词向量矩阵点积形成的单通道图映射到多个特征子空间形成了多通道图,使用密集连接的卷积神经网络对多通道图进行特征提取。实验结果表明,相比于传统的MatchPyramid模型,所提出的模型准确率提升了1.59个百分点,F1值提升了2.49个百分点。     

标签指导的双注意力深度神经网络模型

在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的标签描述,用于显式计算文本单词与标签之间的语义关系.在此基础上,使用文本编码器学习具有上下文语境信息的评论文本表示,并提出标签指导的双注意力网络,分别学习基于自注意力的文本表示和基于标签注意力的文本表示.然后,使用自适应门控机制融合这两个文本表示,得到文本最终表示.最后,使用两层前馈神经网络作为分类器,进行情感分类.在3个公开的真实数据集上的实验表明,文中模型分类效果较优,可减少计算代价和训练时长.     

基于强化学习与自注意力机制的朝鲜语重要句子结构识别

针对构建朝鲜语语料库的人工标注工作过于费时费力,少数民族语言难以与各家资源融合的这一问题,该文从表征学习的角度,意图构建有效的朝鲜语句子结构表示,用来提升后续自然语言处理任务的效果。我们将深度强化学习与自注意力机制相结合,提出了一种分层结构的自注意力模型(Hierarchically Structured Korean,HS-K)。模型利用强化学习中的Actor-Critic思想,将文本分类效果作为强化学习的标签反馈信息,把文本的结构划分任务转化为序列决策任务。实验结果表明,模型可以识别出接近人工标注的朝鲜语重要句子结构,对朝鲜语信息化与智能化有着良好的辅助作用。     

基于自注意力机制的中文标点符号预测模型

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明,该模型F1值达到85.63%,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测。     

联合多源分析的罪名预测研究

随着人工智能技术逐步在司法领域落地与应用,法律人工智能的研究成果极大地提升了司法从业人员的工作效率。罪名预测作为法律人工智能的重要核心应用之一,旨在根据案件描述预测犯罪主体触犯的刑法罪名。针对目前罪名预测研究仅依赖于单一的裁判文书数据源,但裁判文书对案件细节的阐述不够全面的问题,构建了一个结合裁判文书和庭审文书的多源联合分析数据集,将概述内容的裁判文书与囊括细节的庭审文书相结合进行罪名预测。在构建的多源联合数据集上进行了大量实验及分析,实验结果验证了裁判文书和庭审文书在信息上的互补性,为罪名预测任务提供了新的思考角度。     

基于自监督学习语言模型的罪名预测研究

针对解决法律判决预测中的罪名预测问题,为了更高效地捕捉案件事实描述中上下文的语义信息,提出了一种结合ALBERT（A Lite BERT）和卷积神经网络CNN（TextCNN）的中文罪名预测模型ALBT。模型利用ALBERT模型将法律文本的事实描述转化成向量表示,提取事实描述中的关键特征,把提取到的特征送入卷积神经网络TextCNN模型中进行分类预测,最终完成对事实描述中的罪名预测。实验在2018“中国法研杯”司法人工智能挑战赛构建的数据集上精度达到了88.1%。实验结果表明,模型在中文罪名预测上能够达到更好的预测效果。     

结合网络表示学习和文本卷积网络的类案发现

作为“智慧法院”的核心应用之一,相似裁判文书的发现有助于解决司法过程中裁判尺度不统一、类案不同、量刑不规范等问题。目前,一部分方法侧重于从裁判文书中总结领域特征,并将这些特征融入到语言模型中来提升相似文书发现的效果。另一部分工作将其转化为分类任务,利用有监督学习模型来进行建模与预测。然而,已有的方法没有考虑将语言模型与分类模型各自的优势进行结合。为此,提出一种基于网络表示学习（network representation learning）和文本卷积网络（convolutional neural network for texts）的类案发现方法。方法分别从无监督学习与有监督学习的视角来建模裁判文书中的信息,并根据法律知识体系对原有模型的负采样方法（negative sampling）进行改进。最终,方法设计了一种较为合理的投票机制将两类模型的结果进行融合。实验结果表明,提出的联合方法较已有方法能在类案发现任务中取得更高的推送准确率。     

基于犯罪行为序列的法律条文预测方法

随着互联网技术和人工智能技术的飞速发展,如何将人工智能引入到司法领域得到了各大研究机构的密切关注。在传统的审判辅助工作中,主要依托的是对于独立的案情特征进行法条、量刑、罪名的确立。然而,这种情况下,案情特征的顺序容易被忽略,尤其是涉及到案件特征的时间序列、行为序列的分析时,“顺序问题”可能影响最终的审判结果,如相同特征的案件可能导致审判结果的不同。对如何有效地利用这些信息提升法律条文预测的性能进行研究,用于改进在司法领域的表现,并辅助法官和律师等更加高效地进行法律判决。通过利用案情的事实描述和犯罪行为序列来预测案件涉及的相关法条,验证基于犯罪行为序列的法律条文预测的有效性。     

基于深度语义匹配的法律条文推荐方法

法律条文(简称法条)是司法量刑的主要依据,法律条文的精准推荐,能够辅助提高法律智能判决的质量.目前,主流的法条推荐模型是将有限数量的法条当作类别标签,采用分类的思想,根据法律文书的案例描述将其归类到相关的法条.但是法条作为法律规范的文字表述形式,现有的分类方法简单将其作为类别标签的索引编号,导致对其语义信息利用不足,影响了推荐质量.针对此问题,研究将主流的法条推荐方法从分类模型转化为语义匹配模型,提出了基于深度语义匹配的法条推荐方法(DeepLawRec).该方法包含局部语义匹配模块和全局语义推荐模块,分别设计双向Transformer卷积网络模型和基于回归树的推荐模型,在理解文本序列的同时,关注与法条匹配学习相关的局部语义特征,增强法条推荐的准确率和可解释性.在公开数据集上的实验结果表明,DeepLawRec方法在推荐质量上优于传统的文本分类以及经典的语义匹配方法,并进一步探讨了如何分析和判读推荐结果.     

面向法律文书的自然语言理解

法律人工智能因其高效、便捷的特点,近年来受到社会各界的广泛关注。法律文书是法律在社会生活中最常见的表现形式,应用自然语言理解方法智能地处理法律文书内容是一个重要的研究和应用方向。该文梳理与总结面向法律文书的自然语言理解技术,首先介绍了五类面向法律文书的自然语言理解任务形式: 法律文书信息提取、类案检索、司法问答、法律文书摘要和判决预测。然后,该文探讨了运用现有自然语言理解技术应对法律文书理解的主要挑战,指出需要解决好法律文书与日常生活语言之间的表述差异性、建模好法律文书中特有的推理与论辩结构,并且需要将法条、推理模式等法律知识融入自然语言理解模型。     

Unsupervised law article mining based on deep pre-trained language representation models with application to the Italian civil code

Modeling law search and retrieval as prediction problems has recently emerged as a predominant approach in law intelligence. Focusing on the law article retrieval task, we present a deep learning framework named LamBERTa, which is designed for civil-law codes, and specifically trained on the Italian civil code. To our knowledge, this is the first study proposing an advanced approach to law article prediction for the Italian legal system based on a BERT (Bidirectional Encoder Representations from Transformers) learning framework, which has recently attracted increased attention among deep learning approaches, showing outstanding effectiveness in several natural language processing and learning tasks. We define LamBERTa models by fine-tuning an Italian pre-trained BERT on the Italian civil code or its portions, for law article retrieval as a classification task. One key aspect of our LamBERTa framework is that we conceived it to address an extreme classification scenario, which is characterized by a high number of classes, the few-shot learning problem, and the lack of test query benchmarks for Italian legal prediction tasks. To solve such issues, we define different methods for the unsupervised labeling of the law articles, which can in principle be applied to any law article code system. We provide insights into the explainability and interpretability of our LamBERTa models, and we present an extensive experimental analysis over query sets of different type, for single-label as well as multi-label evaluation tasks. Empirical evidence has shown the effectiveness of LamBERTa, and also its superiority against widely used deep-learning text classifiers and a few-shot learner conceived for an attribute-aware prediction task.

     

Bending the law: geometric tools for quantifying influence in the multinetwork of legal opinions

Legal reasoning requires identification through search of authoritative legal texts (such as statutes, constitutions, or prior judicial opinions) that apply to a given legal question. In this paper, using a network representation of US Supreme Court opinions that integrates citation connectivity and topical similarity, we model the activity of law search as an organizing principle in the evolution of the corpus of legal texts. The network model and (parametrized) probabilistic search behavior generates a Pagerank-style ranking of the texts that in turn gives rise to a natural geometry of the opinion corpus. This enables us to then measure the ways in which new judicial opinions affect the topography of the network and its future evolution. While we deploy it here on the US Supreme Court opinion corpus, there are obvious extensions to large evolving bodies of legal text (or text corpora in general). The model is a proxy for the way in which new opinions influence the search behavior of litigants and judges and thus affect the law. This type of “legal search effect” is a new legal consequence of research practice that has not been previously identified in jurisprudential thought and has never before been subject to empirical analysis. We quantitatively estimate the extent of this effect and find significant relationships between search-related network structures and propensity of future citation. This finding indicates that “search influence” is a pathway through which judicial opinions can affect future legal development.