德国:鸡蛋上市要办“身份证”

德国人向来以严谨著称,各方面的安全意识非常强,对于食品安全更是一丝不苟。就拿小小的鸡蛋来说,为确保质量,每个鸡蛋上都印有一串编号。这些编号就像是鸡蛋的"身份证",根据它就可查出鸡蛋来自哪个国家、哪个地方和哪个     

中文对话理解中基于预训练的意图分类和槽填充联合模型

基于预训练和注意机制的意图分类和语义槽填充,提出一种结合双向长短时记忆(bidirectional long short-term memory, BiLSTM)、条件随机场(conditional random fields, CRF)和注意机制的双向编码(bidirectional encoder representations from transformers, BERT)具有双向编码表示和注意机制的联合模型。该模型无需过多依赖手工标签数据和领域特定的知识或资源,避免了目前普遍存在的弱泛化能力。在自主公交信息查询系统语料库上进行的试验表明,该模型意图分类的准确性和语义槽填充F1值分别达到98%和96.3%,均产生有效改进。     

机构运动编码表示与神经网络决策的探讨

提出一种机构运动编码方法,仅用一串二进制编码就能从功能数据库中获取一组功能实现机构,并用ＢＰ神经网络进行机构分类决策,从而给出较为满意的一类功能实现机构。     

基于注意力机制的双BERT有向情感文本分类研究

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容。传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域。针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers, BERT)有向情感文本分类模型。该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成。情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类。在相关数据集上进行实验,结果表明该模型优于现有模型。     

进化神经网络的编码表示机制研究

神经网络学习包括权值学习和拓朴结构学习,目前大部分妍究集巾于权值学习,结构的选择和确定一般是靠经验和专家知识。设计一个好的神经网络招扑结构是非常困难的。一般地,学习,连同选择一个优化网络招扑结构,是一个NP宇全问题。神绎     

中文对话理解中基于预训练的意图分类和槽填充联合模型

基于预训练和注意机制的意图分类和语义槽填充,提出一种结合双向长短时记忆(bidirectional long short-term memory, BiLSTM)、条件随机场(conditional random fields, CRF)和注意机制的双向编码(bidirectional encoder representations from transformers, BERT)具有双向编码表示和注意机制的联合模型。该模型无需过多依赖手工标签数据和领域特定的知识或资源,避免了目前普遍存在的弱泛化能力。在自主公交信息查询系统语料库上进行的试验表明,该模型意图分类的准确性和语义槽填充F1值分别达到98%和96.3%,均产生有效改进。     

基于哈希学习的异常SQL检测

针对最近邻（NN）方法在异常结构化查询语句（SQL）检测应用中面临的存储开销大、检索速度慢的问题,提出了一种基于哈希学习的异常SQL检测（HMSD）方法。该算法利用哈希学习来学习查询SQL语句的二值编码表示。首先,对查询SQL语句进行清洗去重,从而将查询SQL语句表示为实值特征形式;然后利用等方差哈希方法来学习查询SQL语句的二值编码表示;最后,通过二值编码表示进行检索并提高异常SQL检测的速度。实验结果表明,在异常SQL检测数据集Wafamole上,将数据集进行随机划分,使训练集包含10 000条SQL语句,测试集包含30 000条SQL语句,在128比特长度下,与最近邻方法相比,所提算法的检测精度提高了1.3%,假正例率（FPR）降低了0.19%,假负例率（FNR）降低了2.41%,检索时间减少了94%,存储开销降低了97.5%;与支持向量机方法相比,所提算法的检测精度提高了0.17%,验证了所提算法能解决最近邻方法在异常SQL检测中存在的问题。     

融合语义路径与语言模型的元学习知识推理框架

针对传统推理方法无法兼顾计算能力与可解释性,同时在小样本场景下难以实现知识的快速学习等问题,该文设计一款融合语义路径与双向Transformer编码(BERT)的模型无关元学习(MAML)推理框架,该框架由基训练和元训练两个阶段构成。基训练阶段,将图谱推理实例用语义路径表示,并代入BERT模型微调计算链接概率,离线保存推理经验;元训练阶段,该框架基于多种关系的基训练过程获得梯度元信息,实现初始权值优化,完成小样本下知识的快速学习。实验表明,基训练推理框架在链接预测与事实预测任务中多项指标高于平均水平,同时元学习框架可以实现部分小样本推理问题的快速收敛。