基于多视角的多类型错误全面检测方法

随着信息化社会的发展,数据的规模越发庞大,数据的种类也越发丰富.时至今日,数据已经成为国家和企业的重要战略资源,是科学化管理的重要保障.然而,随着社会生活产生的数据日益丰富,大量的脏数据也随之而来,数据质量问题油然而生.如何准确而全面地检测出数据集中所包含的错误数据,一直是数据科学中的痛点问题.尽管已有许多传统方法被广泛用于各行各业,如基于约束与统计的检测方法,但这些方法通常需要丰富的先验知识与昂贵的人力和时间成本.受限于此,这些方法往往难以准确而全面地检测数据.近年来,许多新型错误检测方法利用深度学习技术,通过时序推断、文本解析等方式取得了更好检测效果,但它们通常只适用于特定的领域或特定的错误类型,面对现实生活中的复杂情况,泛用性不足.基于上述情况,结合传统方法与深度学习技术的优点,提出了一个基于多视角的多类型错误全面检测模型CEDM.首先,从模式的角度,结合现有约束条件,在属性、单元和元组层面进行多维度的统计分析,构建出基础检测规则;然后,通过词嵌入捕获数据语义,从语义的角度分析属性相关性、单元关联性与元组相似性,进而基于语义关系,从多个维度上更新、扩展基础规则;最终,联合多个视角...     

基于MFE-BERT与FNNAttention的心理医学知识图谱构建

针对心理医学领域文本段落冗长、数据稀疏、知识散乱且规范性差的问题, 提出一种基于多层级特征抽取能力预训练模型(MFE-BERT)与前向神经网络注意力机制(FNNAttention)的心理医学知识图谱构建方法. MFE-BERT在BERT模型基础上将其内部所有Encoder层特征进行合并输出, 以获取包含更多语义的特征向量, 同时对两复合模型采用FNNAttention机制强化词级关系, 解决长文本段落语义稀释问题. 在自建的心理医学数据集中, 设计MFE-BERT-BiLSTM-FNNAttention-CRF和MFE-BERT-CNN-FNNAttention复合神经网络模型分别进行心理医学实体识别和实体关系抽取, 实体识别F1值达到93.91%, 实体关系抽精确率达到了89.29%, 通过融合文本相似度与语义相似度方法进行实体对齐, 将所整理的数据存储在Neo4j图数据库中, 构建出一个含有3652个实体, 2396条关系的心理医学知识图谱. 实验结果表明, 在MFE-BERT模型与FNNAttention机制的基础上构建心理医学知识图谱切实可行, 提出的改进模型所搭建的心理医学知识图谱可以更好地应用于心理医学信息管理中, 为心理医学数据分析提供参考.     

基于序列到序列结构的MOBA游戏局势趋势预测模型

多人在线战术竞技(MOBA)游戏是当前世界最流行的电子游戏类型之一,该类游戏涉及的知识领域相当复杂.随着电子竞技产业的飞速发展,数据分析对MOBA游戏的影响也越来越大,在对该类游戏的实时局势进行评价时,一般是选择过程变量作为指标,例如经济差、经验差,但目前缺少趋势预测的相关研究.针对该问题,提出一种基于序列到序列结构的MOBA游戏趋势预测模型(MOBA-Trend).在预处理阶段,针对该类游戏数据的特点,设计一种数据缩放算法体现数据间的重要度,并使用低通滤波器消除数据噪声;之后将双方阵容与历史战斗信息作为输入特征,构建带有注意力机制的序列模型,同时预测经济差、经验差;最后将模型应用于Dota 2,构建并发布相关数据集.实验结果表明,所提出的模型能够有效地预测序列的变化趋势.     

P2P Web搜索中一种有效的查询路由策略

有效的多关键字查询路由是P2PWeb搜索中的一个关键问题。文章提出一种基于收益代价比的查询处理方法。该方法基于DHT的P2P覆盖网,挖掘关键字的关联性和节点间覆盖度和重叠度。利用最小独立置换进行重叠检测,因此避免了对相同记录的冗余路由。实验证明了该方法显著减少了查询时间,同时提高了查全率和查准率。     

参数模块和属性约简的应用服务器优化方法

现实的优化方法与策略往往是优化人员基于服务器厂商所提供的官方技术文档来分析各种参数的实际意义,优化比较漫长,缺少系统性和规律性,很难快速的确定所需调节的关键参数.本文针对常用的应用服务器分析了其性能下降的原因,提出了调节参数模块化思想并结合属性约简算法对参数模块进行属性约简,从实践中定量的找出影响系统性能的主要参数对其进行着重调节快速提高系统性能,提出了一种全新的服务器优化方法.     

应用词法分析方法抽取Web查询接口模式

Deep Web中蕴含着大量高质量的数据,然而只有通过Web查询接口对Web数据库提交查询才能获取这些数据,因此,自动获取Web查询接口模式是实现Web数据库集成的关键.将Web查询接口模式的抽取过程看作一个词法分析的过程,通过构建EGLM-FA(元素分组及标签匹配有限状态自动机)来完成对Web查询接口模式的抽取.首先应用Html呈现引擎将Web查询接口所在页面进行解析,利用查询接口Form中的DOM节点及其坐标信息构建相应的NSS(节点空间结构),之后再将所有的NSS组成NSS列表,将NSS列表作为EGLM-FA的输入,进而抽取出Web查询接口的模式.     

基于改进灰色关联决策的CGF目标选择

通过对CGF实体目标选择过程的分析,以及对几种典型方法的研究,提出了改进的灰色关联决策方法。利用层次分析法与改进的灰色关联决策建立CGF实体的目标选择模型,同时进行了仿真研究,并将目标选择模型进行了模块化,封装成插件。仿真实体功能得到了扩展,提升了仿真效果,满足作战仿真的需求。     

一种应用于Deep Web环境下的重复记录识别模型

随着Web数据库数量和其蕴含数据量飞速的增长,对Deep Web数据的集成越来越成为研究领域关注的问题.然而由于Web上的信息以半结构化及无结构化的数据信息居多,导致了抽取的结果中包含诸多的不确定性.如有噪音数据、重复字符、简写与全称混合等问题.这给识别重复记录带来了很大不便,导致传统的去重算法无法达到很好的效果.为此,提出了一种面向deep Web结果整合的重复记录识别模型.在该模型中,提出了一种基于编辑距离的改进算法,基于该算法实现字符串匹配;通过构建属性匹配图,并采用二次确认机制实现识别重复记录.应用该模型,既提高了识别效率又保证了识别精确度,并通过实验证明了提出的算法和模型的可行性.     

关于KDD的一类开放系统KDD的研究

On the basis of KDD(Knowledge Discovery based on Database),the paper proposes the general framework of the open KDD system－KDD*, discusses its theoretical foundation and realization of its key technology－double base cooperating mechanism. The result of initial illustration shows that the structure of KDD' is effective and available.     

液晶驱动电路HT 1612及其在蒸汽流量积算器中的应用

The features and the basic operation method of the HT1621 liquid crystal display driving circuit are introduced． With the steam flow to talizer as example the design of relevant hardware and software for the application of HT1621 in liquid crystal display ins truments is described in brief．