一种改进的句子相似度计算模型

在基于实例的机器翻译中,句子相似度计算是实例匹配的有效机制。该文对基于相同词的句子相似模型作进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词的情形。实验结果表明,改进方法比原方法具有较高的准确率。     

中文主观题自动批改中相似句子检索算法

学生答案与标准答案语义匹配程度的计算是基于中文文字类主观题自动批改中的关键问题。提出了学生答案与标准答案匹配程度的计算分两步进行：候选相似语句的检索和基于语义依存的句子相似度计算。利用动态规划法实现候选语句检索，确定数量不多但有可能与标准答案相似的候选句子，然后对标准答案中的句子与少量的候选句子进行深层的句法分析，找出依存关系，并在依存分析结果的基础上进行语义相似度计算，得出最终的结果。该方法可以提高主观题自动批改的效率及准确性，具有一定的实用价值。     

基于潜在语义分析的文档检索设计方法

文档检索系统围绕如何基于语义层面进行检索来展开研究.基于关键词匹配的检索系统不能处理多词一义的情况,针对此问题设计了基于潜在语义分析的文档检索系统.首先改进了文档一词矩阵单元值的计算过程,调整了传统高频词与低频词在权重上的线性关系,利用Sigmiod函数对权重做平滑处理,使其更符合文档中词的权重;其次利用潜在语义分析结合多维尺度分析算法,优化计算文档在语义间的距离.实验结果显示,能有效在语义上聚类文档,完成查询语句与文档集之间的相似度检索计算.     

双向词典和语义相似度计算相结合的词对齐算法

基于统计的词对齐方法需要大规模的双语语料作为输入,难以避免数据稀疏的问题并且算法时间开销大。针对句子或段落级的实时性对齐需求,提出了一种基于双向词典和语义相似度计算的高效词对齐算法,通过采用动态组块切分和匹配、基于知网的语义相似度计算、基于最大匹配的冲突消解和剪枝消歧等策略,有效地解决了由于翻译的灵活性和多样性带来的近似译文的词对齐问题。实验表明,该算法不仅继承了基于词典词对齐算法的优点,同时还改进了传统基于词典词对齐算法的不足,有效提升了词对齐的正确率和召回率,在小规模双语语料和实时性对齐方面具有更好的适用性。     

基于同义词词林的词语相似度计算方法

为解决词语相在语义网自适应学习系统中相似度计算不清的问题,以同义词词林为基础,提出并实现了一种基于同义词词林的词语相似度计算方法,充分分析并利用了同义词词林的编码及结构特点。该算法同时考虑了词语的相似性,和词语的相关性。进行人工测试,替换测试以及与当前流行的基于＂知网＂的词语相似度算法对比测试的结果表明,该算法与人们思维中的相似度值基本一致,有较高的准确性。     

基于语义扩展度的中文分词交叉歧义处理方法

提出一种歧义字段与其所在句子语义联系为依据的中文分词交叉歧义处理方法。该方法模拟人浏览句子按照语义和词语相关度寻找消歧证据的经验,通过比较计算歧义字段与整个句子的语义相似度和语义相关度,提出基于语义扩展度的中文分词交叉歧义处理算法,进而提高分词准确率,与经典的ICTCLAS分词系统相比,切分准确率和召回率均有很大提高。     

中文语句相似度计算的方法初探

分析了中文自然语言处理中句子相似度的计算方法,介绍了基于向量空间模型的TF—IDF的、基于句子语义和基于句子依存关系的三种句子相似度计算模型,并对它们的计算原理、计算方法进行了分析,给出了他们的优缺点．基于向量空间模型的句子相似度计算模型已经比较成熟,一般情况下能够产生较好的效果．由于TF—IDF方法没有考虑这种语义信息,所以传统的TF—IDF方法具有一定的局限性．而基于句子语义或句子的依存结构来进行相似度计算,能达到更好的效果．     

基于常问问题集的中文问答系统研究

首先根据用户的提问建立一个候选问题集,然后通过计算句子语义相似度,在候选问题集中找到相似的问句,并将答案返回给用户。该系统还能够自动地更新和维护FAQ库。实验表明,与基于关键词的句子相似度计算相比,基于语义的句子相似度计算提高了问题匹配的准确率。     

基于常问问题集的中文问答系统研究

首先根据用户的提问建立一个候选问题集，然后通过计算句子语义相似度，在候选问题集中找到相似的问旬，并将答案返回给用户。该系统还能够自动地更新和维护FAQ库。实验表明，与基于关键词的句子相似度计算相比，基于语义的句子相似度计算提高了问题匹配的准确率。     

一种基于HowNet的词语语义相似度计算方法

目前基于How Net的词语语义相似度计算多是根据上下位关系计算语义距离的方法,其结果与人的主观认识存在差异。提出了一种词语语义相似度计算的改进方法,在原有方法基础上,同时考虑影响词语相似度的多种因素,如How Net中义原的深度和密度等,进而挖掘义原间关系,改进原有计算方法。实验结果表明,利用所提出的改进方法计算的词语语义相似度更加贴合人的主观认识。     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

一种基于本体的自然语言语义相似度算法

基于图理论的概念间语义度量方法,改进了语义相似度部分影响因素,提出一种结合设计良好的领域本体来计算自然语言概念间的语义相似度的算法.对自然语言与本体的关系进行分析,并通过本体对节点密度、节点深度与节点层次顺序等影响概念语义相似度的因素进行了改进,综合考虑概念的语义距离、概念间关系、概念的属性与概念所处的层次等影响因素,利用本体对相关领域的基本术语和关系的准确定义,改进了基于本体的概念间语义相似度的算法.实验结果表明,该算法对于提高概念间相似度的计算精度明显高于其他算法.     

基于知网的、受限领域的中文命题相似度计算

简单命题的语义识别是进行自然命题逻辑推理的重要基础之一,知网在中文词汇和句子的相似度计算方面扮演着越来越重要的角色。在对领域命题进行了预处理后,针对简单命题的句型结构和构成成分的特点,通过改进义原相似度、词语相似度、句子相似度的计算方法,提出了一种基于知网的、新的句子相似度计算方法。实验表明:该方法可以简单而有效地计算词语相似度;在句子相似度计算时,可以减少助动词、修饰词的影响,更适合判断两个命题是否高度相似。     

基于领域本体的文本相似度算法

文本相似度计算在专利信息分析系统中有着广泛的应用前景.传统的基于向量空间模型的文本相似度计算方法,一方面未能很好地考虑上下文信息对词语语义的约束,导致不能对不同语境中词语的语义进行有效区分;另一方面使用词典作为计算相似度的依据具有领域相关性,在特定领域未能给出有效的语义理解.提出一种使用领域本体作为文本相似度计算基础的方法,该方法中使用语义消歧来解决上下文对于词语语义的影响;使用领域本体概念意义相同关系来计算文本相似度.实验结果显示本方法的准确度相对于现有典型的相似度计算方法有所提高.     

WordNet中的综合概念语义相似度计算方法

作为语义异构问题的基础,概念间语义相似度计算已成为研究热点,对此,提出一种基于WordNet的综合概念语义相似度计算方法. 该方法不仅集成了传统的基于语义距离的算法和基于信息内容的算法,而且引入了深度、密度因子和语义重合度来进行综合分析,并针对综合算法中权值难以确定的问题,引入主成分分析改进权值分配方法. 实验结果表明,改进后的方法计算的相似度与人工判断的相似度相关性较高,有效改善了概念语义相似度计算的准确性.     

一种基于语义与结构的句子相似度计算方法

在对已有方法进行分析的基础上,提出语义与结构相结合计算句子相似度的方法,并系统地介绍了此方法的实现过程。首先对输入的句子进行预处理,得到词语序列,使用基于知网的方法得到词语间的语义相似度;然后使用词形和句长特征表示句子的结构相似度;最后加权得到两个句子的相似度。实例证明,提出的方法计算得到的句子相似度取得了较好的效果。     

融合语义相似度的矩阵分解推荐算法

针对矩阵分解推荐算法没有考虑推荐对象本身内涵特征的问题,提出一种融合对象语义相似度的矩阵分解推荐算法。首先利用知识图谱分布式表示学习算法将推荐对象所属领域的语义数据嵌入到一个低维语义向量空间;其次计算对象间语义相似度,把该语义相似度融入矩阵分解的目标优化函数中,从语义视角弥补矩阵分解推荐算法没有考虑推荐对象本身内涵特征的不足。结果表明,该改进算法相比于传统矩阵分解推荐算法具有更高的准确率、召回率和覆盖率。     

基于相似度计算的信息化项目与专家匹配方法

针对信息化咨询中存在的咨询项目与专家匹配不科学、合理的问题,引入了本体语义相似度的概念。分析了基于点和基于边的2种语义相似度计算方法存在的不足,提出了一种混合的语义相似度计算方法。该方法的主要思想:将项目信息文档和专家信息文档转换为2棵本体概念树,通过计算2棵概念树之间的相似度判断项目与专家是否匹配。实例分析结果表明:该方法有效且准确率较高。     

基于自然语言处理的主观题评分算法研究

从自然语言处理的角度来看,现有的主观题评分算法都以相似度计算为核心的,没有考虑语义对立度问题.提出了一种基于中文分词技术、相似度计算和对立度计算的新的主观题评分算法.对主观题评分算法的以下三个方面进行了重点研究:怎样改进中文分词算法中的歧义切分的方法;怎样引入参数限制计算中分数过高或过低;怎样设计一个融合相似度计算和对立度计算的主观题分数的计算公式.     

匈牙利算法在主观题自动批阅中的应用研究

针对主观题自动批阅中的学生答案和标准答案中对应句子的相似度计算问题,提出采用最优指派问题的匈牙利算法,并从两方面对其进行改进,进而建立基于匈牙利改进算法的句子相似度计算模型。实验表明,将改进的匈牙利算法应用到主观题自动批阅中,其试题评分的准确率可达90%。