基于上下文语义的新闻人名纠错方法

新闻文本中的人名纠错存在以下难点:1）人名中含有错误字段会影响甚至改变文本语义表达,故无法用传统命名实体识别方法识别句中人名;2）人名字段的特殊性极易产生重名或者歧义,使得误报率增加,并提升了人名纠错的难度。为此,本文提出了一种基于上下文语义的新闻人名纠错方法。该方法使用卷积神经网络提取文本语义信息,并使用词激活力模型计算文本中其他词语与人名字段的关联程度来捕捉并使用文本上下文语义信息。同时,针对文本中人名字段中含有错误而导致的识别效果低下的问题,使用人名实体边界识别算法提高对文本中疑似含有错误人名的识别提取效果。实验结果表明,该方法能够有效地识别文本中的人名并对其中的错误内容进行纠正。     

超链接文本相关度的PageRank算法

为了提高PageRank算法检索结果的精确度,分析了PageRank算法的基本原理和存在的不足,提出了基于超链接文本语义相关性的超链接算法.算法的特点是提取页面的超链接文本,计算检索关键词与超链接文本的语义相关度,并结合PageRank超链接分析算法来估算页面的重要性.实验结果表明,该算法可以提高PageRank算法的检索精确度.     

基于语义分析的在线评论文本情感分类算法研究

针对用户评论文本情感分类过程中缺乏特征词语义分析和数据维度过高的问题,提出了一种基于语义分析的在线评论情感分类方法。利用Word2Vec工具获得词向量,通过词向量运算获取评论文本中的词与情感词典中的词之间的语义相似度,然后根据此相似度的大小选择反映正面或负面情感的词作为评论文本的关键特征。通过非负矩阵分解算法,将原始评论文本映射到一个低维的语义空间,降低评论数据维度,增强评论文本之间的语义相关度。实验表明,提出的算法具有更好的文本情感分类能力。     

基于浅层文本分析的中文Web信息检索

为了提高信息检索效率,在中文Web信息检索中引入了浅层文本分析技术。首先提取文本句子的谓词及与谓词直接关联的前置体词和后继体词。然后在将谓词转换成概念化表达的基础上,获取表达文本语义的语义向量。提出了一个语义向量相似度计算算法,用语义向量的相似度来度量文档之间的语义相似度。与主流网络搜索引擎比较,系统查准率方面有了较大提高。     

融合语义及边界信息的中文电子病历命名实体识别

中文电子病历数据专业性强,语法结构复杂,用于自然语言处理(NLP)的命名实体识别(NER)难度大。为了从电子病历数据中精确识别出医疗实体,提出了一种融合语义及边界信息的命名实体识别算法。首先,利用卷积神经网络(CNN)结构提取汉字图形信息,并与五笔特征拼接来丰富汉字的语义信息;然后,利用FLAT模型中的Lattice将医学词典作为字符潜在词组匹配文本信息;最后,将融入语义信息的Lattice模型用于中文电子病历命名实体识别。实验结果表明,该方法在Yidu-S4K数据集上的识别性能超过现有多种算法,且在Resume数据集上F1值可达到96.06%。     

半监督语义动态文本聚类算法

针对传统的动态文本聚类将描述方式不同的同类文本划分到不同组中;以及聚类类别个数与真实类别数之间差距明显等问题,该文提出了一种半监督语义动态文本聚类算法（SDCS）。该算法以语义表征文本的方式来捕获文本间的语义关系,在聚类过程中动态学习类别语义,让文本能根据语义准确聚类。同时该算法利用半监督聚类的方法对新类的产生进行监督,学习符合实际情况的聚类结果。实验结果表明该文提出的算法是有效可行的。     

潜在语义分析技术在自动评卷系统中的应用

提出了一种基于潜在语义分析（LSA）的相似文本匹配算法,并将其应用于自动评卷系统中．首先,在充分考虑词项之间相关性的基础上,在低维空间中表示学生答案文本与标准答案文本,然后利用奇异值分解方法模型对其进行了改进;其次,利用LSA技术,以学生答案文本与标准答案文本之间的余弦相似度作为相似性准则,根据相似度值确定该题的得分．实验结果表明,该算法充分考虑了文本语义信息,评分效果较好,是实现基于语义评卷系统的有益探索．     

一种视频关键语义对象的检测方法

针对不同语义对象在视频语义分析过程中地位和作用的差异性,提出了关键语义对象的概念,将视频的语义分析起决定作用的对象定义为关键语义对象。根据人眼对视频对象的反应特点,提出了根据对象的亮度、方向特征、运动节奏等三个分量为特征向量的关键语义对象判定算法,并分别给出了计算各个分量的方法和公式。通过对不同类型的视频文件的分析,该算法适合体育视频及监控类视频关键语义对象的识别。     

基于语义图嵌入的实体与关系联合识别方法

为加强实体识别任务与关系识别任务之间的联系，获取实体关系隐含的结构特征，提出一种基于语义图嵌入的实体与关系联合识别方法。根据识别得到的实体关系三元组构建语义图，采用图神经网络对语义图进行编码，捕获文本中隐含的实体关系结构特征，从而获取更丰富的语义信息，提高识别效果。在Lc-QUAD2.0,CWQ以及KQA pro数据集上进行测试，结果表明，提出方法提高了实体识别和关系识别效果，验证了该方法的有效性。     

基于全局?局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法. 在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能. 实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

一种基于文本先分类再聚类的互联网热点信息发现方法

针对互联网热点信息发现的需求,提出一种基于先分类再聚类的互联网信息热点发现及分析系统构建方法.通过对互联网样本信息文本的特征提取,构建文本向量空间模型,使用Maxent最大熵分类模型对文本进行分类,对分类结果使用OPTICS聚类算法获取文本热点簇,最终获取有效热点信息.实验证明,通过先分类再聚类的方法可以有效避免语义类别不同但字面意义混淆的文章对聚类算法的影响,有效提高聚类结果的精度和运算效率.     

融合语义结构的注意力文本摘要模型

传统基于序列的文本摘要生成模型未考虑词的上下文语义信息, 导致生成的文本摘要准确性不高, 也不符合人类的语言习惯。本文提出了一种基于文本语义结构的文本摘要生成模型(Structure Based Attention Sequence to Sequence Model, SBA), 结合注意力机制的序列到序列生成模型, 引入文本的句法结构信息, 使得注意力结构得到的上下文向量同时包含文本语义信息与句法结构信息, 获得生成的文本摘要。最后, 基于Gigaword数据集的实验结果表明, 提出的方法能有效地提高生成摘要的准确性以及可读性。     

基于社团结构的文本聚类算法研究

为了提高文本聚类的有效性,提出一种基于网络社团结构的文本聚类算法。基于语义知识库理论,利用文本集与词语间的关系,引入文本相似度概念,再结合Newman社团聚类算法特性,将文本集作为独立社团,用文本相似度表示社团联系的紧密程度,对网络文本进行聚类。实验结果表明,该方法有效可行。     

Word Net-based lexical semantic classification for text corpus analysis

Many text classifications depend on statistical term measures to implement document representation. Such document representations ignore the lexical semantic contents of terms and the distilled mutual information, leading to text classification errors.This work proposed a document representation method, Word Net-based lexical semantic VSM, to solve the problem. Using Word Net,this method constructed a data structure of semantic-element information to characterize lexical semantic contents, and adjusted EM modeling to disambiguate word stems. Then, in the lexical-semantic space of corpus, lexical-semantic eigenvector of document representation was built by calculating the weight of each synset, and applied to a widely-recognized algorithm NWKNN. On text corpus Reuter-21578 and its adjusted version of lexical replacement, the experimental results show that the lexical-semantic eigenvector performs F1 measure and scales of dimension better than term-statistic eigenvector based on TF-IDF. Formation of document representation eigenvectors ensures the method a wide prospect of classification applications in text corpus analysis.     

Chinese text semantic representation for text classification

Text representation based on word frequency statistics is often unsatisfactory because it ignores the semantic relationships between words, and considers them as independent features. In this paper, a new Chinese text semantic representation model is proposed by considering contextual semantic and background information on the words in the text. The method captures the semantic relationships between words using Wikipedia as a knowledge base. Words with strong semantic relationships are combined into a word-package as indicated by a graph node, which is weighted with the sum of the number and frequency of the words it contains. The contextual relationship between words in different word-packages is stated by a directed edge, which is weighted with the maximum weight of its adjacent nodes. The model retains the contextual information on each word with a large extent. Meanwhile, the semantic meaning between words is strengthened. Experimental results of Chinese text classification show that the proposed model can express the content of a text accurately and improve the performance of text classification. Compared to Support Vector Machines, Text Semantic Graph-based Classification can improve the efficiency by 7.8％, reduce the error rate by 1/3, and show more stability.