基于词序方法的文本相似度计算模型

针对传统向量空间模型对文本相似度的计算未考虑词序导致偏差的问题,提出使用马尔可夫模型的状态转移矩阵、两两文本的最长公共子序列以及它们的所有公共子串信息来描述词序信息,在此基础上提出一种将马尔可夫状态转移矩阵、最长公共子序列、公共子串和TF-IDF相结合,兼顾词序和词频信息的文本相似度计算方法,并使用英文TREC-9的部分数据集对基于词序方法的文本相似度计算方法进行了测试.试验结果表明:在同等分词及评估条件下,基于词序方法的文本相似度计算结果的准确率相对于单纯采用传统的基于向量空间模型的TF-IDF方法提高了5%～15%.     

大规模主题词自动标引方法

现有的主题标引方法一般只能抽取文本中出现的词汇,无法从几万或数十万主题词中选择语义关联强且未出现的词汇;基于机器学习的多标签分类算法则需要每一个标签下有训练数据,限制了它们在主题标引上的应用。面向大规模主题词在海量文献上的标引需求,提出一个基于分布式词向量的混合型自动标引方法,利用大规模语料训练的词向量生成同维度的主题词表示向量和文本表示向量,实现主题词与文本语义相似度的计算。基于大规模语料构建主题词与普通词的映射表,使文本向量只和少量的语义强相关主题词向量比较,大大减少了计算量,提高了标引效率。开发的自动标引工具对近亿篇文献进行了主题标引,达到了较高的速度。与结巴关键词的实验对比结果显示,本文方法抽取的主题词与作者关键词重合度较低,且在去除结巴关键词中的非主题词后,取得了比结巴关键词更高的标引准确率;与人工标引的实验对比结果显示,随着人工标引词数量的增加,本文方法的效果、结果与人工标引结果的一致性在不断增加。     

基于本体的题名自动分类研究

本文依据中国知网、《中图法》、《中国分类主题词表》等知识库,通过对领域词语的概念化处理、建立推理规则、过滤掉阈值较低的词语等手段,形成领域词语本体知识库;然后,根据待分类题名的语义逻辑关系,结合基于距离的语义相似度的计算规则,形成一种应用于领域词语本体的题名自动分类方法,该方法在一定程度上弥补了文献题名特征不足的缺点,且提高了准确率和召回率。     

基于最大公共子图的文本相似度算法研究

用图结构表示文本,能更好地反映文本内部的结构特征,体现文本内的语义关系及词语在上下文中的语序关系,在此基础上,本文提出了一种基于最大公共子图的文本相似度计算方法,应用最大公共子图提取文本的公共部分,并利用最大公共子图的性质度量文本间的相似程度.最后针对分类试验结果中存在的问题,提出图模型修正方法以改进文本的表示效果,并对修正前后不同β取值下的F-Score值进行比较.修正后的试验结果表明,基于最大公共子图的文本相似度算法有着较好的分类性能.     

基于文本倾向性分析的文献推荐服务研究

文献推荐服务已经成为数字图书馆的重要知识服务内容之一.本文引入自然语言处理中的文本倾向性分析技术,通过对引证文本的语句语义分析,把语句的语义结构转化为倾向性分析的二元或三元模型,得到引证文本对参考文献的主观评价信息.结合参考文献本身的正文中对其他文献的评论指数,给出了文献推荐度的计算方法,从而实现对文献集中文献的自动分析和推荐服务.实验表明基于文本倾向性分析的文献推荐服务是可以实现的,并具有较高的准确率.在实际应用中还需要扩大词语知识库的规模,并提高语句的语义结构分析、词语语义关系分析等方面的性能.     

Research on Semantic WEB Text Categorization in Subject Public Opinion Analysis

文本分类是网络主题舆情分析中的关键技术,传统Web文本分类将文本关键词的相似度作为分类依据,丢失许多重要的语义信息,导致分类结果不够准确且计算量大.本文提出一种基于语义相似度的Web文本分类方法,利用特定的领域本体将用关键词表示的文本特征向量表示为与之匹配的语义概念特征向量,给出Web文本相似度的计算公式并实现基于语义相似度的KNN算法.结果表明,该方法从语义概念层次上表示和处理Web文本,降低了文本特征空间维度,减少计算量并提高了分类精确度.     

基于语义相似度的Web文本分类研究

传统的Web文本分类方法将文本中关键词的相似度作为分类的依据,丢失了很多重要的语义信息,导致分类结果不够准确且计算量大。基于此,文章提出了一种基于语义相似度的Web文本分类方法,利用领域本体将用关键词表示的文本特征向量表示为与之匹配的语义概念特征向量集,定义Web文本相似度的计算公式,设计并实现基于语义相似度的KNN算法。实验结果表明,该方法从语义概念层次上表示和处理Web文本,降低了文本特征空间维度,减少了计算量,提高了分类精确度。     

基于VSM的科技期刊文献与专利文献的相似度计算方法研究

文本相似度的计算方法以采用TF-IDF的方法对文本建模成词频向量空间模型（VSM）为主,本文结合科技期刊文献和专利文献特点,对TF-IDF的计算方法进行了改进,将词频的统计改进为科技术语的频率统计,提出了一种针对科技文献相似度的计算方法,该方法首先应用自然语言处理技术对科技文献进行预处理,采用科技术语的自动抽取方法进行科技文献术语的自动抽取,结合该文提出的术语权重计算公式构建向量空间模型,来计算科技期刊文献和专利文献之间的相似度。并利用真实有效的科学期刊和文献数据进行实验测试,实验结果表明文中提出的方法优于传统的TF-IDF计算方法。     

基于图相似度的专利侵权检测方法研究

[目的/意义]针对如何准确进行专利侵权检测,提出一种基于图相似度的专利侵权检测方法。[方法/过程]将专利语义特征抽取为subject-action-object（SAO）结构并利用图论将其表示为图的形式,然后将图转换为邻接矩阵并计算邻接矩阵的相似性来完成专利侵权判定,最后利用专利样本数据比较该方法与传统方法的判定准确率。[结果/结论]实证研究结果表明,本研究提出的方法判定准确率更高,比传统的基于专利文本向量的方法准确率提升4.89%,可以作为专利侵权检测的有效方法。     

一种基于Spark的论文相似性快速检测方法

[目的/意义] , 从大规模已知文本集中检测出与待检测论文的相似文本并计算相似度大小, 用于满足在线论文相似性检测秒级响应需求。[方法/过程] 采用分治法策略, 对已知文本句集进行基于正交基的软聚类预处理, 并对软聚类后的每个簇建立倒排索引。接着在快数据处理平台Spark上执行相似性检测, 采用字符结合词组形式计算出待检测论文与已知文本的相似度大小。[结果/结论] 通过200万规模的已知文本集实验结果显示, 综合4种类型的待检测论文, 所提出的倒排索引结合软聚类算法准确率P为100.0%, 召回率R为93.6%, 调和平均值F为96.7%。调和平均值F比相似性检测算法LCS高10%左右, 比Simhash算法高约23%。在检测速度上, 对于一篇字数为5 000左右的待检测论文, 检测时间约为6.5秒, 比Simhash算法快近300倍, 比LCS算法快约4 000倍。此外, 实验结果还表明基于Spark的分布式并行相似性检测算法具有较好的可扩展性。     

基于CRFs自动构建维吾尔语情感词语料库

提出维吾尔语情感语料库的构建规范,设计和实现维吾尔语情感语料库辅助整理系统。该系统结合维吾尔语情感语料的具体特点,多方面分析维吾尔语情感词汇的特征,利用条件随机场(CRFs)模型进行维吾尔语情感词汇的自动识别。测试结果验证该系统能够大幅度降低人工劳动,高效快速地标注维吾尔语情感词语料。     

基于分词技术提升虚拟参考咨询系统智能服务

深入分析联合虚拟参考咨询系统(CVRS)分布式两级架构模式和咨询问题的处理流程,提出表单问题智能解答、自动应答机器人、知识库自动查重、实时咨询问题自动转表单咨询问题、从知识库批量提取FAQ问题和知识库自动分类等6项CVRS智能优化解决方案,并设计出以中文分词技术为核心,实现知识库全文检索和自动分类、实时交流记录和知识库内容文本摘要的技术路线。
     

基于语义加权的引文网络社区划分研究

为提高引文网络社区划分的准确性,以文档之间的语义关系以及引文之间的引用关系为基础,结合词汇在文档中的位置关系等信息,构建基于词汇语义加权的引文网络。通过GloVe模型对词汇向量化以充分利用词汇语义信息,结合WMD模型度量文献之间的相似度,把文档相似度的计算转变为在约束条件下求线性规划最优解的问题,结合文本的内容及结构特征对网络中的边进行赋权,以Louvain社区发现算法对加权后的引文网络进行社区划分,并对划分后的社区进行分析与检验,实验证明GloVe-WMD模型可提高引文网络社区划分的准确度。     

Automatic and manual indexing performance in a small file of medical literature.

A test of the performance of an automatic indexing procedure based on the processing of the full text of medical journal articles shows results comparable to those achieved using Excerpta Medica and MEDLARS manual indexing. A file of nineteen documents was partitioned by sixteen questions, for each of which two search strategies in each indexing language were formulated. The results were compared to ideal answers chosen by a fourth-year medical student who read the entire file and posed the questions.     

基于词汇链的关键词自动标引方法

关键词自动标引是一种识别有意义且具有代表性片段或词汇的自动化技术。关键词自动标引可以为自动摘要、自动分类、自动聚类、机器翻译等应用提供辅助作用。本文利用基于知网的词语语义相关度算法对词汇链的构建算法进行了改进,并结合词频和词的位置等统计信息,进行关键词的自动标引。实验证明,该方法可以有效的进行关键词的自动标引。     

基于客户评论和语料库的在线酒店信誉维度挖掘

以携程网上消费者对酒店的文本评论为研究对象,通过对文本评论中的词语进行聚类,得到其中隐含的消费者最关注的酒店评价维度。为保证词语聚类的效果,引入语料库作为对比文档,通过分词、特征项表示、特征词编码标注、词义相似度计算以及基于DBSCAN的文本聚类过程,得到最后的评价维度,并以实例详细说明每个过程中所采用的方法及步骤。     

基于句子关系图的网页文本主题句抽取*

针对网页文本结构信息少、噪声大的特点,将句子看作点,将句子间的相似性看作边,用句子关系图描述文本中句子间的关系。抽取文本主题句的任务转化为搜索图中边最多的点。利用语义词典,将句子相似度定义为句子语义相似度,解决短文本词频相似度低的问题。选用互联网公开语料进行测试,抽取的主题句达到平均80.6%的可接受性。     

基于RBFNN的专利自动分类研究

为减少人工分类的不确定性和分类错误,将文本分类技术引入专利自动分类系统,采用径向基函数神经网络(RBFNN)算法完成专利文本的训练和分类,并进行相关测试分析。实验结果表明,采用RBFNN分类器在专利文本自动分类中具有较理想的性能,测试平均F1值在70%以上。     

基于BERT模型的科技政策文本分类研究

在智慧政务的应用背景下,利用深度学习的方法对海量的科技政策文本数据进行自动分类,可以降低人工处理的成本,提高政策匹配的效率。利用BERT深度学习模型对科技政策进行自动分类实验,通过TextRank算法和TF-IDF算法提取政策文本关键词,将关键词与政策标题融合后输入BERT模型中以优化实验,并对比不同深度学习模型的分类效果来验证该方法的有效性。结果表明,通过BERT模型,融合标题和TF-IDF政策关键词的分类效果最佳,其准确率可达94.41%,证明利用BERT模型在标题的基础上加入政策关键词能够提高政策文本自动分类的准确率,实现对科技政策文本的有效分类。