融合TextRank算法的中文短文本相似度计算

传统的VSM向量空间模型忽略了文本语义,构建的文本特征矩阵具有稀疏性。基于深度学习词向量技术,文中提出一种融合改进TextRank算法的相似度计算方法。该方法利用词向量嵌入的技术来构建文本向量空间,使得构建的向量空间模型具有了语义相关性,同时采用改进的TextRank算法提取文本关键字,增强了文本特征的表达并消除了大量冗余信息,降低了文本特征矩阵的稀疏性,使文本相似度的计算更加高效。不同模型的仿真实验结果表明,融合改进的TextRank算法与Bert词向量技术的方法具有更好的文本相似度计算性能。     

结合词性的短文本相似度算法及其在文本分类中的应用

针对基于语义的短文本相似度计算方法在短文本分类中准确率较低这一问题,提出了结合词性的短文本相似度算法( GCSSA)。该方法在基于hownet(“知网”)语义的短文本相似度计算方法的基础上,结合类别特征词并添加关键词词性分析,对类别特征词和其他关键词的词性信息给定不同关键词以不同的权值系数,以此区别各种贡献度词项在短文本相似度计算中的重要程度。实验表明,该算法进行文本相似度计算后应用于短文本分类中较基于hownet的短文本分类算法在准确率宏平均和微平均上提升4%左右,有效提高了短文本分类的准确性。     

一种基于协同过滤与语义分析的个性化网络广告投放方法研究

针对个性化网络广告中网页与广告匹配的问题,通过将基于关键词扩展的语义分析技术引入到协同过滤系统中,提出一种基于协同过滤与语义分析结合的个性化网络广告投放方法(CFKE)。该方法首先提取网页与广告文本的关键词,并对关键词扩展同义词;然后,计算网页扩展词与广告扩展词的相似度,并与扩展词的权重进行拟合抽取,得到网页与广告最终的相似度,将三维模型降维成二维模型;最后,再利用协同过滤方法进行匹配。仿真表明,与其他算法相比,该算法不仅具有较高的准确度,同时具有较好的系统响应能力。     

基于知网语义相似度计算的文本特征提取

互联网中存在着大量的文本信息,而对于这些文本信息的监管还存在着很大的盲区,如何从互联网的大量信息中进行相关舆情分析、预测及管控足信息安全领域中的新课题,其中文本特征的有效提取是研究内容之一。文章基于知网中语义词语语义相似度的计算方法提出一套建立在之上的语句语义相似度的计算方法,并用此方法提取出文本的特征。     

基于改进Bert-AutoML的电力文本语义识别算法

由于电力调度过程中存在大量重复性电力文本,导致语义识别结果形式与理想形式差距较大。针对该问题,提出了基于改进Bert-AutoML的电力文本语义识别算法。采用基于词块的粒度划分方式,提取电力文本字粒度语义特征。计算语义序列与命名实体数据库中语义的相似度,获取多个对应语义序列,构建电力文本语义识别模型。使用自动机器学习法训练模型文本输入,计算输入向量和电力文本库中向量匹配度。结合字符掩码训练策略,将掩盖的内容与背景相联系,得到最终语义识别结果。实验结果表明,该算法语义识别结果呈现段落-结构形式,排列整齐且简洁,与理想识别结果一致。     

融合耦合距离区分度和强类别特征的短文本相似度计算方法

短文本相似度计算在社会网络、文本挖掘和自然语言处理等领域中起着至关重要的作用.针对短文本内容简短、特征稀疏等特点,以及传统的短文本相似度计算忽略类别信息等问题,提出一种融合耦合距离区分度和强类别特征的短文本相似度计算方法.一方面,在整个短文本语料库中利用两个共现词之间的距离计算词项共现距离相关度,并以此来对词项加权从而捕获词项间内联和外联关系,得到短文本的耦合距离区分度相似度;另一方面,基于少量带类别标签的监督数据提取每类中强类别区分能力的特征项作为强类别特征集合,并利用词项的上下文来对强类别特征语义消歧,然后基于文本间包含相同类别的强类别特征数量来衡量文本间的相似度.最后,本文结合耦合距离区分度和强类别特征来衡量短文本的相似度.经实验证明本文提出的方法能够提高短文本相似度计算的准确率.     

基于语义融合的文本相似度算法研究

针对在传统语义融合的文本相似度算法设计与实现中由于汉语语义复杂存在容易形成局部极小值而得不到全局最优、训练次数较多、学习效率降低、隐节点的选取缺乏理论依据等问题,提出一种改进算法。首先在把握文本相似度算法内涵和分类情况的基础上,通过调整数字识别方向、选取合适的数据来源,依据图像识别技术和算法深度学习的共性需求,从语义融合角度提出以核心词为节点进行文本相似度计算;然后通过多特征融合向量空间模型对特征项的类间分布问题进行分析,最终通过加权计算得到文本相似度。从算法实现效果来看,相较于传统算法能够获得更高文本分类准确度,改进基于文本相似度算法的语言处理技术更加高效、准确。     

一种实体描述短文本相似度计算方法

中文实体描述短文本具有词语稀疏、语义离散、用词随意等特点。本文分析《知网》义原网络和词语相似度的关系,提出了短文本间语义相似度部分和短文本分类部分相结合的实体描述短文本间相似度计算方法。语义相似度部分分析《知网》义原网络和词语间相似度的关系,在计算词语间相似度和短文本间相似度的过程中弱化了浅层《知网》义原影响并均衡了义原权重,使义原相似度计算结果更加合理。短文本分类部分将短文本分解为义原向量,根据特定领域短文本的义原分布情况进行短文本分类。两部分结合得到实体描述短文本间相似度。本文方法的有效性在百度知识图谱数据分析竞赛任务1的测试结果中得到了证明。     

一种基于情感计算与层次化多头注意力机制的负面新闻识别方法

网络负面新闻识别在网络舆情监测中具有重要的研究意义.针对当前海量数据下负面新闻难以检测的问题,提出了一种基于情感计算与层次化多头注意力机制相结合的负面新闻识别方法.首先,从新闻文本中采用TF-IDF（Term Frequeney-Inverse Document Frquency）和语义相似度算法构建负面新闻情感词库;其次,采用情感倾向计算方法计算负面新闻情感词的情感倾向度;最后,将词语和词语的情感倾向度进行向量化表示,并采用层次化多头注意力机制进行正负面新闻的判定.情感计算和多头注意力机制的引入,对于捕获文本中的情感词语提供了很大帮助.最终本文基于真实的网络新闻文本数据与现有的多种算法进行对比,证明了该模型具有较好的识别效果,相比于Han模型和LSTM模型分别提高了0.67%和3.29%.     

基于知网的中文词语相似度计算

针对中文词语相似度计算的问题,根据信息论中两个事物相似度计算的思想,提出一种基于知网义原信息量和义原及其角色关系的中文词语相似度计算方法,利用知网分类体系计算出词语义原信息量,根据义原信息量计算出词语概念间主类义原的相似度,结合词语概念中义原及其角色关系相似度及义原结点相似度来综合计算词语的相似度,与刘群、知网在线的方法及人工判断的相似度值进行了比较,实验结果显示该方法与人的判断更接近。     

基于BERT和LightGBM的文本关键词提取方法

传统的文本关键词提取方法忽略了上下文语义信息,不能解决一词多义问题,提取效果并不理想。基于LDA和BERT模型,文中提出LDA-BERT-LightG BM(LB-LightG BM)模型。该方法选择LDA主题模型获得每个评论的主题及其词分布,根据阈值筛选出候选关键词,将筛选出来的词和原评论文本拼接在一起输入到BERT模型中,进行词向量训练,得到包含文本主题词向量,从而将文本关键词提取问题通过LightG BM算法转化为二分类问题。通过实验对比了textrank算法、LDA算法、LightG BM算法及文中提出的LB-LightG BM模型对文本关键词提取的准确率P、召回率R以及F1。结果表明,当Top N取3～6时,F1的平均值比最优方法提升3.5%,该方法的抽取效果整体上优于实验中所选取的对比方法,能够更准确地发现文本关键词。     

基于频繁模式挖掘的中文关键词提取算法

针对现有关键词提取算法存在计算复杂、语义信息挖掘较浅等问题,提出一种基于频繁模式挖掘的中文关键词提取算法。该算法采用改进的FP-增长算法挖掘词共现信息,排除噪音词汇;利用语义相似度算法消除同义词;精简候选词特征,在保证较高准确率和召回率的条件下减少了存储空间和计算量。实验结果表明,该算法所获得的平均F值为59.7%,高于若干经典算法;支持度计数是最重要的影响因素。     

一种基于WordNet的短文本语义相似性算法

 短文本语义相似性计算在文献检索、信息抽取、文本挖掘等方面应用日益广泛.本文提出了一种短文本语义相似性计算算法ST-CW.此算法使用WordNet和Brown文集来计算文本中的概念相似性,在此基础上提出了一个新的方法综合考虑概念、句法等信息来计算短文本的语义相似性.在R&;B及Miller数据集上进行实验,实验结果验证了算法的有效性.     

一种基于GMM的图像语义标注方法

针对图像语义概念具体语义描述的问题,提出了一种基于GMM的图像语义标注方法。该方法对于每一个语义概念分别建立基于颜色特征和纹理特征的GMM模型,利用EM算法获取关键词内容,最后融合两个GMM模型求取的概率排序结果,对未知图像进行标注。实验结果表明,提出的方法能够准确地为待标注的图像预测出若干文本关键字,有效提高图像标注的查准率和查全率。     

System Design of Cloud Search Engine Based on Rich Text Content

In order to improve the search performance of rich text content, a cloud search engine system based on rich text content is designed. On the basis of traditional search engine hardware system, several hardware devices such as Solr index server, collector, Chinese word segmentation device and searcher are installed, and the data interface is adjusted. On the basis of hardware equipment and database support, this paper uses the open source Apache Tika framework to obtain the metadata of rich text documents, implements word segmentation according to the rich text content and semantics, and calculates the weight of each keyword. Input search keywords, establish a text index, use BM25 algorithm to calculate the similarity between keywords and text, and output the search results of rich text according to the similarity calculation results. The experimental results show that the design system has high recall rate, high throughput, and the construction time of each data item index in different files is short, which improves the search efficiency and search accuracy.

     

Research on calculation method of text similarity based on smooth inverse frequency

In order to improve the accuracy of text similarity calculation, this paper presents a text similarity function part of speech and word order-smooth inverse frequency (PO-SIF) based on sentence vector, which optimizes the classical SIF calculation method in two aspects: part of speech and word order. The classical SIF algorithm is to calculate sentence similarity by getting a sentence vector through weighting and reducing noise. However, the different methods of weighting or reducing noise would affect the efficiency and the accuracy of similarity calculation. In our proposed PO-SIF, the weight parameters of the SIF sentence vector are first updated by the part of speech subtraction factor, to determine the most crucial words. Furthermore, PO-SIF calculates the sentence vector similarity taking into the account of word order, which overcomes the drawback of similarity analysis that is mostly based on the word frequency. The experimental results validate the performance of our proposed PO-SIF on improving the accuracy of text similarity calculation.     

Words semantic orientation classification based on HowNet

Based on the text orientation classification, a new measurement approach to semantic orientation of words was proposed. According to the integrated and detailed definition of words in HowNet, seed sets including the words with intense orientations were built up. The orientation similarity between the seed words and the given word was then calculated using the sentiment weight priority to recognize the semantic orientation of common words. Finally, the words' semantic orientation and the context were combined to recognize the given words' orientation. The experiments show that the measurement approach achieves better results for common words' orientation classification and contributes particularly to the text orientation classification of large granularities.     

电信运营商网络投诉工单智能语义稽核技术

本文基于自然语言处理、语义相似度和实体识别等算法,构建了面向网络投诉工单的智能语义自动稽核系统,挖掘回单中自然语言的命名实体、事件和关系,通过特征提取、模型构建、语义泛化、匹配度计算等环节,输出质检所需的语义关键信息,实现对网络投诉工单传统质检方法的智能化提升。同时,设计和实施了一种投诉工单专家规则泛化词构建方法,实现对有限专家规则特征词的补充,提升语义质检的泛化性能。通过与传统关键字匹配算法进行比较,本方法在识别精准度方面效果更优,有效降低运营商投诉工单重派率,提升了客户满意度。