基于短语向量和主题加权的关键词抽取方法

现有关键词抽取算法缺乏对短语的有效表示,为抽取出更能反映文本主题的关键短语,本文提出一种基于短语向量的关键词抽取方法PhraseVecRank.首先设计基于LSTM(Long Short-Term Memory)和CNN(Convolutional Neural Network)自编码器的短语向量构建模型,解决复杂短语的语义表示问题.然后,利用短语向量对每个候选短语计算主题权重,通过主题加权排序提高关键词抽取的效果.在公共数据集和学术论文数据上的实验表明,本文提出的方法能够有效提取与文本主题信息相关的关键短语,同时利用自编码器构造的短语向量可以更好地表示短语的语义信息.     

基于BERT-AWC的文本分类方法研究

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺...     

BERT的图模型文本摘要生成方法研究

基于图模型的TextRank方法形成的摘要不会脱离文档本身,但在抽取文本特征的时候,传统的词向量获取方法存在一词多义的问题,而基于BERT的词向量获取方式,充分挖掘了文本语义信息,缓解了一词多义问题.对不同词嵌入方法进行了实验对比,验证了BERT模型的有效性.基于词频统计的相似度计算方法也忽略了句子的语义信息,文中选择...     

基于主题概念聚类的中文文本聚类

文本聚类技术在文本挖掘和信息检索系统中发挥着重要的作用。目前,文本聚类方法大多数采用基于关键词集的经典向量模型来表征文本,这种方式忽略了词与词之间的语义关系,存在词频维数过高,聚类算法计算复杂度高等问题。为了解决这些问题,提出一种基于主题概念聚类的中文文本聚类方法,该方法利用HowNet提取文本的主题概念,然后使用Chameleon算法将主题概念聚类,再依据主题概念的聚类结果完成对文本的聚类。该方法用概念代替单个词条表示文本,减少文本特征之间的依赖关系,有效地降低了文本聚类的时间复杂度。     

基于LDA主题模型的情感分析研究

LDA主题模型在提取特征时缺乏对词语关联及相关词对的理解,这会影响情感极性分类的准确率。针对这一问题,文中提出一种在LDA主题模型中引入特征情感词对抽取方法的新模型,以改善特征情感词对的抽取效果。利用依存句法分析设计特征情感词对的识别方法,随后将识别方法作为约束条件引入LDA模型对特征情感词对进行抽取。通过吉布斯采样进行参数计算,给出了模型的生成过程。最后利用随机森林分类方法对文本进行情感极性分类。为验证文中模型的有效性,将其和另外两种模型一起进行实验,当主题个数为20时,文中所提模型分类的准确率、召回率、F值分别为81.54%、83.13%和82.33%,显著高于另外两种模型。     

基于深度学习的体育评论文本情感分类研究

体育赛事作为公共话题，是网络舆情的来源之一。针对传统词向量语义表示质量不高，深度学习模型特征提取能力不强等问题，提出了基于ERNIE-BiSRU-AT的体育赛事评论文本分类模型。利用预训练模型ERNIE提取词的动态向量表示，BiSRU-AT模块捕获文本的上下文序列特征，并聚焦于对情感极性贡献较大的词。在真实微博女排赛事评论数据集进行实验，ERNIE-BiSRU-AT模型F1分数达到92.35%,高于实验对比的其他模型，验证了模型的有效性。     

结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F₁值,证明了改进模型的分类有效性。     

基于LDA和TF-IDF的关键词提取算法研究

在自然语言处理领域,对于海量的文本文件,让用户在最短的时间找到到自己感兴趣的文档,最关键的工作是要每篇文档的关键词提取出来。而不管是针对一篇长文章或是一篇短文章,通常能够直接通过这几个关键字去窥探出整篇文章背后的主题思想。文章分别介绍了LDA主题模型和TFIDF算法在关键词提取中的应用,并进行了对比,结果表明在关键词提取方面都可以取得较好的效果。     

基于特征融合的中文新闻文本情感分类方法研究

针对现有的新闻文本情感分析任务中,单一模型提取文本特征的片面性,且无法充分提取新闻文本语义等特征问题,提出一种基于门控单元特征融合的BERT-CNN情感分析方法。该方法分别采用BERT语言预训练模型与卷积神经网络（CNN）对新闻文本的特征向量进行提取;然后采用门控循环单元对提取到的文本特征进行特征融合;再输入到Softmax层进行新闻文本分类;最后从精准率、召回率和F1-Score三个维度对比BERT、BERT-CNN、BERT-DPCNN和BERT-ERNIE的实验结果。实验结果表明,当分类场景更换为情感识别时,BERT-CNN依旧具有强大的语义捕捉能力,证明了BERT-CNN的泛化能力;另外,从原BERT的提升效果看,基于门控单元特征融合的BERT-CNN方法（提升2.07%）比词向量的方法（提升0.31%）更高。这一结果也证明了基于门控单元特征融合的BERT-CNN方法的有效性。     

融合潜在主题信息和卷积语义特征的文本分类

经典的概率主题模型通过词与词的共现挖掘文本的潜在主题信息,在文本聚类与分类任务上被广泛应用。近几年来,随着词向量和各种神经网络模型在自然语言处理上的成功应用,基于神经网络的文本分类方法开始成为研究主流。本文通过卷积神经网络(Convolutional Neural Network,CNN)和概率主题模型在文本主题分类上的效果对比,展示了CNN在此任务上的优越性。在此基础上,本文利用CNN模型提取文本的特征向量并将其命名为卷积语义特征。为了更好地刻画文本的主题信息,本文在卷积语义特征上加入文本的潜在主题分布信息,从而得到一种更有效的文本特征表示。实验结果表明,相比于单独的概率主题模型或CNN模型,新的特征表示显著地提升了主题分类任务的F1值。      

Keyword Extraction from Scientific Research Projects Based on SRP-TF-IDF

Keyword extraction by Term frequency-Inverse document frequency (TF-IDF) is used for text information retrieval and mining in many domains,such as news text,social contact text,and medical text.However,keyword extraction in special domains still needs to be improved and optimized,particularly in the scientific research field.The traditional TF-IDF algorithm considers only the word frequency in documents,but not the domain characteristics.Therefore,we propose the Scientific research project TF-IDF (SRP-TF-IDF) model,which combines TF-IDF with a weight balance algorithm designed to recalculate candidate keywords.We have implemented the SRP-TF-IDF model and verified that our method has better precision,recall,and F1 score than the traditional TF-IDF and TextRank methods.In addition,we investigated the parameter of our weight balance algorithm to find an optimal value for keyword extraction from scientific research projects.     

科技项目申请书关键词提取方法

关键词提取在文本相似度计算得到应用。传统的关键词提取方法忽略文本中的未登录词以及缺乏对词语语义的理解。针对科技项目申请书,研究提出一种基于未登录词识别与语义的关键词提取方法。应用Lucene和统计相融合的方法进行分词,并识别未登录词作为申请书关键词的一部分;依据社会网络理论构建词语语义相似度网络,并计算词语关联度提取申请书其他关键词。实验结果表明,与传统的关键词提取方法相比,新方法能提取更准确的关键词,有更好的科技项目相似性检查效果。     

融合TextRank算法的中文短文本相似度计算

传统的VSM向量空间模型忽略了文本语义,构建的文本特征矩阵具有稀疏性。基于深度学习词向量技术,文中提出一种融合改进TextRank算法的相似度计算方法。该方法利用词向量嵌入的技术来构建文本向量空间,使得构建的向量空间模型具有了语义相关性,同时采用改进的TextRank算法提取文本关键字,增强了文本特征的表达并消除了大量冗余信息,降低了文本特征矩阵的稀疏性,使文本相似度的计算更加高效。不同模型的仿真实验结果表明,融合改进的TextRank算法与Bert词向量技术的方法具有更好的文本相似度计算性能。     

关键词提取技术在撒拉族文献数据库的应用

在文献管理和研究中经常会做关键词提取的工作，通过人工的方式进行提取过程繁杂，工程量极大，因此引入一种关键词欲提取的方式，其过程主要采用以下三个步骤：先通过OCR系统对图片进行识别、排错；再通过词频技术，来提取词频及关联性最高的关键词，将其作为备选关键词；然后通过人为阅读的方式，按照一定的关键词人工提取规则进行关键词的精确提取。结果表明，该方法取得了较好的效果。     

改进的多模型融合技术在客服问答系统上的应用

随着人工智能技术的发展,越来越多的公司采用机器客服代替人工客服。但若采用传统关键词模型,则机器客服准确率难以提高;若采用深度学习模型进行训练,则又面临用户问题是短文本时,模型训练和预测效果不佳的问题。针对这些问题,通过深入研究和多次试验,提出一种融合关键词模型和基于字向量的深度学习模型的算法。最后实现了模型的训练和预测,在与传统算法的准确率对比方面展现了优势。     

System Design of Cloud Search Engine Based on Rich Text Content

In order to improve the search performance of rich text content, a cloud search engine system based on rich text content is designed. On the basis of traditional search engine hardware system, several hardware devices such as Solr index server, collector, Chinese word segmentation device and searcher are installed, and the data interface is adjusted. On the basis of hardware equipment and database support, this paper uses the open source Apache Tika framework to obtain the metadata of rich text documents, implements word segmentation according to the rich text content and semantics, and calculates the weight of each keyword. Input search keywords, establish a text index, use BM25 algorithm to calculate the similarity between keywords and text, and output the search results of rich text according to the similarity calculation results. The experimental results show that the design system has high recall rate, high throughput, and the construction time of each data item index in different files is short, which improves the search efficiency and search accuracy.

     

熵权约束稀疏表示的短文本分类算法

针对短文本特征稀疏性问题,提出一种熵权约束稀疏表示的短文本分类方法.考虑到初始字典维数较高,首先,利用Word2vec工具将字典中的词表示成词向量形式,然后根据加权向量平均值对原始字典进行降维.其次,利用一种快速特征子集选择算法去除字典中不相关和冗余短文本,得到过滤后的字典.再次,基于稀疏表示理论在过滤后的字典上,为目标函数设计一种熵权约束的稀疏表示方法,引入拉格朗日乘数法求得目标函数的最优值,从而得到每个类的子空间.最后,在学习到的子空间下通过计算待分类短文本与每个类中短文本的距离,并根据三种分类规则对短文本进行分类.在真实数据集上的大量实验结果表明,本文提出的方法能够有效缓解短文本特征稀疏问题且优于现有短文本分类方法.     

Multi-factor person entity relation extraction model based on distant supervision

Aiming at the problem that the basic assumption of distant supervision was too strong and easy to produce noise data,a model of the person entity relation extraction which could automatically filter the training data generated by distant supervision was proposed.For training data generation,the data produced by distant supervision would be filtered by multiple instance learning and the method of TF-IDF-based relation keyword detecting,which tried to make the training data has the manual annotation quality.Furthermore,the model combined lexical and syntactic features to extract the effective relation feature vector from two angles of words and semantics for classifier.The experiment results on large scale real-world datasets show that the proposed model outperforms other relation extraction methods which based on distant supervision.     

融合混合嵌入与关系标签嵌入的三元组联合抽取方法

三元组抽取的目的是从非结构化的文本中获取实体与实体间的关系，并应用于下游任务。嵌入机制对三元组抽取模型的性能有很大影响，嵌入向量应包含与关系抽取任务密切相关的丰富语义信息。在中文数据集中，字词之间包含的信息有很大区别，为了改进由分词错误产生的语义信息丢失问题，设计了融合混合嵌入与关系标签嵌入的三元组联合抽取方法（HEPA），提出了采用字嵌入与词嵌入结合的混合嵌入方法，降低由分词错误产生的误差；在实体抽取层中添加关系标签嵌入机制，融合文本与关系标签，利用注意力机制来区分句子中实体与不同关系标签的相关性，由此提高匹配精度；采用指针标注的方法匹配实体，提高了对关系重叠三元组的抽取效果。在公开的Du IE数据集上进行了对比实验，相较于表现最好的基线模型（Cas Rel）,HEPA的F1值提升了2.8%。