基于自主学习规则的中文物种描述文本的语义标注研究

从《中国植物志》中随机采集1 000个文档作为数据集,采用自主学习规则与先导词相结合的算法实现中文物种描述文本的语义标注。实验数据表明,本研究设计的基于规则的算法整体标注效率(F值)达到0.930,大部分元素的F值在0.724-0.964之间,该算法优于朴素贝叶斯分类算法。同时证明,先导词对优化算法具有积极意义。     

基于机器学习的生物多样性英文文档语义标注研究

针对现有语义标注系统通用性差的问题,本研究设计了基于先导词算法的MARTT语义标注系统。MARTT利用有监督的机器学习方法从文本中提取领域规则,以适应不同的数据集。为了检验算法的效率,研究以中国植物志和北美植物志数据为样本,运用十折交叉论证方法与NB、SVM的标注性能进行了比较。结果表明,先导词算法在准确率、召回率及计算成本上均优于其它两种算法。而且,在两个不同的数据集上都获得了理想的结果,证实MARTT所具有的良好适应性。     

基于放松区间优势的不完整数据分类

针对朴素信念不完整数据分类算法中保守推理规则过于严格导致明确分类样本比例下降的的情况,定义了放松的区间优势,并提出了基于放松区间优势的不完整数据分类模型,与朴素贝叶斯分类和朴素信念分类算法的对比实验结果表明本文提出的分类模型有效地提高了明确分类样本比例,在明确分类样本上的正确率优于朴素贝叶斯分类,与朴素信念分类相当.此外还以文体风格识别作为应用背景进行了实证研究,对比实验结果进一步表明对于文体风格识别数据集,放松区间优势的朴素信念分类算法具有较理想的综合性能.     

基于深度学习的MOOC论坛探索型对话识别方法研究

[目的/意义]大规模在线开放课程论坛具有丰富的用户评论数据。从大量未区分的评论数据中，自动识别出知识密度较高的探索型对话并挖掘其潜在价值，对于改善教师教学质量以及提高学生知识水平具有重要影响。[方法/过程]首先利用GloVe方法训练词向量，加强对文本语义的理解，然后利用卷积神经网络自动学习文本特征，提出一种基于深度学习的探索型对话自动识别模型，并在学堂在线平台《心理学概论》课程论坛标注数据集上进行实证与对比研究。[结果/结论]实验结果显示，利用GloVe方法预训练词向量以及在训练过程中不断对词向量进行学习修正能够提高模型效果。该模型识别探索型对话的F1值为0.94，相较于传统的朴素贝叶斯方法（0.88）、逻辑斯谛回归方法（0.89）、决策树方法（0.88）以及随机森林方法（0.88）取得较大提升，具有较高的实用性和较低的学习成本。     

基于条件随机场的专利术语抽取

专利术语抽取是专利文献信息抽取领域的一项重要任务,有助于专利领域词表的构建,有利于中文分词、句法分析、语法分析等工作的进行。文章通过分析专利术语的特点并制定相应的语料标注规则进行人工标注,采用条件随机场（conditional random fields,CRFs）对标注后的数据进行训练和测试,实现了通信领域的术语抽取。标注方法采用基于字的序列标注,精确率、召回率和F值分别达到80.9%、75.6%、78.2%,优于将词和词性等信息作为特征的方法,表明所提出的专利术语抽取方法是有效的。     

基于主题模型的文本分类算法性能比较SSCI

文章利用LDA模型进行文本降维和特征提取,并将传统分类算法置于集成学习框架下进行训练,以探讨是否能提高单一分类算法的分类准确度,并获得较优的分类效果,使LDA模型能够发挥更高的性能和效果,从而为文本分类精度的提高服务。同时,以Web of Science为数据来源,依据其学科类别划分标准,建立涵盖6个主题的实验文本集,利用Weka作为实验工具,以平均F值作为评价指标,对比分析了朴素贝叶斯、逻辑回归、支持向量机、K近邻算法4种传统分类算法以及AdaBoost、Bagging、Random Subspace 3种集成学习算法的分类效果。从总体上看,通过“同质集成”集成后的文本分类准确率高于单个分类器的分类准确率;利用LDA模型进行文本降维和特征提取,将朴素贝叶斯作为基分类器,并利用Bagging进行集成训练,分类效果最优,实现了“全局最优”。     

基于贝叶斯算法的心理测试情感分析

随着社会的快速发展,大学生的各种心理问题日益突出。从研究大学生心理情感的角度出发,介绍了文本情感分析模型相关理论和实现过程,详细论述了应用Python语言进行心理情感数据标注、预处理、构建贝叶斯模型、测试模型、评估模型性能的过程,通过测试,模型预测正确率达到0.862。针对存在的问题,提出了下一步改进模型性能的实施方案,为广泛筛查大学生的心理问题提供参考。     

基于属性相关性分析的贝叶斯分类模型

朴素贝叶斯分类器是一种简单而有效的概率分类方法,然而其属性独立性假设在现实世界中多数不能成立。为改进其分类性能,近几年已有大量研究致力于构建能反映属性之间依赖关系的模型。本文提出一种向量相关性度量方法,特征向量属于类的的概率由向量相关度及其属性概率计算。向量相关度可通过本文给出的一个公式进行估计。实验结果表明,使用这种方法构建的分类模型其分类性能明显优于朴素贝叶斯,和其他同类算法相比也有一定提高。     

基于规则的中文框架元素自动标注方法研究

计算机自动语义分析是当前制约自然语言信息检索、信息抽取与机器翻译等应用技术发展的一个瓶颈问题.语义角色标注是语义分析的一种主要实现方式,而目前语义角色的自动标注主要采用基于统计的方法,由于训练数据的规模有限、语义角色类型多,面临严重的数据稀疏问题,处理结果一致性差.本文则采取基于规则的方法,选择汉语框架语义知识库(CFN)所提供的框架和框架元素作为语义标注体系,利用CFN的语义标注句子库,根据短语类型、句法功能以及短语内部构成和外部语境等其他句法语义特征分析框架元素的实现规律,构建语义标注规则,经测试取得了令人满意的结果,为解决语义分析问题探索了一条可行的路线.     

ChatGPT生成中文学术内容分析——以情报学领域为例

学术写作是ChatGPT的主要应用方向之一。文章以情报学领域的核心期刊论文为研究对象,首先从词、句、篇3个维度出发,使用词性标注、n-gram等文本处理方法对ChatGPT和人类产出的论文引言内容进行对比分析。然后将判断学术内容是否由ChatGPT生成视作一个二元分类任务,采用朴素贝叶斯、支持向量机、随机森林算法进行文本分类实验,并使用SHAP方法对文本结构特征的重要性进行分析。研究发现：ChatGPT在描述有具体时间节点的事实性信息和引用政策文件或研究报告等方面表现较弱,生成引言的篇幅较集中,撰写论文相较于人类更加“循规蹈矩”;查重工具通常无法准确检测出ChatGPT生成内容的原创性,但分类模型可以比较容易地区分出引言是否由ChatGPT生成,平均句子长度、词汇多样性和文本长度是影响分类结果最重要的文本结构特征。     

汉语框架语义知识库非核心框架元素识别规则研究——以介词结构为例

中文信息处理句法层面的研究是前一阶段的重点,而语义层面的研究尚处于起步阶段,但它对计算机语言理解来说更为关键;就一个句子的语义来说,非核心框架元素涵盖事件发生的时间、地点、方式等信息,在信息检索、信息提取和问答系统等应用领域是解决问题的重要依据.本文即根据中文框架元素实现规律的分析,研究非核心框架元素标注规则的构建方法.以认知语义领域介词结构的框架元素标注为例,构建了212条非核心框架元素标注规则,并通过实验分析了规则的使用效果和存在的问题,为计算机自动语义分析提供有效的方法.     

基于HMM的楚辞自动分词标注研究

研究古代和现代汉语的自动分词标注技术,用隐马尔科夫模型对《楚辞》进行自动分词标注实验,通过比较分词后的标注词性概率,取最大概率作为最后的分词和词性标注结果,并在其中使用全切分和加值平滑算法。经过实验调整分词标注程序模块和参数,最终得到一个分词标注辅助软件,其开放测试的分词F值为85%,标注F值为55%,高出基准F值14个百分点。     

自动内容抽取中的中文事件标注

事件检测与描述(Event Detection and Characterization,EDC)自2005年作为自动内容抽取(Automatic ContentExtraction,ACE)评测的一个重要子任务出现以来,中文事件的标注、检测与描述越来越成为研究热点。本文就自动内容抽取中的中文事件标注进行详细、系统地研究,主要包括:在ACE会议定义中文事件相关概念的基础上,给出事件标注中事件的可标注内容,包括事件范围及事件触发词等;根据生活中的事件分类在人工事件标注中对EDC的事件进行类别划分及其子类的详细区分,以降低事件检测的复杂度;对每个事件类别(包括子类别)中构成事件的元素进行研究,综合事件类别及其元素信息完成中文事件的标注。本文的研究成果在中文文本信息抽取、自动摘要及主题检测与追踪中得到了很好的应用。     

基于用户自然标注的TF-IDF辅助标引算法及实证研究

[目的/意义] 从用户角度出发,研究基于用户自然标注的TF-IDF辅助标引算法。[方法/过程] 首先以核心期刊论文中作者标注的关键词和分类号为源数据,通过对关键词词频进行统计,使用TF-IDF算法构建用户标注词表、形成标引知识库,然后通过IK Analyzer分词软件对待标引的科技项目数据进行切词和停用词处理,进而使用TF-IDF算法和位置加权算法提取科技项目数据的特征词,最终实现对科技项目数据进行关键词和分类的同步标引。[结果/结论] 实验结果表明,机标关键词与人标关键词的相似比在60%以上的科技项目数据占总数的68.1%,机标分类号与人标分类号前三位一致的占总数的83.9%,结果表明基于用户自然标注数据并采用TF-IDF算法在关键词和分类标引方面是可行的。     

领域本体在信息检索中的应用研究

为了改进基于关键词的信息检索方法的局限性,论文研究了一种综合利用领域本体改善信息检索性能的方法.该方法强调通过交互式的方式引导用户一步步逼近其真实的、潜在的检索需求,使用基于编辑距离的词形匹配方法辅助用户查询本体词汇,使用基于概念空间的检索词联想方法帮助用户扩充检索词.使用基于领域本体的词义识别算法来确定文档中的词汇词义.使用XML技术实现用户查询需求和文档标注的规范化标注.实验表明,该方法会有效提升查全率并且会改进查准率.     

基于条件随机场的自动标引模型研究

条件随机场(Conditional Random Fields,CRF)模型是一种概率图模型.为了有效利用标引对象的特征,并考虑到抽词标引可以转换为序列标注问题,本文提出基于条件随机场的自动抽词标引模型.实验结果表明,该模型在改善抽词标引的性能方面,要优于支持向量机、多元线性回归模型等其他机器学习方法,是到目前为止解决序列标注问题的最好方法.但是,该模型本身还不能解决由于样本中存在同义词和相近词带来的问题,需要进一步对训练集和标引过程中存在的词汇语义情况进行考虑,提高标引的质量.     

科技文献语篇元素自动标注模型研究综述

[目的/意义]为更好地提升科技文献的语义丰富化效果,对国内外科技文献语篇元素标注模型、技术和方法进行调研总结,为文本挖掘、科技论文知识抽取、语义分析系统研究者提供借鉴。[方法/过程]利用学术网站搜索和相关数据库搜索引擎,对涉及科技论文标注、语篇元素、知识抽取、句子识别和自动文章分类等参考文献以及研究报告进行深入阅读和调研,对语篇元素自动标注模型以及相关工作进展进行研究总结。[结果/结论]科技文献语篇元素标注具有非常重要的实际应用价值,构建标注模型需充分考虑构建思想、标注领域和标注粒度以及标注技术手段等方面。     

基于度量级融合的论文元数据提取方法

针对现有的元数据提取方法提取精度不高且适应能力较差的问题,本文提出一种基于度量级融合的论文元数据提取方法.首先,提取论文首部的特征,利用已标注的数据集对HMM、SVM和CRF三种统计学习方法进行训练,生成相应的元数据提取模型;然后,根据贝叶斯判决理论推导出和规则,并利用和规则对三种提取模型产生的后验概率进行融合决策,实现论文元数据的提取;最后,通过设定时间段和文档数阈值,采用基于时间段统计的方法动态更新三种提取模型,以确保模型的有效性.在不同的数据集上对各种提取方法的性能进行了实验对比,结果表明,本文提出的方法不仅提高了元数据提取精度,而且具有较强的适应能力.     

中文化学物质名称识别研究*

在CRF模型下,进行单字标注和单元词标注的识别效果和识别效率的比较;实验结果表明,单字标注在付出更长运行时间的代价下,较单元词标注识别效果更佳;此外,还研究特征数量对实验效果的影响。     

网络竞争情报主题采集技术研究

文章设计与实现了一种网络竞争情报的主题采集系统。该系统在进行主题预测时采用的基于改进的朴素贝叶斯算法提高了主题判断准确率,在进行链接预测时采用的基于规则与锚文本主题相似度结合的算法,避免了URL锚文本较短和噪声的问题。与宽度优先的采集技术相比,通过实验验证该方法具有明显的优越性。