基于LDA的英汉维文本聚类系统的设计与实现

以英汉维三种大规模文本聚类为目标,针对三种语言的特点实现基于LDA模型的静态文本聚类系统。因为存在博客、微博等网络媒体的文本不太规范及涉及的话题范围广泛等现象,对文本特征的提取及聚类算法的选择带来一定的难度。通过对样本文本的分析,计算出适当的聚类数k,再调用LDA算法将文本聚为k类并给出每类文本的关键词。测试结果表明,该系统能将英汉维三种语言的文本相似度高的聚为一类,可显著提高聚类效果。     

基于情感词典与LDA模型的股市文本情感分析

建立了一种基于股票情感词典与LDA分析股票文本情感倾向的模型。针对股票文本情感分析中情感词典不全面与句子分析片面的问题,构建较为全面的股票情感词典,同时以句子的倾向性、程度性与相关性三方面分析股票文本情感。引入针对股票的词语、程度性词语与转折性词语构建较为全面的情感词典;抽取预处理之后的股票文本句子的情感词;利用句子算法计算句子倾向、程度向量,并对句子向量利用支持向量机(SVM)和K均值算法分类;利用LDA(latent dirichlet allocation)对情感词计算文档 主题、文档 词语概率分布,以此概率分布获取句子的相关性;综合句子的倾向性、程度性、相关性计算句子情感;最后,通过句子情感获取股票文本的情感倾向比例。通过对百度新闻经济板块收集的股票文本进行实验并与其他算法比较,该模型对句子与文本分类准确率提高到82.78%与84.14%。     

基于线性判别分析和分步机器学习的变压器故障诊断

为了改善当前变压器故障诊断在特征量选取和使用单一诊断模型进行故障诊断上的不足,提高变压器故障诊断的准确率和效率,提出基于线性判别分析（LDA）的特征选取方法,建立基于分步机器学习的诊断模型. 该模型选取16组油中溶解气体体积分数比值的多特征参数,运用线性判别分析对参数进行降维作为输入特征向量;运用概率神经网络对变压器故障做出初步诊断,区分出易混淆故障;使用基于灰狼群算法优化的支持向量机对易混淆故障做进一步的区分. 最终实验诊断准确率为97.27%,诊断时间为4.87 s. 与单一机器学习模型相比,所提出的模型不仅具有更高的准确率,还具有更高的效率. 实例分析表明,本研究方法能有效弥补单一机器学习的缺陷,为故障样本有限情况下的电力变压器故障诊断提供参考.     

一种基于双极系数法的斑马线检测改良方法

根据斑马线自身的颜色形状特点,对导盲系统中的斑马线识别问题进行研究。在双极系数法的基础上针对灰度化处理和线段检测两个方面进行改良,提出一种综合线性判别式公析LDA(Linear Discriminant Analysis)与EDLines(Edge Drawing Lines)算法的检测方法。利用LDA灰度化图像,使斑马线与周围路面、行人车辆有明显的区分;采用不均匀分块方式对图像求双极系数图,同时,进行区域优化筛选,再将优化后的双极系数图与二值图融合,得到候选区域;最后通过EDLines进行直线检测,对线段的长度、斜率、间隙和数量进行判断,确定斑马线位置。与传统的斑马线检测方法相比,LDA灰度化能更好地降低路面障碍物的干扰,而EDLines算法则能增强线段检测的准确性。实验结果表明识别率达到90.3%,对识别斑马线有良好的效果。     

面向多源数据的可扩展主题建模分析框架

随着信息技术的不断发展和应用,大量信息系统积累了海量多源异构数据,这些数据中有很大一部分都是结构化数据,具有高维度、低质量、无标注等特点,难以进行特征提取与进一步的知识提炼。主题建模是文本处理和数据挖掘中的一个非常重要的方法,它是一种无监督学习算法,最初用于对无结构的自然语言文本进行建模,可以有效地从文本语义中提取主题信息,以进行特征提取和降维分析,然而主题建模技术尚不能很好应用在关系复杂的多源数据,尤其是结构化数据的处理中。提出了一个基于可扩展主题建模技术的针对结构化与非结构化多源数据分析框架,通过数据导入、数据分析、数据可视化三个步骤对多源数据进行基于主题建模技术的数据分析,并在此基础上实现了一个多源数据分析工具,最后通过两个数据集的实验证明了所提的多源数据分析框架的有效性。     

基于SURF特征的人脸识别方法研究

采用了一种基于SURF的人脸识别方法,其中所提取出的SURF特征向量对于图像的尺度与旋转变化均具有较好的适应性;通过采用LDA算法有效地缩短了运算时间;此外还采用Kmeans聚类方法对特征向量进行分组处理;最后通过综合图像的局部与全局特征信息便可完成对人脸的分类工作。实验结果证明,最终所获取的LDA-SURF特征向量对于一般图像中人脸的平移、亮度变化、遮挡和噪声等具有良好的不变性。     

一种基于气体传感器技术的肉苁蓉快速鉴别方法

为方便快捷地鉴别不同产地肉苁蓉,探索一种基于电子鼻技术结合模式识别方法的肉苁蓉快速鉴别方法.采用PEN3电子鼻分析电子鼻传感器阵列不同响应特征,采用主成分分析法和线性判别分析建立模型及测试评估模型性能.结果表明,基于PCA的肉苁蓉种类鉴别模型将传感器高维特征降维提取,度量传感器特征信息贡献,为传感器阵列的优化提供新的方法和借鉴.采用LDA得到类间方差较大,有明显区分度,且类内方差很小,聚合性非常好的分类模型.经过验证,测试数据集在欧氏距离验证下可达到100％识别率.实验证明,电子鼻技术可有效对不同产地肉苁蓉快速鉴别.     

项目后学习:环境影响后评价报告文本挖掘与分析

项目后评价报告包含了大量的容易被忽视的隐性经验知识,是组织学习的重要知识来源。提出了一种基于LDA主题挖掘模型的经验学习方法,运用该方法,以环境影响后评价报告为数据来源,R语言作为分析工具,对隐含在项目环境影响后评价报告中的关键经验知识进行挖掘和分析;通过对重要主题进行筛选来明确样本所讨论的内容,对文档分类以明确样本每篇文档中所重点研究的内容,发现不同文档间的相似点;通过关键主题词分析,得出6条解决环境问题的重要经验知识,即预先制定全面的应急措施、从根源入手解决环境问题、实时关注作业区动态、从项目设备入手降低环境影响、重视沟通、考虑位置因素等;通过绘制主题关系网络图,不仅可以清楚主题间的关系,进一步可以得出隐含类环境经验知识主要来源于与"事故"相关的事件和项目本身。