基于多语义因子分层聚类的文本特征提取方法

针对同类文本中提取的关键词形式多样,且在相似性与相关性上具有模糊关系,提出一种对词语进行分层聚类的文本特征提取方法。该方法在考虑文本间相同词贡献文本相似度的前提下,结合词语相似性与相关性作为语义距离,并根据该语义距离的不同,引入分层聚类并赋予不同聚类权值的方法,最终得到以词和簇共同作为特征单元的带有聚类权值的向量空间模型。引入了word2vec训练词向量得到文本相似度,并根据Skip-Gram+Huffman Softmax模型的算法特点,运用点互信息公式准确获取词语间的相关度。通过文本的分类实验表明,所提出的方法较目前常用的仅使用相似度单层聚类后再统计的方法,能更有效地提高文本特征提取的准确性。     

利用word2vec对中文词进行聚类的研究

文本聚类在数据挖掘和机器学习中发挥着重要的作用,该技术经过多年的发展,已产生了一系列的理论成果。本文在前人研究成果的基础上,探索了一种新的中文聚类方法。本文先提出了一种中文分词算法,用来将中文文本分割成独立的词语。再对处理后的语料使用Word2Vec工具集,应用深度神经网络算法,转化为对应的词向量。最后,将词向量之间的余弦距离定义为词之间的相似度,通过使用K-means聚类算法将获取的词向量进行聚类,最终可以返回语料库中同输入词语语意最接近的词。本文从网络上抓取了2012年的网络新闻数据,应用上述方法进行了实验,取得了不错的实验效果。     

分词评价系统实现

给出了一种实用的语料库分词评价系统的实现方法。该方法采用迭代自组织算法对传统抽样样本进行聚类 ,给出了系统的总体流程图和迭代自组织算法步骤。实验表明该方法具有较高的使用价值     

基于奇异值分解的新闻标题聚类研究

和导航中应用广泛。文本聚类作为一种无监督学习算法,其依据是聚类假设:同类的文档相似程度大,不同类的文档相似程度小。文中主要研究汉语文本聚类算法在新闻标题类文本中的应用。首先对采集到的若干条新闻标题进行分词和特征提取,将分词后的文本转化为词条矩阵;然后使用TF-IDF技术处理词条矩阵,得到基于分词权重的新的词条矩阵,对新的词条矩阵进行奇异值分解,得到主成分得分矩阵,提取主成分分析文本特征并根据主成分得分矩阵进行K-均值和分层聚类分析;最后将聚类结果用词云图的形式展示出来并评价聚类效果的好坏。实证显示,对词条矩阵的奇异值分解能降低向量空间的维数,提高聚类的精度和运算速度。     

开放式汉语自动分词的学习机制

针对统计模型词典动态适应性不高及大规模语料库建设中人工代价昂贵的问题，在基于统计的汉语自动分词基础上，引入了以错误驱动为基础的开放学习机制，通过有监督和无监督相结合的学习方法，建立了包含可信度修正和部分三元语法信息的多元分词模型，讨论了切分算法和人机交互中的具体问题，并通过实验确定模型系数和闽值．实验结果表明，该分词模型经三次学习后。闭式分词中的切分错误有78．44％得到纠正，切分正确率达到99．43％，开式分词中的切分错误有63．56％得到纠正，切分正确率达到98．46％．系统具有较高的实用价值．     

基于统计的开放式汉语自动分词

汉语自动分词在面向大规模真实文本时,仍然存在很多困难。本文在传统的语料库方法的基础上,提出一种基于开放性语料库的汉语自动分词方法。建立开放性语料库,并引入开放式知识库学习和评价机制。实验结果表明,开放机制的引入能有效提高汉语自动分词的精确率。     

基于word2vec和CNN的短文本聚类研究

文本特征提取对短文本聚类效果至关重要,针对传统的基于统计学习的特征提取方法仅停留在特征词的层面,无法表达文本上下文语义特征的问题。基于此,笔者提出了一种基于word2vec词向量和卷积神经网络(Convolutional NeuralNetworks,CNN)的文本特征提取方法用于短文本聚类,首先利用word2vec工具训练大规模语料库中的词语,以低维向量的形式表征,然后利用CNN提取文本的深层语义特征,得到能够用于聚类的文本特征向量。实验结果表明,该方法可以有效提升短文本聚类的准确性。     

中文文本语料库分词一致性检验技术的初探*

对大规模语料库中的分词不一致现象进行分析,提出了语料库分词一致性检查和校对的新方法。该方法提取词与词之间语法、语义搭配信息,利用支持向量机的理论对候选序列进行判断,给出一个切分结果,进而提高汉语语料库切分的准确率。     

聚类加权和CS-LSSVM的文本分类

文本特征提取和分类器优化是文本分类的两个关键问题,为了提高文本分类正确率,提出一种聚类加权（CW）和布谷鸟（CS）算法优化最小二乘支持向量机（LSSVM）的文本分类模型。采用TF-IDF算法计算特征词的权重,根据特征词的位置进行加权,经过特征聚类处理降低特征冗余度,采用LSSVM建立文本分类器,采用CS算法对LSSVM参数进行优化。采用复旦大学语料库对模型性能进行仿真测试,仿真结果表明,模型不仅提高了文本分类的正确率,而且提高了文本分类的效率。     

基于表示学习的中文分词

为提高中文分词的准确率和未登录词（OOV）识别率,提出了一种基于字表示学习方法的中文分词系统。首先使用Skip-gram模型将文本中的词映射为高维向量空间中的向量;其次用K-means聚类算法将词向量聚类,并将聚类结果作为条件随机场（CRF）模型的特征进行训练;最后基于该语言模型进行分词和未登录词识别。对词向量的维数、聚类数及不同聚类算法对分词的影响进行了分析。基于第四届自然语言处理与中文计算会议（NLPCC2015）提供的微博评测语料进行测试,实验结果表明,在未利用外部知识的条件下,分词的F值和OOV识别率分别达到95.67%和94.78%,证明了将字的聚类特征加入到条件随机场模型中能有效提高中文短文本的分词性能。     

基于随机抽样的加速 K-均值聚类方法

针对传统K-均值聚类方法不能有效处理大规模数据聚类的问题,提出一种基于随机抽样的加速K-均值聚类（K-means Clustering Algorithm Based on Random Sampling , Kmeans＿RS）方法,以提高传统K-均值聚类方法的效率。首先从大规模的聚类数据集中进行随机抽样,得到规模较小的工作集,在工作集上进行传统K-均值聚类,得到聚类中心和半径,并得到抽样结果;然后通过衡量剩下的聚类样本与已得到的抽样结果之间的关系,对剩余的样本进行归类。该方法通过随机抽样大大地减小了参与K-均值聚类的问题规模,从而有效提高了聚类效率,可解决大规模数据的聚类问题。实验结果表明,Kmeans＿RS方法在大规模数据集中在保持聚类效果的同时大幅度提高了聚类效率。     

大规模数据集引力同步聚类

受Kuramoto模型启发,构造一种新的万有引力同步模型,用以解决现有同步聚类算法时间复杂度高的问题,并提出大规模数据集的引力同步聚类算法(LSCGS).首先,使用快速压缩集密度估计(RSDE)算法对大规模数据集进行压缩;然后,通过万有引力同步聚类算法对压缩数据集进行聚类,使用Davies-Bouldin指标自动寻优到最佳聚类数;最后,利用提出的剩余样本聚类(RSC)算法对除压缩集以外的剩余数据进行聚类,可以有效地区分孤立类以及噪声点.通过在大规模人造数据集、UCI真实数据集和图像数据上的实验,验证LSCGS算法的有效性,与传统同步聚类算法相比,聚类的运算成本得到大幅度的降低.     

一种基于MapReduce的文本聚类方法研究

在文本聚类中,相似性度量是影响聚类效果的重要因素。常用的相似性度量测度,如欧氏距离、相关系数等,只能描述文本间的低阶相关性,而文本间的关系非常复杂,基于低阶相关测度的聚类效果不太理想。一些基于复杂测度的文本聚类方法已被提出,但随着数据规模的扩展,文本聚类的计算量不断增加,传统的聚类方法已不适用于大规模文本聚类。针对上述问题,提出一种基于MapReduce的分布式聚类方法,该方法对传统K-means算法进行了改进,采用了基于信息损失量的相似性度量。为进一步提高聚类的效率,将该方法与基于MapReduce的主成分分析方法相结合,以降低文本特征向量的维数。实例分析表明,提出的大规模文本聚类方法的 聚类性能 比已有的聚类方法更好。     

引入时频聚集交叉项干扰抑制的大数据聚类算法

面向大数据集管理的数据聚类方法研究在模式识别、故障诊断和数据挖掘等领域具有重要的研究意义。传统的大数据聚类算法采用混合差分进化的粒子群算法,因数据信息流分量之间的交叉作用而出现的类间交叉项干扰影响了聚类分量的正确判断,聚类效果不好。提出了一种基于时频聚集交叉项干扰抑制的大数据聚类算法。在面向传播学视域下物联网大数据库中生成大数据聚类的信息特征向量,对任意两个分簇矢量进行近邻样本的隶属度训练,在时间滑动窗口模型中进行信息调度,采用高频分量抑制方法实现对时频聚集交叉项的干扰抑制,通过频域卷积相似度融合处理,采用粒子群优化算法进行聚类适应度计算,以实现数据聚类算法改进。仿真结果表明,采用该算法进行大数据聚类,具有较好的抗干扰性和自适应性,聚类准确度较高。     

基于FFT的海浪实时仿真方法

针对虚拟海战场仿真需求,提出一种真实感海浪的实时仿真方法。在改进Gerstner波形的基础上,构建海浪的基本模型,推导出海浪的离散FFT模型,并通过采样波数谱提取FFT模型所需参数。仿真结果表明,该方法用于大面积海浪的实时仿真时,能获得高度逼真的动画效果。     

基于空间向量遗传聚类的海洋环境监测数据分析

给出了一种空间向量遗传聚类分析方法,对海洋环境监测得到的多参数数据进行分析。采用空间向量遗传聚类方法对采样点的温度,盐度,pH,DO等参数进行聚类,并将聚类结果投影到环境监测参数特征空间,便可以在特征空间中直观地对监测区某一时段采样点进行多参数数据分析,获知各采样点水质状况。通过对不同时段采样点数据的聚类分析,还可以对监测区海水变化趋势进行判断。此方法不仅能挖掘出采样点数据的关联性,而且使得对多采样点多参数数据的分析变得直观、清晰,提高了对海洋环境监测数据的分析效果。     

一种基于聚类的核向量机参数C选择算法

核向量机可以高效学习大样本数据集,却有泛化能力低的缺陷.针对已有参数C选择算法缺乏启发性以及选取困难的不足,本文在分析了核聚类算法和距离比较算法的基础之上,提出基于核聚类的相对距离比较方法,该算法利用核聚类算法在特征空间对样本点进行聚类分簇,然后根据样本点到簇心相对距离的比值,得到参数C.本文在理论和实验两个方面,证明该算法有效地选择参数C,从而提高核支持向量机算法的泛化能力.     

基于法向量距离的路面坑槽提取方法

以路面高程激光点云为研究对象, 提出一种基于法向量距离的路面坑槽提取方法. 首先对路面高程点云数据进行数据清洗; 其次采用自适应最优邻域的PCA方法估算路面点云数据的法向量, 通过计算路面点云中采样点到其局部二次曲面的切平面的法向距离作为法向量距离; 以法向量距离描述采样点的三维空间特征, 并通过阈值分割自动提取路面坑槽点云集合, 通过Mean-Shift聚类算法分割路面坑槽点云集合得到多个坑槽点集; 最后针对每个坑槽点集, 采用Alpha Shape算法提取坑槽边界点, 对坑槽边界点进行三次样条插值拟合得到坑槽轮廓, 据此计算坑槽尺寸(长度、宽度、深度)、面积信息. 以规则坑槽模型点云数据与真实路面点云数据进行实验, 本文方法提取坑槽的深度的相对误差的均值分别为2.7%, 4.7%, 提取坑槽面积的相对误差的均值分别为6.8%, 4.3%. 实验结果表明本文方法可以精确提取路面坑槽边界点及其尺寸信息, 且对于不规则形状坑槽的识别及提取具有较强的抗干扰性.     

Sampling and Subsampling for Cluster Analysis in Data Mining: With Applications to Sky Survey Data

This paper describes a clustering method for unsupervised classification of objects in large data sets. The new methodology combines the mixture likelihood approach with a sampling and subsampling strategy in order to cluster large data sets efficiently. This sampling strategy can be applied to a large variety of data mining methods to allow them to be used on very large data sets. The method is applied to the problem of automated star/galaxy classification for digital sky data and is tested using a sample from the Digitized Palomar Sky Survey (DPOSS) data. The method is quick and reliable and produces classifications comparable to previous work on these data using supervised clustering.     

快速大样本同步聚类

针对现有的Sync算法具有较高时间复杂度,在处理大样本数据集时有相当的局限性,提出了一种快速大样本同步聚类算法（Fast Clustering by Synchronization on Large Sample,FCSLS）。首先将基于核密度估计（KDE）的抽样方法对大样本数据进行抽样压缩,再在压缩集上进行同步聚类,通过Davies-Bouldin指标自动寻优到最佳聚类数,最后,对剩下的大规模数据进行聚类,得到最终聚类结果。通过在人造数据集以及UCI真实数据集上的实验,FCSLS可以在大规模数据集上得到任意形状、密度、大小的聚类且不需要预设聚类数。同时与基于压缩集密度估计和中心约束最小包含球技术的快速压缩方法相比,FCSLS在不损失聚类精度的情况下,极大地缩短了同步聚类算法的运行时间。