改进型TF-IDF算法在软件开发过程控制中的应用应用

软件企业随着业务的积累与规模的增加,其所积累的领域知识与开发过程材料也变得愈加丰富。这些知识对于企业的发展有重要的意义,但由于内容庞大,难以转化为对当前工作的支持。为了解决这一问题,提出使用中文分词相关技术对企业知识自动提取关键词、摘要、技术要点等以此达到快速检索企业已有知识的目的,最大程度提高软件的可重用性,为软件整个开发过程控制与信息化管理提供支持。     

文本配图系统的设计与实现

目的 设计并开发文本配图系统,实现面向文本数据的在线自动配图。方法 基于图片和文本之间的描述关系构建“图片-标签”二分网络,然后基于“图片-标签”的二分网络,利用重启随机游走模型进行图片与标签之间的相关性计算。采用TextRank模型提取关键字,并将关键字构成的集合作为查询,将关键字视为标签。基于离线计算结果,在线整合标签与图片之间的相关性,得到文本与图片的相关性。依据相关性由大到小进行排序,并返回前k个最相关的图片。结果 实验结果表明,前5个返回结果的MAP值能够达到0.839,能够准确地返回用户期望的图片。结论 系统能够依据输入文本进行准确的图片匹配。     

基于文本挖掘的舆情分析与情感分析——以乐山师范学院新浪官方微博评论为例

随着信息化时代的到来,新浪微博变为超大型的社交平台,引导着网络舆论的发展方向.如何从评论中获取有效信息和情感取向,以及掌握舆论的变化规律成为一个急需解决的问题.利用Python爬虫技术对乐山师范学院新浪官方微博评论进行爬取,并对文本数据进行处理,利用文本分析法和情感分析法,对语料进行分词,借助词频统计、稀疏矩阵、聚类分...     

基于极限学习机的自动化图书信息分类技术

针对数字图书馆领域中的中文图书书目自动化分类问题,提出一种基于极限学习机的自动化图书信息分类方法。首先使用基于统计的分词方法对图书信息进行预处理形成特征项集合,并采用信息增益(IG)实现特征选择,从而减少特征项的数量;然后通过基于TF-IDF特征权重的向量空间模型进行文本表示;最后采用机器学习算法中的极限学习机对图书语料进行学习和测试。实验结果表明,相比朴素贝叶斯分类、K最近邻策略分类和支持向量机分类,基于极限学习机的分类方法可以有效实现图书自动分类过程,并具有较高的准确率和分类效果。     

融合生成对抗网络和朴素贝叶斯皮肤病诊断方法

不同皮肤病间发病率的差异导致了皮肤病数据类不平衡现象,对使用机器学习方法构建高效、准确的皮肤病诊断模型带来了巨大挑战。提出一种融合生成对抗网络(generative adversarial networks,GAN)和朴素贝叶斯的皮肤病二分类诊断方法:在皮肤病数据集上训练朴素贝叶斯二分类器作为诊断器,创新性地使用GAN为前者生成补充训练样本,使其训练集正负类样本达到平衡。针对皮肤病诊断多分类问题,提出一种融合生成对抗网络和朴素贝叶斯的多分类诊断方法:使用GAN和朴素贝叶斯训练皮肤病单病种二分类器,并结合了词频-逆文档频率算法(term frequency-inverse document frequency,TF-IDF),将多个二分类器组合成一个多分类器作为诊断器。与六种诊断方法进行了对比实验,提出的两种皮肤病诊断方法准确率和召回率均有提升。     

基于重叠度与完整度的LDA主题优选方法

以LDA为基础的许多主题模型能够从一定数量的文本中推断出主题个数及主题描述，其存在的问题是主题个数难于确定，也难于决定描述每个主题的特征词汇。针对这个问题，结合LDA与TF-IDF量化的效果，同时考虑对原文本集的涵盖程度以及主题间的独立性，提出了一种Overlap-Completeness得分法的主题区分度优选方法。该方法在LDA建模的基础上，利用TF-IDF获取主题最具代表性的词汇，定义主题词汇间的重叠度、表达的完整度，给出了主题优选的评价方法。最终不仅能得到最佳主题数目，而且还能得到每个主题的最合适的描述词汇。在信息安全新闻文本集上进行了实验研究，结果表明该方法与基本的LDA模型相比，更能选择出有区分度的主题和有代表性的词汇。     

基于社会化网络的长期搭乘共享个性化推荐方法

在汽车、住宿等服务行业中,与共享服务配套的个性化推荐方法的研究不足,降低了用户体检。以搭乘共享问题为例,考虑位置、社交、费用三方面因素,提出URLP(Users Recommendation Based on LBSNs and Payment)方法为用户推荐长期合作对象。该方法首先基于用户行为矩阵计算车主与乘客的位置相似度,其次通过历史交易数据学习建立基于位置的社交信任网络,然后根据近期交易记录拟合用户的车费偏好函数,最后综合三类因素的影响自适应地产生推荐列表。实验结果表明URLP方法具有良好的准确率。虽然URLP方法以汽车共享为例提出,但方法同样可被应用于众包快递和配送等领域。     

基于TF-IDF改进算法和喜好度的视频用户分类

根据用户观看的视频时长与视频的实际时长信息来计算用户对该视频的喜好度,在spark内存计算框架下,以喜好度作为特征项,使用朴素贝叶斯,TF-IDF和改进了的TFC-IDFC分类算法,对视频用户属性进行分析,建立用户年龄区间的分类模型。此分类模型适合视频网站运营商将信息准确的推荐给用户,同时可提高信息的利用率。考虑到传统的TF-IDF算法没有体现特征项在类内和类间的分布特点,提出了改进的TFC-IDFC算法,通过正确率和F1值两个指标对以上三种分类算法的评价,证明了加权的分类算法比不加权的算法分类效果更好,改进的TFC-IDFC算法比传统的TF-IDF算法效果更优。