基于Mapreduce协同理论的煤炭营销数据分析技术的研究与实现

随着互联网电子商务的高速发展,推荐系统在电子商务领域得到了广泛的应用。煤炭产业也开始引进了电子销售系统。在煤炭系统中,推荐系统利用消费者对消费商品的排名打分,分析相似性并进一步预测消费者可能感兴趣的商品。协同过滤算法被普遍应用在推荐系统中。但是,煤炭销售数据规模逐渐增大,传统的协同过滤算法不能有效地处理海量规模煤炭数据,推荐效率很低。本文针对大规模煤炭销售数据,提出了基于Mapreduce的分布式协同过滤算法,该算法有效地完成推荐系统的预测及推荐工作。通过大量的实验结果也进一步表明本文提出的算法与传统算法相比,具有很高的效率,并且扩展性良好。     

云计算平台下分布式支持向量机在煤炭行业分类预测应用

支持向量机(SVM)普遍应用在机器学习领域的学习算法,广泛用于分类学习。支持向量机也应用在很多实际应用领域中。该算法也广泛地应用在煤炭系统的分类预测工作中。随着数字时代的发展,煤炭系统的数据规模也呈现大规模增长趋势。针对海量规模数据,传统的支持向量机模型不能有效地完成煤炭系统中数据的分类、回归等工作。文章针对大规模数据处理困难的问题,提出了分布式支持向量机模型。该模型针对现有流行的云计算平台,在该平台下构建基于Hadoop分布式计算框架的分布式模型,该分布式支持向量机模型能够高效、快速地完成真实数据的分类或回归任务,具有很高的效率。文中的实验部分通过大量的实验数据进一步证明了文章提出算法的可行性。     

云平台下的基于项目的KNN协同过滤算法在煤炭系统中的研究与应用

随着互联网技术的发展,往往希望通过分析消费者已有的历史数据,推荐消费者可能感兴趣的产品,并进一步取得更好的销售记录。煤炭系统中希望通过分析用户的消费记录,从而推荐给用户潜在的煤炭产品,提高煤炭的销售量。基于用户协同过滤算法被广泛地应用在煤炭推荐系统中,基于项目的 KNN协同过滤算法是通过分析产品之间的相似性完成聚类并推荐。传统的基于项目的 KNN协同过滤算法对现有的海量规模的煤炭系统中的销售记录数据不能高效、快速地完成推荐工作。文章基于海量规模数据,提出了基于MapReduce的分布式、基于项目的KNN协同过滤算法。通过实验结果表明,文中提出的算法具有很高的加速比,并且,具有很好的可扩展性。     

基于Mapreduce的权重集成算法在煤炭行业数据处理中的应用

集成算法通过将多个分类器集成起来,能够有效地提高分类算法的预测精度。集成算法在煤炭开采、预测中也得到了广泛地应用。基于权重的集成算法是通过赋予不同分类器权重,进一步改进了集成算法的性能。但是,由于集成算法需要对多个分类器构建模型,随着数据规模的增大,传统的集成算法不能快速、有效地完成集成学习工作。本文针对煤炭领域中的大规模数据,提出了基于MapReduce分布式框架的分布式权重集成算法,该算法分布式完成集成的及预测工作。通过大量的实验结果进一步证明了本文提出的算法具有很高的效率以及很好的可扩展性。     

社交网络的分布式协同过滤算法在煤炭产业的应用

随着电子商务的高速发展,推荐系统成为煤炭产业网站的核心技术之一。协同过滤算法是推荐系统中的主要方法。由于社交网络的发展,用户之间往往通过推荐喜欢的商品给熟悉用户,这种基于社交网络的协同过滤算法往往能够更加准确的完成网站的推荐工作。但是,随着煤炭销售数据规模的增大,传统的基于社交网络的协同过滤算法不能有效地完成推荐工作。针对煤炭数据规模大、分析复杂问题,提出了基于云平台的分布式社交网络协同过滤算法,该算法分布式完成系统推荐工作,具有很高的效率。     

基于海量高维煤炭数据的分布式贝叶斯算法的研究与应用

随着信息技术的快速发展,在煤炭产业中也挖掘出了大量的煤炭数据。煤炭产业管理者希望能够应用现有的煤炭数据进行分析预测,但是海量煤炭数据的处理分析是一地大难点。文章针对煤炭数据的分类问题,提出了基于MapReduce分布式计算框架的贝叶斯分类算法,该算法分布式地完成分类问题,能够更加快速、有效地处理大规模的数据。通过文中的实验结果也进一步说明文中提出的分布式贝叶斯分类算法有很高的效率,与传统算法相比有明显的加速比,并且,该算法也具有很好的可扩展性。     

露天煤矿卡车路段行程时间的实时动态预测新方法

针对露天煤矿卡车优化调度中重要的行程时间预测问题,考虑影响卡车行程时间的各种因素,建立卡车行程时间预测模型,利用最小二乘支持向量回归算法(LS-SVR)和选择性集成学习思想,提出一种基于最小二乘支持向量回归的选择性集成学习算法实现卡车行程时间的动态预测。并在实际采集的露天煤矿数据上进行实验,得到较高的预测精度,说明了算法的有效性。     

基于云平台的层次聚类算法在煤炭产业中的应用

层次聚类(Hierarchical Clustering)就是通过对数据集按照某种方法进行层次分解。该聚类方法可以设定聚类的个数,并得到了各个研究和应用领域的广泛应用。煤炭产业中往往希望对煤炭的产品进行聚类分析,从而有助于开发和生产。随着煤炭系统中收集的煤炭数据数量的增多,层次聚类算法由于需要计算大量的相似性矩阵需要大量的内存,原有的层次聚类算法不能有效地处理海量规模数据。文章针对煤炭数据中生成的大规模数据,提出基于云计算平台的分布式层次聚类算法,该算法能够分布式完成相似性矩阵的保存和计算,快速、准确地完成层次聚类工作。在实验部分通过2组实验证明了算法具有很高的效率以及很高的可扩展性。     

基于特征选择的KNN算法在煤炭勘查工作中的应用

KNN也称作K最邻近结点算法(k-Nearest Neighbor algorithm)的缩写形式,是分类预测的经典算法之一。在煤炭勘探过程中,往往希望将新勘探出来的煤炭产品分类预测,并采取对应类别的煤炭处理和保存措施。文中,将采用基于特征选择的KNN分类算法应用到煤炭勘探分类预测工作中,该方法首先选择煤炭分类中有价值的特征属性,并使用KNN算法完成分类工作.该算法可以有效地提高煤炭分类预测工作的效率,并且有助于煤炭后续的保存和精加工措施。     

基于云平台的矩阵分解协同过滤算法在煤炭销售系统中的研究

协同过滤技术被广泛地应用在推荐系统中。随着电子商务的快速发展,煤炭产业也引进了电子销售系统。近年来,矩阵分解的协同过滤算法得到了煤炭销售系统的广泛应用。但是,随着互联网的快速发展,煤炭电子销售记录呈现指数级增长,传统的基于矩阵分解的协同聚类算法不能有效、快速地完成销售系统的推荐工作。文章针对大规模煤炭数据推荐工作,提出了分布式矩阵分解协同过滤算法,该算法基于云计算平台,能够分布式、高效地完成推荐系统的推荐工作。通过实验结果进一步展示了本算法与传统协同过滤算法相比,具有很高的加速比以及很好的可扩展性。