基于集群的增量分布式RSOM聚类方法

对于海量和高维的大规模数据聚类问题,其数据个数以及模式种类通常处于一个动态增加的过程之中,为此进行增量、并行算法的设计,以提供更好的计算能力是十分必要的.注意到人脑增量学习的本质和RSOM(Recursive Self-Organizing Map)的层次化、分布式结构特点,本文研究了基于高性能集群并行计算环境的增量、分布式RSOM并行算法,并以视频图像特征集实例证实了算法的可行性.     

基于事例推理的中文垃圾邮件过滤

分析现有垃圾邮件过滤分类算法的不足,根据垃圾邮件的概念漂移特性,提出了一种基于CBR的垃圾邮件过滤算法.针对中文垃圾邮件特点提取特征,设计基于CRN网络的实例检索算法,该算法增加了预计算阶段,从而提高检索速度.实验结果表明,与传统贝叶斯算法相比,该算法对于动态变化的中文垃圾邮件数据集有更好的过滤效果.     

一种提高检测率的免疫优化模型

文章建立了一种基于免疫原理的提高检测率的优化模型.通过提出匹配强度概念,给出了检测子之间的重叠和检测集与自我集的重叠的计算方法.进一步用最小化检测子之间的重叠代替最大化检测集的覆盖,用检测集与自我集的重叠代替自身耐受约束,建立了计算检测集分布的优化模型,避免了在检测集的覆盖计算中使用并集公式和蒙特卡罗方法.选择经典的Iris数据集进行实验,结果表明,基于免疫优化模型的二进选择算法产生的检测集的覆盖大于线性算法和贪婪算法产生的检测集的覆盖,提高了入侵检测等异常检测的检测率.     

基于子集的Apriori算法在MapReduce下的研究

文中在频繁项目集挖掘研究的基础上,针对Hadoop分布式计算框架,提出了一种基于子集的Apriori并行改进算法Sub Apr。该算法扫描数据库两次,将分块数据分配给不同的Hadoop计算节点进行处理,利用Apriori特性并结合MapReduce框架自身特点进行剪枝。该算法与同类算法比较,可以减少各个计算节点的存储数据,达到减少候选项集输出,有效减少了大数据集挖掘过程中产生的大量数据通信,从而提高并行挖掘的效率。实验结果表明,该算法是有效且可行的。     

基于深度强化学习的云边协同计算迁移研究

基于单一边缘节点计算、存储资源的有限性及大数据场景对高效计算服务的需求,本文提出了一种基于深度强化学习的云边协同计算迁移机制.具体地,基于计算资源、带宽和迁移决策的综合性考量,构建了一个最小化所有用户任务执行延迟与能耗权重和的优化问题.基于该优化问题提出了一个异步云边协同的深度强化学习算法,该算法充分利用了云边双方的计算能力,可有效满足大数据场景对高效计算服务的需求;同时,面向边缘云中边缘节点所处环境的多样及动态变化性,该算法能自适应地调整迁移策略以实现系统总成本的最小化.最后,大量的仿真结果表明本文所提出的算法具有收敛速度快、鲁棒性高等特点,并能够以最低的计算成本获得近似贪心算法的最优迁移决策.     

基于MapReduce的PageRank算法的研究

在对PageRank算法进行研究的基础上,利用MapReduce编程模型思想对PageRank算法进行改进,设计了在云平台Hadoop环境下运行的基于MapReduce的PageRank分布式并行算法,并在实验中对不同规模的Web图数据集进行了测试,分析不同的Blocksize参数对于算法计算性能的作用以及集群节点数目对于算法运行效率的影响.     

高错误率长序列基因组数据敏感序列识别并行算法

为解决现有算法难以有效识别高错误率长序列基因组数据中敏感序列的问题，提出一种CPU和GPU协同计算识别的并行算法CGPU-F3SR。该算法通过将基因组数据中的长序列分割为多条短序列，引入布隆过滤机制，以免对分割短序列重复计算；采用k-mer编码策略并行地提取所有短序列中的错误信息，并提出改进的序列相似度计算模型，以提高识别准确率；采取CPU和GPU协同并行加速短序列相似度计算，以提升识别效率；进而高效、准确地识别出高错误率长序列基因组数据中的2类敏感序列——短串联重复序列和疾病相关序列。在长度为100～400kbp的长序列基因组数据中敏感序列识别的实验结果表明，与其他同类并行算法相比，所提CPU/GPU并行算法CGPU-F3SR识别准确率和查准率分别平均提升7.77%和43.07%，假阳性率平均降低7.41%，识别吞吐量平均提高2.44倍。     

并行时域平面波在电大目标瞬态散射中的应用

基于电磁场时域积分方程数值技术计算复杂目标的瞬态散射特性,其计算量和内存需求大,应用经典的单元分组算法-时域平面波算法,降低了时域积分方程的计算规模.文中在研究时域平面波算法并行算法的基础上,开发了基于.NET Remoting 的电磁场分布式数值计算方案.数值结果表明,该分布式并行方案显著提高了时域平面波算法的计算效率,为解决电大目标瞬态电磁散射问题提供了一条有效途径.     

面向大图数据的并行图查询

针对传统图模式查询算法难以实现在大图数据上查询或查询时间太长问题,提出基于MapReduce的图查询并行算法PGPQ。该方法包括计算初始匹配节点集、初始不匹配父亲节点集和图模式查询三个部分。在图模式查询过程利用初始不匹配父亲节点集迭代初始匹配节点集中的节点,如果数据图匹配模式图,返回一个最大的匹配。实验结果表明,PGPQ算法查询能有效地进行大图模式查询。     

基于数据挖掘和特征选择的入侵检测模型

提出了一种基于SVM特征选择和C4.5数据挖掘算法的高效入侵检测模型.通过使用该模型对经过特征提取后的攻击数据的训练学习,可以有效地识别各种入侵,并提高检测速度.在经典的KDD 1999入侵检测数据集上的测试说明：该数据挖掘模型能够高效地对攻击模式进行训练学习,能够采用选择的特征正确有效地检测网络攻击.     

概念的属性约简及异构数据概念漂移探测

粗糙集是粒计算的一种重要方法,数据异构性是大数据的一种特征.针对异构数据问题,探索了粗糙集属性约简的本质,提出了概念属性约简的定义,它兼容值约简、Pawlak约简和并行约简.探究了概念属性约简的性质,提出了异构数据的属性约简方法和概念漂移探测方法.理论分析和示例表明了这些方法的有效性.为粗糙集、粒计算融入大数据的时代潮流提供了一种新方法.     

Rough decision rules extraction and reduction based on granular computing

Rule mining was an important research content of data mining,and it was also a hot research topic in the fields of decision support system,artificial intelligence,recommendation system,etc,where attribute reduction and minimal rule set extraction were the key links.Most importantly,the efficiency of extraction was determined by its application.The rough set model and granular computing theory were applied to the decision rule reduction.The decision table was granulated by granulation function,the grain of membership and the concept granular set construction algorithm gener-ated the initial concept granular set.Therefore,attribute reduction could be realized by the distinguish operator of concept granule,and decision rules extraction could be achieved by visualization of concept granule lattice.Experimental result shows that the method is easier to be applied to computer programming and it is more efficient and practical than the existing methods.     

基于MapReduce技术的并行集成分类算法

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。     

基于云计算的数据流系综分类算法研究

综合分析了数据流分类算法以及云计算的基本理论,提出了基于Hadoop框架的数据流系综分类算法,算法采用MapReduce并行编程模型对传统基于动态权重系综模型进行改进,以提升算法的分类效率.分析结果表明,该算法在处理快速海量到达的数据流时,其执行效率远高于传统系综算法.     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

Adapting the User Context in Realtime: Tailoring Online Machine Learning Algorithms to Ambient Computing

Ambient systems weave computing and communication aspects into everyday life. To provide self-adaptive services, it is necessary to acquire context information using sensors and to leverage the collected information for reasoning and classification of situations. To enable self-learning systems, we propose to depart from static rule-based decisions and first-order logic to define situations from basic context, but to build on machine-learning techniques. However, existing learning algorithms show substantial weaknesses if applied in highly dynamic environments, where we expect accurate decisions in realtime while the user is in-the-loop to give feedback to the system’s recommendations. To address ambient and pervasive computing environments, we propose the FLORA—multiple classification (FLORA-MC) online learning algorithm. In particular, we enhance the FLORA algorithm to allow for (1) multiple classification and (2) numerical input values, while improving its concept drift handling capabilities; thus, making it an excellent choice for use in the area of ambient computing. The multiple classification allows context-aware systems to differentiate between multiple categories instead of taking binary decisions. Support for numerical input values enables the processing of arbitrary sensor inputs beyond nominal data. To provide the capability of concept drift handling, we propose the use of an advanced window adjustment heuristic, which allows FLORA-MC to continuously adapt to the user’s behavior, even if her/his preferences change abruptly over time. In combination with the inherent characteristics of online learning algorithms, our scheme is very well suited for realtime application in the area of ambient and pervasive computing. We describe the design and implementation of FLORA-MC and evaluate its performance vs. state-of-the-art learning algorithms. We are able to show the superior performance of our algorithm with respect to reaction time and concept drift handling, while maintaining an excellent accuracy. Our implementation is available to the research community as a WEKA module.     

基于量子布谷鸟搜索的认知无线网络频谱分配

为了有效解决认知无线网络频谱分配的离散优化问题,将量子计算引入布谷鸟搜索算法,提出了一种新的组合优化算法——量子布谷鸟搜索算法。该算法使用量子鸟窝表征问题的多维解,通过Lévy flights随机游动方式和量子突变策略快速搜索到全局最优位置。通过使用基准函数验证了算法的高效性,并提出了一种基于量子布谷鸟搜索的认知无线网络频谱分配方法。然后与经典频谱分配算法在不同的网络效益函数下进行仿真性能比较。结果表明,所提出的频谱分配方法能够较快找到全局最优解,并且在不同网络效益函数下均优于已有的经典频谱分配算法。     

基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

Performance analysis and testing of personal influence algorithm in online social networks

Social influence is the key factor to drive information propagation in online social networks and can be modeled and analyzed with social networking data.As a kind of classical personal influence algorithm,two parallel implementation versions of a PageRank based method were introduced.Furthermore,extensive experiments were conducted on a large-scale real dataset to test the performance of these parallel methods in a distributed environment.The results demonstrate that the computational efficiency of the personal influence algorithm can be improved significantly in massive data sets by virtue of existing big data processing framework,and provide an empirical reference for the future research and optimization of the algorithm as well.