An immune inspired co-evolutionary affinity network for prefetching of distributed object

In distributed object computing (DOC) containers, cache strategy as a passive approach improves the performance by caching the recently accessed objects. By the advent of large-scale enterprise applications of DOC, caching methods fail to keep pace with the increasing importance of performance and the increasing scale of DOC system. Prefetching is an effective approach to improve the performance. It generates and stores pages or objects in caches in advance, by predicting the requests. In the current DOC container, prefetching strategy is not supported and seldom studied in the literature. The immune system with faster secondary response and its affinity network inspire applying the immune mechanisms to build holistic model of DOC for performance improvement. In this study, a co-evolutionary affinity network (CEA-Net) is proposed for prefetching distributed objects. In CEA-Net, objects are antibodies and computation tasks are antigens. Invocation relations among object classes are modeled by the immune network of antibody genotypes. Multiple affinity measures among antibody, antigen, genotypes of antibody and antigen, genotype set and antibody population are defined to model the complex relations among distributed objects. Especially in the antibody population, immune principles including clonal proliferation, immune memory, immune toleration and elimination are designed to add evolutionary features to the antibody population. Based on CEA-Net, the prefetching architecture for DOC is built including 5 main procedures, Network Abstractor, Access Recorder, Object Factory, Cache Engine and Prefetch Engine. Finally, the experimental study shows the promising access performance and the evolutionary features of CEA-Net. CEA-Net is instructive for the future design of high performance DOC containers, such as WebSphere Application Server and BEA WebLogic Application Server.     

基于主题聚焦模型的PageRank改进算法

通过研究传统的超链接分析算法PageRank及其改进算法TSPR(topic-sensitive PageRank)和MP-PageRank的不足,提出了一种新的改进方法,基于主题聚焦模型的PageRank算法.这种算法研究用户查询行为,建立主题聚焦模型,较好地解决了PageRank主题漂移问题以及其他改进算法依赖查询上下文的缺点.更加准确地反映出页面的重要性,提供更高质量的查询结果集.     

一种Spark环境下的高效率大规模图数据处理机制

本文针对现有的图处理和图管理框架存在的效率低下以及数据存储结构等问题,提出了一种适合于大规模图数据处理机制。首先分析了目前的一些图处理模型以及图存储框架的优势与存在的不足。其次,通过对分布式计算的特性分析采取适合大规模图的分割算法、数据抽取的优化以及缓存、计算层与持久层结合机制三方面来设计本文的图数据处理框架。最后通过PageRank和SSSP算法来设计实验与MapReduce框架和采用HDFS作持久层的Spark框架做性能对比。实验证明本文提出的框架要比MapReduce框架快90倍,比采用HDFS作持久层的Spark框架快2倍,能够满足高效率图数据处理的应用前景。     

基于PageRank的社交网络影响最大化传播模型与算法研究

社交网络中影响最大化问题是指找出最具有影响力的k个节点,使得最终社交网络中被影响的节点最多,信息传播范围最大。针对影响最大化问题,目前已存在一些基本传播模型,但是这些模型没有考虑网络中节点的相关性和重要性,而网络中节点的相关性和重要性是衡量其影响力的一个重要指标,因此,提出了一种基于网页排名算法的信息传播模型(PageRank-based Propagation Model,PRP),然后利用贪心算法来近似求解影响最大化问题。实验结果表明,基于PageRank的传播模型解决影响最大化问题的效果比传统的线性阈值模型、加权级联模型和独立级联模型的效果更好,影响力范围更大。     

PageRank算法研究综述

网页排序是搜索引擎的关键技术之一。介绍了著名的PageRank算法,针对其存在主题漂移、偏重旧网页等不足,分析了各种改进算法的基本思想和技术特点,希望为以后的研究工作提供基础性支持。     

主题搜索引擎中网络蜘蛛搜索策略的研究

主题网络蜘蛛的搜索策略是主题搜索引擎的核心部分,是近年来主题搜索引擎研究中的热点问题之一。深入研究了主题网络蜘蛛的关键技术,阐述了多线程网络蜘蛛的实现过程,并对传统的VSM算法和PageRank算法进行了改进,提高了主题网络蜘蛛采集信息的有效性和准确性。     

基于Nutch的页面排序算法研究

针对某一主题或学科的垂直搜索引擎是搜索引擎的延伸和细分,面向特定用户提供垂直搜索。网页排序算法是搜索引擎好坏的关键,搜索引擎网页排序算法的目的是从海量搜索结果中将主题相关和权威的网页排在前列,帮助用户查找所需的资源。 Nutch搜索引擎只实现了一个基本的综合排序模型,为了使Nutch更好地满足专业用户的需求,该文设计一个综合考虑主题相关性和网页权威性的综合排序模型,将主题相关度因子和改进后的PageRank算法因子融入到Nutch网页评分计算公式中。实验表明,改进的排序算法可以提高信息的查准率,具有明显的主题倾向性,在实际应用中发挥作用。     

一种改进的PageRank 算法

研究了现有的基于链接结构的PageRank算法。结合网页链接分析和网页内容相关性分析提出了一种改进的PageRank算法,从分析网页内容相关性的角度解决相关性需求,从网页链接分析的角度解决权威性需求,并且实验证明,改进的PageRank算法优于传统的PageRank算法的排序结果。     

语义网络结构下的词义消歧

提出了一种基于语义网络结构的词义消歧方法。将文本片段中出现词的所有词义都看作节点，将两个词的任意两个词义之间的语义关系看作弧，将语义关系的紧密程度看作弧的权重，从而构成一个无向赋权网络；将Google的网页分级（PageRank）算法应用到无向赋权图中，评价网络中节点的重要性，并结合共指词义和词义的常用程度，对文本中出现的名词进行消歧。实验证明了该方法对文本进行词义消歧是有效的。     

Google核心——PageRank算法探讨

搜索引擎技术的发展是随着电子技术不断进步而形成的信息数字化和数据网络化的必然产物。一个出色的搜索引擎能够及时向用户提供所需要的信息,而要做到这点就需要一个快速、优质、高效的搜索算法予以支持。Google搜索引擎依靠其PageRank机制及收敛算法一直处于该领域的领先地位。文中介绍了这个搜索引擎的核心:PageRank算法。PageRank算法通过计算网页的重要性值———PageRank值来确定网页排序的优先级,而网页的PageRank值则是通过累加指向该网页的其他网页的PageRank值得到的。因此Google的搜索结果是高效的、客观正确的。