大数据系统和分析技术综述

首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作用;最后梳理了大数据处理和分析面临的数据复杂性、计算复杂性和系统复杂性挑战,并逐一提出了可能的应对之策.     

基于传播模拟的消息流行度预测

社交网络中的消息流行度预测问题对于信息推荐和病毒式营销等应用具有重要意义。该文提出了一种基于传播模拟的消息流行度预测方法,首先使用最大熵模型学习并预测用户转发消息的概率,然后使用独立级联传播模型在真实的社会网络上模拟消息的传播过程,从而完成消息流行度的预测。该方法的优点在于更充分的利用了社会网络的结构和用户特征信息。该文在Twitter数据集上的实验结果表明,相对于基准方法,该文提出的方法具有更高的准确率和稳定性。     

媒体舆论引导仿真

使用multi-Agent的建模思想,以现实为基础建立了一个舆论涌现的仿真模型.该模型主要由个体和媒体以及它们之间的规则组成.个体的属性包括了个体之间的信任度、个体观点的可信度和个体的从众性;媒体的属性包括媒体的影响范围和权威度.规则包括个体交互规则和个体与媒体的交互规则.通过仿真证明了模型是合理的,并且用该模型来仿真媒体对舆论演化的引导作用,从媒体的数量和报道频率2个方面研究媒体在舆论形成过程中的引导作用,结果发现积极媒体的数量越多对舆论的引导作用越强,媒体的报道频率增加会对舆论的形成产生积极效果,但是超过一定次数时对舆论的影响作用有限.最后通过对模拟结果的分析,提出了通过媒体来引导舆论的方式.     

基于概率交易模型的线下百货推荐

该文提出了一种新颖的概率交易模型PTM,针对线下百货进行个性化的推荐。传统的推荐模型,如K-近邻算法、矩阵分解等,或者仅利用局部的数据,使得模型面临线下数据极大的稀疏性挑战,或者忽略百货数据中的交易维度,使得模型损失了同一交易中多商品共现的强相关信息,最终导致它们在面对线下百货推荐问题时性能低下。针对以上的问题,本模型从交易的维度出发,建模交易记录中的共现模式,并利用全局的交易数据来学习商品的相关分量,在此基础上推断出用户的兴趣分布,实现个性化的推荐。在真实的线下百货交易数据上的实验结果表明,该模型能够极大地提高线下百货领域个性化推荐的准确性。
     

基于逐点互信息的查询结构分析

Web搜索引擎中,对用户查询结构的有效分析,能更好地理解用户的查询意图,促进检索效果的提升。该文提出了一种简单高效的基于逐点互信息的查询结构分析方法,该方法包含了基于MapReduce的离线训练算法,以及一种自下向上的在线查询树构建算法。实验显示,该方法具有很高的切分速度,并能取得不错的可比较的切分效果。进一步的,该方法对检索性能的提升,也有明显的促进作用,在MAP,p@5,p@10评价指标上,都取得了不错的性能提升。     

基于半监督话题模型的用户查询日志命名实体挖掘

基于用户查询日志的命名实体挖掘,目标是从用户查询日志中挖掘具有指定类别的命名实体。已有研究工作提出一种基于种子实体的挖掘方法,利用实体类别与候选实体之间的模板分布相似性来对候选实体进行排序。然而该挖掘方法忽略了命名实体具有歧义性、查询模板具有多义性和未标注实体信息,因而不能够有效的对候选实体进行排序。该文采用半监督话题模型,利用查询模板之间的关系来学习实体类别的模板分布,进而改善候选实体的排序效果。实验结果表明了该文提出方法的有效性。     

面向网络演化信息的动态文摘方法研究

随着互联网的发展和Web2.0的出现,网络信息内容的动态演化性越来越明显.该文从网络信息的时间演化性出发,给出了动态文摘的形式化定义.在分析当前信息与历史信息的演化关系的基础上,采用内容过滤的方法度量演化内容的差异性,从而得到三种动态文摘模型,并基于模糊隶属度给出了具体的动态文摘生成方法.在DUC2007测试数据上的实验,证明了文中所提出动态文摘模型及生成方法的有效性.     

基于shell命令和多重行为模式挖掘的用户伪装攻击检测

伪装攻击是指非授权用户通过伪装成合法用户来获得访问关键数据或更高层访问权限的行为.近年来,伪装攻击检测在保障网络信息安全中发挥着越来越大的作用.文中提出一种新的用户伪装攻击检测方法.同现有的典型检测方法相比,该方法在训练阶段改进了对用户行为模式的表示方式,通过合理选择用户行为特征并基于阶梯式的序列模式支持度来建立合法用户的正常行为轮廓,提高了用户行为描述的准确性和对不同类型用户的适应性;在充分考虑shell命令审计数据时序特征的基础上,针对伪装攻击行为复杂多变的特点,提出基于多重行为模式并行挖掘和多门限联合判决的检测模型,并通过交叉验证和等量迭代逼近方法确定最佳门限参数,克服了单一序列模式检测模型在性能稳定性和容错能力方面的不足,在不明显增加计算成本的条件下大幅度提高了检测准确度.文中提出的方法已应用于实际检测系统,并表现出良好的检测性能.     

一种短正文网页的正文自动化抽取方法

随着互联网的发展,网页形式日趋多变。短正文网页日益增多,传统的网页正文自动化抽取方式对短正文网页抽取效果较差。针对以上问题,该文提出一种单记录(新闻、博客等)、短正文网页的正文自动化抽取方法,在该方法中,首先利用短正文网页分类算法对网页进行分类,然后针对短正文网页,使用基于页面深度以及文本密度的正文抽取算法抽取正文。     

在线社会网络共演化的结构推断与预测

在线社会网络研究中,关系结构和交互结构的共演化机理是一个十分关键的核心问题,它反映了在线社会网络关系结构变化、行为模式演化及关系结构与交互结构演化的互影响情况,对于社会推荐、网络舆情预警和控制等都具有重要意义.大量交互信息的可见性和真实关系结构的不易见性,使得利用动态交互网络直接推断隐结构和预测未来结构成为当前研究热点,并成为揭示共演化机理的一种途径.从微观尺度对2种重要的社会网络：社会媒体和社交网络中的动态结构推断和预测的研究进展进行了综述.首先对在线社会网络共演化和结构推断及预测进行定义,并对其之间关系进行分析;然后对隐关系强度推断、类型推断、关系结构预测和交互行为预测的关键技术等进行综述和分析,最后对在线社会网络结构推断与预测研究的难点和发展趋势进行分析和展望.