分布式系统Hadoop 平台的视频转码

在研究了目前主流的视频转码方案基础上,提出了一种分布式转码系统。系统采用HDFS（Hadoop Distributed File System）进行视频存储,利用MapReduce思想和FFMPEG进行分布式转码。详细讨论了视频分布式存储时的分段策略,以及分段大小对存取时间的影响。同时,定义了视频存储和转换的元数据格式。提出了基于MapReduce编程框架的分布式转码方案,即Mapper端进行转码和Reducer端进行视频合并。实验数据显示了转码时间随视频分段大小和转码机器数量不同而变化的趋势。结果表明,相比单机转码,提出的系统在采用8台机器并行转码时,可以节约80％左右的时间。     

内容管理系统存储层的设计与实现

为有效达到内容管理系统在海量数据的存储,以及在高并发请求下仍能快速响应用户的请求的目的,在研究了传统存储管理方式和分析了在系统中使用关系数据库将会遇到的问题后,采用开源软件Hadoop作为底层分布式存储基础,设计和实现了此时的内容管理系统的存储层,以满足系统快速读取内容的需求。介绍了系统的内容组织管理模型,针对系统快速读写内容的需求,对读写机制进行了改进、优化和封装,并通过实验测试来验证正确性和可行性。     

基于Heritrix的增量式爬虫设计与实现

Heritrix是一个开源的、可扩展的Web爬虫,页面下载功能强大,但Heritrix被定义为一个通用网络爬虫,其在增量爬取方面功能有限。针对目前使用较为广泛的两个Heritrix版本,首先讨论Heritrix 1.14.4增量功能模块的不足之处,然后基于Heritrix 3.x,详细阐述一套新的增量功能框架的设计方案,这个框架既能有效利用Heritrix 3.x的页面下载功能,又能高效地对数据进行增量抓取。     

移动智能网独立智能外设的设计与实现

提出了独立智能外设的设计方案 ,列举了主要的信令流程 ,包括独立智能外设内部实体间的消息交互 . 指出了下一代 IP的研究方向.     

自适应聚类片选内容分发模型

设计了一种内容分发网络中基于聚类算法和片选策略的内容分发模型,以达到适应不同内容类型和提高分发效率的目的,这种模型克服了传统内容分发模型在内容支持上的局限性,可根据模型内参数的自动调整适应不同类型(块式或者流式)内容的分发,并且提高分发的效率;详细描述了这种模型的工作流程、内容传送方式、网络拓扑结构、聚类算法和片选策略等,阐述了其优越性。     

多线程Web应用中Web Worker池的管理方案与性能研究

提出一种Web Worker池动态管理方案,本方案使开发者无需在程序运行之前确定最优的Web Worker运行数量,而是使程序在运行时自动调整Web Worker数量,从而保证程序的最优性能.该方案解决了运行多线程Web应用时需要提前获知运行环境信息的缺点,同时也解决运行时环境不确定性带来的问题.     

基于Hadoop的Web日志预处理的设计与实现

Web日志预处理是Web日志挖掘的重要步骤,是通过Web日志获得准确信息的前提,直接影响后续的挖掘算法精确性.本文针对海量Web日志,提出并基于分布式计算平台Hadoop实现了一种改进的Web日志预处理方法.通过Hadoop平台与单机的性能对比,证明了Hadoop进行Web日志预处理的高效性.     

IaaS云资源池中VLAN划分及IP池管理

VLAN划分和IP池管理是IaaS云资源池对网络资源进行分配的重要环节,合理规划管理VLAN和IP地址对于提高网络安全性、稳定性、高效性有非常重要的意义。本文从工程实践角度,将传统的VLAN及IP地址分配方式与云计算资源池网络自动化的特点相结合,进行实际应用方面的设计,有着重要的实践意义。     

Protocol Buffer在Android企业云通讯录中的应用

本文介绍了在Android企业云通讯录中,应用Protocol Buffer进行数据更新的使用方法,并通过实验测试数据,对XML(extensible markup language)、JSON(JavaScript object notation)、Protocol Buffer进行时间和空间性能比较.     

彩铃业务与呼叫转移补充业务间的冲突解决

本文首先介绍了基于智能网方案下彩铃业务的信令流程和特征,然后按照呼叫转移补充业务的分类,结合彩铃业务的特点和性质,讨论了各类呼叫转移业务和彩铃业务之间存在的业务冲突,并给出了解决业务冲突的3种方案,最后再对3种方案进行了综合的比较和评价.