并行视频服务器体系结构研究

分析了目前流行的并行视频服务器体系结构：分布式结构、集群式结构、并行通用计算机结构和并行专用视频服务器结构。综合其优点,针对视频应用的特点,提出了可扩展并行视频服务器体系结构,并研制了基于该结构的并行服务系统。     

异构磁盘阵列RAID5结构数据布局研究

由于应用需求的快速发展以及网络存储系统的出现,因此异构磁盘阵列的变得越来越常见。RAID5由于较高的性能和可靠性以及较低的代价,是应用最为广泛的RAID结构。目前对异构磁盘阵列RAID5结构的研究,重点主要放在充分利磁盘存储空间以及对性能的定性研究。论文提出了一种异构磁盘阵列RAID5结构数据布局优化方法,该方法充分考虑异构磁盘的相对容量和性能,以及校验单元的散布对RAID5小数据写性能的影响,可以生成负载均匀分布或接近均匀分布的布局。仿真实验结果表明,对于多用户小数据访问模式,优化布局的性能明显优于简单RAID5布局,且具有更高的伸缩性。     

嵌入式视频解码器运动补偿的数据布局优化

针对数字信号处理器的片上存取结构特点,提出了一个优化视频解码运动补偿过程数据布局的方案。在片上便签式存储器(SPM)中设置一个乒乓缓冲存储区用于保存运动补偿所需的数据。在对当前宏块进行运动补偿的同时,预取后续运动补偿所需的数据替换其中不再使用的数据;同时,通过数据索引算法获得运动补偿所需的数据的地址,从而实现数据处理与数据存取的并行流水优化。基于TMS320DM642处理器的实验结果表明,优化后MPEG-4视频解码器的解码速度平均提高了6.7%,整个解码过程中DM642的片上二级缓存的能耗平均降低了18.5%。由此可见,对运动补偿过程进行数据布局优化确实可以提高解码性能并降低能耗。     

容许两个盘故障的磁盘阵列数据布局与图分解的条件和存在性研究

从一个新的途径讨论容许两个盘故障的磁盘阵列数据布局：把由数据单元和通过“异或”运算得到的校验单元组成的校验组用一个图表示，把校验组容许两个盘故障的阵列布局归结为校验组的单元集合的划分，进而转化为校验组的图的顶点和边组成集合的满足一定条件的分解．证明了校验组容许两个盘故障的单元集合划分的充分必要条件及存在性；讨论了优化阵列布局方案性能的条件；给出了阵列布局的步骤．从而为设计具有最优性能的容许两个盘故障的磁盘阵列数据布局方案提供了有效的途径．     

对基于MCIM的并行系统结构的进一步分析

本文将对这一联结构的通信性能，应用方式等作进一步的分析讨论。     

提高磁盘阵列小写性能的方法研究

磁盘阵列技术对于小写请求不能很好地发挥其优越性。在分析小写问题的成因后，研究了提高磁盘阵列小写性能的几种典型方法，并在此基础上提出了一种针对小写问题的新型体系结构。     

分布式并行视频服务器设计技术

传统的ＶＯＤ系统在多使用单服务器结构,由于其系统结构的原因,在扩展性和容错性等方面受到一定限制,因此人们提出了分布式并行视频服务器（ＤＰＶＳ）结构。这种结构的关键是将视频数据按带状（ｓｔｒｉｐｉｎｇ）分布在多个服务器上。从而实现服务能力扩展和服务器级容错。本文对设计ＤＰＶＳ的一些关键技术进行讨论,包括服务器分带策略、视频分布结构、传输协议、磁盘调度和回取控制、缓存控制、允许控制和资源分配。     

并行视频服务器中的DLB策略

介绍了VoD服务的研究现状，对并行视频服务器作了分析，在此基础上提出了循环分配策略(CA)、负载最少优先策略(LLF)和排名最优策略(SBF)等3种动态负载平衡策略，并给出了SBF策略的算法及软件测试试验。     

并行视频服务器调度算法研究

从服务器缓冲要求，客户端缓冲要求，系统响应时间三个方面着重分析比较了在服务器推动模型基础上建立的两种调度算法，并发推动调度算法和改进的并发推动调度算法，为我们进行相关的系统设计提供了理论依据．     

基于流媒体的网络磁盘阵列中的并行流水策略研究

针对流媒体数据 ,结合网络磁盘阵列的工作特点 ,提出了一种并行流水生产者消费者模型 .该模型采用并行技术 ,通过截断 SCSI命令的 I/ O周期来流水重叠系统中多个数据请求的磁盘 I/ O操作和 CPU计算 ,最大限度地提高了系统的并行性 .测试结果表明 ,采用该模型的网络磁盘阵列系统性能得到了很大的提高     

并行视频服务器磁盘Cache策略研究

文章分析了并行VOD系统的系统结构,对并行视频服务器中的磁盘Cache技术进行了深入的探讨,提出了一种磁盘Cache替换算法PLFU(PeriodLeastFrequentlyUsed),并成功地应用在笔者开发的并行视频服务器中。     

磁盘阵列技术及其发展趋势

本文详细介绍了磁盘阵列技术的产生及其发展，重点介绍了目前较为流行的廉价磁盘冗余阵列ＲＡＩＤ技术，通过对磁盘阵列技术的介绍，探讨了今后一些有发展前途的新型存储技术。     

基于关系的并行数据仓库的数据划分和操作

目前并行数据库的研究已经进入了实际应用阶段,而数据仓库的大数据量处理更需要并行处理能力的支持。针对数据仓库的特点,提出了一种可操作的并行化数据划分方法和物理存储方案,同时对基于该种数据存储的数据操作做了详细的讨论,并对各种Join操作的具体处理方法进行了归类论述。     

Core – An Optimal Data Placement Strategy in Hadoop for Data Intentitive Applications Based on Cohesion Relation

The tremendous growth of data being generated today is making storage and computing a mammoth task. With its distributed processing capability Hadoop gives an efficient solution for such large data. Hadoop’s default data placement strategy places the data blocks randomly across the nodes without considering the execution parameters resulting in several lacunas such as increased execution time, query latency etc., Also, most of the data required for a task execution may not be locally available which creates data-locality problem. Hence we propose an innovative data placement strategy based on dependency of data blocks across the nodes. Our strategy dynamically analyses the history log and establishes relationship between various tasks and blocks required for each task through Block Dependency Graph (BDG). Then Our CORE-Algorithm re-organizes the HDFS layout by redistributing the data blocks to give an optimal data placement, resulting in improved performance for Big Data sets in distributed environment. This strategy is tested in 20-node cluster with different real-world MR applications. The results conclude that proposed strategy reduces the query execution time by 23%, improves the data locality by 50.7%, compared to default.     

磁盘阵列控制器的设计

采用磁盘阵列技术是解决计算机CPU和I／O子系统之间速度不匹配的有效方法。本文详细地介绍了磁盘阵列的主要部分智能控制器的设计。     

基于Intel Sandy-Bridge平台的视频SAN磁盘阵列的设计

简单介绍了视频网络存储服务器的基本要求和Intel Sandy-Bridge平台的特点,重点阐述了基于Intel Sandy-Bridge平台设计视频网络服务器时,在时钟、PCI-Express端口分配、IME平台设计、电源设计的注意事项.IME平台设计注意到电源状态的分配和Flash中ME FW对于BIOS引导的重要性,电源设计注意到系统上电顺序和电源状态的SVID通信.该系统支持监控视频本地5屏轮巡,很好地满足了企业网络存储服务和显示的需求.     

基于平行坐标法的可视数据挖掘

数据挖掘和数据可视化技术的结合形成可视数据挖掘。通过可视化技术的运用,数据挖掘可以增加其数据的针对性和结果的可信度。平行坐标法是数据可视化的代表方法之一,该文在平行坐标法的基础上,探讨了在其中实现可视化数据挖掘的基本方法,是进一步开发可视数据挖掘系统的初步研究。     

基于混合云的安全数据存储架构

云计算技术为数据存储与计算提供了一个非常有效的方法,当前研究工作的重点集中在云中的数据安全。基于混合云,提出一个安全数据存储架构,将数据存储过程划分为两部分。数据的机密性、完整性和可追踪性的相关操作在私有云中实现,公共云实现数据的存储与查询。该架构在保障云端数据安全存储的同时,降低企业在保证云数据安全存储方面的成本。     

基于HDFS的海量视频数据重分布算法

基于视频数据的分布式计算与基于文本类型数据的分布式计算存在很大的差异。视频数据本身是非结构化的,并且对于同样大小的视频,若其内容不同会导致任务执行消耗的时间也不同。对于简单的结构化数据,HDFS默认的负载均衡器能够解决负载均衡的问题。但是视频文件存在热点访问以及复杂度不一致的问题。使用HDFS默认的数据分布机制不能很好地解决计算负载均衡问题。因此提出了一种基于HDFS的海量视频数据重分布算法。首先对视频文件的访问次数以及历史视频分析对视频文件的访问时间进行记录;然后对数据进行量化之后将其加权作为该视频文件的负载度;最后使用文件置换手段将负载高的视频与低的视频进行置换,直到每个节点的负载达到均衡为止。实验结果表明,使用提出的数据重分布算法可以减少海量视频数据的处理时间。