一种混合局部恢复码及Hitchhiker码的存储策略

我们正处于一个大数据的时代.如今一个分布式存储系统需要存放PB数量级数据的情况越来越常见.这些系统一般由普通商用组件构成,其出错率相对较高.由此,分布式存储系统需要保证数据的可靠性和可用性.多副本和纠删码是现在最为常用的技术.相比多副本技术,采用纠删码能在同等容错能力下大幅降低存储开销.然而,在进行数据恢复时,使用传统的纠删码(如Reed-Solomon码)会导致系统中产生大量的网络带宽消耗及磁盘读写操作,进而导致退化读延迟过高.注意到在系统中数据的访问频率呈Zipf分布,大多数数据访问只涉及到少量数据,而绝大多数数据的被访频率很低.根据这种数据访问的偏斜性,本文提出如下存储策略以解决采用纠删码的系统退化读延迟过高的问题:对被访频率高的热数据采用低恢复延迟的纠删码(如局部恢复码Local Reconstruction Code,LRC)进行编码,而对被访频率低的冷数据采用保证最小存储开销的纠删码(如Hitchhiker码)进行编码.由于热数据占据了绝大多数的数据访问,因此绝大多数的退化读也将应用在这些热数据上,这样这一策略就能在整个系统的角度获取低恢复开销的优势.同时,冷数据占据了系统绝大多数的数据量,且冷数据由保证最小存储开销的编码进行存储,因此这一策略的存储开销会很低.然而,对于混合存储策略而言,热数据可能会变冷,而冷数据也可能会变热,因此它需要配置一种编码切换过程.一个不恰当的编码切换过程会引起巨大的数据传输量,这是难以让人接受的.为了避免这一缺陷,本文提出了一种LRC和Hitchhiker码之间的高效切换算法.这一算法可以避免上述策略在部署时因冷热数据的转换出现系统瓶颈.在精心选取了两种编码并提出它们之间的高效切换算法后,本文提出的混合存储策略避免了现阶段其余混合存储策略的主要缺点.通过实验验证,此存储策略相较传统的Reed-Solomon码在退化读延迟方面降低了55.8%.在编码切换方面,切换延迟能分别降低为重新编码算法用时的13.4%及33.1%,且当数据从LRC切换为Hitchhiker码时(更为频繁出现的情况)的数据传输量能降至10%.     

工作站网络系统进程迁移机制

进程迁移是工作站网络系统实现负载平衡、提高系统可用性功能的重要手段.该文提出了一种基于接收/发送方消息记录的进程迁移技术.它在消息传递库PVM(parallel virtual machine)之上实现,具有对用户程序透明、可移植性好、开销小和实现简单等特点.此技术已实际应用于作者自行研制的“并行程序运行回卷恢复与进程迁移系统—ChaRM(checkpointing-based rollback recovery and migration system)”中.     

Checkpointing and rollback recovery for network of workstations

Network of workstations (NOW) now becomes one of the main trends of parallel computing. But for long-running scientific programs, it needs effective fault tolerance for its changing property. Checkpointing and rollback recovery is a solution to this problem. First the main problems upon rollback recovery are discussed, the different checkpointing techniques for NOW are analyzed, and then the design and implementation of ChaRM (checkpoint-based rollback recovery and process migration) system are described. The comparison of three coordinated checkpointing systems is given.     

基于CFD技术的居住区风环境分析

文章运用CFD软件模拟合肥市某住宅小区的风环境,通过分析该小区在人行高度处的气流情况,得出该小区夏季和冬季室外风环境的特点,对居住区的布局规划具有一定的理论和参考价值。     

ATF1过表达和BAT2敲除酿酒酵母发酵性能的研究

以啤酒酵母工业菌株S5为对照,对过表达醇乙酰基转移酶编码基因ATF1同时敲除氨基酸转氨酶编码基因BAT2酿酒酵母工程菌株S5-1进行发酵性能的研究。结果表明,与出发菌株相比,突变株生长状况、发酵速度、酒精度等基本发酵性能没有明显变化,而突变株发酵后的乙酸酯总量有较大程度的提升,为85.44mg/L,提高了6.96倍,高级醇总量有较大程度的下降,为79.25mg/L,降低了27.28%。研究结果为啤酒风味的改善奠定了良好的基础。     

TMR计算机系统分布与容错工作方式间的切换

ＦＴ－ＨＩＴ是我们自行研制的三模冗余航天容错计算机。系统采用硬件三模冗余结构和主要由软件实现容错的冗余管理模式，具有容错计算和分布处理两种工作方式，保证了航天容错计算机的高可靠性和强大的处理能力。本文主要论述其容错和分布两种工作方式间的切换机理并给出具体的实现算法，算法对于一     

TMR计算机系统FT—HIT的冗余管理技术

ＴＦ－ＨＩＴ是自行研制的３模冗余航天容错计算机系统，系统通过件冗余和主要由软件现容错的冗余管理模式实现系统的容错性能。其冗余管理主要包括：故障检测，故障并蔽 故障隔离等重构与故障恢复等功能。     

TMR计算机系统冗余单元间的恢复技术

本文以我们自行研制的ＦＴ－ＨＩＴ航天容错计算机为背景、论述三模冗余（ＴＭＲ）计算机系统冗余单元间的运行环境信息恢复技术，包括运行环境信息的保存、信息的传送，以及对故障单元的信息恢复等技术。     

电信大数据文本挖掘算法及应用

电信大数据中包含了大量的非结构化文本数据,无法通过常规的方法进行信息挖掘,在此情况下文本挖掘可以更好地实现对文本数据的分析挖掘。提出了基于文本的新词识别算法和命名实体识别算法,从而有效地分析用户投诉文本内容并判断其所属类别,并且从用户上网文本信息中识别出其终端型号,为电信行业提供更好的用户支撑和用户体验。最后,对模型的实际应用表明,所提方法对电信投诉文本数据的识别是高效的。     

核分组的多核处理器优化方法

随着多核处理器规模的扩大,请求数据的处理器核到数据的宿主节点之间的平均距离相应增大,并且数据访问在分布式共享高速缓存块中的分布并不均衡引起了网络热点。这些情况导致一级高速缓存缺失延迟的增大。为了解决该问题,将每四个处理器核分为一组,在组内设计邻近数据探测器。邻近数据探测器通过确定一次缺失能否在邻近核的一级高速缓存中得到数据,从而利用了并行程序在多核处理器上执行时数据访问的核间局部性。另外,根据新的结构相应优化了高速缓存一致性协议。实验表明,该片上存储优化方法提高了系统性能,减少了片上网络流量,节省了能耗。