基于paxos算法的Hadoop分布式文件系统高可用性探究

针对物流集成平台Hadoop架构中Namenode结点的单点失效问题,提出采用元数据服务器集群工作方式解决Namenode单点问题。相比于Face Book提出Avatar机制,该方案具有不丢失数据、快速故障恢复、自动切换等优点。引入Paxos一致性算法,解决多服务器之间数据不一致问题。实验表明,同一时刻该方案能容忍(N-1)/2台服务器失效,具有高可用性。     

大数据智慧时代开启

如今,随着不断增加的大数据解决方案需求,Apache Hadoop已经迅速成为存储和处理海量结构化和非结构化数据的首选平台之一。企业只需在少量基于英特尔至强处理器的服务器上部署这种开源软件框架,就可用较低的成本迅速开始进行大数据分析。随后可逐步将其Apache Hadoop集群扩展到数百乃至数千个节点,从而将多PB数据的查询响应时间缩短到次秒级。英特尔与Apache Hadoop社区开展协作,支持系统管理员尽可能地实现其Apache Hadoop集群的高性能,     

内蒙古广电网络BOSS系统建设实践（二）

三内蒙古广电网络BOSS系统的架构设计4．BOSS系统高可用性平台架构设计BOSS系统硬件平台设计关键点主要包括：数据库服务器的高可用性配置。Web应用服务器的负载均衡以及对数据进行安全保障的数据备份、系统容灾等多重设计。内蒙古广电网络系统平台架构如图8,分为后台数据存储层．核心交换层和后台数据存储层。     

基于Hadoop的云计算在清分系统中的应用

针对轨道交通行业客流量逐年增大而带来的大数据和在清分系统中采用大中型计算机和关系型数据库导致成本高与容错低的问题,本文首次提出了采用Hadoop云计算解决该问题的一个技术途径,包括系统设计与实现以及测试结果等。实践表明,于Hadoop的云计算完全适用于轨道交通售检票清分系统的处理实时数据业务和非实时数据业务,具有成本低,容错好,运行稳定和效率高的优点,硬件投资仅占单台服务器的十分之一,其扩展性与容错性均优于单台服务器。     

分布式数据质量管理系统在电力企业的实践和应用

随着企业信息化水平和企业精细化管理要求的不断提高,企业对数据管理的需求也随之增强,如何提高企业数据质量更是需要重点解决的问题.针对电力企业数据质量管理面临的挑战,创新提出了分布式数据质量管理解决方案.针对集中式数据质量系统的性能瓶颈,在研究数据质量系统特点并借鉴国内外对大数据的解决方案后,提出了基于Hadoop分布式处理框架的解决方案.利用Hadoop集群,可以把缺陷数据从Oracle 中抽离,分散存储在集群里多台服务器上,以有效提高磁盘I/O性能和数据分析性能.     

基于Hadoop的高校大数据计算平台构建研究

为了有效帮助学校实现对校内数据的集中管理和高效运用,可以通过利用Hadoop技术搭建起相应的大数据计算平台。文章将在此背景下,通过简单介绍Hadoop的构造模块以及具体组件,尝试对基于Hadoop的高校大数据计算平台构建进行简要分析研究。     

基于Zookeeper框架的数据集高可用性事务负载均衡调度优化

数据集高可用性是大数据环境下重要研究内容之一。目前,大数据服务平台数据集高可用性程度不高是影响系统运行效率的重要因素,主要原因是数据集事务调度效率低、事务一致性差、事务响应速度慢等。文章通过Zookeeper框架数据事务调度优化资源管理器响应机制,解决了负载均衡和事务响应超时等问题。通过微服务架构对事务资源进行管理,对数据结构进行优化,形成规范化接口,让中断机制能够发出正确的信息,满足不同环境下大数据平台资源调度要求,提高了大数据平台数字化、安全性、高可用性水平。     

基于Hadoop的电子通信数据快速存储系统设计

在Hadoop云平台进行数据云存储系统的优化设计,提高大容量数据快速存取能力,构建基于Hadoop的大容量数据快速存储系统,采用负载均衡调度和云存储优化方法进行存储系统构架,进行Hadoop云平台的海量大数据进行信息融合处理,对Hadoop云平台大容量数据信息流进行非线性时间序列重组,采用特征空间降维方法降低存储开销,优化存储结构,提高存储和调度的速度。仿真结果表明,采用该方法进行Hadoop大容量云存储系统设计,提高了数据存储的吞吐性能和快速存取性能。     

基于Hadoop的个人健康信息服务系统

个人健康信息服务系统作为现代医院健康管理系统的一个重要分支,在整个医疗系统中起着十分重要的作用.本文论述了通过Hadoop大数据平台构建了一种个人健康信息管理的方法,设计并且实现了一套基于Hadoop的个人健康信息管理系统.Hadoop作为一种日趋成熟的大数据平台,与医疗信息化相结合,为个人医疗中产生的数据提供了一种安全可靠的存储途径,实现医疗数据的集中管理.本系统利用Hadoop平台适合海量数据的运算与存储的特点,建立了个人健康信息数据中心,实现对患者健康信息最完整、最准确的管理.     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

非同相口径场瞬态辐射的计算

利用电磁脉冲的口径瞬态辐射场计算公式,针对圆形口径的线性相移、平方律相移等非同相口径场情况,计算了辐射高斯脉冲时的能量方向图、半能量波瓣宽度、面积利用系数等参数.计算表明,对于圆形口径非同相口径场,最大辐射场的方向为口径面法线方向,同时能量方向图关于口径面法线方向对称;随着口径的增大,波瓣变窄,无副瓣;随着平方律相移的滞后参数的增加,波瓣变宽,主瓣不分裂.     

两种自适应杂波抑制技术的比较：AMTI及ADPCA技术性能的分析和比较

本文在讨论机载雷达地面杂波回波的基础上，分析了ＡＭＴＩ和ＡＤＰＣＡ系统的性能。对这两个系统从原理上，并利用计算机模拟结果及实验结果进行了比较。本文将有助于工程实现。     

杂质吸收对光子晶体滤波器设计的影响

为了研究杂质的吸收对光子晶体滤波器设计的影响,引入复折射率并利用特征矩阵法,计算了滤波透射峰的峰值和半峰全宽。滤波透射峰的峰值随杂质的消光系数增加而迅速减小,滤波通道透射峰的半峰全宽随消光系数增加而增大,滤波透射峰的峰值和半峰全宽都随吸收杂质的光学厚度的增加而减小。结果表明,设计光子晶体滤波器时,必须考虑杂质吸收这一重要因素,应选择消光系数小于0.002的掺杂材料,并且杂质的光学厚度应设计在2(λ0/4)左右。     

近红外光谱技术在水果品质无损检测中应用的研究与现状

简单概述了我国水果产业的发展现状,着重阐述了国内外利用近红外光谱技术进行水果品质无损检测的最新研究进展,分析了当今研究中存在的问题,并对利用近红外光谱技术进行水果检测的前景进行了展望,提出了一些建议。     

水的光学特性对水下光学成像质量影响的分析

水的光学特性对光学成像质量有着重要的影响,水对光的吸收、散射作用可造成光在水介质传播中的衰减,本文就水的光学特性及其对水下光学成像质量的影响进行了分析,以为成像系统在水下的应用提供基础的理论依据。     

星载差分吸收光谱仪转动部件测试系统设计

基于星载差分吸收光谱仪转动部件控制需求,设计了星载光谱仪转动部件的测试系统。采用微动开关复位加定步的电机运动方式实现电机的精确定位。采用脉冲调制（PWM）的方式实现驱动电流的精细调节。并搭建平台对系统进行重复性测试,实验结果表明,测试系统具有较高的可靠性和稳定性,能够满足光谱仪的精确定位要求,使电机在工作寿命内按计划完成定标工作。     

电子技术基础实验课程混合式教学设计

近年来,在线学习掀起了一场席卷全球的教育革命,MOOC/SPOC、翻转课堂、混合式教学对高等教育带来了前所未有的冲击。电子技术基础实验课程地位特殊,传统教学方式已无法满足创新性人才培养的需要,文章从其教学特点出发,提出了“线上教学+自主实验+翻转课堂”的混合式教学模式,同时还阐述了与此密切相关的集约化线上教学资源平台、智能化翻转教学环境以及多元化过程性考核评价机制三个重要环节。经研究发现,学生的课堂主动参与度、自主学习能力、创新思维能力、动手实践能力以及教师的教学创造力得到全面提升。教学环境支持课堂互动和全周期教学行为数据采集,体现了教学过程的信息化、教学实施的精准化和教学评价的客观化,实现了信息技术与实验教学的深度融合。     

“计算机组成原理”设计性实践教学模式研究

本文阐述了"计算机组成原理"设计性实验教学的重要性,对设计性实验教学的目的和基本特征进行了归纳,对"计算机组成原理"设计性实验教学的现状进行了调查,对存在的问题进行了较深入的分析;在此基础上.对组成原理设计性实验的教学模式进行了研究,对设计性实验的体系进行了初步设计,并对"计算机组成原理"设计性实验的实施方法进行了探讨.     

一种卷积码的VITERBI译码的实现

本文采用ＱＵＡＬＣＯＭ公司的Ｑ１６５０多码率ＶＩＴＥＲＢＩ译码器,设计了前向纠错编／译码器,对提高误码的纠错能力有一定参考价值。     

Sn-Zn-Ag系无铅钎料焊接性能研究

讨论了电子软钎料的钎焊性能及其影响因素，并采用铺张面积法对Sn-Zn-Ag系钎料钎焊性能进行评估。钎料的钎焊性能很大程度上取决于钎料对基板的润湿性能，而润湿性能与液态钎料在基板上的液、固、气三相界面的界面张力有关。对润湿角(θ)与铺展面积(S)之间的关系进行了探讨。