建立基于J2EE的气象预警系统

根据气象服务的需求，建立基于J2EE的气象预警系统体系结构，较好地满足可靠性、扩展性、可用性业务需要。文中讨论了J2EE在组件开发、数据库访问、负载平衡与多线程等多项关键技术在建立分布、动态、实际问题的应用。     

气象观测站网远程实时监控平台的研发①

遍布广东全省的1500个气象观测站已经全部采用GPRS无线组网实现数据集中采集,气象观测站组网维护与远程监控成为保障业务中一个重要但却费时费力的任务。为此详细研究了全省组网气象观测站监控维护平台的工作原理、系统架构和设计方案,尤其对无人值守气象观测站组网维护优化算法和远程指令控制给予了深入细致的阐述。实际开发成果表明,该系统很好地实现了全省气象观测站组网维护和远程实时监控功能,满足日益壮大的气象观测站组网容量的业务保障需求,节约了大量人力物力成本,并大大提高了组网气象观测站的维护保障效率。     

一种业务部署的负载平衡优化算法

下一代网络(NGN)中业务部署的负载平衡问题不仅要考虑业务本身对资源的使用，还要考虑业务之间的协作。针对以上特性，该文提出了一种基于递归优化的算法，在减少业务协作对通信带宽消耗的同时，使异构系统达到负载平衡。实验证明了该算法的有效性。     

基于自适应负载平衡算法的CDMA计费系统

计费系统在各电信运营商经营活动中占核心地位,而负载平衡模块设计的好坏又直接关系到整个计费系统性能是否可靠.现有计费系统大多采用简单的轮询式负载平衡算法,导致系统的性能和可靠性均无法满足日益增长的业务发展需要.通过优化负载平衡模块设计的方式来提高计费系统的处理性能和系统的可靠性.     

RabbitMQ在气象通信系统中的应用研究

随着现代气象自动观测技术的迅速发展,气象资料的数量及类型都大大增加。重要的气象观测资料产生的频次已经提升到了分钟级,传输的时效也要求提高到秒级。目前的气象通信系统1.0版本是基于传统的TCP/IP协议的FTP文件传输方式,已无法满足大数量、高频次、多种类的观测数据高时效传输。为满足现有业务的需求,设计了基于RabbitMQ消息通信传输模式的气象通信系统2.0版。着重研究RabbitMQ消息队列技术在气象通信系统中的应用,包含消息中间件技术、消息传输架构设计、观测数据消息封装、高时效高可靠设计、交换控制策略设计等。应用结果表明,基于RabbitMQ技术开发的气象通信系统运行稳定,96%的气象观测数据能够在2秒内完成从台站到国家级的传输,并且在10秒内完成全部数据的传输,通过交换控制策略将数据及时转发给业务单位使用,大幅提升了气象数据的传输时效性和服务能力。     

基于SMS的气象灾害短时临近自动预警系统设计与实现

目前,各种气象灾害频发,气象灾害造成的损失也越来越大。针对目前已经投入业务运行的各种气象探测设备观测数据进行自动实时分析并根据灾害性天气发生时气象数据达到的阈值条件通过手机短信发送相应气象灾害信息到各级气象预报服务业务人员手机,以便其在第一时间内进一步分析和处理,从而有效防范和应对各种气象灾害的发生。系统开发完毕并投入业务应用以来,根据气象业务应用实际情况表明系统在气象灾害预警、防灾减灾等业务中发挥了积极作用。     

基于面向服务架构的港口智慧气象服务系统

随着海洋气象业务不断发展,海洋气象服务也逐渐向专业化、可视化及智慧化方向发展,综合性海洋气象服务已不能满足港口气象服务实际业务需求.为保障港口安全生产,提升港口气象服务效能,本文提出了一种基于面向服务架构(service-oriented architecture, SOA)的港口智慧气象服务系统建设方案.通过对气象、港口、地理信息等多源异构业务数据进行动态集成,结合XML(extensive markup language)、Web service、数据仓库、中间件模式、WebGIS、消息队列等计算机相关技术,实现了港区气象业务数据实时监测,港口专业预报预警,应急预案制作发布、专业用户及气象要素阈值管理等功能.系统业务应用结果表明,该系统满足港口专业气象服务需求,有效减少了海洋气象灾害对港区生产活动的不利影响,同时系统可扩展性强,具有较高应用推广价值.     

基于GIS的气象信息标准化服务平台的设计与实现

随着气象资料服务不断格点化、精细化,对气象数据基于GIS(geographic information system,地理信息系统)的显示发布要求进一步提高。当前各气象业务系统在建设时往往存在重复处理气象数据及开发整合地理信息系统的现象,重复开发基于地理信息的可视化功能会造成资源浪费,延长开发周期。该文根据实际业务需求,集成了多源异构的气象数据,设计实现了基于GIS的气象信息标准化服务平台。该平台主要依托CIMISS(全国综合气象信息共享平台)数据接口、各类气象资料观测数据文件,依照地理信息数据图层金字塔分级方式,将气象数据进行重新组织,以Web方式提供标准化PaaS(platform as a service,平台即服务)服务,包括地图服务、地理覆盖服务和地理要素服务,以更便捷、更安全、更全面的方式向本级和下级单位各业务部门提供气象数据GIS服务(包含GIS和数据服务)。该平台在江苏省气象局多个气象业务系统中投入应用,有效减少了业务系统建设环节中的气象资料可视化重复开发所造成的资源浪费,收到了良好的应用效果。     

分布式数据挖掘中间层

对如何简化机群系统上分布式数据挖掘系统的开发和维护,给出了一个完整的解决方案,并对数据挖掘系统的非算法部分进行深入的研究,给出了数据分布式存储、数据缓冲机制和负载平衡策略3个关键优化技术,并在实际应用中加以实现。     

一种实时集群计算机系统动态负载平衡算法的研究

负载平衡是集群计算机并行计算的核心问题。该文在研究了多种非实时并行系统负载平衡算法后,根据实时集群系统的特点,提出了一种基于动态任务分配表的负载平衡算法,并对算法的设计思想和实现作了阐述。     

Storm流处理平台中负载均衡机制的实现

Storm流处理平台解决了传统的基于Hadoop的批处理系统实时性不高的问题,为多源异构大数据处理提供了高效、快速、实时的数据处理框架。然而Storm平台在任务分配过程中只考虑了不同节点之间可用Slot的排序,并没有充分考虑节点的实际负载情况,从而容易产生负载不均衡的问题。针对以上问题,本文在Storm分布式流处理系统上实现对可用Slot和节点负载情况的加权排序改进Storm调度算法,通过数据结构设计,保证rowkey的随机性和唯一性,确保RegionServer的负载平衡;同时通过批量写入的机制,提高Hbase数写入速度,从而提高流数据存储效率。通过与原生Storm系统的对比实验,表明本文算法的改进和机制优化保证了数据的快速写入,提高了集群资源的利用率,改进后的系统在实用性与效率上具有明显的优势。     

基于稳定匹配的实时ETL弹性调度机制

在数据生产速度波动较大的场景,为了实时ETL资源利用更合理,提出基于稳定匹配的ETL弹性调度机制。预测数据源的数据生产速度,并计算满足预测值的消费数据速度;使用贪婪负载均衡算法,调整ETL服务个数使节点负载均衡;确定ETL操作匹配关系,使消费数据速度最大且代价最小。该调度机制将匹配问题转化为最小费用最大流问题,并提出基于Dicnic算法的改进算法。实验结果表明,该调度机制在资源使用方面具有优势。     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

负载均衡算法在智慧矿山软件平台中的应用

针对现有负载均衡算法在处理智慧矿山系统数据时存在处理速度慢、无法合理利用现有资源完成任务调度等问题,提出一种基于布谷鸟搜索的加权最小连接数(CS-WLC)算法,并将其应用于智慧矿山软件平台解决负载均衡问题。该算法综合考虑后端服务器处理速率、内存容量、磁盘IO速率、网络吞吐量、进程数指标,通过对指标赋予权值计算各后端服务器利用率;根据计算结果,采用布谷鸟搜索算法对后端服务器进行全局寻优,得到一组较优解;考虑连接数及使用频率对后端服务器赋予权值,采用加权最小连接数(WLC)算法在较优解中选取负载较轻的后端服务器处理实时数据存取和用户访问请求。采用分布式融合性监控系统软件平台进行负载均衡测试,结果表明在数据量不断增多的情况下,与WLC算法相比,CS-WLC算法应答时延小、响应连接数多,从而验证了CS-WLC算法具有更好的负载均衡效果。     

并行入侵检测系统的预测负载均衡方法

数据流的高速化使得网络入侵检测系统(network intrusion detection system,NIDS)往往会出现严重的漏报率,并且面对某连接上突发流量的情况,基于连接的负载均衡很难做出较好的应对措施,针对该问题,提出了一种基于包预测的并行入侵检测的负载均衡方案。该方案通过观察每个探测器上数据包的进出情况,由包预测负载均衡算法预测下一个时刻各探测器上的负载情况,避免了将新连接加入到流量突发探测器的可能,提高了负载均衡的效率。仿真实验结果表明了该方案的可行性及有效性,它能有效的均衡负载,减少系统的丢包率。     

民航气象资料接收模型研究

在民航业务流程的基础上,对原有民航气象信息处理与传输系统进行研究。分析发现,随着业务量的增加,原有系统在接收气象资料实时性等方面已无法满足需求,进而提出了新一代民航气象资料接收模型。该模型使用多节点并行处理、负载均衡、内存数据库等技术提高了气象资料解码、质量检测、存储等方面的效率。该模型现已成功地应用在民航气象信息处理与传输验证系统上。     

Load balancing algorithms based on gradient methods and their analysis through algebraic graph theory

The main results of this paper are based on the idea that most load balancing algorithms can be described in the framework of optimization theory. It enables to involve classical results linked with convergence, its speed and other elements. We emphasize that these classical results have been found independently and till now this connection has not been shown clearly. In this paper, we analyze the load balancing algorithm based on the steepest descent algorithm. The analysis shows that the speed of convergence is determined by eigenvalues of the Laplacian for the graph of a given load balancing system. This consideration also leads to the problems of choosing an optimal structure for a load balancing system. We prove that these optimal graphs have special Laplacians: the multiplicities of their minimal and maximal positive eigenvalues must be greater than one. Such a property is essential for strongly regular graphs, investigated in algebraic graph theory.     

使用负载均衡提高Maximo系统性能

天津分公司经过多年的信息化建设,目前已经形成了以Maximo系统为核心的设备管理信息化系统.随着系统不断深化应用,客户化程序日益增加,业务数据量日趋增大,系统负荷不断加大,导致系统性能降低.系统用户对Maximo的访问会出现诸如:系统访问速度慢、非正常退出、请求不响应等问题,影响用户正常使用系统;为提高Maximo系统性能,满足用户日益增长的系统使用需求,我们根据Maximo系统的实际应用情况进行定制化配置,首次将负载均衡和硬件集群组合使用,大大提升了Maximo系统业务管理能力.     

Etherchannel技术在民航气象数据库系统中的应用

在我国民用航空飞行气象保障服务中,民航气象数据库系统作为核心的业务系统,起到了不可替代的作用。文章介绍的EtherChannel技术是一种网络端口聚合技术,通过在民航气象数据库单机、双机环境以及网络设备中的实际应用显示,该技术的运用可以有效提高整个系统运行的稳定性与可靠性,同时可以改善网络传输性能和负载均衡状况。     

基于强挂起弱预测机制的负载均衡模型研究

大数据时代的快速发展和大数据战略的明确提出,使得Web服务器集群将面临更加复杂和严峻的负载挑战。传统的负载均衡算法存在着明显的局限性。提出了一种基于强挂起弱预测机制的负载均衡模型,该模型利用强挂起机制和基于层次分析的三次指数平滑预测算法进行负载均衡动态调度。实验结果表明该模型在系统瞬时性能异常、高并发和重负载交互情况下的负载均衡效果优于传统负载均衡算法。