基于Hadoop的广域网分布式主题爬虫系统框架

广域网分布式爬虫与局域网爬虫相比有诸多的优势,而现有基于Hadoop分布式爬虫的设计主要是面向局域网环境的。为解决Hadoop分布式计算平台不适合部署于广域网的问题,设计了一个基于Hadoop的广域网分布式爬虫系统框架。爬虫系统利用消息中间件实现分布式可靠通信,数据存储采用可伸缩的Hadoop分布式文件系统HDFS,网页解析利用MapReduce并行处理,并基于模板匹配实现框架可定制。系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力。     

层次式仿真运行支撑环境StarLink中的关键技术

在广域网环境下,特别是在维护联盟状态信息的一致性方面,分布式RTI(runtime infrastructure)难以适应大规模仿真的应用需求,而层次式RTI则有效地降低了大规模仿真中的计算开销.论述了面向广域网的仿真运行支撑平台StarLink采用层次式体系结构的理由,并从3个方面介绍了StarLink的实现技术,包括CORBA中间件技术、多线程技术以及基于XML格式的数据交互技术.最后,讨论了StarLink的测试方法,提出了基于框架结构的功能测试思想. StarLink为面向广域网的大规模仿真应用提供了强有力的技术支持.     

装备分布式虚拟维修训练云仿真关键技术

传统分布式虚拟维修训练系统仿真任务和仿真设备耦合度高,系统仿真效率低,扩展困难;同时,作为分布式交互支撑的高层体系结构(HLA)和运行支撑框架(RTI)仅适用于局域网络,无法实现大范围的仿真资源共享和维修协同互操作。借鉴云计算和云仿真思想,提出了一种应用于装备虚拟维修训练领域的云仿真体系结构和框架实现方案;研究了面向Web服务的广域网RTI组件层次化体系结构,设计了基于Web服务的仿真邦员,实现了仿真过程监控和远程邦员任务迁移功能;基于最小调度法实现了仿真平台的动态负载平衡,研究了平台的可视化仿真功能和仿真数据的分布式存储技术。在此基础上完成了某型装备的虚拟维修训练网络化仿真开发,初步证明了虚拟维修训练云仿真的可行性和有效性     

基于ODE 引擎的开放式仿人机器人仿真

为了获得灵活、开放、简洁的仿真功能,提出了一种基于ODE（open dynamics engine）的仿人机器人 仿真平台集成方案．将基于ODE 的仿人机器人仿真系统开发过程定义为两类运算：变换叠加和关节叠加,并设计 了这两类叠加的ODE 算法．将仿人机器人结构描述为一个设计者和计算机都可以理解的结构表,将该结构表翻译 为ODE 基本元素实现仿真．设计并实现了一个基于所提出方案的仿人机器人仿真平台,根据基于倒立摆的步态规 划思想,设计并在仿真平台上实现了双足步行的仿真实验．实验证明了文中方法的有效性．     

一个通用移动agent仿真平台的设计与实现*

对移动agent在广域网中的运行情况进行仿真从而评价其算法的性能是优化移动agent应用设计的关键问题之一。在前期工作基础上,采用直接执行仿真方法,设计并实现的通用移动agent仿真平台SimulAglets。实验结果表明,该平台可对复杂的移动agent算法进行有效的模拟,仿真结果与理论建模和专用仿真程序得到的结果完全相符。     

基于Agent的Repast仿真分析与实现

基于复杂适应系统(CAS)理论在计算机上建立模型是研究社会复杂系统的一个基本方法.选择一个合适的基于A-gent的建模与仿真平台能降低社会科学工作者的研究难度.Repast是目前使用较多的基于Agent的建模与仿真平台之一,主要应用于社会科学仿真领域.简要介绍了Repast平台的背景,从建模与仿真的两个角度分析了Repast仿真的特点,并介绍了Repast的主要类库.从仿真实现的基本步骤,Repast内含的时间表机制和显示机制,仿真程序框架几方面探讨了Repast仿真模型的设计与实现流程.从CarryDrop模型的实现结果,能看出基于Repast平台能较方便地实现基于Agent的仿真.最后指出Repast平台突出的特点是能充分利用.Net和Java类库的众多功能.     

基于Web服务的广域网文件I/O研究

广域网异构性不断加剧,分布式存储系统间的互操作、资源整合、可扩展性等问题日益突出,形成了许多信息孤岛。该文提出了一个基于Web服务的广域网文件I/O,改进广域网存储系统存在的上述问题。给出了WSIO的架构和实现,对其性能作了研究,并在实验基础上进行了性能优化。     

嵌入式PKI仿真平台软件的设计与实现

随着分布式交互仿真的发展，迫切需要解决仿真数据在网络上传输时的安全问题。立足于这种需要，设计并实现了一个嵌入式PKI安全仿真平台。系统主要由3部分构成：Windows端管理软件，嵌入式安全处理软件和硬件网络设备。系统同时采用了先进的混合型可靠组播服务体系结构HRMI，以保证数据传输的有效性。实际应用表明，该系统能有效保证数据在广域网上传输的安全性。     

博科为远程数据中心提高复制和灾难恢复能力

博科近日宣布推出一个创新扩展平台,使企业在发生灾难或利用不可靠的广域网（WAN）链路执行常规备份和复制任务时,能够显著缩短恢复点并加快恢复数据和应用。新的灾难恢复（DR）平台还增强了数据中心之间的Brocade Fabric Vision（博科矩阵可视化）技术,实现自动化监控,提高洞察力并简化远程故障排除,以自动检测广域网的异常情况,有助于确保性能并避免意外停机。     

基于Windows平台的数据包实时传输模拟

采用基于Windows平台的网络驱动程序接口规范技术,设计并实现一个基于协议过滤的高精度网络模拟器。该模拟器可实时模拟广域网传输链路的各种网络传输条件,包括网络带宽、数据包的丢包、传输延迟及传输错序等。性能测试结果表明,该网络模拟器达到了高精度、低负荷的设计要求。其实现有助于研究多媒体网络应用服务质量、进行网络协议分析以及验证各种网络流量控制算法。     

Web缓存技术的应用与研究

缓存技术是一种在本地存储经常访问的信息的方法。通过将普通的Web请求重定向到本地Cache服务器，减少WAN链路和Web服务器上的传输量，为ISP、企业网络及终端用户提供了较好的网络出口解决方案。     

基于GNP算法的分布式爬虫调度策略*

针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。     

广域网数据库查询系统及其实现

文章提出了架构于各个数据库查询系统之上的全局数据库查询系统———广域网数据库查询系统,分析了广域网数据库查询系统的基本框架,并给出了一个应用实例。     

MADIDS：基于移动代理的分布式入侵检测

传统的IDS在WAN上配置时，通常会出现计算瓶颈和维护更新不易等问题。本文提出了一种基于移动代理的新型分布式入侵检测系统（Mobile Agent Distributed IDS）。MADIDS是针对WAN环境专门设计的，数据的处理通过各节点所设置的代理来进行分布式计算，不仅能实现全网络范围内的入侵检测功能，具有良好的可移植性；而且对网络系统和主机的资源占用较低，减少出现网络瓶颈的可能。文中建立了MADIDS的体系结构和理论分析模型，并讨论了MADIDS的维护更新机制。     

A case study of Web server benchmarking using parallel WAN emulation

This paper describes the use of a parallel discrete-event network emulator called the Internet Protocol Traffic and Network Emulator (IP-TNE) for Web server benchmarking. The experiments in this paper demonstrate the feasibility of high-performance wide area network (WAN) emulation using parallel discrete-event simulation (PDES) techniques on a single shared-memory multiprocessor. Our experiments with an Apache Web server achieve up to 8000 HTTP/1.1 transactions/s for static document retrieval across emulated WAN topologies with up to 4096 concurrent Web/TCP clients. The results show that WAN characteristics, including round-trip delays, packet losses, and bandwidth asymmetry, all have significant impacts on Web server performance, as do client protocol behaviors. WAN emulation using the IP-TNE enables stress testing and benchmarking of Web servers in ways that may not be possible in simple local area network (LAN) test scenarios.     

Data Utilization-Based Adaptive Data Management Method for Distributed Storage System in WAN Environment

Recently, research on a distributed storage system that efficiently manages a large amount of data has been actively conducted following data production and demand increase. Physical expansion limits exist for traditional standalone storage systems, such as I/O and file system capacity. However, the existing distributed storage system does not consider where data is consumed and is more focused on data dissemination and optimizing the lookup cost of data location. And this leads to system performance degradation due to low locality occurring in a Wide Area Network (WAN) environment with high network latency. This problem hinders deploying distributed storage systems to multiple data centers over WAN. It lowers the scalability of distributed storage systems to accommodate data storage needs. This paper proposes a method for distributing data in a WAN environment considering network latency and data locality to solve this problem and increase overall system performance. The proposed distributed storage method monitors data utilization and locality to classify data temperature as hot, warm, and cold. With assigned data temperature, the proposed algorithm adaptively selects the appropriate data center and places data accordingly to overcome the excess latency from the WAN environment, leading to overall system performance degradation. This paper also conducts simulations to evaluate the proposed and existing distributed storage methods. The result shows that our proposed method reduced latency by 38% compared to the existing method. Therefore, the proposed method in this paper can be used in large-scale distributed storage systems over a WAN environment to improve latency and performance compared to existing methods, such as consistent hashing.     

企业业务/OA综合服务网的规划与建立

主要计述了企业综合业务网络的发生、发展及现今设计综合业务网络的一些基本原则,介绍了一些流行的网络及路由协议,特别强调了广域网的设计要点及层次化网络的重要性。     

江铜广域网系统关键技术设计分析

论文分析了江西铜业公司企业网络通信的现状和需求,阐述了企业广域网系统设计方案,对协议转换、虚拟专用网、IP隧道技术、PCM复接器等组网关键技术进行了设计分析。     

基于HLA仿真的非嵌入式数据收集软件的设计

该文针对在广域网上,HLA仿真的数据收集过程中遇到的网络负载和修改联邦成员源码的问题,指出以往常用数据收集方案的缺点并提出了由数据记录接口、记录代理、主记录器三个部件构成的非嵌入式分布解决方案。这个方案能灵活地配置数据收集而不增加网络的流量,确保仿真的精度。并且着重论述了实现数据记录接口的非嵌入式关键技术,使该软件能满足不修改联邦成员代码就进行数据收集的要求,方便地应用于多方合作开发的大型仿真应用。