基于Agent技术的多源日志采集系统的设计与实现

在分析Agent技术以及4种日志采集技术的基础上,本文提出了一个基于Agent技术的多源日志采集系统,来实现采集各种类型的系统日志。本文详细分析了系统的基本架构以及日志采集Agent的结构模型和工作流程。最后探讨了基于正则表达式的日志数据的识别与抽取以及日志XML格式化的实现技术。     

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

高并发条件下消息队列的设计与实现

针对高并发场景下短时间内流量暴增出现的系统性能问题,提出了一种基于页面控制、服务单元、数据缓存、流量控制技术的高性能系统架构。利用设计的消息队列实现了异步处理、应用解耦和流量削峰。实验表明,该系统架构能有效提升系统性能,消息队列能有效缓解服务器压力,性能测试良好。     

基于单向光的数据安全传输控制系统的设计与实现

对公安信息网与其他网络间的跨网络与跨信任域的安全数据交换进行了研究,提出了一种数据安全传输控制系统设计方案,底层硬件设计上基于光单向传输特点,保证数据的单向安全传输,实现网络间的物理隔离,上层系统软件通过采用完整性校验、数据加解密、数据重发、病毒扫描、内容过滤等多种技术保证系统传输数据的完整性、保密性、可靠性和内容合规性;整个系统由通道资源调度、通道资源上报、通道任务管理、队列任务管理以及主任务管理等模块组成,可实现设备信息注册、设备状态上报、通道任务管理、安全访问控制、监控与审计等功能,满足不同网络间文件数据、流数据、数据库数据、请求服务数据的安全、高效传输需求。     

基于大数据的网络安全态势感知平台应用研究

针对自然资源部原有安全资源管理分散、网络安全防御能力弱、难以追踪溯源威胁攻击等问题，结合大数据技术，提出一种基于MapReduce并行处理的Apriori算法，用于分析外网网络安全日志数据，并据此设计一套网络安全态势感知平台。通过在外网各个关键区域节点旁路部署潜伏威胁探针实现系统全流量的实时采集和监测。借助大数据分析工具、态势感知处理算法、攻击溯源可视化等组件，将网络安全事件进行多维度图形化的展现。仿真实验表明，经过MapReduce并行处理后，平台处理海量安全日志数据的效率得到了显著提高。平台可实现网络安全攻击事件的全局感知、攻击溯源和监控预警，能够保障自然资源部信息系统的安全健康运行。     

面向云计算的粒度自配置日志采集平台

日志数据管理系统是最重要的云服务基础设施之一。重要日志数据缺失将造成相应日志分析与决策的片面性和不准确性。然而日志数据采集能力越强,日志采集的运行期开销就越大,海量日志数据的管理与分析就越耗时,对整个云服务环境的系统性能造成不可忽视的影响。针对如何采集必要的日志数据同时尽可能降低其运行期开销的问题,文章首先提出日志采集粒度的概念,然后设计并编程实现一个面向云计算的粒度自配置日志采集平台。其中,平台构成模块包括:日志采集工具、存储日志采集粒度规则和事实的知识库;基于规则动态增加或关闭相关日志数据采集模块的推理机;相应的图形界面,包括用于添加或修改知识库规则的管理界面和直观查看日志数据的用户界面。最后,初步的案例学习结果表明了平台的有效性。     

基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。     

基于μC/OS-Ⅱ的双消息队列中断管理系统设计实现

μC/OS-Ⅱ操作系统没有中的断管理模块,该情况严重影响了其可移植性,针对该问题,设计了一种基于双消息队列的分层中断管理系统,提出了一种分层管理的中断管理设计思想,将中断处理分为紧要部分和可推迟两部分.紧要部分优先处理,满足实时性要求;可推迟部分利用μC/OS-II的消息队列机制,实现了具有优先级双消息队列的可推迟处理机制.实验结果表明,该系统比同等条件下的Linux系统具有优越的实时性,平均提高了51％,为工业和航空等嵌入式系统等提供了实时性的解决途径.     

基于物联网的电梯安管系统通信模块

电梯安管系统是采用多个独立传感器24小时不间断采集电梯运行数据,通过无线实时上传到电梯运行监管平台,实现对电梯的全天候运行监测、故障信息记录、报警预警处理和维保管理等功能的系统. 针对传统电梯安管系统传输响应时间过长的问题,设计实现了一套基于物联网的新型电梯安管系统. 系统在管理平台上设计了一套新型的数据传输通信模型,该通信模型向下通过GPRS与底层网关交互,向上利用基于JMS的ActiveMQ消息队列服务与业务层交互,大大缩短了响应时间.     

飞行器半实物仿真中实时数据管理方案

针对抢先式多任务的Windows系统在飞行器分布式半实物仿真系统中难以实现"大容量高速率"数据实时接收、存储以及显示的问题,提出了一种基于多缓冲循环读写技术的实时数据管理方案;采用VMIPCI-5565反射内存的硬件中断机制提高了Windows的实时性,采用多缓冲循环读写技术以及"先入先出"消息队列机制有效解决了实时数据与计算机硬盘存储速度不匹配带来的存储丢帧和数据丢帧问题,采用多线程技术实现了数据的实时采集、实时存储与实时显示的同步运行;测试表明,半实物仿真系统数据管理节点的实时性能达5ms,数据存储丢帧率不大于0.002%,具有良好的工程应用价值。     

基于Spark的实时视频分析系统

视频监控技术在交通管理、公共安全、智慧城市等方面有着广泛的应用前景,且向着智能识别、实时处理、大数据分析的方向发展. 本文针对大规模实时视频监控提出了新的解决方案. 基于Spark streaming流式计算、分布式存储及OLAP框架,使多路视频处理在可扩展性、容错性及数据多维聚合分析上具有明显的优势. 系统根据视频处理算法划分为单机处理与分布式处理. 并将视频图像处理与数据分析耦合,利用Kafka消息队列与Spark streaming完成对多路视频输出数据的进一步操作. 结合分布式存储方案,并利用OLAP框架实现对海量数据实时多维聚合分析与高效实时查询.     

基于随机响应队列的ActiveMQ安全应用

随着消息中间件在大型分布式系统中的广泛应用, 消息中间件应用的安全性需要得到足够重视. 文中分析了ActiveMQ传统共享响应队列应用模式中存在的安全隐患, 提出了一种基于随机响应队列的消息中间件应用模式. 在该应用模式中, 响应队列名称由客户端随机生成, 只有该客户端和服务端知道这个随机名称, 因此这个随机队列很隐蔽且只能被该客户端独享, 从而确保消息队列应用的安全性. 文中给出了该应用模式的基本框架、操作流程和安全性分析, 并运用理论计算的方法分析了该模式的运行性能. 结论表明, 在保证安全性的同时, 该应用模式不会影响系统的运行性能.     

A Parallel Pipeline Based Multiprocessor System For Real-Time Measurement of Road Traffic Parameters

Real-time measurement and analysis of road traffic flow parameters such as volume, speed and queue are increasingly required for traffic control and management. Image processing is considered as an attractive and flexible technique for automatic analysis of road traffic scenes for the measurement and data collection of road traffic parameters. In this paper, the authors describe a novel image processing based approach for analysis of road traffic scenes. Combined background differencing and edge detection techniques are used to detect vehicles and measure various traffic parameters such as vehicle count and the queue length. A RISC based multiprocessor system was designed to enable real-time execution of the authors algorithm. The multiprocessor system has nine processing modules connected in a parallel pipeline fashion. Results shows that the authors multiprocessor system is able to provide measurement of traffic parameters in real-time. Results are presented for real tests of our system by analysing traffic scenes on the highways of Singapore.     

基于Spark的有效载荷参数解析处理方法

为解决单机多线程有效载荷实时参数解析处理方法存在的吞吐率低、扩展能力弱问题,提出一种基于Spark集群的有效载荷实时参数解析处理方法。采用Kafka和Spark相结合的处理方式,利用Kafka将有效载荷实时数据转换为消息队列流,Spark通过Kafka获取消息队列流的数据,利用内存对数据进行迭代运算,提高数据运算速度,实现实时的、高吞吐率的有效载荷参数解析。仿真结果表明,使用该方法在实时吞吐率上较单机多线程处理方法有较高提升,能有效满足实时参数解析的要求。     

基于网络隔离器的现场作业日报告系统

在电力现场作业过程中,工作记录的易用性、规范化和可追溯性对于现场作业精益化管理非常重要。本文研究通用的网络隔离器的工作原理和基础硬件组成,分析总结目前常用的现场作业日报告方法的特征与优缺点,再结合电力企业现阶段的实际情况,如电力内网制度、信息安全规定和电力现场作业标准等,实现基于网络隔离器的实时通信且支持多平台跨网络安全访问的现场作业日报告系统。系统主要包括身份验证、提交现场作业日报告、在ERP中使用现场作业日报告、界面动态显示功能和现场作业日报管理制度等功能模块,解决了电力现场作业无日志记录、跨网络安全、跨平台应用等问题。     

KESS元数据处理一致性协议

在麒麟分布式加密存储系统中,分布式元数据处理在系统发生异常时会出现不一致的情况。为了解决这一问题,提出了元数据处理一致性协议2PC-MP。该协议引入事务序号,保证日志记录和消息交互的一致性;增加悬挂队列,避免参与者进程因网络异常而阻塞;增加回退队列,解决用户登录session失效后无法回退的问题;通过分布式日志保证系统故障后的快速恢复。结果表明,2PC-MP协议能够保证元数据处理的一致性和提高系统的性能。     

众核与Spark结合的高速流量监测系统

互联网应用的广泛普及导致了互联网流量的高速增长,这给网络运营商运营带来了巨大挑战,传统的流量监测系统的性能和可扩展性已经无法满足运营商的需求.本文尝试将众核技术与Spark相结合,基于校园网流量,提出了众核与Spark结合的高速流量监测系统.其中,众核处理器负责高速的流量采集、处理以及流量日志生成;Spark平台负责存储流量日志数据,并对其进行高速并行分析;Web Server负责数据的可视化.本文以校园网DNS流量为监测对象充分验证了该方案的可行性与扩展性.