基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

基于Flume的分布式日志采集分析系统设计与实现

互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。     

基于Agent技术的多源日志采集系统的设计与实现

在分析Agent技术以及4种日志采集技术的基础上,本文提出了一个基于Agent技术的多源日志采集系统,来实现采集各种类型的系统日志。本文详细分析了系统的基本架构以及日志采集Agent的结构模型和工作流程。最后探讨了基于正则表达式的日志数据的识别与抽取以及日志XML格式化的实现技术。     

一种日志采集统计系统的设计与实现

日志采集系统是所有数据的源头,日志采集的重要性不言而喻.基于各种日志采集框架的优缺点,提出了一种基于Log4j和Zookeeper的日志采集技术,提供了方便、快捷、实用的日志采集及统计的解决方案.     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

一种视频点播日志分析系统的设计与实现

视频点播系统产生大量日志信息,包括机顶盒注册、页面浏览、会话和全局会话负载均衡等日志信息。通过采集这些日志,可以分析出用户的点播流程和视频点播系统的运行状态等信息。对一种视频点播日志分析系统的体系结构进行分析,设计基于C/S架构的日志采集模块和基于多线程并行处理方式的日志分析模块,实现一个视频点播日志分析系统。仿真实验证明,多线程并行处理方式比单线程处理在日志分析的效率上明显提高。     

实时多线程系统的日志实现

为了分析软件系统在测试和运行期产生的故障,目前大多数软件系统所广泛使用的一种方法就是日志记录。但系统在保存日志时需要大量的磁盘I／O操作,同时由于多线程并发互斥访问文件系统可能造成的阻塞,会引起实时软件系统的性能下降,严重时造成整个系统停止响应。本文给出了利用循环缓冲区和单独的日志读写线程实现实时系统的日志功能。     

基于Hadoop集群的日志分析系统的设计与实现

当前Internet上存在着海量的日志数据,他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务,单一主机已经无法满足要求,使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop已经日趋成熟,被广泛的应用于很多领域。该文描述了一个针对大日志分析的分布式集群的构建与实现过程。介绍了日志分析的现状,使用vmware虚拟机搭建了Hadoop集群和日志分析系统的构建方法,并对实验结果进行了分析。     

日志服务器建设和应用

设备日志及时、准确地记录网络运行、服务信息,是网络管理人员应该重点关注的信息源。日志服务器利用日志服务器软件,采集网络设备、安全设备、应用服务器等的日志信息,集中存储管理。这些日志信息可以在日常维护管理中人工查阅,也可以利用程序进行处理和准确分析,实现对网络的全面监管。     

面向多平台的日志远程采集系统研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是一种支持多平台的功能强大的日志采集工具,部署方便,可以在目标系统上持续稳定地收集系统日志,并支持以多种日志格式和传输模式将日志发送到远程日志服务器。同时,Syslog作为一种工业协议,也得到了越来越多的支持。基于nxlog并配合成熟的日志服务器可以构建灵活可靠的系统日志远程采集系统。实际运行结果表明该方案可有效解决大型网络中系统日志远程采集的问题。     

基于Filebeat自动收集Kubernetes日志的分析系统

Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

基于Web的电机实时状态监测与显示系统

电机是工业领域应用最广泛的动力设备,也是工业物联网（IIOT）中的重要关键设备.传统的电机状态监测方法是对单个电机进行监测,采集到的数据没有有效的存储,无法对数据进行分析和处理,也不能充分利用数据的价值.随着云计算和IIOT技术的发展,生产制造过程具有海量数据存储、远程控制等优点.目前,专业的云服务技术降低了传统行业云服务的门槛,提高了云服务的安全性和多样性,为相关智能化电机企业的产品提供了有效的技术保障.本文利用网络技术和来自采集系统的实时数据,实现了对电机状态的实时监测.用户登录系统时可以随时了解电机的状态,并对采集到的数据进行分析.对电机设备的故障应提前预防或预先判断,尽量避免重大事故的发生.本系统为生产设备的日常维护管理提供了宝贵的经验和依据,消除了传统定期维护过程中的“过度维护”或“维护不足”等问题.本系统基于Apache/MySQL/PHP框架开发,采用云平台存储采集的数据,详细的设计过程将在本文中给出.     

基于Web的集群管理系统结构

介绍高性能计算集群管理现状, 并根据目前管理缺点与不足, 对集群管理系统进行了总体框架设计, 利用Linux中/proc文件系统、MySQL数据库及Web技术, 对管理数据采集、数据存储及应用接口进行了功能设计, 最终实现了在统一Web界面中对集群系统运行实时情况、历史数据统计与分析进行管理.     

基于BP网络的移动通信网络告警多级筛选算法

本文通过分析移动通信网络中无线、交换、传输故障告警数据的分布模型和特点,提出了一种基于BP网络的多级告警筛选模型。该模型在实时采集移动通信网络中告警数据的基础上,通过对告警数据的过滤和预处理将告警数据归一化,并使用二进制编码机制将告警数据编码为可使用神经网络进行处理的类型,进而通过使用高斯感知器对告警数据进行预分类,有效降低BP网络需要处理的故障告警数据量,最后通过利用BP网络的自适应特点和模式识别能力,对告警进行模式识别分类,定位主要故障点,提高了移动网络告警的监控效率和网络的稳定性。     

一种基于聚类分析的入侵检测模型

针对传统的入侵检测技术在大容量网络数据时存在检测性能不足的缺点,研究了一种基于聚类分析算法的新型入侵检测模型,通过聚类分析算法对多维数据进行分析,当不满足聚类要求时,归并邻近数据再次聚类。最后,设计了与K-means算法的对比仿真实验,实验结果表明,基于聚类分析的模型能够有效检测出异常序列,能够抵抗异常攻击。     

一种基于Thrift的日志收集分析系统

传统的方式是将日志记录到本地日志文件中,然后使用日志分析程序进行分析。而 PaaS 平台运行着由不同编程语言和开发框架编写的应用,其记录日志的方式不尽相同,使日志分析程序的通用性不佳;一个应用又会有多个实例在运行,导致同一个应用的日志分散在多个地方,不便于管理。本文设计了一种简单灵活的日志格式,使用 Thrift 作为远程调用框架,支持多种编程语言调用服务,将日志数据统一在 MongoDB 中进行存取和查询。开发者还可以指定字段进行统计,直接生成图表。系统部署则采用 Docker 容器的方式,可以方便地进行水平扩展。实际运行表明,运用相关技术构建的日志收集分析系统易于使用,功能丰富,能够灵活扩展,很好地满足了 PaaS 平台的需求。     

基于Linux的实时指挥控制集群系统的方案研究

针对空军靶场指挥控制系统中数据处理复杂、实时性和可靠性要求较高的特点,文章提出了一种基于Linux的实时指挥控制集群系统研制方案,并对集群系统的软硬件体系结构进行了详细阐述,最后着重讨论了系统构建中的一些关键技术,如多信息源数据融合、实时负载均衡和系统可用性等。