浅谈ELK日志分析平台在有线网中的应用

本文简要阐述了日志分析的相关概念,详细介绍了ELK平台的体系结构以及ELK平台在有线网中的应用.     

ELK日志分析系统在河钢承钢的应用

实际生产环境中,有大量的服务器,交换机,防火墙需要及时关注其日志的信息,便于运维人员及时根据日志查找故障原因。本文以ELK为实现平台搭建了一套日志分布式监控系统。本系统对公司的网络设备进行日志实时监控,使管理员能够随时掌握系统日志信息,能及时收集网络硬件及应用软件的日志信息,展示分析,并告警。     

基于ELK实现CDN日志多维可视化管理分析

介绍基于ELK搭建的CDN日志分析系统的架构,以及日志采集、日志解析、日志存储、分析呈现等模块现网部署配置方法,实现CDN多厂家日志的汇聚展现,并可按照服务分组、业务域名以及物理设备等多维度,可视化呈现和监控预警,突破运营商在现网运维中的困境,极大提高运营能力与排障效率。     

基于FP-Growth算法的安全日志分析系统

传统日志分析存在单一事件分析不全面的问题,难以检测出新型攻击事件。针对这种情况,文中提出一种基于FP-Growth算法的安全日志分析系统,以电子政务平台产生的Web日志为主要研究对象,对日志进行了挖掘过滤分析,统计分析结果通过图表、报表等直观的方式呈现。实验结果表明,该系统能有效地发现潜在的Web安全隐患,为平台的稳定运行和后期优化提供指导。     

Hadoop平台在电信企业的应用实践

随着电信企业的业务发展,其运营网络、业务系统及支撑系统等生产了大量的日志数据,这些数据蕴含了大量有用信息,传统日志处理方式限制了企业对海量日志文件的处理、分析及应用.针对电信企业特定应用平台产生的大量日志文件,实践了Hadoop平台的MapReduce编程模型,该平台以HDFS作为底层文件系统,以Hbase作为可扩展的数据存储系统,更大幅度地提高了对日志数据分析的效率,具有较好的实用价值.     

广播电视网络日志完整性验证方案的设计与实现

日志文件中记录了系统和重要应用的各种事件，通过对日志文件的分析可以掌握系统和应用的运行状况，也可以作为系统故障排查的证据。为防止日志文件被非法篡改、删除，本文针对广播电视网络提出了一个日志文件完整性验证方案，当日志文件的完整性受到破坏时，可以及时向管理者发出警告。     

基于云平台的安全审计系统设计与实现

针对云平台日志信息的安全审计及安全存储的需求,提出一种云平台的支持审计信息安全存储的审计系统实现方案.提出的安全审计系统由审计信息记录、审计信息签名、审计信息管理3个功能模块组成,采用Web Services、数字签名等关键技术,实现了对用户信息的获取、分析与数据库存储等功能.另外,系统在实现了网络安全审计的功能基础上,通过对数据库表项信息进行元组签名与分片签名结合的方式,保证了数据的安全与可信.与现有的云平台的安全审计系统实现方案相比,该方案安全性和实用性很高,并具有较好的可移植性.     

基于云计算的市县一体化气象业务平台研究

基于传统IT架构的气象业务系统需要各级气象业务单位自行建设和维护,这不仅给市县级气象部门带来了人员和资金压力,也造成了数据冗余和资源共享困难等问题。针对这种情况,研究并设计了基于云计算的市县一体化气象业务平台,分析了气象数据的分布式存储与处理流程和服务支撑系统的SOA实现方案,阐述了基于云计算业务平台的市县一体化气象业务布局。研究分析表明,基于云计算的市县一体化气象业务平台能够有效整合现有IT资源,促进气象业务的集约化和专业化发展,提高气象部门的工作效率和服务质量。     

QXDM Suite在WCDMA系统测试中的应用

在WCDMA系统测试中，分析手机日志是故障定位的重要手段之一。本文介绍了基干高通平台芯片的手机日志分析工具QXDM Suite，通过理论说明和部分典型测试用例验证，阐述了它在系统测试中的重要地位和应用。     

浅谈视频日志系统

介绍了视频日志应用系统的发展现状,在此基础上从系统结构、算法、实现功能及存在问题等方面进一步分析了现有的技术方案,并展望了视频日志系统的发展前景.     

MIS系统操作日志的设计与实现

通过对管理信息系统(MIS)日志的全面分析,提出了一种MIS系统操作日志整体框架,该框架能很好地记录用户操作MIS系统过程中的一些信息,保证了MIS系统的安全性、可靠性和完备性。此方案已在环保信息管理系统中加以应用,取得了较好的效果。     

基于多尺度重采样思想的类指数核函数构造

该文按照多尺度重采样思想,构造了一种类指数分布的核函数(ELK),并在核回归分析和支持向量机分类中进行了应用,发现ELK对局部特征具有捕捉优势。ELK分布仅由分析尺度决定,是单参数核函数。利用ELK对阶跃信号和多普勒信号进行Nadaraya-Watson回归分析,结果显示ELK降噪和阶跃捕捉效果均优于常规Gauss核,整体效果接近或优于局部加权回归散点平滑法(LOWESS)。多个UCI数据集的SVM分析显示,ELK与径向基函数(RBF)分类效果相当,但比RBF具有更强的局域性,因此具有更细致的分类超平面,同时分类不理想时可能产生更多的支持向量。对比而言,ELK对调节参数敏感性低,这一性质有助于减少参数优选的计算量。单参数的ELK对局域特征的良好捕捉能力,有助于这类核函数在相关领域得到推广。     

IPTV日志数据分析系统的设计与实现

交互式网络电视(Interactive Personality TV,IPTV)是一种集互联网、多媒体、网络通讯等技术于一身,向家庭用户提供数字电视在内的多种交互式用户体验的全新电视技术。日志是计算机系统运行时产生事件记录,记载着时间、使用者及动作等相关操作的描述信息。本文研究的IPTV日志是指交互式网络电视播控系统每时每刻产生的用户行为日志,这些日志对了解用户使用IPTV的情况、节目播放信息等都具有非常大的商业价值。系统对用户登录、播放、订购等IPTV日志信息进行业务分析,采用B/S体系结构,基于.NET企业级应用开发平台,按照软件工程生命周期模型,设计并实现了IPTV日志数据分析系统。系统主要划分为用户数据分析、订购数据分析、收视数据分析、活动专题分析、搜索收藏分析五个部分,以四川广播电视台IPTV播控平台为基础,建立了较为完整的IPTV日志分析数据模型,从技术、业务、内容多方面对开发过程中涉及相关功能进行了阐述,为IPTV日志数据分析提供了清晰的解决方案,通过该系统IPTV业务人员可以有效的分析用户行为,并结合用户推荐信息提高使用率,规避内容采购风险提升收益,具有一定的参考和使用价值。     

电子政务平台下安全Web的实现

本文提出了一种电子政务平台下的安全Web实现方案。该方案基于PKI体系架构,通过对目前居于主流地 位的Apache服务器进行定制,在服务器端实现了信息加密传输、页面加密存储、页面原始性鉴别、分级访问控制、数 字水印日志,保证了电子政务的安全。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

基于Hadoop的网络日志挖掘方案的设计

提出一种挖掘指数级别网络日志数据的解决思路,设计了一个高可靠的网络日志数据挖掘方案。针对现有的公开网络日志数据集,在数据预处理阶段实现了基于Map Reduce的过滤算法,并且挖掘出支持企业决策的服务信息。对该方案搭建的平台进行优化操作,性能提升了3.26%,最后对方案的高可靠性、日志文件个数对平台I/O速度的影响、平台和单机在查询性能上的对比等方面做了实验。结果表明:该设计方案不仅可靠,而且随着日志文件个数的翻倍增加,读操作耗时平均增加52.58%,写操作耗时平均增加79.69%。随着日志量的增加,单机的查询耗时急剧增长,而平台的查询耗时趋于稳定。随着机器节点的增加,运算耗时以平均8.87%的速度减少。     

"城轨云"网络空间综合运维管理平台研制

针对太原市轨道交通"城轨云"存在的云平台、网络、安全以及云上系统等各类资产的统一综合运维需求,采用微服务框架研制综合运维管理平台,以SNMP、TELNET、SSH、WMI等方式实现各类资源性能监控,以日志采集与分析技术,实现全栈日志存储、建模、监控、智能分析的PB级数据处理能力;开发运维流程自动化引擎技术,通过可视化的...     

PLC低频数据传输可靠性设计

通过分析一个低频数据传输故障实例,提出可靠性改良方案,包括硬件冗余、数据刷新检验、故障决策及日志追溯等.改良系统加强了故障显性提示,提升了容错性能,并为精确追溯故障影响范围设计了日志记录.同时,运用统计方法确定参数容许范围,以达到效率和有效性的平衡.     

基于Hadoop的Web日志预处理的设计与实现

Web日志预处理是Web日志挖掘的重要步骤,是通过Web日志获得准确信息的前提,直接影响后续的挖掘算法精确性.本文针对海量Web日志,提出并基于分布式计算平台Hadoop实现了一种改进的Web日志预处理方法.通过Hadoop平台与单机的性能对比,证明了Hadoop进行Web日志预处理的高效性.     

SLF4J框架集成日志系统的应用研究

SLF4J框架是一个服务于各种各样日志系统的基础平台,可以为各种日志系统提供统一的应用整合接口,允许在部署应用系统时移植所需日志系统.在本文中简单讲述了SLF4J框架技术的基本概念和原理,同时进一步研究了该框架在系统中的日志实现过程.