基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

基于Hadoop平台下日志分析系统的研究

在信息系统当中,日志数据也就是用户对系统的操作记录以及系统自身的运行状况记录,对日志数据的有效分析,有利于排除系统故障、明确用户访问规律等。基于此,文章就Hadoop平台下日志分析系统展开研究,首先介绍了系统的总体框架,进一步对其设计与实现过程中,日志分析处理流程设计、日志数据预处理两个操作环节进行了重点介绍,并进一步提出了针对此类系统的检测方法。     

基于Hadoop的网络日志挖掘方案的设计

提出一种挖掘指数级别网络日志数据的解决思路,设计了一个高可靠的网络日志数据挖掘方案。针对现有的公开网络日志数据集,在数据预处理阶段实现了基于Map Reduce的过滤算法,并且挖掘出支持企业决策的服务信息。对该方案搭建的平台进行优化操作,性能提升了3.26%,最后对方案的高可靠性、日志文件个数对平台I/O速度的影响、平台和单机在查询性能上的对比等方面做了实验。结果表明:该设计方案不仅可靠,而且随着日志文件个数的翻倍增加,读操作耗时平均增加52.58%,写操作耗时平均增加79.69%。随着日志量的增加,单机的查询耗时急剧增长,而平台的查询耗时趋于稳定。随着机器节点的增加,运算耗时以平均8.87%的速度减少。     

基于Hadoop的大数据网络安全实体识别方法

本文主要针对Hadoop的大数据网络安全实体识别方法展开研究,希望能够为相关工作者提供理论帮助。     

基于Syslog的网络日志管理平台

本文基于Syslog的网络日志管理平台对海量日志进行收集,并通过模式匹配的方法对日志进行了分析,形成了日志分析告警,有效对设备和服务运行状态进行监控,在实际应用中很好的解决了暴力破解发现,异常操作感知等问题。     

基于MapR的IPTV用户收视行为分析的方案与实践

互动电视业务开放平台是运营商的互联网+IPTV转型实践,是用户、终端、内容、商家等之间相互连接的枢纽.平台目前拥有百万级的活跃用户,每天产生接近1TB的用户收视行为、系统运行日志等数据,这些数据可用于业务运营分析、用户画像、系统运维分析等.MapR是适合此类分析的大数据处理框架之一,结合实际需求介绍MapR的主要特点、核心组件,阐述基于MapR的分析系统的架构设计及应用效果.     

基于大数据的高校学生分析与服务平台的研究

采用Hadoop与Spark结合方式构建了一套分布式的学生综合分析与信息化服务大数据平台。平台对高校数字化建设中多源异构实时与非实时数据进行了采集、分布式存储、并行化计算分析以及结果展示,能提供学生行为画像、行为轨迹、课程预警、智能推荐等服务。系统集分析与服务为一体、安全性高、并行化能力强,提升了高校学生管理的智能化、决策的科学化和规范化。     

大数据时代的网络舆情分析系统

网络舆情是通过互联网传播的,公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点.面对数亿网民和浩如烟海的网络言论,网络舆情的监测和分析越来越依赖舆情大数据分析技术与平台.大数据的相关技术目前应用最成熟的是由Apache基金会提出的Hadoop解决方案,将Hadoop技术应用于网络舆情分析系统,可以有效适应海量数据的处理需要.     

大数据技术在网络安全分析中的应用研究

针对误用检测方法和异常检测方法缺少对网络风险因素分析,导致网络漏洞检出率较低的问题,提出了基于大数据H adoop技术检测网络安全漏洞研究.构建标准化直接关系矩阵、生成总关系矩阵确定网络风险元素属性,由此分析网络风险.构建Hadoop框架,采集入侵行为漏洞信息,搭建核心装置,处理网络漏洞.避免外力干扰情况下,评估网络漏...     

基于大数据技术的流量分析平台方案研究

数据产业进入了高速增长期,实现海量的数据流量分析经营成为运营商需迫切解决的问题。借助大数据相关技术,基于Hadoop架构体系提出了一套流量分析平台设计方案,并提供了详细的软件功能方案和基础架构方案,以期指导运营商流量分析类平台的落地建设。     

基于hadoop的大规模查询日志分析模型设计

日志分析对于在用户搜索领域有着很重要的意义,目前的日志分析系统有着不少弊端,比如：海量数据无法处理、离线处理模式、处理时延长等。对日志数据采用分级归档,可以实现大数据的分级优化处理。本文通过提出在一种基于Hadoop的大数据日志分析模型,并对其业务处理流程以及功能架构进行深入分析,实验结果反映出该系统扩展性强、海量数据处理能力卓越、满足在线处理等,具有良好的可行性和有效性。     

基于Spark的随机森林的网络入侵检测方法

随着信息数据传输内容的不断丰富,信息传输方式的多样化,在网络安全管理中,需要改变传统网络安全管理以被动管理为主的模式,强化网络攻击的主动检测能力。基于Spark的随机森林算法在目前的理论研究中,已经取得了较为深入的研究成果,同时由于其在实际运行中所具有的优势,在应用于网络入侵检测中,具有较好的实用效果。本文对这方面的研究进行简要说明,以期为后续研究工作的开展起到应有的支撑作用。     

基于数据挖掘的校园网网络日志的探讨

随着数据库技术的快速发展,管理系统得到广泛应用,人们生产生活中都离不开网络技术,所积累的数据也不断增加.以往的数据库系统能够对数据内容进行录入、查询等功能,但是难以实现对数据未来趋势的预测.校园网络日志能够通过对校园网络中各种事件的记录,将重要的信息提炼出来,及时发现异常行为,对网络结构进行改善.本文将对数据挖掘技术基础上的校园网日志应用以及挖掘系统的设计进行分析.     

大数据时代数据安全治理的网络安全研究

在大数据时代背景下,现代信息技术为各行各业发展带来了新的契机与挑战,数据安全关系着信息系统稳定性和安全性。市场经济运转过程中,信息网络为人们提供多样化服务,国家与企业发展、个人生活都会产生很多数据信息,通过网络技术方式进行管理和保存。如数据安全存在问题,则可能会导致秘密信息泄露,给人们带来威胁。对大数据时代数据安全管理存在问题进行阐述,对网络安全治理策略进行研究,旨在提升数据安全性,保障信息系统安全稳定运行。     

大数据背景下通信网络信息安全分析

随着我国社会经济的不断发展,信息通信行业发展极为迅速,在信息通信行业高速发展的条件下,由于相关的体制和设备无法满足互联网信息发展的需求,导致信息通信出现了严重的网络安全问题。近年来我国已经进入了大数据时代,在大数据时代中,信息通信,网络安全变得极为重要,相关的企业和部门要通过分析信息通信网络安全问题,找到相应的对策进行解决,避免信息通信网络出现安全问题,影响人们的正常生活和使用。文章将针对大数据背景下通信网络信息安全整改情况的讨论分析。     

大数据时代下计算机网络信息安全问题研究

文章对大数据下的计算机网络信息安全进行概述,指出计算机网络信息安全问题,并对相关防范策略进行研究.     

大数据时代运营商分析支撑域转型的实践与思考

大数据时代,随着业务和管理模式向“数据驱动型”转变,运营商分析支撑域的支撑模型和支撑模式也发生了转变。制定了分析支撑域规划,如构建云化ETL、MPP数据库、能力服务中心、大数据运营支撑平台等IT基础设施,实现转型。同时,提出了分析支撑域在IT、管理和核心竞争力方面的实施思路。     

网络安全分析中的大数据技术应用

随着网络安全信息规模的增长,应用大数据技术进行网络安全分析成为业界研究热点.从网络安全分析的需求及传统技术的不足出发,分析了引入大数据分析的必要性,从安全数据存储、检索、分析等层面探讨了大数据技术在网络安全分析中的应用,在此基础上提出一个基于大数据的网络安全分析平台,并对典型攻击场景的关联分析方法进行了详细阐述.