移动互联网时代运营商收入增长策略研究

阐述了在移动互联网时代,数据流量高速增长,运营商如何保证运营收入也随之增长的相应策略。     

基于Spark的电信用户行为分析

随着大数据时代的带来,使用互联网的人数呈直线式增长,随之电信运营商的业务规模不断扩大,面对如此庞大的电信用户数据,准确分析与挖掘这些数据背后的价值成为了电信运营商的当务之急。本设计基于电信用户行为数据集,成功设计并实现了一个基于Spark的电信用户行为分析系统,为提升营销成功率做出贡献。本设计主要分为两个部分,第一部分利用Java语言编写Spark SQL应用程序对电信用户行为数据集进行分析,把数据分析得到的结果写入到MySQL数据库;第二部分通过Spring框架构建后台系统,前台界面使用ECharts对MySQL中的数据分析结果进行可视化展示,主要实现了用户区域分析及展示、用户渠道分析及展示和用户请求类型分析等多维度数据分析结果的可视化展示。     

Rsyslog在IT日志采集中的应用

随着我国互联网发展,网络安全问题日益严重。校园网出口防火墙、网络行为审计等系统在运行过程中产生海量IT日志,这些日志对高校安全管理有着重要意义。但是,校园网IT日志种类繁多、数量巨大,给采集发送工作带来很大困难。文章对校园网IT日志采集的难点进行了分析,应用Rsyslog到校园网IT日志采集,以较低的运行成本和对现有应用最小的影响,解决日志的采集和转发问题。     

HiLog：OpenHarmony的高性能日志系统

日志是计算机系统中记录事件状态信息的的重要载体, 日志系统负责计算机系统的日志生成、收集和输出. OpenHarmony是新兴的、面向全设备、全场景的开源操作系统. 在所述工作之前, 包括日志系统在内OpenHarmony有许多关键子系统尚未构建, 而OpenHarmony的开源特性使第三方开发者可以为其贡献核心代码. 为了解决OpenHarmony日志系统缺乏的问题, 主要开展如下工作: ① 分析当今主流日志系统的技术架构和优缺点; ② 基于OpenHarmony操作系统的异构设备互联特性设计HiLog日志系统模型规范; ③ 设计并实现第1个面向OpenHarmony的日志系统HiLog, 并贡献到OpenHarmony主线; ④ 对HiLog日志系统的关键指标进行测试和对比试验. 实验数据表明, 在基础性能方面, HiLog和Log的日志写入阶段吞吐量分别为1 500 KB/s和700 KB/s, 相比Android日志系统吞吐量提升114%; 在日志持久化方面, HiLog可以3.5%的压缩率进行持久化, 并且丢包率小于6‰, 远低于Log. 此外, HiLog还具备数据安全、流量控制等新型实用能力.     

基于Hadoop和Spark的可扩展性大数据分析系统设计

随着社会进步和信息化高速发展,网络数据规模大幅度扩大,面对大规模网络数据环境,基于Hadoop和Spark设计可拓展性大数据分析系统。系统Flume模块的Source组件负责采集大数据,Sink组件将大数据传输至Kafka;分析检测模块采用Spark离线训练可扩展性数据,将训练完成的模型传输到Spark streaming中,依据训练模型特征对普通大数据分类,获取可扩展性大数据。系统软件采用ALS算法、PageRank算法得到可扩展性大数据的有效性与价值度排名,据此向用户推荐优质可扩展性大数据。实验结果显示:系统分析可拓展性大数据精准度高于90%,优于对比系统,且具备低能耗、高稳定性的优点,实际应用价值高。     

基于 Spark 的大规模网络流量准实时分类方法

大数据时代催生了互联网流量的指数级增长,为了有效地管控网络资源,提高网络安全性,需要对网络流量进行快速、准确的分类,这就对流量分类技术的实时性提出了更高的要求。目前,国内外的网络流量分类研究大多是在单机环境下进行的,计算资源有限,难以应对高速网络中的 (准) 实时流量分类任务。本文在充分借鉴已有研究成果的基础上,吸收当前最新的思想和技术,基于Spark 平台,有机结合其流处理框架 Spark Streaming 与机器学习算法库 MLlib,提出一种大规模网络流量准实时分类方法。实验结果表明,该方法在保证高分类准确率的同时,也具有很好的实时分类能力,可以满足实际网络中流量分类任务的实时性需求。     

基于Spark的油田应用日志行为分析系统

随着油田信息化建设的不断发展,越来越多的IT业务系统在油田各级单位普及应用.由于油田应用数量庞大、种类复杂,如何快速评估各类系统的运行情况和安全状况成为油田关注的重要问题.在使用这些应用系统的同时,一些访问信息会以日志的形式储存下来,因此通过分析日志数据可以挖掘出用户访问喜好,发觉业务系统潜在的安全问题,进而为油田应用评估提供决策依据.然而随着IT业务访问量剧增,应用日志的数量、容量也随之增加,仅依靠单机环境对海量数据进行分析已经无法满足油田业务需求.针对这个问题本文提出了基于Spark计算框架的应用日志行为分析方法,同时设计了可视化平台完成对整个分析系统的管理.     

基于Cacti的可视化监控系统在校园网中的应用

校园网为学校提供了多种多样的信息化服务,为了监控校园网的运行,需要一套高效的网络监控系统,对校园网内各类硬件设备、网络节点、宽带流量等实施监控与记录,以便及时发现故障并回溯起因.与一般的园区网不同,校园网需要同时提供教学、科研和生活等多种多样的信息化服务,业务种类繁且杂、数据流量大且多,校园网内运行着大量的硬件设备来支撑其运作.本文介绍了基于Cacti的可视化监控系统在校园网中的应用.     

阿里云实现Spark的分布式计算

随着计算机与互联网技术的不断发展,云计算已经成为一种随时随地根据需要而提供的公共服务。本文以国内流行的阿里云计算平台为例,讨论了如何在云服务器上实现基于内存的Spark分布式计算,其中包括Linux系统云服务器的使用,Spark集群的安装部署以及Spark数据处理。通过对三个ECS节点的部署,验证了Spark在阿里云上进行分布式计算的可行性。     

基于流式处理架构的日志采集系统的设计与实现

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统。采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,满足系统的高性能要求。整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判。     

一种分布式的僵尸网络实时检测算法

僵尸网络通过控制的主机实现多类恶意行为,使得当前的检测方法失效,其中窃取敏感数据已经成为主流。鉴于僵尸网络实现的恶意行为,检测和减轻方法的研究已经势在必行。提出了一种新颖的分布式实时僵尸网络检测方法,该方法通过将Netflow组织成主机Netflow图谱和主机关系链,并提取隐含的C&C通信特征来检测僵尸网络。同时,基于Spark Streaming分布式实时流处理引擎,使用该算法实现了BotScanner分布式检测系统。为了验证该系统的有效性,采用5个主流的僵尸网络家族进行训练,并分别使用模拟网络流量和真实网络流量进行测试。实验结果表明,在无需深度包解析的情况下,BotScanner分布式检测系统能够实时检测指定的僵尸网络,并获得了较高的检测率和较低的误报率。而且,在真实的网络环境中,BotScanner分布式检测系统能够进行实时检测,加速比接近线性,验证了Spark Streaming引擎在分布式流处理方面的优势,以及用于僵尸网络检测方面的可行性。     

Architecture for a hardware-based, TCP/IP content-processing system

The transmission control protocol is the workhorse protocol of the Internet. Most of the data passing through the Internet transits the network using TCP layered atop the Internet protocol (IP). Monitoring, capturing, filtering, and blocking traffic on high-speed Internet links requires the ability to directly process TCP packets in hardware. High-speed network intrusion detection and prevention systems guard against several types of threats. As the gap between network bandwidth and computing power widens, improved microelectronic architectures are needed to monitor and filter network traffic without limiting throughput. To address these issues, we've designed a hardware-based TCP/IP content-processing system that supports content scanning and flow blocking for millions of flows at gigabit line rates. The TCP splitter2 technology was previously developed to monitor TCP data streams, sending a consistent byte stream of data to a client application for every TCP data flow passing through the circuit. The content-scanning engine can scan the payload of packets for a set of regular expressions. The new TCP-based content-scanning engine integrates and extends the capabilities of the TCP splitter and the old content-scanning engine. IP packets travel to the TCP processing engine from the lower-layer-protocol wrappers. Hash tables are used to index memory that stores each flow's state.     

Lightweight and Informative Traffic Metrics for Data Center Monitoring

In recent years, thousands of commodity servers have been deployed in Internet data centers to run large scale Internet applications or cloud computing services. Given the sheer volume of data communications between servers and millions of end users, it becomes a daunting task to continuously monitor the availability, performance and security of data centers in real-time operational environments. In this paper, we propose and evaluate a lightweight and informative traffic metric, streaming frequency, for network monitoring in Internet data centers. The power-series based metric that is extracted from the aggregated IP traffic streams, not only carries temporal characteristics of data center servers, but also helps uncover traffic patterns of these servers. We show the convergence and reconstructability properties of this metric through theoretical proof and algorithm analysis. Using real data-sets collected from multiple data centers of a large Internet content provider, we demonstrate its applications in detecting unwanted traffic towards data center servers. To the best of our knowledge, this paper is the first to introduce a streaming metric with a unique reconstruction capability that could aid data center operators in network management and security monitoring.     

基于Spark的电网工控系统流量异常检测平台

针对传统的电力网络流量检测安全预警系统在面对海量高维度数据时，其在精度、实时性、扩展性以及效率上都无法满足需求的问题，建立出一种基于Spark的电网工控系统流量异常检测平台.该平台以Spark为计算框架，主要由数据采集与网络流量深度包检测协议解析模块，实时计算数据分析处理模块，安全预警预测模块和数据存储模块组成，为流量异常检测提出了一套完整的流程.实验结果表明，该平台能够有效地检测出异常流量，做出安全预警，方便工作人员及时做出决策，这充分说明该平台非常适用于电力控制系统，能够应对海量高维复杂数据做出实时分析以及安全预警，极大地提高了电网工控系统的安全性能.     

基于日志分析的校园网监测预警平台设计与实现

设计并实现了一种基于日志分析的校园网监测预警平台。利用开源软件rsyslog,收集校园网络设备或*nix 系 统的日志信息,并实时存储到Mysql 数据库,基于Apriori 算法对日志信息进行分析处理,以动态监测潜在的攻击行为,一旦监 测到危险行为,平台能够自动部署访问控制列表(ACL),并及时向管理员发出预警通知,以便提前处理。平台为校园网络安全 管理提供了一种有价值的参考。     

数据流处理技术在电信网管系统中的应用

网络流量监测技术是电信运营商所关注的重点之一。随着网络传输带宽的不断增加,传统的基于磁盘的处理技术已经不能够满足运营管理的需要,数据流处理技术的出现为网络流量监测应用提供了一种新的解决方案。SMART[1,2]和RealMon[3]是将数据流处理技术应用于网络流量监测的两个应用系统。文中结合上海电信在骨干网流量监测上的应用需求,对这两个系统的设计与应用进行了介绍。SMART系统以数据流上的频繁项挖掘算法为基础,支持NetFlow数据流上长时间滑动窗口内的Top-K查询,实现了对网络流量分布的实时监测。RealMon系统采用数据流上的降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。实验和在真实环境中的应用表明,SMART和RealMon系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的性能。     

基于大数据的高校学生网络行为监测系统的设计

校园网的发展对学生的学习与生活带来了极大的便利,但同时也影响着学生的思想和行为,给高校学生管理工作带来了新的挑战。该文基于校园网流量分析,设计了一套学生网络行为监测系统,可通过分析学生网络行为监测学生的网络游戏沉迷情况,通过分析学生网络浏览内容监测学生的话题关注情况,为学生的思想教育和行为引导提供可靠、有效的科学依据。     

A study of traffic, user behavior and pricing policies in a large campus network

Tsinghua University campus network is a large campus network in China, providing volume-based and flat-rate Internet access service for more than 31,000 students and staff. In order to better understand its traffic, user behavior and pricing policies to facilitate network planning and management, we collect a one-year-long flow-based traffic log and a 10-year-long user-based log at the boundary of this campus network, and then conduct an analysis study on these two data sets. In this paper, we first present characteristics of inbound traffic flows from the aspects of traffic prediction and inference. Then we analyze the geographical origins of incoming flows, and the result reveals that USA, Japan and Korea are the most important source countries of international traffic. Our user-based investigation shows that the properties of users have important influence on their behavior, e.g., major has stronger influence on users’ online time, while occupation has stronger influence on users’ international traffic volume. We also find that there are more and more users choosing flat rate pricing scheme instead of volume based pricing scheme, and these users tend to over-provision when they subscribe from tiered pricing options.     

流量矩阵估计研究综述

随着Internet网络的快速发展,网络操作员迫切需要知道网络中数据的流动情况,以便更好地进行网络管理、网络监控、网络设计和网络规划等网络流量工程管理.流量矩阵作为网络流量工程的重要输入参数,已受到国内外研究人员的广泛研究,现已成为Internet的一个重要研究方向.本文介绍流量矩阵研究的现状,并从性能上分析和比较各种研究方法,最后讨论流量矩阵研究的技术难题,并指出新的发展方向.