深度包检测(DPI)技术浅谈及应用

DPI(深度包检测)是一种智能管道的感知技术,随着电信运营商提出"智能管道"的概念,DPI技术在电信网络中的应用越来越广泛。文章介绍了DPI的概念,系统架构有串接、并接和串并一体化方式,系统工作包括数据采集、数据分析、数据统计和控制,主要实现全业务分析与控制、用户行为分析、广告推送等功能,并提出了在电信运营商的应用场景。     

基于DPI的LTE网络用户行为感知系统的设计与实现

针对电信运营商越发迫切的智能管道需求,提出了一种具有自学习功能的移动互联网用户行为感知系统的解决方案。本方案针对传统监测系统用户感知度低、统计能力不足等缺点,对现行LTE网络S1接口用户面协议进行分析,并结合当前互联网主流的行为分析技术——深度分组检测(DPI)技术和聚类爬虫技术的优势,实现了以协议解码、业务呼叫/事务详细记录(xDR)合成为基础的LTE网络用户行为精准分析。本系统经现网数据验证,能达到既定目标,对满足智能管道的需求具有一定的指导价值。     

基于大数据的移动用户行为分析系统与应用案例

本系统基于Hadoop架构采集运营商网络侧产生的大数据,并对数据进行深度加工,挖掘其中相关的用户行为属性,构建用户行为分析模型,并对具体用户行为应用进行有效探索.针对技术选型、系统实现、数据采集、模型设计与应用案例,完整展示了移动用户行为分析系统的设计思路与实现.     

基于数据融合的互联网舆情分析系统

本文提出了一种基于数据融合的互联网舆情分析系统.系统使用网络爬虫采集互联网新闻、微信公众号、博客、论坛、APP、微博、报纸、视频等信息,结合中国移动自有DPI数据,采用情感分析等多种自然语言处理算法实现数据融合分析处理,建立不同类型数据之间的关联关系,挖掘更多数据价值,且系统使用多租户模式实现底层数据共享和用户舆情信息隔离,大量节省硬件存储成本,也让用户体验个性化舆情.     

DPI测试方案

1 需求分析 DPI(深度报文检测)技术是业务检测、识别和控制的技术.基于应用层协议分析的DPI,已被各大运营商和主流产品供应商采纳,且已在广泛的测试和在线应用或者试应用.对现网应用进行业务识别、流量和客户行为分析,进而根据要求进行业务控制是运营商必然的选择.通过DPI技术可以给用户提供差异化服务,即通过DPI技术区...     

通信运营商宽带用户行为分析的研究与应用

不论是从网络优化和质量提升,还是从向用户提供差异化服务、提升网络增值业务能力的目的出发,通信运营商都需要对用户业务流量实施有效监控,掌握用户行为。文章基于现网运营经验,阐述了运营商宽带网络中部署DPI用户行为分析系统的数据采集点选择、用户属性获取、实际组网方式和系统架构等相关问题,以及相关实际应用案例,并展望技术发展,提出了未来相关系统部署和具体应用的建议。     

Web日志挖掘中的数据预处理技术研究

在网络技术高速发展的今天,Web技术得到普及,通过对Web的数据挖掘,用户能够获取到所需要的数据信息、知识,同时能够对用户的访问行为、内容进行深入分析.Web日志挖掘是数据挖掘中的重点内容,借助日志挖掘的数据预处理技术,获取到用户特征,将自身的Web的服务设计进行优化,开展针对性的网络活动.基于此,在本文中对Web日志挖掘中的数据预处理技术进行研究,提出预处理算法.     

基于DPI的流媒体流量监控系统的分析与设计

针对网络上P2P流媒体应用日益盛行所引发的一系列诸如耗费网络宽带、不良信息传播、信息安全等问题的负面影响,结合DPI(Deep Packet Inspection)技术应用背景,综合考虑网络用户实际需求,提出一种基于DPI的流媒体流量监控系统,文中对系统的架构及相关各模块的分析设计进行了详细的阐述,并通过搭载实际试验环境对系统性能进行验证,结果证明该系统对于流媒体应用流量的识别与控制均能达到较好的效果,完全能满足用户的需求。     

DPI在WCDMA中的应用分析

随着我国3G网络的大规模部署,越来越多的增值业务开始被用户使用。运营商需引入DPI技术对不同业务进行检测和区分,为用户提供不同业务的差异化服务,从而提高网络资源利用效率和运营收益。介绍了DPI技术引入背景和基本原理,详细分析了DPI技术在WCDMA网络中的各种应用场景,重点研究了这些应用场景的DPI部署策略;通过分析比较DPI技术在不同应用场景下的不同部署策略,给出了DPI技术在WCDMA网络中的引入策略建议,为运营商在WCDMA网络中部署建设DPI提供技术参考。     

移动网络用户行为挖掘模型及在E-Learning系统中的应用

通过对移动用户的行为挖掘模型构建,并应用在E-Learning网络学习移动中,实现E-Learning系统的优化设计。提出一种基于频繁项集关联规则分析的移动网络用户行为挖掘模型,结合嵌入式Linux进行E-Learning系统的开发设计。进行E-Learning系统的总体设计描述,开启SQL驱动支持来编译基于ARM平台的QWT库,构建Tiny OS的通信机制,实现无线消息包组的传输。软件开发主要包括移动网络用户节点程序设计、节点程序开发、上位机通信。在嵌入式Linux系统下的程序引导和软件的移植实现了对移动网络用户行为模型挖掘和E-Learning系统的软件开发设计。实验结果表明,该移动网络用户行为挖掘模型具有较好的数据挖掘性能,系统优化设计提高了E-Learning系统对移动网络用户的服务质量,展示了较好的应用价值。     

Application layer classification of Internet traffic using ensemble learning models

Accurate application layer classification of Internet traffic has been a necessary requirement for various regulatory, control, and operational purposes of Internet service provider (ISP). Due to the dynamic and ever evolving nature of Internet applications generating a diverse mixture of Internet traffic, it has been necessary to apply deep packet inspection (DPI) techniques for traffic classification. DPI methods offer accuracy but degrade overall network throughput and thus cause problems in ensuring quality of service (QoS) and maintaining service-level agreements. Moreover, Internet traffic is mostly end to end encrypted. This in turn limits the applicability of DPI techniques and renders them useless, unless the encryption tunnel is broken by the service provider which would risk violating user privacy. To address these trade-offs between classification accuracy, performance, and user privacy, we resort to machine learning (ML)-based algorithms. In this article, we apply three ensemble ML algorithms and report their performance metrics in the application layer classification of Internet traffic.     

移动互联网大数据系统在无线网络规划中的应用

基于移动互联网用户上网记录的大数据系统能够多维度地记录和分析移动用户的行为特征。本文介绍了移动互联网大数据系统在无线网络规划中的应用,即利用对移动互联网用户上网行为特征的有效分析辅助3G基站的新建规划。基于已有的移动用户的上网行为特征的数据业务流量模型分析要比传统的无线网络话务模型分析更为有效、更具有实时性。     

Analysis on the time-domain characteristics of botnets control traffic

Botnets are networks composed with malware-infect ed computers.They are designed and organized to be controlled by an adversary.As victims are infected through their inappropriate network behaviors in most cases,the Internet protocol(IP) addresses of infected bots are unpredictable.Plus,a bot can get an IP address through dynamic host configuration protocol(DHCP),so they need to get in touch with the controller initiatively and they should attempt continuously because a controller can’t be always online.The whole process is carried out under the command and control(C&C) channel.Our goal is to characterize the network traffic under the C&C channel on the time domain.Our analysis draws upon massive data obtained from honeynet and a large Internet service provider(ISP) Network.We extract and summarize fingerprints of the bots collected in our honeynet.Next,with the fingerprints,we use deep packet inspection(DPI) Technology to search active bots and controllers in the Internet.Then,we gather and analyze flow records reported from network traffic monitoring equipments.In this paper,we propose a flow record interval analysis on the time domain characteristics of botnets control traffic,and we propose the algorithm to identify the communications in the C&C channel based on our analysis.After that,we evaluate our approach with a 3.4 GB flow record trace and the result is satisfactory.In addition,we believe that our work is also useful information in the design of botnet detection schemes with the deep flow inspection(DFI) technology.     

一种基于统一DPI的流量欺诈识别系统

在移动互联网时代,各类热点应用层出不穷,业务的码流识别需要一定的时间,这给一些不法分子带来了可趁之机,通过利用网络漏洞和设备处理机制缺陷的流量欺诈现象时有发生,这给流量经营、内容网络的发展带来影响。湖北公司高度重视流量欺诈问题,通过对现网的统一DPI系统进行改造,开发了一套流量欺诈识别系统。通过开展流量欺诈识别分析工作,进行计费损失预防、追回,抑制用户的欺诈行为的不良传播,挽回经济损失的同时净化网络环境,提升用户质量。     

基于云计算的海量网络流量数据分析处理研究

随着互联网技术的迅速发展,在我们的生活中网络已经成为我们不可以缺少的重要的组成部分.网络流量监控技术是对网络中海量的流量数据进行分析的重要工具和技术.基于云计算的网络流量监控技术可以对网络流量数据和用户的特征进行更好的分析,可以对用户的上网行为进行深入的挖掘,更好的为用户推荐喜欢的网络内容.本文结合互联网的发展现状对海量网络流量数据分析技术进行了分析,在基于云计算的基础上提出了海量网络流量数据分析的几个关键性技术,对基于云计算的海量网络流量数据分析技术进行了分析和研究.     

Understanding the impact of loyal user behaviour on Internet access pricing: a game-theoretic framework

In this paper, we investigate the impacts of user behaviour—user loyalty in particular—on pricing strategies of Internet Service Providers (ISPs) for a profitable yet sustainable Internet access marketplace. We carry out an extensive empirical analysis of customer loyalty issues of ISP markets including our own survey in the Hungarian ISP market. Based on the empirical results, we propose a realistic user loyalty model, the price difference dependent loyalty model. Next, we apply the loyalty model in game-theoretical framework where optimal Internet access pricing strategies are expressed. Our game-theoretic framework includes both short-term and long-term interaction cases (single-shot and repeated games, respectively) and is capable of dealing with uncertain as well as dynamic scenarios (Bayesian and Stackelberg games, respectively). Finally, we present the impacts of user loyalty on the prices and profits of ISPs in different scenarios based on simulation results.     

基于NGOSS的IP QoS管理技术

提出了一种基于NGOSS的IP网络QoS管理技术,它基于运营商所有的运营活动对用户的业务进行管理,适合于商业驱动的IP网络发展环境.它通过对用户业务实施端到端的全程SLA管理,实现了对用户业务全程的QoS管理.     

Unsupervised learning with hierarchical feature selection for DDoS mitigation within the ISP domain

A new Mirai variant found recently was equipped with a dynamic update ability, which increases the level of difficulty for DDoS mitigation. Continuous development of 5G technology and an increasing number of Internet of Things (IoT) devices connected to the network pose serious threats to cyber security. Therefore, researchers have tried to develop better DDoS mitigation systems. However, the majority of the existing models provide centralized solutions either by deploying the system with additional servers at the host site, on the cloud, or at third party locations, which may cause latency. Since Internet service providers (ISP) are links between the internet and users, deploying the defense system within the ISP domain is the panacea for delivering an efficient solution. To cope with the dynamic nature of the new DDoS attacks, we utilized an unsupervised artificial neural network to develop a hierarchical two‐layered self‐organizing map equipped with a twofold feature selection for DDoS mitigation within the ISP domain.     

人工智能技术在互联网大数据挖掘算法中的应用

将人工智能技术应用到互联网大数据挖掘算法中,可以利用互联网大数据进行准确的定位和分析,为企业提供更精准的用户行为信息。文中阐述了基于人工智能技术的大数据挖掘算法,然后分析了在互联网大数据挖掘算法中应用人工智能技术的重要性,最后说明了人工智能技术在互联网大数据挖掘算法中的具体应用,以期为用户提供更精准的网络服务,从而使用户获得更加满意、便捷、安全的服务体验。     

3G系统中基于业务特性深度识别的应用

本文提出了一种第三代移动通信系统中基于业务深度识别的应用解决方案。该方案包含核心网进行业务类型深度识别并开展差异化的内容计费,和无线接入网运营商业务运营策略进行差异化的无线资源调度。通过该技术方案的引入,大大提升运营商精细化运营的能力,同时提升用户在无线网络中的感受度。