基于Spark的用户上网WAP日志分析

在移动互联网时代,越来越活跃的用户手机上网行为带来了流量的迅猛发展.对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好的了解客户需求.传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择.文章主要以用户WAP日志为例,详细阐述如何利用大数据技术处理海量的非结构化数据,进而挖掘和分析用户上网行为.     

游戏大数据平台研究与实践

立足于游戏平台数据快速处理需求,构建基于分布式+关系数据混合多元的大数据处理架构,针对高价值密度的结构化数据采用关系数据处理;大量无序的非结构化数据采用分布式机制处理.两种类型数据实现有序化后,统一交予传统关系数据库构建关系化模型并展示,既能实现关键经营分析数据的高效处理,又能满足无序的日志数据规模化处理需求.通过剖析其总体架构、主要功能和关键技术,从而为其他业务平台大数据分析建设和改造提供借鉴和参考.     

智能管道大数据挖掘分析研究与实践

探索如何挖掘、利用电信运营商智能管道中的数据价值,通过利用智能网管数据中心汇聚固网、移动网上大量网络基础性能质量、话单、日志、信令、DPI等各类数据,利用大数据技术,进行跨专业关联、多维度深度挖掘分析,形成综合应用。     

运维大数据和智能运维在电力行业的实践

随着信息系统规模的不断扩大,各类IT系统的数据信息爆炸性增长。如何采用最新的信息技术有效挖掘运维数据、提升运维的效率和服务质量,降低运营成本和风险是企业不变的挑战。文章结合电力企业业务特点,从运维大数据的采集、预处理、存储、分析和可视化等几个方面,探讨了将运维大数据和智能运维技术相结合搭建智能运维平台的关键因素和思路。     

基于数据中心的公安大数据应用研究

面对公安业务产生的海量结构化和非结构化数据,需要研究新型的大数据处理方法.按照公安行业技术规范,研究数据中心平台架构,并完成平台设计与实现.针对各警种业务对大数据定制服务、模型研发的需求,构建匹配公安业务场景的大数据系统.结合应用实例,构建基础设施云环境和混合存储环境,实现对大数据资源存储、整合、管控、共享服务及应用的支撑,并通过大数据资源服务对内外部数据资源进行汇聚、清洗、管理、挖掘分析.最终实现公安大数据的智能信息处理,达到公安大数据实战应用的目的.该研究成果已成功应用于全国公安数据标准化试点城市河北省邯郸市公安局大数据平台建设项目,能够为公安大数据应用提供借鉴.     

基于大数据的云媒体电视全局业务智能技术

与传统的数据仓库应用相比,大数据技术具有数据处理量大、可处理非结构化数据、实时性高等特点.针对云媒体融合业务爆发式增长导致用户会陷入业务选择迷茫的问题,南京有线以“转型、智能、极致”为发展目标,基于大数据技术,聚合企业内部所有系统数据资源,并进行各种智能化数据分析处理及标准化能力封装开放.立足于为云媒体电视各类融合业务提供智能支撑,以主动智能和被动智能等多种方式,让用户体验到无处不在的云媒体业务智能.     

基于大数据及人工智能的物联网客户感知保障研究及实践

针对移动通信网中物联网卡难管理、客户业务难识别的现状，基于网络大数据，开展物联网行业客户端到端保障能力研究，以“四层三维”感知评估模型和“定性分类”方法为理论基础，充分挖掘和分析物联网卡网络数据，摸清不同制式、不同行业、不同客户的业务特性，做到“看得清”，再通过人工智能技术与大数据能力相融合，使运维能力智能化、自动化升级，做到“管得好”，最终实现物联网行业客户感知主动运维保障。本成果填补了行业内缺乏面向物联网业务端到端保障能力的空白，在缩短故障处理时长、提升网络质量、减少人工运维成本等方面发挥了重要作用，提升了客户满意度。     

基于电信大数据的即时环境应用能力开放平台

提出一种基于电信大数据的即时环境应用能力开放平台,并研究平台框架及实现机制。该平台充分挖掘电信运营商的数据价值,并为第三方应用提供业务便利,有利于电信运营商大数据生态环境的构建。     

通信网络大数据应用新模式研究

4G高速网络时代,电信运营商的数据业务爆炸式增长产生了海量数据.用大数据视角挖掘业务数据背后蕴藏的巨大价值、盘活企业的海量数据资产,为电信运营商应对数据业务飞速发展提供了新思路.本文阐述了大数据的定义和发展趋势,依据大数据价值链层次构成理论分析了电信运营商的大数据优势和面临的挑战,介绍了全球典型电信运营商的大数据试用情况,并结合大数据处理基本流程,从精细化运营和商业模式创新两个方面对电信运营商在4G时代的大数据应用进行了探讨.     

一种基于分层异构的业务支撑系统数据全生命周期管理平台的设计与实现

数据库作为业务支撑系统中的核心组件,承载了支撑系统数据处理及数据存储功能,数据库运行效率直接决定了系统的业务支撑能力;文章针对大数据时代数据爆炸式增长带来的数据库性能下降问题,通过将数据生命周期管理自动化,常态化,一方面实现了数据库运维建设降本,另一方面实现了数据库支撑能力增效。     

基于电信大数据的数据建模平台研究

基于电信大数据的Hadoopdesigner系统,是针对电信大数据的特点,根据元数据的设计思想开发的数据建模平台,融合了数据仓库的很多建模思想和理论,为电信大数据处理提供了一种新的方法,也为不同种类的数据提供了统一、标准、可视化的模型,大大降低了统一、快速满足不同业务的不同需求的难度,提高了数据处理效率。     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

随机森林在运营商大数据补全中的应用

电信运营商有大量数据,但是鉴于多种原因,数据的质量不够理想,出现大量数据不完整甚至缺失。对于已有数据的挖掘,必须在数据满足质量要求且达到足够采样比例的前提下开展。依托现有的全国日志留存系统,设计完整数据的模板样库,鉴别不能满足质量要求的数据,使用随机森林算法,找到最符合的相同或相关数据,补全数据并提升数据质量;用回溯反馈的方法优化并扩充模板样库。在全国日志留存系统中构建数据补全子系统,实现端到端的数据质量保障和提升,补全并改善历史数据甚至实时数据的质量,最终满足数据处理和挖掘的要求,提升运营商数据质量和价值。     

基于TF-IDF算法的运营商用户画像分析

随着通信技术的迅速发展，海量日志的产生给企业运营带来了安全隐患，除了能否及时检测出电信运营商企业内各类业务系统及设备的海量日志是否安全、合规之外，基于用户行为的分析对日志安全也尤为重要。为了直观掌握用户行为，本文基于TF-IDF标签权重算法对运营商海量用户业务日志数据构建用户画像。根据实际业务场景构建RFS模型，通过开发的用户画像标签体系分析研究运营商用户行为，对用户操作日志中的潜在高风险信息进行数据挖掘，并输出可视化用户行为分析画像结果。实际应用表明，通过用户画像能识别风险用户行为信息，同时也能为日志安全分析提供参考价值，帮助企业实现数据安全运营动态监测。     

"城轨云"网络空间综合运维管理平台研制

针对太原市轨道交通"城轨云"存在的云平台、网络、安全以及云上系统等各类资产的统一综合运维需求,采用微服务框架研制综合运维管理平台,以SNMP、TELNET、SSH、WMI等方式实现各类资源性能监控,以日志采集与分析技术,实现全栈日志存储、建模、监控、智能分析的PB级数据处理能力;开发运维流程自动化引擎技术,通过可视化的...     

媒体业务日志的结构化处理

随着互联网技术的蓬勃发展与数字化信息的快速增长,新媒体行业正迈入数智化时代[1],大数据技术为形式各异的数据提供了分析处理方式,赋予新媒体行业更全面、准确的用户洞察能力,提升了内容生产和传播的效率和精度,成为新媒体行业发生的重要驱动力。IDC（互联网数据中心）预测,2025年全球数据总量将达到175 ZB,80%的数据都将以非结构化形式存在[2],结构化数据才是数据处理的关键性因素。数据量的快速增长、数据类型及位置的不断变化,导致越来越多的企业对于数据采集、分析、利用的需求也越来越多样化[3]。在媒体业务产生的数据呈指数级增长的形势下,传统的数据管理方式越来越无法适应新媒体行业的时效性需求,容量受限、性能瓶颈、管理困难等问题亟须解决[4]。     

电力通信运行管理中典型业务数据的智能关联方法

电力通信运行管理过程中,会产生和存储各类相对独立的业务数据(如故障工单、值班日志、检修工单、巡检记录等),这些业务数据为电力通信网运行管理提供了重要支撑。目前大多数业务数据的统计过程相对独立,后期较少人工加以关联。选取了电力通信运行管理中值班日志与故障工单两种典型的业务数据,采用文本挖掘技术,构建无监督召回和监督分类相结合的机器学习模型,提出值班日志与故障工单的智能关联方法,并利用电力通信运行管理系统中相关历史业务数据,对智能关联方法进行实验验证,达到较好的关联效果。     

基于大数据Spark的配网运维数据处理研究

传统数据处理方法采用抑制量测误差方法改变权值,但增加了迭代次数,导致迭代总应用时间过长。为解决这一问题,提出基于大数据技术Spark的配网运维数据处理方法。先采用大数据技术Spark评估配网运维数据,再设计数据处理环节,运维数据经过HDFS、数据添加、数据清洗、数据合并、数据类型管理处理后,即可投入使用。在应用实例分析中,随机抽取10个配网运维数据,完成本次实验。实验结果表明,设计的基于大数据技术Spark的配网运维数据处理方法迭代总应用时间相比传统数据处理方法少26%。由此证明,该方法符合设计需求。     

基于Smart-DI和Smart-AutoML的电信行业挖掘平台研究及应用

基于电信行业目前营销资源利用不足、数据挖掘难度大、门槛高等问题,通过建设电信行业智能挖掘分析平台,创新性地提出利用智能数据编排技术(Smart-DI,Data Integration)和智能自动建模技术(Smart-AutoML)进行电信行业各种营销模型的数据编排、模型搭建、模型训练、模型推理及模型输出,为电信行业提供全流程的自动化挖掘和营销数据服务.     

先做好电信的信息化

电信运营商在探索服务于政务信息化、企业信息化、行业信息化之际，如何创新电信业自身的信息化，提升运营的竞争力，推动中国通信产业的整体升级，同样至关重要。电信运营商在基础网络建设、运营业务产值及电信用户规模方面取得了规模进展之后，提升企业信息管理、运维水平、业务能力已成为电信信息化建设的重中之重，也是电信运营商创新、转型以及做大做强的重要保障。