基于Hadoop的高可用数据采集与存储方案

本文提出了一种基于Hadoop、Zookeeper、Flume、Kafka、Hbase技术的数据采集与存储方案,能够解决Hadoop的单点故障问题,并提高数据采集和存储的效率。该方案依赖于Zookeeper集群构建高可用的Hadoop集群,通过Flume实现对模拟数据的采集,经过Kafka对数据进行缓存和分发,最终存储到Hbase中。该方案具备高稳定性、安全性和可扩展性,具有一定的应用指导意义。     

基于Hadoop技术的电信大数据分析平台的设计和实现

近年来,随着云计算技术的到来,大数据普及率越来越高。同时,中国国内移动互联网市场已经吸引了超过5亿的移动端用户,每天产生巨大的数据量。在这种情况下,如何利用云计算能力来存储、处理和分析数据,已成为一个非常有价值的课题。     

基于Hadoop技术的电信大数据平台设计

本文以电信大数据平台出发,针对Hadoop技术基础下的平台研究内容以及其特点进行总结和研究。     

Hadoop在电信大数据平台的研究与设计

针对传统Hadoop平台架构中单名字节点瓶颈和对小文件存储支持不理想的问题进行优化。首先针对第一个问题,增加节点层次并在第二层增加NameNode数量等措施,解决了单名字节点瓶颈;又通过在原 HDFS 的数据存储过程中增加合并处理模块,实现小文件合并为大文件处理的方法,提升了小文件的访问效率。实验数据对比表明这些方法是有效、可行的。     

基于Hadoop和MapReduce的大数据处理系统设计与实现

随着信息技术的猛烈发展,各行各业产生的数据呈指数型增长。如何利用,分析,整合这些"大数据"成为信息时代的一大挑战。文章针对信息时代下,大规模数据处理分析效率等一系列相关问题,利用Hadoop技术,设计并实现了一套基于Hadoop和MapReduce的大数据处理系统,该系统利用Hadoop分布式文件系统(HDFS)存储数据,利用Hadoop Map Reduce框架分布式处理数据分析任务。实验结果表明:该系统可以将单一数据处理任务分配到一个Hadoop集群上去,继而提高大数据文件处理效率。     

基于Hadoop平台的电信大数据入库及查询性能优化研究

随着移动互联网的快速发展,电信运营商内部各种IT系统中的数据出现了"大数据"的特征,既有的技术架构和路线已无法高效处理如此海量的数据。针对流量经营大数据管理和大数据服务中海量DPI数据的数据入库和数据查询场景,提出了一种基于Hadoop的分布式数据服务架构,并设计出在该架构下的数据入库和查询性能的优化算法,通过模拟数据的实验对性能优化算法进行了验证。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

基于Hadoop的高校大数据平台的设计与实现

随着信息化的推进,高校已经建设了很多信息系统,积累了大量数据。如何从海量数据中,挖掘有价值的信息,支撑智慧校园的建设,成为需要迫切解决的问题。文中就高校大数据平台的关键技术和架构进行阐述,结合高校实际情况,设计高校大数据平台架构,通过搭建Hadoop集群环境,以业务系统和平台之间的数据交互验证平台设计的可行性和优势。通过研究,文中为高校建设大数据平台提出一种设计方案,为高校信息化建设提供一种新思路。     

针对运营商的大数据建设方案研究

随着大数据应用在互联网行业的蓬勃发展,大数据逐步成为国内外运营商的关注焦点。首先基于电信运营商面临的挑战和建设难题,分析建设大数据平台的重要性和必要性;然后,结合运营商实际需求,提供了大数据平台建设的关键技术分析、系统架构、设备配置方法和组网方案等,对运营商进行大数据平台的规划、设计以及建设具有很好的借鉴意义。     

基于Hadoop的质检大数据分析的研究

随着社会生产的发展,政府监督和企业委托的产品质量检验产生了规模非常巨大的质检数据.这些数据持续快速增长,数据类型多样化,针对对海量的质检数据进行高效率的访问,并进行有效的分析利用,为政府和公众提供质量监管、预测和预警的帮助.现提出了一种基于Hadoop分布式计算技术进行存储和分析质检大数据的方法,设计了质检大数据分析的架构和主要部分的实现代码.该设计具有良好的高扩展性和高可用性,能满足质检大数据的存储和挖掘等要求.     

基于Hadoop的石油大数据平台设计

在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经...     

大数据驱动的环境景观设计方案评估研究

当前环境景观设计方案评估模型存在错误大、结果主观性比较强的缺陷,为了解决当前环境景观设计方案评估模型存在的弊端,提高环境景观设计方案评估精度,提出一种基于灰色关联分析法的环境景观设计方案评估模型。首先,对国内环境景观设计方案评估相关文献进行研究,分析环境景观设计方案评估错误大的影响因素;然后,建立环境景观设计评价指标体系,引入大数据驱动分析方法——灰色关联分析法描述环境景观设计方案评估指标之间的关联度,并建立科学、客观的环境景观设计方案评估模型;最后,在相同环境下,与其他环境景观设计方案评估模型进行对比测试,结果表明,灰色关联分析方法获得了理想的环境景观设计方案评估结果,相对于其他模型,所提环境景观设计方案评估结果更加科学、准确,具有十分广泛的应用前景。     

A big data acquisition engine based on rule engine

Supervisory control and data acquisition (SCADA) systems based on Ethernet progress is open and modularization. This article aims to building a general data acquisition engine which combines rule engine and finite state automaton together. The combination describes big data acquisition flow and its rules in a flexible way, and helps to verify the security and correctness of the big data acquisition flow.     

基于大数据分析的安全威胁情报在电信运营商的落地应用

威胁情报作为运营商应对新的攻击手段和变化多端的安全威胁的利器,也是将传统的被动防御转为主动防御的核心动力。介绍了威胁情报对于运营商的重要性,详细分析了威胁情报的生产流程,最后给出威胁情报的典型应用场景,可为电信运营商威胁情报的落地实践提供技术参考。     

信号采集及频谱显示方案的研究与实现

文章讨论了在嵌入式领域实现信号采集及频谱显示的两个常用方案:数字信号处理器(DSP)方案和现场可编程门阵列(FPGA)方案.综合分析了这两种方案的优缺点.详细介绍了具体的FPGA实现方法.系统采用模块化设计.所有的功能模块都用Verilog HDL语言描述,具有自主的知识产权.仿真综合结果表明.系统能满足高速信号采集和频谱显示的要求.     

基于Hadoop的校园导览大数据分析平台构建及应用

基于Serverless无服务器架构搭建的知晓云校园导览小程序,提出了一种Hadoop和Spark统一部署的校园导览大数据分析设计方案,并对构建该平台的关键技术和步骤进行说明。实践验证,相对以往单一Hadoop平台,文章所构建的混合平台具有计算资源按需伸缩、集群利用率高、避免数据跨集群迁移等优势,更适应企业实际使用。     

基于大数据的最优招标方案选取算法

传统招标方案选取算法通过建立指标属性矩阵和直觉模糊线性评价模型进行最优招标方案选取,没有考虑大数据处理上的时间性,导致选取结果效率低,准确性差。为此提出基于大数据的最优招标方案选取算法,对全部招标方案进行聚类,通过大数据抽样加快对招标方案的大数据处理进程;选用Single簇质心方位;利用均值更新方法对大数据自然簇质心的方位进行修改以确定大数据自然簇质心的实质方位,在此基础上对招标方案集进行划分聚类。实现招标方案的聚类后,构建投影寻踪模型进行最优招标方案的选取。实验结果表明,所提算法聚类误差低于7%,准确性高达93%,并且在计算速度方面具有较大优势。