利用Kafka技术实现用户实时账单的短信提醒功能

利用基于消息的实时同步机制的KAFKA技术,来实现各个系统之间的数据实时同步,是目前通信运营商采用的高效同步技术,可实现用户实时账单的短信提醒功能,从不同系统之间同步所有用户数据到一个系统,再根据统一口径对数据进行整合处理,实现业务需求.     

基于Hadoop的鼓风机工业数据处理和存储系统

针对现有工控网系统不能高效稳定地接收并处理来自工业现场的海量传感数据问题,基于Hadoop框架,采用消息队列遥测传输(MQTT)作为数据接入协议、EMQ消息队列服务器提供订阅发布接口、Flink作为流计算平台、Kafka作为消息队列缓存分流以及OpenTSDB数据库作为数据存储,设计并实现鼓风机工业大数据处理和存储系统。实验表明,此系统消除了工业制造过程中产生的海量数据信息孤岛,实现生产设备状态动态监测及实时预警。     

大数据平台实时计算监控方案分析

在实时业务数据处理中,需要用到Flume、Kafka、Slipstream等一系列功能组件。在前台业务系统与大数据平台的数据传输过程中,需要监控数据是否正常流动。如果出现了异常,需要定位异常出现的位置。通过一系列的监控工具和方法,可以快速定位各个环节的功能组件是否正常运行。该技术方案的主要目的是为了监控大数据平台实时数据计算的整体流程是否正常工作,前台业务系统与大数据平台内部的数据校验、大数据平台内部的数据校验逻辑是否正确。一方面可以在日常开发过程中验证数据的可靠性,另一方面也可以帮助运维人员更快更精准地定位到产生异常数据的问题所在,从而对现有的业务逻辑进行优化,提高业务效率。     

基于Netty和Kafka的物联网数据接入系统

当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出可供采集终端与收集端使用的通信协议,剥离出网络通信业务中耗时操作并将数据推送至流式消息处理系统Kafka中,再由Kafka消费者负责后续数据持久化、实时分析工作。由此实现一个支持高并发、低延迟的数据接入系统。实验结果表明,在万级别连接情况下,该系统能正常工作且保持较快的响应速度。     

基于Kafka和Storm的车辆套牌实时分析存储系统

城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式（如基于人工识别、基于牌照识别、基于射频识别等）.然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性.     

基于Spark Streaming的实时能耗分项计量系统

能耗分项计量能够准确、及时、有效地发现能源使用问题,形成和实现最有效的节能措施。能耗分项计量系统需要对各项能源使用量在不同粒度上进行统计,既有实时性的需求,又需要涉及到聚合、去重、连接等较为复杂的统计需求。由于数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再作处理,这便导致传统的数据处理架构不能满足需求。为此,提出基于Spark Streaming大数据流式技术构建一个实时能耗分项计量系统,对实时能耗分项计量的系统架构和内部结构进行了详细介绍,并通过实验数据分析了系统的实时数据处理能力。与传统架构不同,实时能耗分项计量系统在数据流动的过程中实时地进行捕捉和处理,一方面把捕捉到的异常信息及时报警到前端,同时把分类分项统计处理的结果保存到数据库,以便进行离线分析和数据挖掘,能有效地解决上述数据处理过程中遇到的问题。     

大并发、高吞吐量实时数据平台的研究

为了解决某省正在运行的"全省实时警情抽取平台"的数据吞吐量较低的问题,文章对影响平台的并发数和数据吞吐量的相关因素进行深入分析,并对数据平台中的汇聚队列进行性能调优。文章还对比ActiveMQ和Kafka队列系统的实现原理,针对大并发和高吞吐量设计仿真测试方案,同时还引入Drools规则引擎,以适应数据平台中的相关计算规则的变化;最后设计一套通过验证的完全可以应对大并发、高数据吞吐需求场景下的实时数据平台。