基于概要数据结构的网络异常检测方法

提出一种基于概要数据结构(sketch)的网络异常检测方法。采用金字塔时间模型对高速网络数据流进行分析,并基于奇异熵提取sketch。统计一定周期内该数据结构的特征值变化趋势,计算出均值和梯度值,以及相应的报警区间。当告警出现时,该方法能分析出现异常的IP地址。实验证明,该方法能有效地对网络进行异常检测。     

基于概要数据结构可溯源的异常检测方法

提出一种基于sketch概要数据结构的异常检测方法.该方法实时记录网络数据流信息到sketch数据结构,然后每隔一定周期进行异常检测.采用EWMA(exponentially weighted moving average)预测模型预测每一周期的预测值,计算观测值与预测值之间的差异sketch,然后基于差异sketch采用均值均方差模型建立网络流量变化参考.该方法能够检测DDoS、扫描等攻击行为,并能追溯异常的IP地址.通过模拟实验验证,该方法占用很少的计算和存储资源,能够检测骨干网络流量中的异常IP地址.     

网络重要流检测方法综述

网络的管理与监测是网络领域的重要话题,这一领域的相关技术通常也称为网络测量(network measurement).网络重要流检测(network heavy hitter detection)是网络测量的一项关键技术,也是研究对象.重要流指占用网络资源(如带宽或发送的数据包数量)超过某一给定标准的流,检测重要流有助于快速识别网络异常,提升网络运行效率,但链路的高速化为其实现带来了挑战.按出现时间顺序,可将重要流检测方法划分为两大类:基于传统网络框架的和基于软件定义网络(SDN)框架的.围绕网络重要流检测相关的框架与算法,系统地总结其发展过程与研究现状,并尝试给出其未来可能的发展方向.     

基于多虚拟矩阵的网络流估计算法

针对现有PMC算法测量精度较低的缺点,提出一种基于多虚拟矩阵的网络流估计算法。运用多个哈希函数对数据包进行哈希映射,对应生成多个虚拟矩阵,通过对生成的虚拟矩阵按位取交集,有效提高算法的准确率。实验结果表明,在存储空间相同的条件下,该算法测量精度更高,适用性更好,能够适应当下的高速网络环境。     

基于网络流跟踪的信号灯检测方法

结合信号灯信息对机动车行进速度进行引导,减少机动车启停次数,可有效减少废气排放,缓解其造成的污染问题。针对信号灯转换时刻的获取问题,提出了一种基于网络流跟踪的信号灯检测方法。首先,该方法在数据集中引入辅助信号灯类别进行训练,将视频序列中该类目标检测结果关联为踪片,并通过踪片建模多目标跟踪任务。其次,该方法将多目标跟踪任务转换为最小费用流优化任务,以踪片作为节点建立最小费用流网络,提出了适合于信号灯的费用构建方式,通过最短路径算法求解,得到视频序列中辅助信号灯的多条轨迹。最后,基于求解的轨迹结果和图像分类技术,实现信号灯检测性能的提升。该方法的跟踪性能相较于对比算法有大幅提升,并将小目标信号灯检测响应的mAP提升至94.35%。实验结果表明,基于网络流的建模方式能极大地提升信号灯的跟踪准确率,结合跟踪轨迹还能大幅提高视频序列中小目标信号灯的检测准确率,并可有效确定信号灯状态的转换时刻。     

面向数据流的多层Count-Min概要数据结构

构造了多层Count-Min概要数据结构来概括流数据中的层次结构。通过定义多层数据域U*上两两相互独立的异或哈希函数族,将数据流元组映射到L×D×W的三维计数数组,L是层次个数,D是从哈希函数族中均匀随机选取的哈希函数个数,W是哈希函数的值域。基于该结构,利用广度优先查询策略,查找多层频繁项集和估计多层频繁项值。实验表明,该结构在更新时间、存储空间和估计精度方面比直接堆叠多个Count-Min结构有较大的提高。     

基于网络流跨层特征的深度入侵检测方法

随着当今社会迈入信息化时代,保护网络空间安全变得越来越重要。近年来,新型网络攻击方法频频出现,严重威胁着人们的财产安全和国家的信息安全。因此,基于异常的入侵检测系统以其检测未知攻击的能力得到了广泛的重视。但是大多数基于异常的入侵检测技术都仅局限于单个数据包头部特征以及一定大小窗口内的统计特征,很少有工作以流(Flow)为单位提取特征,也很少有工作利用载荷中包含的攻击信息。基于以上情况,论文提出了一种基于网络流跨层特征的深度入侵检测方法,它在特征提取阶段,首先将一系列数据包整合为一个流,然后利用特征统计提取头部特征,利用文本卷积神经网络提取载荷特征。之后,将两部分特征进行拼接后,使用梯度提升算法进行回归训练,建立预测模型。最后,使用大量实验评估了方法的有效性。     

基于流数据的大对象数据缓冲机制

通过对关系数据库管理系统Postgre SQL的大对象数据缓冲机制的分析,提出了基于流数据的大对象数据缓冲机制。该机制针对传统大对象数据缓冲所使用的页存储机制存在的性能缺陷,以流数据模型来取代一般的块页读取机制,并根据流数据的存储特点构建基于流数据管道的大对象数据缓冲器结构。该结构在内存中维护一个远小于大对象数据规模的可常驻内存的概要数据结构,从而可以迅速得到用户想要的数据,避免了冗余的磁盘I/O。     

基于流量分析的网络隐蔽通道检测模型

针对传统的异常信息流检测方法的不足，设计了一种基于流量分析的网络隐蔽通道检测模型，它采用了概率统计中的泊松分布和数据挖掘中的聚类分析等方法，开辟了一条检测信息暗流的新途径。     

基于长短期记忆网络和滑动窗口的流数据异常检测方法

针对目前流数据存在数量巨大、生成迅速和概念漂移的特点,提出了一种基于长短期记忆(LSTM)网络和滑动窗口的流数据异常检测方法。首先采用LSTM网络进行数据预测,之后计算预测值与实际值的差值。对于每个数据,选择合适的滑动窗口,将滑动窗口区间内的所有差值进行分布建模,再根据每个差值在当前分布的概率密度来计算数据异常可能性。LSTM网络不仅可以进行数据预测,还可以边预测边学习,实时更新调整网络,保证模型的有效性;而利用滑动窗口可以使得异常分数的分配更为合理。最后使用在真实数据基础上制造的模拟数据进行了实验。实验结果验证了所提方法在低噪声环境下比直接利用差值进行检测和异常数据分布建模法(ADM)方法的平均曲线下面积(AUC)值分别提高了0.187和0.05。     

Computation of persistent homology on streaming data using topological data summaries

Persistent homology is a computationally intensive and yet extremely powerful tool for Topological Data Analysis. Applying the tool on potentially infinite sequence of data objects is a challenging task. For this reason, persistent homology and data stream mining have long been two important but disjoint areas of data science. The first computational model, that was recently introduced to bridge the gap between the two areas, is useful for detecting steady or gradual changes in data streams, such as certain genomic modifications during the evolution of species. However, that model is not suitable for applications that encounter abrupt changes of extremely short duration. This paper presents another model for computing persistent homology on streaming data that addresses the shortcoming of the previous work. The model is validated on the important real-world application of network anomaly detection. It is shown that in addition to detecting the occurrence of anomalies or attacks in computer networks, the proposed model is able to visually identify several types of traffic. Moreover, the model can accurately detect abrupt changes of extremely short as well as longer duration in the network traffic. These capabilities are not achievable by the previous model or by traditional data mining techniques.     

基于多数据流分析的木马检测方法

传统基于单数据流的木马检测方法在实际应用中具有较高的误报率,为此提出一种基于多数据流分析的木马检测方法.通过对应用程序的数据流进行聚类形成数据流簇,在数据流簇上提取相应属性特征描述木马的通信行为,并采用集成学习方法对改进的C4.5决策树分类算法进行多轮训练,生成检测规则,建立检测模型.实验表明,基于多数据流分析的木马检测方法有效降低了传统基于单数据流检测的误报率,并且对无控制端的木马通信数据流具有较好的检测能力,产生的重复报警信息也大大减少,提高了基于数据流的木马检测方法的实用性.     

基于攻防树的APT风险分析方法

针对目前缺少APT攻击中系统威胁风险评估理论模型的问题,提出了一种基于攻防树的网络攻击风险分析方法。将APT攻击过程分为攻击阶段与防护阶段,定义不同阶段内的参数计算方法,首先通过漏洞收集和攻击事件捕获构建攻击行为节点,并将防护对策映射为防护行为节点;其次形式化定义了漏洞成功利用概率、攻击成本、防护成本和系统损失度等参数,利用ADTool工具生成攻防树和节点参数值;然后引入攻击回报与防护回报的概念,作为系统风险分析的依据;最后构建了基于攻防树的攻击风险分析框架,并通过一个APT攻击实例对框架效果进行了验证。计算结果表明,可通过攻击回报等参数数值的变化评估采取防护对策的效果。该方法对攻防双方策略互相影响的场景描述更加贴近实际,实现了系统威胁风险度分析与防护策略效果评估的目的。     

电磁相关法流量测量传感器检测电极距离研究

多相流流量测量在工业生产与科学研究中有着广泛的应用。针对石油生产测井狭小空间环境下的油气水多相流流量测量问题,提出了一种能扩大生产测井中多相流油气含率的量程范围并提高流量测量精度,且具有连续测量、无放射性、低成本等优点的油气水多相流电磁相关法流量测量传感器。电磁相关法流量测量传感器两对检测电极之间的距离设计是该类传感器设计的关键技术之一,通过传感器内部虚电流及其敏感场的仿真研究与分析,为电磁相关法流量测量传感器的两对检测电极之间的距离设计提供帮助,以促进新型多相流流量仪表的发展。     

大规模数据流统计中冷热流替换策略优化

对大规模数据流统计的问题进行了研究,针对大流统计的典型结构Elastic Sketch替换策略中存在的问题进行优化,优化策略解决了冷流被误判为热流插入重部的问题.针对重部中保存的不一定是最大流的问题进行优化,提出了基于最大值和组相连的替换策略,保证了存储在重部的一定是最大的流,提高了大流统计的精度,同时大大降低了热碰撞...     

基于层次和数据流驱动的软件可靠性分配方法

为了提高软件可靠性分配的有效性, 提出了一种基于层次和数据流驱动的软件可靠性分配方法。该方法对传统的重要度、复杂度度量方法进行改进; 针对软件系统开发初期体系结构中系统模块层次关系及模块间数据流关系进行抽象, 形成体系结构形式化定义, 建立可靠性因子的度量准则及度量模型, 依据度量模型对可靠性进行分配。最后结合实例进行了分析和验证, 结果表明了该分配模型的有效性和可行性。     

基于设计草图的零配件检索算法

在机械制造智能化进程中不可避免地产生了海量零配件模型信息,给数据的高效检索带来了巨大的挑战。考虑到设计草图具备用户友好且轻量级的特性,方法通过构造深度跨域表征模型进行基于设计草图的机械零配件模型检索。针对草图和三维模型的跨模态信息关联问题,提出特征联合学习方法,旨在控制检索对象类内及类间差异的过程中,使特征描述符习得单一域特征的同时融合跨域信息,建立跨模态数据在共嵌空间下的一致性关联表征。最后,利用哈希编码构建索引表实现海量数据的快速检索。在零部件数据上的实验结果表明,所提出的基于设计草图的零配件检索方法在同期方法中既能实现最准确的检索结果,也具备较高的检索效率。方法在提升跨模态零配件信息检索准确性的同时提高了数据管理效率,从而间接提升了产品设计的效率和便捷性,相关系统已经在部分企业落地应用且获得良好反馈。     

基于同步多维数据流的脑网络动态特征辨识方法研究

针对人脑实时变化的特性,为了更好的观测和描述人脑网络的动态特征,在基于功能磁共振成像的脑功能网络重构技术基础上,给出了一种人脑网络动态特征辨识方法。首先利用同步多维数据流的即时更新能力,将在静息态功能磁共振成像数据采集区间上的血氧水平依赖信号由大时间序列分解重构为每个采样点上的小时间窗口序列,构建连续时间点上的状态观测窗口,从而实现对人脑功能共振信号的特定时间状态辨识,然后运用相关分析对状态观测窗口信号进行分析,得到单状态观测矩阵,最终构建全脑在整个数据采集区间上的动态特征矩阵。实验结果显示该方法可以为人脑网络的动态特征观测和描述提供一种有效手段,也为进一步研究人脑网络的动态特征演变奠定了基础。     

数据流特征感知的交换机流表智能更新方法

针对软件定义网络（SDN）中交换机流表匹配率低的问题,提出了数据流特征感知的交换机流表智能更新方法。首先,论述流表项的生存超时时间timeout对数据包匹配的影响,并且分析比较基于先进先出（FIFO）、近期最少使用（LRU）等一般方法存在的不足;其次,根据流表项的生存时间和数据流的特征密切相关的思想,利用基于隐马尔可夫模型（HMM）的深度流检测（DFI）技术对数据流进行分类;最后,根据流表资源和控制器计算资源状况,实现对不同类型数据流流表项的智能更新。采用校园数据中心网络行为数据的模拟实验表明,与流表更新的一般方法相比,智能方法能使流表匹配率提高5%以上,对SDN交换机的管理有实际意义。