利用报文抽样和可逆的Bloom Filter实现长流识别

针对高速网络的发展和利用哈希技术在识别长流时难以还原主机信息的问题,提出了利用报文抽样和可逆的Bloom Filter识别长流的算法.采用带有部分主机信息的哈希函数,利用哈希串的重叠和数量上的一致性,能够很方便的还原出主机的信息.给每个哈希函数独立的存储空间,在很大程度上减少了哈希过程所带来的内部冲突.实验结果表明,这种算法可以精确地获得长流的标识与长度信息.     

利用报文抽样和二次哈希方法实现长流识别

识别长流对于网络操作和网络管理有着重要的意义。本文给出了利用报文抽样和二次哈希方法识别长流的算法。使用二次哈希的方法，极大的减少了哈希过程中的冲突。实验结果表明，该算法可以精确地获得长流的标识，并通过估计的方法得出的长度信息接近其真实值。     

基于多级CBF的长流识别

针对高速网络流量难测量的问题及长流占网络流量大部分的特点,提出一种基于多级CBF的长流识别算法,对报文进行抽样,将抽取的报文通过经过一系列哈希映射到长流信息表中,查找是否存在该流信息,若存在则更新流信息,若不存在则将该报文用多级CBF结构对流信息进行过滤,报文数达到阈值的流被识别为长流,并在长流信息表中创建和维护该长流的信息.该算法在很大程度上减少了短流因为哈希冲突而被误判为长流的概率,降低了资源开销,对指定报文数为阈值的长流识别具有很好的扩展性.     

哈希函数构造方法研究

在利用计算机对大量散列信息进行处理时,人们发现通过构造哈希函数对信息进行存储和查询是一种行之有效的方法。但是,人们在处理这类问题的过程中发现该函数还存在着一个主要的问题,就是在由关键字到地址的映射时发生了"冲突",即出现了多个关键字对应一个地址,与我们想要得到的一个关键字只对应一个地址的设想出现了偏差。尽管在这方面有许多专家学者从事过研究,但依然未能很好的解决这种"冲突"。因此,为了更好地解决该问题,应尽量选择一种更合理的构造哈希函数的方法来解决这种"冲突",达到评价哈希函数所要满足的好坏标准"使函数值尽可能均匀的分布到散列地址空间中,减少冲突发生的次数"的要求,实现对信息的高效存储或查找。本文正是基于这一目的,对前人的算法进行分析比较、给出实例验证。在前人算法的基础上做了一些改进,减少了冲突发生的次数。     

区块链环境中基于局部敏感哈希的协同过滤推荐研究

针对区块链环境中海量高维的数据使得推荐性能低下的问题,通过对局部敏感哈希算法的优化,降低其在近邻搜索过程中带来的额外计算和存储开销.利用数据分布的主成分减少传统LSH中不良捕获的投影方向,同时对投影向量权重进行量化,以减少哈希表和哈希函数的使用;通过对哈希桶的间隔进行调整,并且根据冲突次数的大小进一步细化查询结果集,以...     

ARM静态库函数识别技术研究

深入地分析了"dcc"对库函数的研究,针对运行在ARM处理器上的应用程序,对静态库函数识别提出在二进制级别上动态提取库函数特征文件的方法.该方法利用ARM处理器汇编特征提取函数模块,并在此基础上根据汇编代码的寻址方式编码特征提取模式文件并进行动态签名的生成,结合哈希算法对生成的待识别应用程序函数签名和已有签名文件进行特征匹配,识别库函数相关信息.该方案能准确的识别库函数,并有效地解决识别过程中库文件过多和匹配效率之间的矛盾.     

编码选择哈希算法解决大规模图像检索问题

哈希算法已被广泛应用于解决大规模图像检索的问题. 在已有的哈希算法中, 无监督哈希算法因为不需要数据库中图片的语义信息而被广泛应用. 平移不变核局部敏感哈希(SKLSH)算法就是一种较为代表性的无监督哈希算法.该算法随机的产生哈希函数, 并没有考虑所产生的哈希函数的具体检索效果. 因此, SKLSH算法可能产生一些检索效果表现较差的哈希函数. 在本文中, 提出了编码选择哈希算法(BSH). BSH算法根据SKLSH算法产生的哈希函数的具体检索效果来进行挑选. 挑选的标准主要根据哈希函数在3个方面的表现: 相似性符合度, 信息包含量, 和编码独立性. 然后,BSH算法还使用了一种基于贪心的选择方法来找到哈希函数的最优组合. BSH算法和其他代表性的哈希算法在两个真实图像库上进行了检索效果的对比实验. 实验结果表明, 相比于最初的SKLSH算法和其他哈希算法, BSH算法在检索准确度上有着明显的提高.     

单向哈希函数在软件媒体管理中的应用

介绍了单向哈希函数的原理和算，说明了单向哈希函数在软件媒体管理中的具体应用，并编制了利用单向哈希函数计算明文信息摘要的程序。     

编码选择哈希算法解决大规模图像检索问题（英文）

哈希算法已被广泛应用于解决大规模图像检索的问题.在已有的哈希算法中,无监督哈希算法因为不需要数据库中图片的语义信息而被广泛应用.平移不变核局部敏感哈希(SKLSH)算法就是一种较为代表性的无监督哈希算法.该算法随机的产生哈希函数,并没有考虑所产生的哈希函数的具体检索效果.因此,SKLSH算法可能产生一些检索效果表现较差的哈希函数.在本文中,提出了编码选择哈希算法(BSH).BSH算法根据SKLSH算法产生的哈希函数的具体检索效果来进行挑选.挑选的标准主要根据哈希函数在3个方面的表现:相似性符合度,信息包含量,和编码独立性.然后,BSH算法还使用了一种基于贪心的选择方法来找到哈希函数的最优组合.BSH算法和其他代表性的哈希算法在两个真实图像库上进行了检索效果的对比实验.实验结果表明,相比于最初的SKLSH算法和其他哈希算法,BSH算法在检索准确度上有着明显的提高.     

IDS日志数据挖掘的改进算法

提出了一个基于最小完美哈希函数的关联规则的挖掘算法。基于Apriori的算法，在综合了传统哈希剪枝技术的同时，利用最小完美哈希函数的优点，保证了静态数据库关联规则挖掘，可以对关联规则的哈希结构数据进行动态的调整。该算法提高了挖掘效率，通过抑制哈希地址冲突提高了算法的稳定性和可用性。     

基于串行编码校验的深度哈希图像检索

现有基于深度学习的哈希图像检索方法通常使用全连接作为哈希编码层,并行输出每一位哈希编码,这种方法将哈希编码都视为图像的信息编码,忽略了编码过程中哈希码各个比特位之间的关联性与整段编码的冗余性,导致网络编码性能受限.因此,本文基于编码校验的原理,提出了串行哈希编码的深度哈希方法——串行哈希编码网络(serial hashing network, SHNet).与传统的哈希编码方法不同, SHNet将哈希编码网络层结构设计为串行方式,在生成哈希码过程中对串行生成的前部分哈希编码进行校验,从而充分利用编码的关联性与冗余性生成信息量更为丰富、更加紧凑、判别力更强的哈希码.采用mAP作为检索性能评价标准,将本文所提方法与目前主流哈希方法进行比较,实验结果表明本文在不同哈希编码长度下的m AP值在3个数据集CIFAR-10、Image Net、NUS-WIDE上都优于目前主流深度哈希算法,证明了其有效性.     

Piecewise supervised deep hashing for image retrieval

In this paper, we propose a novel hash code generation method based on convolutional neural network (CNN), called the piecewise supervised deep hashing (PSDH) method to directly use a latent layer data and the output layer result of the classification network to generate a two-segment hash code for every input image. The first part of the hash code is the class information hash code, and the second part is the feature message hash code. The method we proposed is a point-wise approach and it is easy to implement and works very well for image retrieval. In particular, it performs excellently in the search of pictures with similar features. The more similar the images are in terms of color and geometric information and so on, the better it will rank above the search results. Compared with the hashing method proposed so far, we keep the whole hashing code search method, and put forward a piecewise hashing code search method. Experiments on three public datasets demonstrate the superior performance of PSDH over several state-of-art methods.

     

基于伪成对标签的深度无监督哈希学习

无监督的深度哈希学习方法由于缺少相似性监督信息,难以获取高质量的哈希编码.因此,文中提出端到端的基于伪成对标签的深度无监督哈希学习模型.首先对由预训练的深度卷积神经网络得到的图像特征进行统计分析,用于构造数据的语义相似性标签.再进行基于成对标签的有监督哈希学习.在两个常用的图像数据集CIFAR-10、NUS-WIDE上的实验表明,经文中方法得到的哈希编码在图像检索上的性能较优.     

Deep and fast: Deep learning hashing with semi-supervised graph construction

Learning-based hashing methods are becoming the mainstream for approximate scalable multimedia retrieval. They consist of two main components: hash codes learning for training data and hash functions learning for new data points. Tremendous efforts have been devoted to designing novel methods for these two components, i.e., supervised and unsupervised methods for learning hash codes, and different models for inferring hashing functions. However, there is little work integrating supervised and unsupervised hash codes learning into a single framework. Moreover, the hash function learning component is usually based on hand-crafted visual features extracted from the training images. The performance of a content-based image retrieval system crucially depends on the feature representation and such hand-crafted visual features may degrade the accuracy of the hash functions. In this paper, we propose a semi-supervised deep learning hashing (DLH) method for fast multimedia retrieval. More specifically, in the first component, we utilize both visual and label information to learn an optimal similarity graph that can more precisely encode the relationship among training data, and then generate the hash codes based on the graph. In the second stage, we apply a deep convolutional network to simultaneously learn a good multimedia representation and a set of hash functions. Extensive experiments on five popular datasets demonstrate the superiority of our DLH over both supervised and unsupervised hashing methods.     

数据中心网络中基于蚁群算法的动态多路径负载均衡

针对数据中心网络中等价多路径路由算法（equal-cost multi-path routing,ECMP）无法有效调度大象流而导致流量负载不均衡及易造成网络拥塞的问题,提出了一种基于蚁群算法的动态多路径负载均衡（ant colony algorithm based dynamic multipath load balancing,ADMLB）算法。ADMLB算法首先通过控制器获取网络负载信息,同时检测大象流并标记,然后调用改进的蚁群算法,根据大象流所需带宽选择多路径。实验结果表明,与传统的ECMP和现有流调度算法相比,ADMLB算法降低了链路延迟时间,有效提高了链路带宽利用率。     

Locality preserving hashing for fast image search: theory and applications

Abstract

State-of-the-art hashing methods, such as the kernelised locality-sensitive hashing and spectral hashing, have high algorithmic complexities to build the hash codes and tables. Our observation from the existing hashing method is that, putting two dissimilar data points into the same hash bucket only reduces the efficiency of the hash table, but it does not hurt the query accuracy. Whereas putting two similar data points into different hash buckets will reduce the correctness (i.e. query accuracy) of a hashing method. Therefore, it is much more important for a good hashing method to ensure that similar data points have high probabilities to be put to the same bucket, than considering those dissimilar data-point relations. On the other side, attracting similar data points to the same hash bucket will naturally suppress dissimilar data points to be put into the same hash bucket. With this locality-preserving observation, we naturally propose a new hashing method called the locality-preserving hashing, which builds the hash codes and tables with much lower algorithmic complexity. Experimental results show that the proposed method is very competitive in terms of the training time spent for large data-sets among the state of the arts, and with reasonable or even better query accuracy.     

自监督深度离散哈希图像检索

目的 基于深度学习的图像哈希检索是图像检索领域的热点研究问题。现有的深度哈希方法忽略了深度图像特征在深度哈希函数训练中的指导作用,并且由于采用松弛优化,不能有效处理二进制量化误差较大导致的生成次优哈希码的问题。对此,提出一种自监督的深度离散哈希方法（self-supervised deep discrete hashing,SSDDH）。方法 利用卷积神经网络提取的深度特征矩阵和图像标签矩阵,计算得到二进制哈希码并作为自监督信息指导深度哈希函数的训练。构造成对损失函数,同时保持连续哈希码之间相似性以及连续哈希码与二进制哈希码之间的相似性,并利用离散优化算法求解得到哈希码,有效降低二进制量化误差。结果 将本文方法在3个公共数据集上进行测试,并与其他哈希算法进行实验对比。在CIFAR-10、NUS-WIDE（web image dataset from National University of Singapore）和Flickr数据集上,本文方法的检索精度均为最高,本文方法的准确率比次优算法DPSH（deep pairwise-supervised hashing）分别高3%、3%和1%。结论 本文提出的基于自监督的深度离散哈希的图像检索方法能有效利用深度特征信息和图像标签信息,并指导深度哈希函数的训练,且能有效减少二进制量化误差。实验结果表明,SSDDH在平均准确率上优于其他同类算法,可以有效完成图像检索任务。