如何打造全能战士——Python的字典类

字典是python语言的基本数据类型,它的作用就像awk里的关联数组或者Perl里的哈希表。在字典里,每个数据元素都有唯一的关键字（key）跟它对应,所有的数据元素和关键字对构成了一张映射表。字典的基本操作有：     

哈希表查找算法的性能分析与研究

查找是计算机中经常要用到的操作.哈希查找试图不通过关键字的比较就可以确定元素记录所在的地址,极大地减少了关键字的比较次数,提高了查找的性能.给出了一种通过链地址法处理冲突构造的哈希表,并计算平均查找长度的算法,希望能对查找算法的研究起到一点作用.     

哈希表查找算法的性能分析与研究

查找是计算机中经常要用到的操作.哈希查找试图不通过关键字的比较就可以确定元素记录所在的地址,极大地减少了关键字的比较次数,提高了查找的性能.给出了一种通过线性探测再散列处理冲突构造的哈希表,并计算平均查找长度的算法能对查找算法的研究起到一定的作用.     

基于多哈希算法的大规模图像快速检索方法

哈希技术被视为最有潜力的相似性搜索方法,其可以用于大规模多媒体数据搜索场合。为了解决在大规模图像情况下,数据检索效率低下的问题,提出了一种基于分段哈希码的倒排索引树结构,该索引结构将哈希码进行分段处理,对每段哈希码维护一个倒排索引树结构,并结合高效的布隆过滤器构建哈希索引结构。为了进一步提高检索准确性,设计了一种准确的排序融合算法,对多个哈希算法的排序结果分别构建加权无向图,采用PageRank的思想对基于多个哈希算法的排序列表的融合技术进行了详细的说明。实验结果表明,基于分段哈希码的倒排索引树结构能极大地提升数据的检索速度。此外,相比于传统的单个哈希算法排序技术,基于多个哈希算法的排序列表融合技术的检索准确率优势显著。     

增量式多关键字可搜索加密算法

为满足加密文件的多关键字检索需求并解决云存储模式下文件频繁更新导致用户重构安全索引的问题,提出增量式多关键字可搜索加密算法。基于新型的多元素随机布隆过滤器,使用户提交的多个查询关键字被随机哈希并混合,在随机布隆过滤器中得到快速判定。该算法保障数据与查询机密性的同时,保护用户访问模式的隐私性,支持文件的独立更新,有效避免可搜索结构的整体重构,其效率与检索准确率与同类算法相比有较大提高。实验验证了该方案的实用性。     

基于Hadoop的多关键字排序方法研究

在单机环境下按多关键字对大数据排序需要较长的执行时间,为了提高按多关键字对大数据排序的效率,根据Hadoop的MapReduce模型,给出了两种基于Hadoop的多关键字排序方法。方法一在Reduce函数中使用链式基数排序算法按多关键字对大数据并行排序,利用多个节点的计算能力提高排序的效率。方法二通过定义组合键和比较器实现了对记录的多个关键字按字节比较,节省了将字节流反序列化为对象的时间。通过实验测试了两种方法的性能,实验结果表明,两种方法均能取得较高的排序效率和较好的可扩展性。     

基于HEVC屏幕图像编码的哈希表的优化算法

仿2维匹配算法对屏幕图像中的非连续色调区域有很好的压缩性能,但该算法中哈希表的空间开销较大,不利于硬件实现。为了减小哈希表的空间,通过对原算法优化提出了一种3字节计算哈希值方法,将源数据看作是一个由以YUV三元组为元素组成的数据集合,然后以YUV三元组为单位计算哈希值,这样不但减少了哈希值的计算量,而且使哈希表的存储空间得到很大的节省。实验结果表明,3字节计算哈希值方法使哈希表的存储空间减少为原算法的1/3,所测试屏幕图像的BD-rate性能也有所提高。     

分布式哈希查找模型的研究

Chord模型结构是P2P网络的典型模型之一,它利用分布式哈希表（DHT）在应用层形成一个重叠网络,Chord模型应用Chord协议对关键字进行查找,分析Chord系统的关键字查找算法、节点的加入算法以及节点加入和退出对查找的影响。     

层次化的分布式路由结构

在P2P网络中构建了一种基于IPv6地址的分层的分布式路由结构,旨在解决目前分布式哈希表路由中存在的物理拓扑与逻辑网络不匹配造成的寻路效率低下的问题。通过对IPv6地址的每一级集聚标识符分别进行哈希构建节点标识符,构造有层次的节点路由信息,使得物理上相邻的节点在覆盖网络中也邻近,很好地降低了查询时延,提高了查询效率。同时,使用多关键字映射,根据各关键字的权值建立分层的关键字标识符,形成相似节点的聚集,实现了多关键字查找,并提高了相似数据的查询效率。     

结构P2P网络Chord模型研究及其动态分析

Chord系统是结构P2P网络的典型模型之一,它利用分布式哈希表(DHT)在应用层形成一个重叠网络。 Chord系统应用Chord协议对关键字进行查找,本文分析了Chord系统的关键字查找算法、节点的加入算法以及节点加入和退出对查找的影响。     

子域散列检索算法

虽然现在有许多不同的检索算法，但可以把它们分成两类：一类建立在比较基础上，效率不高；另一类称为散列算法，由于考虑了关键字与信息记录存贮地址间的关系，故效率较高。但是，现有的散列算法必须在不同情况下分析关键字，才能构造出好的Ｈａｓｈ函数，保证提高效率。本文提出一个新的Ｈａｓｈ函数构造方法－子域散列检索算法，其特点是在不同关键字情况下可以用相同映射方法来建立索引。这一算法不仅提高了效率，而且解决了一…     

利用关键词倒排表实时检索中文网页

研究了基于关键词倒排表的中文网页快速检索方法。在建立大量网页语料库的前提下,利用关键词词典和优化后的前向最大切词算法脱机生成网页关键词特征向量,然后对网页特征向量作维数压缩生成压缩格式的网页特征表,最后利用网页特征表根据关键词在所有网页中出现的频率统计生成关键词倒排文件。实验中,通过对比访问网页库、特征表和倒排文件三种不同的数据来源,分别实现了中文网页的关键词检索,比较了三种数据源检索的实时性。实验表明,基于关键词的倒排表检索算法大大优于其他两种方法,具有很好的实时性。     

HCAA:一种哈希冲突过度的动态解决算法

HASH表作为一种快速查询的数据结构,在防火墙等网络安全应用中得到了广泛的应用。然而,攻击者可能通过一些手段对这些应用发动HASH攻击使其失去响应,从而使某些恶意的数据流能够逃脱网络安全应用的管理和控制。提出一种动态的哈希冲突过度的解决算法—HCAA(Hash Collision-Acceptable Algorithm)算法,该算法在哈希冲突过于集中时通过动态申请HASH表并使用不同哈希函数来对冲突数据流进行处理,使冲突在可接受的范围内。实验结果表明,与已有方法相比,HCAA算法能在使用更少HASH表项的情况下获得更均衡的HASH效果,从而能对数据流进行更快的HASH操作。     

基于包围盒和空间分解的碰撞检测算法

文中提出一种基于包围盒和空间分解的碰撞检测算法,用以解决软体的碰撞检测。算法使用AABB包围盒做初步检测,确定可能发生碰撞的物体。再根据包围盒的重叠情况缩小可能发生碰撞的区域,利用哈希表作为数据储存结构进行空间分解,将物体包围盒重叠区域的基本几何元素的空间网格映射到哈希表中,将碰撞区域缩小到基本几何元素,最后用基元碰撞检测找出具体碰撞点。由于前期AABB包围盒的处理减少了空间分解阶段需要映射的基本几何元素数量,该算法具有较高的运算速度。     

流数据Top-K关键字查询算法

基于Spark Streaming计算框架的分布式Top-K关键字查询是统计流数据中所有关键字的热点研究问题。多数研究通过限定存储空间来实现Top-K关键字查询,并假设关键字集合已知。针对这个问题,提出一种可应用于关键字集合未知情况的分布式Top-K关键字查询算法,根据监测到的关键字动态地调整存储空间,通过更新策略的优化提升其精度。实验结果表明,该算法的性能在关键字集合未知的情况下比现有算法更优。     

Object-stack: An object-oriented approach for top-k keyword querying over fuzzy XML

Keyword search is the most popular technique of searching information from XML (eXtensible markup language) document. It enables users to easily access XML data without learning the structure query language or studying the complex data schemas. Existing traditional keyword query methods are mainly based on LCA (lowest common ancestor) semantics, in which the returned results match all keywords at the granularity of elements. In many practical applications, information is often uncertain and vague. As a result, how to identify useful information from fuzzy data is becoming an important research topic. In this paper, we focus on the issue of keyword querying on fuzzy XML data at the granularity of objects. By introducing the concept of “object tree”, we propose the query semantics for keyword query at object-level. We find the minimum whole matching result object trees which contain all keywords and the partial matching result object trees which contain partial keywords, and return the root nodes of these result object trees as query results. For effectively and accurately identifying the top-K answers with the highest scores, we propose a score mechanism with the consideration of tf*idf document relevance, users’ preference and possibilities of results. We propose a stack-based algorithm named object-stack to obtain the top-K answers with the highest scores. Experimental results show that the object-stack algorithm outperforms the traditional XML keyword query algorithms significantly, and it can get high quality of query results with high search efficiency on the fuzzy XML document.     

抑郁症网络社交与疑似抑郁微博初步筛选算法

在社交网络数据与抑郁症有关研究中往往需要采取人工方式标注抑郁症和非抑郁症用户,费时费力。通过高校大学生的微博社交数据的采集与分析,研究并提出了一种基于抑郁关键词与语义扩展的大学生疑似抑郁微博初步筛选算法——综合词法。该方法通过基础关键词表的构建和基于词嵌入学习模型WORD2VEC的语义扩展形成抑郁关键词表,最后利用该词表对被测微博进行语义相似度计算,进而识别其是否为疑似抑郁微博。在首都高校大学生微博数据集上的实验结果表明：综合词法在筛选准确率上优于SDS问卷分词法和专家词法;综合词法能够快速地从海量大学生微博中自动筛选占比非常少的疑似抑郁微博,减少专家标注工作量,提高标注效率,并可进一步为后续抑郁症患者精确识别（分类问题）提供良好的数据处理基础。     

基于区块链的电子病历数据共享方案

以区块链为数据存储平台的电子病历系统是当下研究的热点.存储在区块链上的数据是不可变的,这加强了数据的安全性.提出了一个基于区块链的电子病历数据共享方案,实现了患者和第三方数据用户在不侵犯患者隐私的前提下共享患者电子病历.使用私有链与联盟链构造方案的系统模型,医院服务器上存储患者的电子病历密文,私有链上存储患者病历密文的哈希值和关键字索引,联盟链上存储由关键字索引构成的安全索引.同时利用可搜索加密技术实现了联盟链上对关键字的安全搜索,运用代理重加密算法实现了第三方数据用户对患者电子病历的共享.通过数值实验对方案进行了性能评估.