分布协作式搜索引擎系统的初步探索

针对集中式搜索引擎的瓶颈问题，提出一种既具有集中式搜索引擎优点又解决了其瓶颈问题的分布协作式搜索引擎系统。系统的设计思想是使地理上分散在不同地方的搜索引擎在信息收集与更新上进行协作。讨论了信息收集程序(Crawler)的3种工作方式：封闭式、交叉式和交换式。提出了成组传送和复制热门URL两种方法来降低在交换式工作方式下传送的URL信息频率和信息量。讨论了Web的3种划分方法：URL散列法、站点散列法和分类法。通过模拟实验验证了在封闭式工作方式下当Crawler数量较少时可以得到较好的收集率。验证了站点散列法比URL散列法能显著减少外部链接的数量。验证了成组传送对降低在交换式工作方式下传送URL信息量所起的作用。     

一种分布协作式WWW搜索引擎模型

针对集中式搜索引擎的瓶颈问题,提出了一种既具有集中式搜索引擎优点又解决了其瓶颈问题的分布协作式搜索引擎系统模型。讨论了各子系统信息收集程序信息收集代价的计算和作用范围划分问题。系统的设计思想是使分布在不同地理位置上的搜索引擎在信息收集与更新上进行协作。模型实现了信息收集、索引的地方化,从而减轻了局部网络传输的压力,缩短了索引库更新的周期。模型中各个子系统都提供用户接口用以分散系统检索工作量,通过共享各自的索引库,都在本地存储一个全局索引库来提高检索效率,缩短用户查询响应时间。整个系统具有可扩展性和动态调度性。     

Web日志挖掘研究

通过对Web服务器日志件进行分析，可以发现相似客户群体、相关Web页面和频繁访问路径。在本算法中，首先以Web站点的URL为行、以UserID为列建立URL—UserID关联矩阵，其元素值为用户的访问次数。然后。采用模糊聚类算法和K-平均算法两种方法分别对列向量进行分析得到相似客户群体，对行向量进行分析可获得相关页面，对后再进一步处理还可以发现频繁访问路径。实验结果表明了算法的有效性。     

云计算环境下基于Agent的信任信息收集机制

利用Agent自治协作的特点,研究了一种基于Agent的云计算环境下的信任信息收集机制.其中研究的信任计算所涉及的因素分为直接信息、推荐与信誉3个方面,为了综合解决集中式信息存取模型导致的存储压力问题与分布式模式导致的管理复杂度问题,该机制利用集中分布式的方式收集与存储信任信息.引入信誉管理Agent来集中管理云服务等资源的信誉以及用户的朋友关系等信息,同时将云计算中的资源分布式划分为不同的资源社区,引入资源社区信任管理Agent分布式管理交互信息等.提出了基于Agent的信任信息收集整体框架与工作流程,以及信息收集模块的设计与信任信息预处理的相关方法,最后进行了模拟仿真试验,试验结果显示了信任预处理机制的有效性.     

面向蒙古文主题的网络爬虫采集策略模型

针对蒙古文主题爬虫主要面临的预测采集URL和发现隧道2个核心问题,提出一种基于主题团的站点聚类、排序和隧道发现的采集模型.通过站点的主题识别,将待爬行URL分为站点链接和非站点链接,使用文本相似度和超链图分析建立了预测URL优先级排序算法,基于站点粒度设计了站点自适应隧道发现算法,最后,构建了一个面向蒙古文主题的网络爬虫系统.实验结果表明:该算法在采准率、信息总量与采集速率上都得到了提高,明显优于基线算法.     

基于聚类算法的垂直搜索引擎技术研究

设计并实现了一个基于相似聚类算法的垂直搜索引擎。利用网络爬虫NWebCrawler,通过定制正则表达式,高效爬取所需的URL;通过解析爬取的URL信息,提取结构化数据;利用正向最大匹配算法,对搜索关键字分词;利用向量空间模型,根据相似度值对搜索结果聚类;基于Lucene建立索引,检索所需信息。实验结果表明,基于相似聚类算法的垂直搜索引擎,比通用搜索引擎的准确率和召回率高,与普通的垂直搜索引擎相比,具备了相似产品查询功能。     

网络取证日志分布式安全管理

提出了一种网络取证日志分布式安全管理方法,通过日志代理和管理网关将分散的异构的日志收集并存储到多个管理节点。该管理节点采用信息分配算法IDA将日志记录分散为n份,计算所有分片单向散列值,并同该节点相应存储分片关联存储。取证分析时,管理节点根据网络入侵事件多特征关联性,利用任意m(mn)个节点提取相关日志记录分片重建原有信息。由于每个分片携带所属日志记录所有分片的单向散列值,通过验证可以保证重构日志记录的完整性。     

基于Hadoop的分布式搜索引擎关键技术

实现了基于Hadoop的分布式搜索引擎,着重讨论了实现分布式搜索引擎涉及的3个关键性技术：索引表的建立、分词的处理和索引前的预处理。通过实验对比了集中式搜索引擎和分布式搜索引擎,结果表明了基于hadoop的分布式搜索引擎在处理数据方面强劲的优势。     

物联网中安全通信协议的形式化分析

针对物联网通信协议安全性不足和使用非形式化方法进行分析时容易出现错误的问题,提出了一种物联网安全通信协议,建立了协议主体模型和攻击者模型,采用通信顺序进程CSP的形式化方法对协议模型进行了分析。该通信协议对传送的信息进行加密,采用的加密方式是散列函数结合异或运算。协议主体进行了相互认证,认证服务器为协议主体通信分配了会话密钥,解决了读写器非法扫描和信息安全传送的问题。利用故障发散改进检测器（FDR）对该协议模型CSP进程进行了检测,结果表明：该协议主体进行了相互认证,会话密钥是安全的,所提出的物联网通信协议是安全可靠的,CSP方法用于分析协议的安全性是可行的。     

采用LDPC码的8PSK调制编码协作方法

为了提高编码协作系统的频谱资源利用率,并有效地利用LDPC码,提出了一种更高效的编码协作方法.该方法以两用户为例,在两次发送数据的时隙中都采用8PSK调制,使用混合自动重传方式(HARQ),在第1时隙对接收端不能正确译码的数据进行存储,并与下一次发送来的数据进行联合译码,通过增加数据的冗余信息来提高编码协作系统第1时隙传送数据的译码准确率,直到第1时隙传送的数据可以正确译码为止.在第2时隙传送其协作用户的冗余信息比特,从而实现发送分集.性能分析和仿真结果表明,当协作用户间信道的信噪比为0 dB,误码率为10-3时,与非协作方案和普通的编码协作方案相比较,所提出的编码协作方案在瑞利块衰落信道下可以获得约5 dB和3 dB的性能增益.     

基于灰度分类的图像搜索引擎

图像搜索是下一代搜索引擎迫切需要解决的课题,在对图像搜索引擎的主要功能和关键技术进行了分析和讨论的基础上,详细剖析了图像搜索引擎设计中任务分析、解决方案、感受哈希算法、实现等关键过程,并实现了一个基于灰度值分类的图像搜索引擎.实际试验表明,本图像搜索引擎的搜索速度较快、性能稳定,具有较好的搜索效果.     

基于簇协作的无线传感器网络组密钥管理方案

为了解决无线传感器网络组通信的安全问题,该文提出了一种基于簇协作的组密钥管理方案。采用簇协作的方式实现组密钥的更新,并使用伪随机数生成器和哈希函数产生更新多项式,从而及时更新组内合法节点的组密钥分量。性能分析表明,该方案具有良好的安全性和较低的存储开销,仿真结果表明,该方案具有较低的通信开销。     

一种新的公平交换协议

电子商务是Internet应用的发展趋势,它的基础之一是公平的交换协议。基于一种可转换的认证加密方法,设计出一种新的包含半可信第三方的公平交换协议。相对于现有的优化公平交换协议,新协议结构简单,通信量较低,同时具有保密性、公平性、不可否认性和时限性。     

一种分簇无线传感网轻量级匿名认证及密钥协商方案

针对分簇无线传感网中的节点认证问题,使用轻量级的哈希函数和异或运算,设计了一种节点认证及密钥协商方案,将匿名机制引入节点认证过程中,保护了节点隐私安全,提高了网络抵御流量分析攻击的能力.对认证方案抗攻击性能和资源开销的对比分析结果表明,提出的方案可以提供良好的安全认证,并具有较低的计算、存储和通信开销.     

基于跨平台的Oracle数据库连接研究

该文对基于跨平台Oracle数据库连接进行综合和详细分析和研究.首先讨论了连接的各种方式及Java实现,分析了其优缺点.针对连接池的缺点提出了采用多连接池、多进程、多线程方法技术来解决多数据源连接、稳定可靠性和负载均衡等问题, 给出了使用哈希表、向量表等数据结构的Java实现,在实际应用中,明显提高了多数据源连接性能和可靠性,并对JDBC API函数进行抽象封装,方便开发人员使用.最后分析了J2EE架构下,应用服务器为IBM WebSphere Application Server v5数据库连接和Java实现.     

基于Linux的桥式防火墙的研究

由于工作于路由模式下的传统防火墙在安装配置及安全性方面的不足,提出了一个在linux下对桥接防火墙进行改进的设计方案,该方案在linux内核br-nf架构的基础上,仿照TCP的连接管理方式针对UDP数据报进行状态检测,不仅提高了防火墙对UDP的DOS攻击的抵御能力,而且提高了系统的整体效率.     

多搜索引擎的设计与实现

为了加速网站查询速度和正确率，根据局域网上多处理机的通信原理，及集成个性化及中英文查询的要求，设计了多搜索引擎，基于被搜索的关键字，在主机上调度了多至8个引擎共同搜索，并给出了流程图和搜索的结果．经运行证明，多搜索引擎可运行在基于局域网的多处理机上，在现有局域网条件下，速度提高5～6倍，正确率达90％以上．     

改进的哈希表查找算法

哈希表查找作为一种快速的数据查询算法被广泛应用。为了更好地查找和解决哈希冲突,在构建哈希表时常选用链地址法来解决冲突。由于在查找哈希表时需要遍历链表,大大降低了查找效率。该文在结合链地址法和二分查找的基础上,提出了一种提高哈希表查找效率的改进方法。实验结果表明,该方法降低了冲突时执行查询的查找长度,从而降低了查询所需的时间。     

认知无线电网络高能效协作频谱感知技术

提出了一种协作频谱感知方式. 通过对本地观测向量和预设门限的比较,认知用户可以根据本 地感知的可靠性决定是否向基站发送本地判决结果. 在不同控制信道条件下,采用计数准则 和Neyman Pearson准则对所提出的协作频谱感知方式进行了感知性能研究. 理论分析和仿 真结果表明,这种协作频谱感知方式在保证检测性能的基础上,有效减少了协作通信开销, 提升了感知能效.     

基于客户端模式的多防火墙认证系统

针对单防火墙认证系统的单一通路、负载过重的瓶颈问题,采用软件编程技术,设计了基于客户端模式的通信软件,通过C/S通信方式实现多防火墙认证系统之间的流量均衡、用户均衡和响应均衡,提高了防火墙认证系统的效率和稳定,保障校园网的效率和稳定运行。