一种高效的DNS日志压缩算法

CN顶级域名的DNS日志从分布式站点传输到数据处理中心时,对海量数据存储和传输带宽提出极大挑战。针对该问题,提出一种高效的DNS日志压缩算法,利用DNS查询类型的冗余性和DNS查询时间、IP地址和域名等的重复性进行DNS日志压缩。实验结果证明了DNS日志压缩算法在DNS实时监控和分析系统中部署的有效性和高效性。     

基于Mysq1数据库的智能DNS系统的设计与实现

针对如何提高ChinaNet用户访问CERNet资源的速度及提高DNS服务器的响应时间,该系统在满足标准FRC协议、智能DNS和调研各高校网络服务需求的基础上,提出了基于Mysql数据库的智能DNS系统.对具体网站的性能测试表明,将区域数据存储于Mysql数据库相比于传统DNS服务器(区域数据存储于文本文件),在最大、最小、平均和完成全部查询的响应时间方面都具有突出的性能,可大大改善DNS服务器的响应时间.     

一种船舶雷达导航回波数据压缩算法的设计

为了解决船舶雷达导航系统存储空间小、原始回波数据量多和文件大等矛盾,根据船舶雷达数据的特点,设计了位图压缩—半字节压缩—双哈夫曼压缩的混合压缩算法;该算法以半字节压缩算法为核心,融合了位图压缩算法和哈夫曼压缩算法,单纯的半字节压缩算法理论上压缩比可达到50%,将位图压缩和哈夫曼压缩与其融合后,总压缩比可达76%以上;实验证明,新算法可以为船舶导航系统节省了大量的存储资源,并提高了数据传输的速率。     

两种面向推荐系统的数据压缩方法

今日头条的服务器每天都会产生规模庞大的训练数据,为方便进行训练,这些数据都具有特定的格式和分布特征。使用不同类型的通用压缩算法(字典类型及非字典类型)进行测试,发现单独任何一种算法都无法在满足业务需求(速率需求和CPU占比等)的同时获得较为可观的压缩比。针对今日头条的训练数据,提出了分段聚类压缩和Hash recoding压缩两种策略。实验结果表明,分段聚类压缩方式在更好地保证了压缩率的同时提高了压缩速率的目的;Hash recoding压缩方式则更好地达到了以少量压缩速率的损失换取更可观的压缩率的目的。分段聚类方式搭配Gzip压缩算法的组合能使压缩速率提高300%以上;Hash recoding方式匹配Snappy压缩算法能使压缩率缩小50%以上。根据实际需求,不论选择哪种策略,对于降低今日头条的运营成本,提升业务处理的效率,提供更好的用户体验,都有一定意义。     

基于小波神经网络的心电数据压缩方法研究

本文在研究心电信号特征的基础上提出了动态心电数据的小波神经网络压缩算法.本算法对原始心电数据实行实时分桢;采用最速梯度下降法优化网络参数.对MIT-BIH数据库中的几组数据进行压缩,给出压缩/重建的实验结果并分析讨论.研究表明:该算法具有参数收敛速度快、数据压缩性能良好的特点.     

声波测井数据压缩算法的研究与实现

声波测井会产生庞大的数据量,当测井电缆数据传输速率较低而无法满足实时传输要求时,可采用存储式仪器对这些数据进行井下存储。为了减小仪器的存储压力,需要对数据进行压缩处理,为了提高压缩比从而增大数据存储量,本文在经典的LZW压缩算法基础上,进一步提出一种基于MED预测的LZW数据压缩系统,并采用OK6410微处理器及Linux操作平台,完整实现该系统对声波测井数据的压缩、存储、传输以及数据解压恢复功能。系统测试和实验结果表明,该系统的数据压缩比达到30%,可实现数据的无损压缩,系统性能稳定可靠,因此基于MED预测的LZW数据压缩系统及其实现方法可在声波测井仪中进行推广应用。     

一种遥测数据实时采集压缩系统的实现

设计了一种对遥测大容量速变数据的实时压缩采集方案,通过采用改善无损压缩算法的压缩比、压缩和解压速度以及算法复杂度等多个数据压缩性能,提出了综合性能较好的LZW编码作为数据压缩的核心算法并通过软件仿真确认其效果和压缩算法的执行速度;利用主控芯片FPGA完成对压缩数据的高精度采集,对研制的数据采集压缩系统进行整体测试,测试结果表明,该系统完成了6路速变参数的实时采集与压缩,压缩比达到1.8∶1以上,各项指标满足了设计要求.     

基于指令级并行的倒排索引压缩算法

文本信息数量的快速增长给传统的信息检索技术带来了新的挑战.搜索引擎通常使用倒排索引来高效地处理查询.为了减少存储开销和加快访问速度,倒排索引通常被压缩存储.因此,如何选择一个高性能的压缩算法对高效查询处理是非常有必要的.在已有倒排链压缩算法PackedBinary和PForDelta的基础上,利用CPU的超标量特性和SIMD向量指令集,将其压缩和解压缩中的关键步骤并行化,提出了2种指令级并行压缩算法SIMD-PB和SIMD-PFD.基于GOV2和ClueWeb09B两个公开数据集的实验表明,SIMD-PB和SIMD-PFD算法在压缩率不变的情况下,压缩和解压缩速度比现有的压缩算法均有非常明显的提升.其中解压缩速度比起目前最好的倒排链压缩算法,最高能提升17％.此外,实验表明算法在较长的倒排链、较大的压缩块单位上有更好的解压缩性能.     

基于在线压缩的数据采集存储系统

在高速数据采集存储系统中,随着数据存储速度需求越来越高,数据带宽和计算能力的快速增长,存储性能越来越成为系统性能的瓶颈。为此,设计并实现一个基于在线压缩的数据采集存储系统。该系统通过提供一套简单的API,实现自身的灵活性以及高可集成性。系统允许用户注册自己的压缩算法,同时向用户屏蔽压缩数据的管理,并且对数据压缩以及存储过程进行优化。实验结果表明,在数据达到一定压缩率情况下,该系统显著地减少数据存储时间,提高了系统的存储速率,同时提高了存储空间利用率。     

基于Omap5910嵌入式平台的并行JPEG压缩算法

针对传统离散余弦变换的行列法中存在的并行性,提出了一个基于Omap5910平台的并行JPEG压缩算法.该算法利用JPEG图像压缩过程中的数据无关性将任务分配到Omap5910平台的两个处理器(ARM和DSP)上,并以多线程模拟多处理器对JPEG压缩过程中的关键步骤离散余弦变换进行并行处理.实验结果表明,该算法在保证与串行压缩算法具有相同的压缩质量的前提下,能够有效地提高JPEG压缩的速度.     

面向跨域可信的泛中心化区块链DNS架构研究

DNS 系统是重要的互联网基础设施,采用中心化层级式结构,在根区存在中心化现象,导致单点故障风险、中心权利滥用风险等缺陷。设计新的泛中心化 DNS 架构将使域名系统从依赖中心的单一信任域,变为多个以顶级域名为根相互平行的信任域,存在跨域可信的研究挑战。围绕跨域可信架构的设计,在架构设计层面采用控制与解析分离的思想,提出双区块链 DNS 架构;在数据层面的跨域验证方面设计了基于单向累加器的验证方案,将传统验证过程 O(N)的时间复杂度降为接近 O(1);在关键技术的性能层面,结合DPoS机制与BFT算法提出CDBFT算法,平均吞吐量可以达到736 TPS（transaction per second）。并用理论推导和实验验证了架构在安全、性能及可扩展性方面具有优势。     

实时数据库中数据的分类压缩算法

为解决实时数据库数据量大导致存储困难等问题,提出一种分类的数据压缩算法,实现对实时数据库数据的无损和高效压缩。首先将实时数据库的数据分为数值、时间戳和质量码3部分,然后根据每种数据的特征形态,将LZ78和LZW数据压缩算法融合,分别设计对应的数据压缩算法。实验结果表明,该算法在提高数据库的实际存储容量的同时也提高了实时数据库的实时性。      

基于多元属性特征的恶意域名检测

域名系统主要提供域名解析功能,完成域名到IP的转换,而恶意域名检测主要用来发现以域名系统为屏障的非法行为,来保障域名服务器的正常运行。总结了恶意域名检测的相关工作,并采用基于机器学习的方法,提出一种基于多元属性特征的恶意域名检测方法。在域名词法特征方面,提取更加细粒度的特征,比如数字字母的转换频率、连续字母的最大长度等;在网络属性特征方面,更加关注名称服务器,比如其个数、分散度等。实验结果表明,该方法的准确率、召回率、F1值均达到了99.8%,具有较好的检测效果。     

基于主对角线的分形图像并行压缩算法

本文针对传统分形压缩算法耗费时间长的缺点,提出一种基于定义域块主对角线的并行压缩算法。文中讨论了并行系统的最优构架模式及任务分配方案,从而保证系统运行时负载平衡。定义并设计出了一种新型的MPICH数据结构,用于提高系统效率,使用了MPICH中的包传输技术,完成了节点间的高性能数据传输。用该算法取代传统算法,因采样方法的改进而简化了计算的复杂度,因并行而极大的缩短了压缩时间,取得了非常好的加速比。实验结果表明,该算法在压缩时间和峰值信噪比(PSNR)两个方面都取得了很好的效果,同时也显示出并行计算在分形领域的重要应用价值。     

基于权威域名服务器的停靠域名识别机制

由于互联网中充斥着大量的停靠域名,给用户上网体验、上网环境带来严重影响,为识别停靠域名,提出一种基于权威域名服务器（DNS）的停靠域名检测方法。该方法从常用于域名停靠服务的错拼域名入手,提取出可能用于停靠服务的权威DNS集合,并通过半监督聚类方法对该集合进行分析,识别出用于停靠服务的权威DNS。在检测停靠域名时,通过判断域名的权威DNS是否用于停靠服务,并且该域名解析的IP地址是否属于停靠服务Web服务器的IP地址集合,来对停靠域名进行识别。借助现有基于页面特征的检测方法对所提方法进行分析,实验结果表明所提方法的准确率达92.8%以上,并且避免了页面信息的爬取,能够实时地检测域名是否为停靠域名。     

实时数据库有损压缩算法的研究

在实时数据库中,测点数量多,数据量庞大,数据变化慢,数据冗余多,且实时数据库对实时性的要求很高,因此需要高效的压缩算法对实时数据进行压缩。实时数据库中的数据压缩算法分为有损和无损两类,文中就数据有损压缩进行了研究。通过对现有的有损压缩算法进行分析和比较,总结并提出了一个新的算法。该算法基于预测和动态修正,对实时数据进行快速高效的有损压缩。通过测试和比较,该算法在提高压缩比的同时能满足系统对还原精度的要求。     

基于JPEG-LS压缩比控制的图像压缩加密算法

针对传统图像压缩比控制不精细及低维混沌系统保密性不高的问题,提出一种基于连续色调静态图像的无损或近无损压缩标准(JPEG-LS)压缩比控制的图像压缩加密算法.在深入分析JPEG-LS中失真控制参数Near对图像压缩比和重建质量的影响的基础上,首先,对光栅扫描的图像数据进行梯度处理;然后,比较梯度值与Near的大小关系以决定进入游程模式进行游长编码或常规模式进行Golomb编码;再次对三维Lorenz混沌系统生成的序列进行随机性处理,采用该序列作为密钥分别对游程模式、常规模式和全模式(游程和常规两种模式)下的压缩码流进行加密;最后,对Near进行实时动态调整,实现了对图像的压缩比精细控制且提高了保密性.仿真结果表明,所提算法能够实现良好的压缩比控制,且重建图像质量比线性压缩比控制算法提高了大约0.5 dB;同时算法安全性高,能够有效抵抗熵攻击、差分攻击、穷举攻击、统计攻击等多种攻击,且加密对压缩效率基本没有影响.     

基于实时数据库的有损线性压缩算法研究与改进

首先对常见的实时数据库数据有损线性压缩算法原理进行了讨论,然后提出了一种新的压缩算法——"双旋转门"压缩算法,最后对各个算法的数据压缩能力进行了详细的对比,结果表时该算法与国外实时数据库的专利算法在数据压缩能力达到同样水准。     

基于词法特征的恶意域名快速检测算法

针对互联网中恶意域名攻击事件频发，现有域名检测方法实时性不强的问题，提出一种基于词法特征的恶意域名快速检测算法。该算法根据恶意域名的特点，首先将所有待测域名按照长度进行正则化处理后赋予权值；然后利用聚类算法将待测域名划分成多个小组，并利用改进的堆排序算法按照组内权值总和计算各域名小组优先级，根据优先级降序依次计算各域名小组中每一域名与黑名单上域名之间的编辑距离；最后依据编辑距离值快速判定恶意域名。算法运行结果表明，基于词法特征的恶意域名快速检测算法与单一使用域名语义和单一使用域名词法的恶意域名检测算法相比，准确率分别提高1.7%与2.5%，检测速率分别提高13.9%与6.8%，具有更高的准确率和实时性。