基于海量卫星测控数据存储与查询方法

针对卫星海量测控数据以时间区间检索、结果按时间排序的需求,提出了基于数据库时间分区表与索引组织表（IOT）的存储和查询方法。时间分区表采用将数据存放到多个物理表空间,在数据查询时不需每次扫描整张表,检索时间明显缩短,且查询响应时间不会随着数据量的增长而增加;索引组织表是将数据直接存放在索引中,降低了存储空间的占用,以损失较小的写入效率为代价。通过对某卫星实验和分析,证明了方法的有效性和正确性,提高了数据存储和查询的效率。     

非字符数据在档案管理系统中的存储和访问

针对档案管理系统对非字符型数据进行存储和访问的一些技术难题,本文首先讨论了对现有的纸质档案扫描采集,以及对电子格式文件直接入库,在数据库中对存储这些非字符文件数据的表和索引进行分区存储管理,以提高查询和操作大量非字符数据的系统性能.最后,采用基于Autovue的组件技术进行预览查看,保证了系统风格整体一致.     

基于表分区的火车售票海量数据的优化研究

在推行火车票实行实名制的同时,由于旅客信息量过大,造成数据处理速度非常慢,如何才能将该速度提高到用户满意的程度,本文提出使用表分区技术来进行优化。文章在介绍表分区工作原理的基础上,提出使用范围和列表两种分区技术,并以虚拟实名制火车票销售表作为原始数据,分别进行常规表和分区表的查询测试,经范围分区和列表分区优化后的表比常规表查询效率分别提高了55%和42%。结果表明,在访问海量数据时使用表分区技术能有效组织数据、合理利用磁盘空间、降低管理数据的成本、缩短搜索时间,从而达到性能优化的目的。     

基于HBase/Spark的教学大数据存储及索引模型研究

为解决海量教学数据的高效处理和管理,提出基于HBase/Spark的教学大数据存储及索引模型设计.先基于组合行键构建HBase表,根据教学Course分类进行预分区,并构建cost评分函数,来检测并迁移负载,达到解决数据存储时写热点和负载均衡的问题.语义解析、组合行键索引查询、Spark并行属性条件过滤实现教学大数据高效查询.实验证明基于HBase/Spark的教学大数据的模型,能够实现更加高效的教学大数据访存管理.     

DAS模型下基于查询概率的密文索引技术

数据库服务(Database-as-a-Service,DAS)模型是一种新的数据管理模型,它把用户的数据存放在第三方并通过网络提供数据库管理系统.DAS模型下,如何提高密文数据库的查询效率是当前面临的一个主要问题,而密文索引技术是提高数据库中密文查询效率的手段之一.针对现有的密文索引方法查询命中率低的问题,本文根据查询概率的实际分布情况,提出了一种适用于非等概率查询的桶划分策略,该策略以降低错检率为目的生成密文索引,提高了查询效率.最后给出了相应的算法,并通过实验对算法进行了分析和验证.     

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.     

GPS定位监控系统数据库的分区优化及其实现

针对监控系统数据库中历史数据表数据量大且需要频繁处理的特点,确定了对此类表进行分区优化处理的方案.阐述了表分区的优化处理方法的实现过程,将大数据量表分区存放于不同文件组,通过分散访问各个分区表,减少每次检索的数据量.最后通过大量的测试数据,对比了同一张大数据表按月份分区优化前后查询效率的变化.测试结果表明,表分区之后执...     

C/S环境下信息系统优化设计的若干问题

以数据库ＳＱＬＳＥＲＶＥＲ为例,提出了一些优化Ｃ／Ｓ环境下的信息系统的措施：根据实际情况选择适当的数据库规范级别、合理规划数据库的数据关系及类型、以少量冗余换取系统性能等方法优化数据字典,确定在适当对象上建立索引和选择适当的索引类型等方法优化索引,通过限制查询结果集、减少查询必须连接的表的数目、编写和调用存储过程等方法优化查询,通过缩短事务、编写调用数据库触发器等方法提高系统性能和可靠性     

C／S环境下信息系统优化设计的若干问题

以数据库ＳＱＬ ＳＥＲＶＥＲ为例,提出了一些优化Ｃ／Ｓ环境下的信息系统的措施,根据实际情况选择适当的数据库规范级别,合理规划数据库的数据关系及类型,以少量冗余换取系统性能等方法优化数据字典,确定在适当对象上建立索引和选择适当的索引类型等方法优化索引,通过限制查询结果集,减少查询必须连接的数目,编写和调用存储过程等方法优化查询,通过缩短事务,编写调用数据库触发器等方法提高系统性能和可靠性。     

基于LevelDB的二维数据二级索引实现

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key-Value结构的局限性使其无法有效地索引空间数据,对于这个问题本文提出了一种基于LevelDB和R-tree的二级索引,使其可以支持二维数据的索引和近邻查询.实验结果表明该结构有较好的可用性.     

两类复矩阵次亚正定性的判据

对两类特殊的分块复矩阵的次亚正定性进行研究,给出了由低阶矩阵的次亚正定判别分块二阶、三阶次Hermite矩阵的次亚正定性的充要条件,进而将其推广为一般的分块复矩阵的讨论,给出了分块复矩阵的次亚正定性的新判据.     

垂直分布数据的隐私保护支持向量机

随着人们对隐私权的越来越重视,隐私保护数据挖掘成为当前研究热点.分类算法作为一个重要的数据挖掘方法被应用到各个领域,其中支持向量机(SVM)是分类算法中一个重要方法.并且数据的隐私性和安全性是人们关注的重点.本文对SSP协议进行扩展提出了一个基于垂直分布数据的隐私支持向量机算法,这个算法具有更高的效率和更好的安全性.     

基于Cluster结构的多维动态数据分布方法

数据分布是数据库查询并行处理的基础，良好的数据分布方法对查询性能有着重要影响，本文提出了一种新的基于Cluster结构的多维动态数据分布方法，该方法能保证数据均匀分布在多个处理机上；能动态调整数据片段的大小，使关系始终保持最优并行度；并能有效地支持各属性上的查询操作，性能分析及实验结果表明，在大规模的并行系统中，本文方法的性能优于过去的数据分布方法。     

阈值上限一定时超大规模数据库的查询方法研究

在确定查询阈值上限时,当前数据库查询方法只能使用查询树的一条路径,并行性能较差;在对超大规模数据进行查询时,具有查询时间长、响应不及时的弊端。为此,提出一种新的阈值上限一定时超大规模数据库的查询方法,通过RSA算法对超大规模数据库进行加密和解密处理,依据多叉树的定义构造多叉索引树,在此基础上计算各代表数据点与查询点之间的距离;在阈值上限一定时,利用多个从节点机并行处理后,使用主节点机汇集结果,运用后续子树递归处理,直至获取查询结果。实验结果表明,所提方法不仅具有很高的查询效率,而且CPU使用率很高。     

SQL Server索引的优化

SQLServer优化技术对提高系统性能至关重要 .为充分利用索引 ,优化表的查询机制 ,从而提高SQLServer查询速度 ,本文从建立有用的索引减少表扫描I O次数 ,优化WHERE子句避免列操作 ,合理应用复合索引选好第一索引列和使用聚集索引使数据在物理上按顺序排列四个方面加以阐述     

数据库优化设计方法初探

从范式优化、索引优化、表的优化及查询优化探讨数据库优化设计的方法．并对它们的综合使用进行分析。数据库优化设计时．在逻辑设计阶段．要根据范式优化及表优化中的要求设计数据库逻辑结构,对两者的利弊进行权衡,选出折衷的方案．既可以避免不一致性和数据异常现象．又不影响整体的性能;在数据库物理设计阶段．要根据索引优化中的要求在有关属性或属性的组合上建立索引,以优化数据库物理结构;在数据库查询阶段．采用在条件子句中使用索引,嵌套查询,迟早执行选择操作．迟早消除不满足条件的记录,分组计数和避免困难的正规表达式6种优化策略．可大大提高查询效率。     

基于CGSP-DAI网格环境下的性能研究

随着网格技术的迅速发展,海量复杂的结构化数据成为网格计算应用的主要难题,数据库技术在网格环境中的作用也变的尤为重要。对OGSA-DAI的核心基础进行扩展,提出了一种构建在网格环境下异构数据库访问与集成的基础构架,通过虚拟表机制来集成各种异构的数据库资源,从而更加有效地在网格环境下访问和集成异构数据库,并且在大数据量查询和分布式联合查询方面做了一定的前瞻性工作。针对与单个虚拟表和多个虚拟表之间的分布式联合查询,设计两种典型实验场景,分析了CGSP-DAI的相关性能数据,验证了CGSP-DAI的可用性和有效性。     

Oracle查询优化技术在卫星计费系统中的应用研究

在超大容量表数据库中,查询优化尤为重要.通过对卫星计费系统数据库查询特点的分析,提出对超大容量表的"分而治之"的设计策略,探讨如何解决超大容量表查询快速响应的问题,并在卫星计费系统中实现之.结果表明,采用"分而治之"的设计,结合Oracle的优化技术,可以满足用户对查询时间的要求.