加密环境下大数据特征集并行存储方法研究

针对传统方法存在数据存储速度慢,容量小的问题,提出一种加密环境下大数据特征集并行存储方法。采用MMSE算法对大数据特征集进行优化处理,以获得并行的大数据特征集。在加密环境下,当内存中保留数据记录达到一定数量时,在并行处理后的数据中插入批量Hash索引。以此为基础,基于Map函数对数据进行映射处理,进而完成对大数据特征集的并行存储。实验结果表明,利用所提方法的存储过程中数据分布通道具有较好的一致性,且存储速度约为传统方法的3倍,存储容量大。

Research on parallel storage method of big data feature set in encrypted environment