基于云芯一号的文件动态负载均衡处理机制

为了提高服务器等硬件设备的计算能力和数据安全性,一些针对性的硬件加速设备如FPGA等被用来对数据进行预先处理,可随着数据量的不断提高和数据复杂度的不断升级,传统FPGA上的顺序处理流程显然会造成一些不可预估的设备损耗和宕机概率的提升。本文针对分布式数据存储架构,首先提出自己的硬件加速芯片——云芯一号,然后结合分布式数据存储系统HDFS,设计了一种基于云芯一号的文件动态负载均衡处理机制,并成功部署在HDFS中。通过实验得出,云芯一号的文件压缩和解压速度都远远胜于传统的软件方法,同时负载均衡机制的加入也大大提升了芯片的利用率和降低了芯片的宕机概率,在HDFS中也更针对性的完成了各类数据和文件的预先处理,为数据的分布式处理提供了更好的基础。