基于知识成熟度的动态正则化神经网络优化方法

传统的反向传播(BP)神经网络模型,在隐含层神经元较多时具有非常强大的表征能力,但同时也是因为这个原因,导致训练参数过多,难以避免造成过拟合现象,当训练数据非常有限时情况会更加严重。提出了一种基于知识成熟度的动态正则化神经网络优化方法 L2KM,不同于传统的L2正则化方法采用固定的先验假设,在模型训练的过程中根据学习到知识的成熟度动态地调整正则化参数,实现权值动态衰减。实验结果表明,这种动态正则化的神经网络优化方法能够有效地对抗过拟合,提升知识质量,提高模型的泛化能力。与传统的L2正则化方法相比,误分类率降低了42%左右。