| 一种深度学习批规范化改进算法 |
| |
| 引用本文： | 罗国强,李家华,左文涛.一种深度学习批规范化改进算法[J].计算机系统应用,2020,29(4):187-194. |
| |
| 作者姓名： | 罗国强 李家华 左文涛 |
| |
| 作者单位： | 广州科技职业技术大学 信息工程学院,广州 510550;广州工商学院 计算机科学与工程系,广州 510850 |
| |
| 基金项目： | 广东省教育厅重点科研平台项目（2017GWTSCX064） |
| |
| 摘 要： | 现实中采集的数据由于需要适应实际工程需求以及数据细粒度信息的分类形式多样，样本数据间很难保持完全的独立同分布.而非独立同分布数据会严重降低深度神经网络模型训练的鲁棒性以及特定任务上的泛化性能.为了降低非独立同分布数据在模型训练和推断过程中的不良影响，提出一种批规范化的改进算法.该算法在神经网络模型训练开始前从数据集中取出一小批量数据做批规范化，求解出的均值与方差作为参考值用来更新训练时的其他批量数据.实验结果表明，该改进算法一定程度上能够加快神经网络模型训练收敛，相对于BN算法，分类错误率降低了0.3%，提高了神经网络模型训练的鲁棒性.在目标检测和实例分割任务上，应用该改进算法的预训练模型能够有效提高某些检测算法的泛化性能.
|
| 关 键 词： | 深度学习 批规范化 独立同分布 鲁棒性 泛化性 |
| 收稿时间： | 2019/9/5 0:00:00 |
| 修稿时间： | 2019/10/8 0:00:00 |
Improved Batch Normalization Algorithm for Deep Learning |
| |
| LUO Guo-Qiang,LI Jia-Hua and ZUO Wen-Tao.Improved Batch Normalization Algorithm for Deep Learning[J].Computer Systems& Applications,2020,29(4):187-194. |
| |
| Authors: | LUO Guo-Qiang LI Jia-Hua and ZUO Wen-Tao |
| |
| Affiliation: | College of Information Engineering, Guangzhou Vocational and Technical University of Science and Technology, Guangzhou 510550, China,College of Information Engineering, Guangzhou Vocational and Technical University of Science and Technology, Guangzhou 510550, China and College of Computer Science and Engineering, Guangzhou College of Technology and Business, Guangzhou 510850, China |
| |
| Abstract: | |
| |
| Keywords: | deep learning batch normalization non-i i d robustness generalization |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《计算机系统应用》浏览原始摘要信息 |
|
点击此处可从《计算机系统应用》下载全文 |
|
