基于神经网络的大规模数据集离群点检测算法 |
| |
作者姓名: | 高志宇 宋学坤 肖俊生 闫培玲 孙新娟 |
| |
作者单位: | 1. 河南中医药大学信息技术学院;2. 华北水利水电大学物理与电子学院 |
| |
基金项目: | 河南省高等学校重点科研项目(19A520005); |
| |
摘 要: | 针对传统方法在检测离群点时常因冗余数据的干扰而导致检测用时较长、检测准确率偏低的问题,设计了基于神经网络的大规模数据集离群点检测算法.采用核主成分分析方法对大规模数据集进行降维处理,去除其中存在的冗余数据,利用神经网络在误差函数的基础上实现对离群点的检测.结果表明:该算法的检测时间始终低于0.4 min,且检测准确率始终保持在90%以上,说明该算法能够快速、准确地检测大规模数据集中的离群点.
|
关 键 词: | 神经网络 大规模数据集 离群点检测 冗余数据 降维处理 误差函数 核主成分分析 中心势值 |
|