基于选择性集成的最大化软间隔算法

当前,boosting集成学习算法研究主要集中于最大化弱学习器凸组合的间隔或软间隔,该凸组合几乎使用了生成的所有弱学习器,然而这些弱学习器间存在大量的相关性和冗余,增加了训练和分类过程的时空复杂度.针对这一问题,在LPBoost基础上提出了一种选择性boosting集成学习算法,称为SelectedBoost.在每次迭代生成新的弱学习器以后,通过计算新生成的弱学习器与已有弱学习器的相关度和差异度,并结合当前集成的强学习器的准确率来判断是否选择该弱学习器.另外,当前的一系列boosting算法(如AdaBoost,LPBoost,ERLPBoost等),本质上是基于已生成的1个或者多个弱学习器来更新样本权重,但与弱学习器相比,强学习器更能代表当前的决策面.因此,SelectedBoost通过在带约束的间隔最大化问题中引入更加严格的强学习器边界约束条件,使得该算法不仅参考弱学习器边界,同时还参考已生成的强学习器来更新样本权重,进而提高算法的收敛速度.最后,与其他有代表性的集成学习算法进行实验比较,结果表明,该方法在收敛率、分类准确性以及泛化能力等方面均具有比较明显的优势.     

一种动态的汉字笔段提取方法*

提出了一种笔段提取新方法,充分利用了撇笔段和捺笔段的轮廓规律,在提取笔段过程中动态改变寻找方向,使提取正确率进一步提高。实验证明了算法的有效性,与传统笔段提取算法相比,正确率由99.3%提高到99.8%以上,为汉字识别创造了更有利的条件。     

基于隐私保护的分布式异常检测方法

为获得鲁棒性的全局异常检测模型,需要多个组织之间的知识共享.存在的分布式异常检测技术常基于原始数据的交换或共享,侵犯了各自的隐私权,令人难以接受.基于隐私保护的分布式异常检测方法,采用本地模型共享技术,在保证数据隐私性的同时完成全局异常检测任务.通过7种异常检测模型在仿真和真实数据集上的实验说明,所提出的方法在保护数据隐私的同时,其全局异常检测效果能接近甚至超过将所有数据集中后建立的全局模型.     

一种自反馈垃圾信息综合过滤方法

提出了一种自反馈垃圾信息综合过滤方法.通过构建日志分析模块,在人为参与尽可能少的情况下,根据过滤到的垃圾信息通过自我分析、自我决策、自我优化来实现信息过滤规则的自反馈更新.试验证明该方法克服了传统海量信息过滤中人工参与度高、工作量大、效率和准确率与人的操作高度相关的缺点,大大提高了信息过滤速度和准确率,实现了信息过滤的自动化.     

快速神经网络无损压缩方法研究

传统的人工神经网络数据编码算法需要离线训练且编码速度慢,因此通常多用于专用有损编码领域如声音、图像编码等,在无损数据编码领域应用较少。针对这种现状,该文详细地研究了最大熵统计模型和神经网络算法各自的特点,提出了一种基于最大熵原理的神经网络概率预测模型并结合自适应算术编码来进行数据压缩,具有精简的网络结构的自适应在线学习算法。试验表明,该算法在压缩率上可以优于目前流行的压缩算法Limpel-Zip (zip,gzip),并且在运行时间和所需空间性能上同PPM和Burrows Wheeler算法相比也是颇具竞争力的。该算法实现为多输入和单输出的两层神经网络,用已编码比特的学习结果作为待编码比特的工作参数,符合数据上下文相关约束的特点,提高了预测精度,并节约了编码时间。     

基于自适应学习率独立分量分析的图像盲分离

以独立分量分析(ICA)技术作为主要研究对象,对基于独立分量分析的定点算法进行了详细的分析和推理。传统定点算法具有结构简单、运算速度快的特点,但是在图像盲分离中数据有时不能完全满足独立性假设,因此在有些情况下,该算法是否收敛仍具有不确定性。由此,提出了一种能够自适应调整学习率的改进定点图像盲分离方法。将该方法用于混合图像的分离中,较传统方法而言,有收敛速度更快、鲁棒性更强、对数据相关性要求相对较低的优点。计算估计图像的峰值信噪比可知,分离效果是十分有效的。可见,该算法是一种新的、快速有效的图像分离方法。     

基于集成学习的个性化推荐算法

在2009年结束的Netflix推荐大赛中,由于顶级参赛小组均使用集成学习算法,使得基于Bagging和Stacking的Ensemble方法得到了广泛的关注,而基于Boosting的集成学习方法相对来说却无人问津。首先分析了基于Boosting的集成学习算法在分类问题中的优势,以及在推荐问题上的缺陷。通过对用户评分矩阵的简化和分解,将问题转换为简单的分类问题,使得Boosting的集成学习算法能够应用到推荐问题中,提出了基于KNN的集成学习推荐算法,通过集成多个不同的相似度计算方法来提高最终的推荐准确率。在大规模真实数据集上的实验说明,基于Boosting的学习框架可以较大提升单个推荐算法的性能。     

基于选择性集成的最大化软间隔算法?

当前,boosting 集成学习算法研究主要集中于最大化弱学习器凸组合的间隔或软间隔,该凸组合几乎使用了生成的所有弱学习器,然而这些弱学习器间存在大量的相关性和冗余,增加了训练和分类过程的时空复杂度.针对这一问题,在LPBoost基础上提出了一种选择性boosting集成学习算法,称为SelectedBoost.在每次迭代生成新的弱学习器以后,通过计算新生成的弱学习器与已有弱学习器的相关度和差异度,并结合当前集成的强学习器的准确率来判断是否选择该弱学习器.另外,当前的一系列boosting算法(如AdaBoost,LPBoost,ERLPBoost等),本质上是基于已生成的1个或者多个弱学习器来更新样本权重,但与弱学习器相比,强学习器更能代表当前的决策面.因此, SelectedBoost 通过在带约束的间隔最大化问题中引入更加严格的强学习器边界约束条件,使得该算法不仅参考弱学习器边界,同时还参考已生成的强学习器来更新样本权重,进而提高算法的收敛速度.最后,与其他有代表性的集成学习算法进行实验比较,结果表明,该方法在收敛率、分类准确性以及泛化能力等方面均具有比较明显的优势.     

基于前景提取的复杂背景图像检索算法

基于内容的图像检索提供给使用者一种更直观、更精准的检索方式。用户在进行此类检索时,往往更关注图像的主体部分。为了消除背景信息对检索效果的影响,提出一种基于前景提取的复杂背景图像检索算法。实验证明,在H-S颜色直方图、LBP纹理特征以及颜色纹理混合特征上,该算法可以得到较优化的性能。     

基于自增长型多级自组织映射网络的模式识别

以自组织映射网络为主要研究对象，描述了自组织映射网络的基本模型。在传统自组织映射网络的基础上，提出了基于自增长型多级自组织映射网络的模式识别方法，能够解决传统自组织映射网的静态结构带来的诸多问题，如在进行训练前必须预先确定网络的模型和神经元数目及其排列方式，若一次分类不准确将严重影响分析结果，等等。而且这种多级结构，还能将输入数据中存在的分级信息直观地表示出来，对于高维数据的分析尤其有利，因此自增长型多级自组织映射网络对大规模模式识别的研究一定会产生极大的促进作用。