融合语义差别和流型学习的偏标记学习方法

偏标记学习是一种重要的弱监督学习框架。在偏标记学习中,每个实例与一组候选标记相关联,它的真实标记隐藏在候选标记集合中,且在学习过程中不可获知。为了消除候选标记对学习过程的影响,提出了一种融合实例语义差别最大化和流型学习的偏标记学习方法(partial label learning by semantic difference and manifold learning, PL-SDML)。该方法是一个两阶段的方法：在训练阶段,基于实例的语义差别最大化准则和流型学习方法为训练实例生成标记置信度;在预测阶段,使用基于最近邻投票的方法为未知实例预测标记类别。在四组人工改造的UCI数据集中,在平均70%的情况下优于其他对比算法。在四组真实偏标记数据集中,相比其他对比算法,取得了0.3%～13.8%的性能提升。     

基于半监督的SVM迁移学习文本分类算法

随着互联网的快速发展,文本信息量巨大,大规模的文本处理已经成为一个挑战。文本处理的一个重要技术便是分类,基于SVM的传统文本分类算法已经无法满足快速的文本增长分类。于是如何利用过时的历史文本数据(源任务数据)进行迁移来帮助新产生文本数据进行分类显得异常重要。文章提出了基于半监督的SVM迁移学习算法(Semi-supervised TL_SVM)来对文本进行分类。首先,在半监督SVM的模型中引入迁移学习,构建分类模型。其次,采用交互迭代的方法对目标方程求解,最终得到面向目标领域的分类器。实验验证了基于半监督的SVM迁移学习分类器具有比传统分类器更高的精确度。     

基于抗噪声的多任务多示例学习算法研究

在多示例学习中,当训练样本数量不充足或者训练样本中存在噪声信息时,分类器的分类性能将降低.针对该问题,本文提出了一种基于抗噪声的多任务多示例学习算法.一方面,针对训练样本中可能存在的噪声问题,该算法赋予包中示例不同的权值,通过迭代更新权值来降低噪声数据对预测结果的影响.另一方面,针对训练样本数量不充足问题,该算法运用多任务学习策略,通过同时训练多个学习任务,利用任务间的关联性来提高各个分类任务的预测性能.实验结果证明,与现有的分类算法相比,该方法在相同的实验条件下具有更优秀的性能.     

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。     

交互迭代一对一分类算法

在基于支持向量机的多分类算法中,一对一算法表现出较好的性能.然而此算法却存在不可分区域,落入该区域的样本不能有效被识别,因此影响了一对一算法的性能.为解决这个难题,提出交互迭代一对一分类算法,同时给出算法的有效性分析和计算复杂度证明.为了验证该算法解决不可分区域的能力,我们选用UCI数据集来做对比实验.实验结果显示,本文算法不但可以较成功解决不可分区域问题而且表现出比其它算法更好的性能.     

基于任务权重自动优化的多任务序数回归算法

目前,只有少量面向多任务学习的序数回归方法。这些方法假设不同的任务具有相同的权重,对整体模型具有相同的贡献。然而,在真实应用中,不同任务对于整体模型的贡献往往是不同的。为此,提出了一种基于任务权重自动优化的多任务序数回归算法。首先,提出了基于支持向量机的多任务序数回归模型,通过分类器参数共享,实现不同任务之间的信息迁移;其次,考虑到不同任务对整体模型可能具有不同贡献,赋予每个任务一个权重,这些权重将在学习过程中自动优化求解;最后,采用了启发式框架,交替地建立多任务序数回归模型和优化任务权重。实验结果表明,提出方法相比于其他多任务序数回归方法,平均0-1误差降低了3.8%～12.3%,平均绝对误差降低了4.1%～11%。考虑了每个任务的不同权重,通过自动优化这些权重,降低了多任务序数回归模型的分类误差。     

基于弱标签的多示例迁移学习方法

作为监督学习的一种变体,多示例学习(MIL)试图从包中的示例中学习分类器。在多示例学习中,标签与包相关联,而不是与单个示例相关联。包的标签是已知的,示例的标签是未知的。MIL可以解决标记模糊问题,但要解决带有弱标签的问题并不容易。对于弱标签问题,包和示例的标签都是未知的,但它们是潜在的变量。现在有多个标签和示例,可以通过对不同标签进行加权来近似估计包和示例的标签。提出了一种新的基于迁移学习的多示例学习框架来解决弱标签的问题。首先构造了一个基于多示例方法的迁移学习模型,该模型可以将知识从源任务迁移到目标任务中,从而将弱标签问题转换为多示例学习问题。在此基础上,提出了一种求解多示例迁移学习模型的迭代框架。实验结果表明,该方法优于现有多示例学习方法。     

差分隐私DPE k-means数据聚合下的多维数据可视化

近年来隐私保护下的数据挖掘发展迅速,但应用广泛的数据可视化中的隐私保护问题则成果鲜见,差分隐私保护是一种新兴的具有广阔发展前景的隐私保护方法,目前,差分隐私保护下的多维数据可视化方法却未见报道.文章研究如何在数据可视化的过程中满足差分隐私保护.现有的DP k-means算法不支持较大的k,因此在数据聚合的过程中仅有理论意义.提出一个ε-Differential Privacy Equipartition k-means算法(DPE k-means),能够支持较大的k,较好地解决了可视化中数据的叠加问题,在一定的隐私保护级别下极大地改善了数据可视化后的图像质量.仿真实验中计算了衡量数据聚合质量的几项指标,结果表明DPE k-means算法优于现有的DP k-means算法.     

面向不确定数据的序数回归算法

现有的序数回归方法能够利用先验的有序信息获得比一般多分类方法更加优越的性能，但忽略了仪器不精密和环境扰动等因素产生的复杂不确定性数据。针对序数回归中数据存在的不确定信息问题，基于最大间隔原理，构建面向不确定数据的支持向量序数回归模型。实验结果表明，模型可以减少不确定数据对决策边界的影响，增强学习模型的鲁棒性。     

一分类最优间隔分布机

现有的一分类支持向量机算法基于优化最小间隔的思想，只考虑了样本靠近空间原点一侧的噪声，对噪声信息较为敏感。针对该问题，通过优化间隔分布思想，同时考虑样本靠近空间原点和远离空间原点两侧的噪声，提高一分类支持向量机算法的抗噪声能力。为此，提出了一种基于最优间隔分布的一分类学习方法(one-class optimal margin distribution machine, OCODM),该方法通过最大化间隔的均值和最小化间隔方差的方式来优化间隔分布。实验结果表明，相比于现有的一分类支持向量机算法，该方法具有更好的鲁棒性，是现有一分类支持向量机方法的有益补充，能够增强现有方法的抗噪声能力。