双曲因子分解机

因子分解机(FM)自提出以来已被广泛用于推荐系统,为了捕捉特征间的二阶交互,FM将任意两个特征的二阶系数表示成欧氏空间中对应嵌入向量的内积。考虑到推荐场景中的对象如商品、用户、属性、上下文信息等,可用具有层次结构的异构网络进行表达,而平坦的欧氏空间无法刻画这种层次结构,限制了FM的特征表示能力,为此提出了双曲因子分解机(HFM)。它将每维特征表示为双曲空间而非欧氏空间中的向量,并利用双曲距离度量评估特征间的二阶交互强度。选择双曲空间是因为其被证明更适合树、图和词汇等具有层次结构的对象嵌入。分别设计了基于庞加莱球和基于双曲面两种双曲空间模型的HFM,并导出了对应的黎曼梯度下降优化算法。在多个数据集上的实验结果表明,HFM在等量参数的情形下,获得了比FM更优的性能,同时揭示出了在FM中欠缺的特征间的层次关系,使之具有部分可解释性。     

函数链式双向联想存储器

函数链式双向联想存储器陈松灿（南京航空航天大学计算机科学系南京２１００１６）ＢＩＤＩＲＥＣＴＩＯＮＡＬＡＳＳＯＣＩＡＴＩＶＥＭＥＭＯＲＹＷＩＴＨＦＵＮＣＴＩＯＮＡＬＬＩＮＫ￥ＣｈｅｎＳｏｎｇｃａｎ（ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃ...     

改进的稀疏分布存储器模型及其学习能力分析

Kanerva的稀疏分布存储器模型 (SDM) ,由于其读写规则采用外积法 ,因此限制了它的应用 .本文对该模型进行改进 ,改变了原来的读写规则 ,保留其稀疏分布式存储的特点 ,得到一个与小脑模型 (CMAC)相似的新模型 ,但它不存在分块效应、不需要HASHING技术 .理论分析和示例表明了该改进模型的合理性和有效性     

基于线性 Bregman 迭代的结构化噪声矩阵补全算法

通过采样部分元素补全低秩矩阵的缺失元素是许多实际应用如图像修复、无线传感网数据收集和推荐系统等经常遇到的一个颇具挑战性的难题。在机器学习领域,这类问题通常能刻画成矩阵补全问题。虽然现有研究针对矩阵补全问题已提出了许多有效算法,但这些算法通常仅限于采样元素要么无噪要么仅含少量随机高斯噪声的补全情形,难以处理实际问题中常见的行结构化噪声。为了解决这个问题,该文首先借助分类器设计中流行的 L2,1范数正则化技术来平滑此类噪声,并将该问题建模为一类基于 L2,1范数正则化的凸约束优化问题。其次,为了快速有效地求解,我们将向量空间的线性 Bregman 迭代算法和近邻算子技术拓展到矩阵空间,进一步设计了一种鲁棒的基于线性 Bregman 迭代的结构化噪声矩阵补全算法（LiBIMC）。严格的理论分析证明了 LiBIMC 迭代算法的不动点正是结构化噪声矩阵补全问题的全局最优解。数值实验结果表明,和已有的矩阵补全算法相比,LiBIMC 算法不仅能更好地恢复结构化噪声矩阵的缺失元素,还能精确地辨识出采样矩阵中被污染的元素所在行的位置信息。     

基于无线传感器网络拓扑结构的物联网定位模型

无线传感器网络是物联网(Internet of Things)的重要组成部分,利用其实现物联网中目标的定位技术已成为研究热点之一.由于受环境、障碍物、网络攻击和硬件错误等诸多因素的影响,传感器节点所采集的数据易产生较大误差,形成错误数据,从而对定位造成严重影响.尽管已发展出了众多定位算法和模型,但针对错误数据实现定位的研究还较罕见,尤其在国内,几乎是空白.文中针对上述问题,旨在利用网络(几何)拓扑结构信息,提出一种用局部信息刻画全局分布密度信息的新颖物联网定位模型:鲁棒的局部保持的典型相关分析定位模型LE-RLPCCA.与现有同类典型方法在真实环境中的实验结果相比,LE-RLPCCA具有更高的定位鲁棒性和稳定性.     

结合特征偏好的半监督聚类学习

半监督聚类是机器学习的重要研究内容之一,它通过利用样本层面的少量标记数据信息或者利用特征层面的特征偏好信息来指导半监督聚类。但现有的半监督聚类算法仅考虑了单一层面的半监督先验信息,罕有同时考虑两个不同层面的此类信息进行半监督聚类。为了弥补这一遗漏,联合利用特征层面给定的特征偏好,即特征之间的相对重要性关系,并结合样本层面的少量标记数据等半监督信息,在传统的半监督聚类算法基础上发展出一个扩展型半监督聚类算法。初步实验验证了该算法的有效性。     

改进的CBP网络与矢量量化网络的等价

提出了基于BP的改进环反向传播网络模型（Improved circular back-propagation)。与环形反向传播网络模型（Circular back-propagation)相比,ICBP所含的可调参数几乎不变,但却蕴含着较CBP更灵活的超椭球分界面,显示出了其较强的表达能力适应能力。本文构造性地证明了ICBP与矢量量化网络的等价性。实验结果证实了其可行性并表明在分类问题中此的构造方法有其实际意义。     

增强型单类支持向量机

现有基于超平面的单类分类器,包括one-class SVM(OCSVM)和马氏one-class SVM(MOCSVM),由于未考虑数据的结构信息或粒度较粗,寻找的超平面很可能是次优解.为此,增强型单类支持向量机(enhanced OCSVM,EnOCSVM)通过在现有SVM算法中加入数据先验信息以克服其不足.首先,EnOCSVM通过聚类得到数据的内在分布簇,而后将各簇结构信息嵌入到OCSVM框架中,最大化间隔的同时,优化输出空间中各簇数据的繁性.由于保留了SVM框架不变,EnOCSVM仍具备原算法的全部优点,并因结合了数据的簇结构信息而具有更好的推广性.标准数据集上的实验表明,EnOCSVM的推广性能较OCSVM和MOCSVM均有显著提高.     

稀疏化的因子分解机

因子分解机（简称为FM）是最近被提出的一种特殊的二阶线性模型,不同于一般的二阶模型,FM对二阶项系数进行了分解,这种特殊的结构使得FM特别适用于高维且稀疏的数据。虽然FM在推荐系统领域已获得了应用,但FM本身并未显式考虑变量的稀疏性,特别当变量中包含结构稀疏信息时。因此,FM的二阶特征结构使其特征选择时应当满足这样一种性质,即涉及同一个特征的线性项和二阶项要么同时被选要么同时不被选,当该特征是噪音时,应当同时不被选,而当该特征是重要变量时,应当同时被选。考虑到这种结构特性,本文提出了一种基于稀疏组Lasso的因子分解机（SGL-FM）,通过添加稀疏组Lasso的正则项,不仅实现了组间稀疏,还实现了组内稀疏。从另一个角度看,组内稀疏也相当于对因子分解的维度k进行了控制,使其能根据数据的不同而自适应地调整维度k。实验结果表明,本文提出的方法在保证了相当精度甚至更优精度的情况下,获得了比FM更稀疏的模型。     

模糊k-平面聚类算法

在k-平面聚类(kPC)算法的基础上,通过引入模糊隶属关系,提出模糊k-平面聚类(FkPC)算法.与kPC类似,FkPC同样从原型选择的角度出发,以k个超平面替代传统的点(类中心)作为聚类原型.同时,由于模糊隶属度的引入,FkPC更能体现各样本点和与之对应的聚类平面的隶属关系.在人工数据集和标准数据集上的实验,均证实了FkPC算法的聚类有效性.更深入地揭示出除相似性度量之外,原型表示对聚类结果同样有着至关重要的影响.