基于变分自编码器的交互式旋律生成方法

现有的交互式神经音乐生成方法主要存在控制模式不灵活、数据标注困难以及模型难以优化等问题。针对这些问题,提出了一种基于变分自编码器(VAE)的无监督交互式旋律生成方法。通过为VAE引入显式的旋律轮廓条件推理学习,实现了对生成旋律局部与全局特征的灵活控制。实验表明,该方法易于优化且具有良好的旋律局部与全局特征的控制能力。通过对大量生成样本的分析,证明了模型从音乐数据中学习到了有用的音乐知识。     

基于样本冗余度的主动学习优化方法

主动学习解决了因训练样本过大而导致需要大量人力物力的问题,核心问题是如何选择有价值的样本减少标注成本。以神经网络为分类器,大多数方法选择信息量大的样本并没有考虑所选择样本间的信息冗余问题。通过对冗余问题的研究,提出一种降低信息冗余的样本选择优化方法。用不确定性方法选出信息量大的样本构成候选样本集,同时用网络中计算的潜变量向量表示样本信息,利用该向量计算候选样本间的余弦距离选择出间隔距离大、信息冗余度低的子集。在Mnist、Fashion-mnist,以及Cifar-10数据集中与几种不确定性方法相比,在相同样本准确率下,该方法最低减少11%标记样本。     

大权值抑制策略用于训练卷积神经网络

卷积神经网络（Convolutional Neural Network,CNN）是深度学习研究的重要方向,因其模型复杂且训练困难,所以设计更好的CNN训练方法一直是研究热点。针对训练好的CNN模型,分析了其参数权值对训练结果的影响,确认权值越大的连接参数对模型性能的影响也越大,且整个模型的性能主要由极少数的大权值参数决定。据此,提出了CNN的权值抑制训练方法（Weight Restrain of CNN,WR-CNN）,该方法调整了模型训练时的权值更新策略,设置一个与权值大小相关的抑制系数,用该系数调整反向传播时的权值增量幅度,达到控制大权值连接参数分布的目的。在不同实验条件下,该方法将CNN模型的错误率降低1.8%~5.0%,模型对大权值参数的敏感性明显降低,模型泛化能力和鲁棒性均得到改善,另外,该方法也可用于对已训练好的网络模型进行再优化。     

基于差分进化的缺陷样本生成算法

黑盒攻击主要是基于决策的攻击,但普遍存在查询次数多、敏感点难选择的问题,因此提出了基于差分进化的缺陷样本生成算法。算法将黑盒攻击定义为一个无约束优化问题,利用差分进化搜索图像敏感点,并优化基于深度学习模型决策定义的损失函数以及梯度计算方法,实现有效的黑盒攻击。在攻击成功率相同的条件下,在MNIST和CIFAR10数据集上的平均查询次数分别减少了28.3%和14.8%。