一种基于关联规则与支持向量机的基因表达数据分类模型

通过研究基因表达数据发现与特定疾病相关的关联规则,对疾病辅助诊断有重要的意义。针对现有分类结果可解释性的不足,提出一种基于关联规则的基因表达数据分类模型ASSO-SVM(ASSOciation rule based Support Vector Machine)。在该模型中,关联规则作为一种特征选择方法,用于提取基因之间的非线性关联。通过这些非线性关联所获取的先验知识有利于提高分类结果的可解释性。另外,针对基因表达数据高维、小样本的特性,该方法采用支持向量机作为对基因表达数据的分类器,获得较高的分类精度。ASSO-SVM结合了基因表达关联规则以及支持向量机分类的优点。在实际基因表达数据集上与现有分类模型的对比实验验证了该方法的有效性。     

基于SVR的非线性动态系统建模方法研究

提出一种基于支持向量回归机(SVR)的非线性动态系统建模方法。用非线性静态子环节和线性动态子环节串联——Hammerstein模型来描述非线性动态系统。然后，通过函数展开将Hammerstein模型的非线性传递函数转换为等价的线性形式，从而建立起线性中间模型。再由SVR算法辨识出中间模型参数。最后，通过中间模型参数与Hammerstein模型参数之间的关系，实现原系统的非线性静态环节和线性动态环节的同时辨识。用非线性动态系统标定实验数据进行测试，建模结果表明所提方法具有如下优点：1)只需进行一次动态标定实验； 2)能给出非线性动态模型的数学解析表达式；3)充分利用SVR的优点，使所建模型具有更好的鲁棒性。该研究为非线性动态系统建模又提供了一种新方法。     

使用稳态系统和粒群优化算法进行基因调控网络推断

基因调控网络模型试图从海量的时序基因表达数据中研究基因的功能,推断基因之间的调控关系,从而揭示复杂的病理现象和生命现象.通过利用时序基因表达数据来推断一个基于稳态系统(S-system)模型的基因网络,提出使用粒群优化算法(PSO)来优化模型参数,从而捕捉基因表达数据中的动力学特性.实验结果表明,该方法能够使模型参数快速得到收敛,配置参数后模型仿真能力好,可以较好地识别基因调控关系.     

混合模型在经济时间序列预测中的应用研究

研究经济预测问题,为社会经济发展提供预测依据.由于经济时间序列是一种多维、非线性数据,采用单-的线性或非线性模型都不全面反映特点,导致预测精度不理想.为了提高经济时间序列预测精度,提出一种多变量自回归(CAR)和支持向量机(SVM)相结合的混合预测方法.混合方法首先利用CAR模型对经济时间序列的线性部分进行预测,然后采用支持向量机对非线性部分进行预测,将预测结果组合在-起,得到混合模型的预测结果.实验结果表明,混合模型的预测精度明显优于单独模型;发挥了2种模型的优势,得到一种精度高的经济预测效果.     

利用SVR的非线性动态系统Wiener模型补偿

提出一种新的利用支持向量回归机(SVR)的非线性动态系统维纳(Wiener)模型补偿方法.首先,将非线性动态系统用Wiener模型描述成线性动态子环节和非线性静态增益;再设计结构上与之对应的Wiener补偿器,并进一步将其变换为可用SVR辨识的线性中间模型;最后,通过关系矩阵将中间模型的估计值转换为Wiener补偿器的实际参数.用实际压力响应系统的动态标定实验数据进行测试,结果表明,与最小二乘方法比较,所提方法建立的Wiener补偿器具有更强的抗干扰能力.因此,该研究为非线性动态系统补偿又提供了一种可选方法.     

基于弹簧模型的基因表达数据可视化聚类

依据基因表达数据的特点,提出一种基于弹簧模型的基因表达数据可视化聚类方法,将多维空间的基因表达数据映射到二维空间中,较好地保持了原始多维数据间的时空相似性。实验结果表明,该方法能发现基因表达数据集中隐含的类簇结构以及共表达基因模式。     

基于组合预测模型的股票价格趋势预测

针对股票市场高度非线性的特点,单一预测模型很难描述出股票价格趋势的整体特征,提出了一种金融时序预测的组合预测模型。首先,利用自回归移动模型(ARIMA)对股票价格线性趋势进行预测。然后,利用回归支持向量机(SVR)模型对非线性随机变化规律进行预测。最后,采用模糊时变权重方式对两种模型进行结合,得到一种综合考虑股票价格线性和非线性的预测模型。仿真结果显示,组合预测模型取得了令人满意的效果。     

基于光滑近邻表示的基因表达数据子空间聚类

基因表达数据具有样本数少、基因维数高、非线性等特点,为能有效地处理基因表达数据,提出光滑近邻表示子空间聚类算法.利用每个数据点的近邻线性表示刻画数据集的非线性特点,并对近邻表示添加光滑约束,使数据点与近邻的距离关系嵌入到该数据点的重构表示中.在基因表达数据上的实验表明,所提出的方法优于其他几个现有方法,进而表明所提出方法对基因表达数据的聚类是有效的.     

舰船水压信号的预测方法研究

提出了一种能从海浪水压信号背景下提取舰船水压信号的预测异常检测(PAD)法。模型预测值与测量值相比较所得的差值被作为检测舰船水压信号是否存在的判据。讨论了作为PAD中预测模型的线性的自回归(AR)模型和非线性的神经网络(NN)模型，并用模拟数据和实测数据对二者进行了比较。仿真结果表明，PAD效果良好，预测模型中，NN模型要优于AR模型。     

基于修正闭环子空间辨识–分段线性结构的环管式丙烯聚合反应过程非线性模型预测控制（英文）

针对环管式聚丙烯生产过程装置多变量、耦合和非线性等特性容易导致过程控制不稳定及质量指标波动问题,本文提出了一种基于修正闭环子空间辨识–分段线性(MSSARX--PWL)维纳(Wiener)模型结构的非线性模型预测控制算法.利用修正的闭环子空间辨识方法(MSSARX)辨识对象在闭环工况下的线性状态空间模型,并将该线性模型与多变量分段线性化(PWL)方法辨识得到的非线性稳态模型结合,建立双环管丙烯聚合反应动态过程的非线性预测模型,而后进一步将非线性模型转化为线性模型,在线性预测控制算法框架下用二次线性规划方法(LQP)优化控制器,无须用非线性规划方法(NLP)求解.从双环管丙烯聚合反应过程仿真例子表明,该算法不仅能保证模型和控制精度,而且能提高计算效率.     

基于自主学习与SCAD-Net正则化的回归模型

众多基因生物标志物选择方法常因研究样本较少而不能直接用于临床诊断.于是有学者提出整合不同基因表达数据同时保留生物信息完整性的方法.然而,由于存在批量效应,导致直接整合不同基因表达数据可能会增加新的系统误差.针对上述问题,提出一个融合自主学习与SCAD-Net正则化的分析框架.一方面,自主学习方法能够先从低噪声样本中学习出基础模型,然后再通过高噪声样本学习使得模型更加稳健,从而避免批量效应;另一方面,SCAD-Net正则化融合了基因表达数据与基因间的交互信息,可以实现更好的特征选择效果.不同情形下的模拟数据以及在乳腺癌细胞系数据集上的结果表明,基于自主学习与SCAD-Net正则化的回归模型在处理高维复杂网络数据集时具有更好的预测效果.     

面向乳腺超声计算机辅助诊断的两阶段深度迁移学习

目的 为了提升基于单模态B型超声（B超）的乳腺癌计算机辅助诊断（computer-aided diagnosis,CAD）模型性能,提出一种基于两阶段深度迁移学习（two-stage deep transfer learning,TSDTL）的乳腺超声CAD算法,将超声弹性图像中的有效信息迁移至基于B超的乳腺癌CAD模型之中,进一步提升该CAD模型的性能。方法 在第1阶段的深度迁移学习中,提出将双模态超声图像重建任务作为一种自监督学习任务,训练一个关联多模态深度卷积神经网络模型,实现B超图像和超声弹性图像之间的信息交互迁移;在第2阶段的深度迁移学习中,基于隐式的特权信息学习（learning using privilaged information,LUPI）范式,进行基于双模态超声图像的乳腺肿瘤分类任务,通过标签信息引导下的分类进一步加强两个模态之间的特征融合与信息交互;采用单模态B超数据对所对应通道的分类网络进行微调,实现最终的乳腺癌B超图像分类模型。结果 实验在一个乳腺肿瘤双模超声数据集上进行算法性能验证。实验结果表明,通过迁移超声弹性图像的信息,TSDTL在基于B超的乳腺癌诊断任务中取得的平均分类准确率为87.84±2.08%、平均敏感度为88.89±3.70%、平均特异度为86.71±2.21%、平均约登指数为75.60±4.07%,优于直接基于单模态B超训练的分类模型以及多种典型迁移学习算法。结论 提出的TSDTL算法通过两阶段的深度迁移学习,将超声弹性图像的信息有效迁移至基于B超的乳腺癌CAD模型,提升了模型的诊断性能,具备潜在的应用可行性。     

结合迁移学习的轻量级指纹分类模型

目的 目前的指纹分类模型存在操作繁琐、参数较多、所需数据规模大、无法充分利用指纹特征信息等问题,而进行快速准确的指纹分类在大型指纹识别系统中至关重要。方法 传统的机器学习方法大多假设已标注数据与未标注数据的分布是相同的,而迁移学习允许源空间、任务空间在测试集和训练集中的分布是不同的,并且迁移学习仅专注目标任务的训练,使得网络模型根据需求更具个性化。因此,本文提出一种基于迁移学习的轻量级指纹分类模型。该模型结合迁移学习,首先采用梯度估计的方法求取指纹图像的方向场图并且做增强处理;然后将扩展的指纹方向场图数据集用于本文提出的轻量级Finger-SqueezeNet的预训练,使其达到一定的分类效果,从而初步实现网络模型参数的调整;最后保留预训练模型部分的网络参数不变,使用指纹图像数据集NIST-DB4对Finger-SqueezeNet网络进行参数微调（fine tuning）。结果 在使用相同的指纹数据集在本文提出的纯网络模型进行分类训练后发现,未采用迁移学习方法对网络模型进行预训练得到的平均分类结果为93%,而通过预训练后的网络模型可以达到98.45%,最终采用单枚指纹测试的方法得到的测试结果达到95.73%。对比同种类型的方法以及验证标准后可知,本文的指纹分类模型在大幅度减少网络参数的同时仍能达到较高的准确率。结论 采用指纹类内迁移学习方法和轻量级神经网络相结合进行分类,适当利用了指纹特征信息,而且有望使指纹分类模型拓展到移动端。     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

Toward Machine Learning Through Genetic Code-like Transformations

The gene expression process in nature involves several representation transformations of the genome. Translation is one among them; it constructs the amino acid sequence in proteins from the nucleic acid-based mRNA sequence. Translation is defined by a code book, known as the universal genetic code. This paper explores the role of genetic code and similar representation transformations for enhancing the performance of inductive machine learning algorithms. It considers an abstract model of genetic code-like transformations (GCTs) introduced elsewhere [21] and develops the notion of randomized GCTs. It shows that randomized GCTs can construct a representation of the learning problem where the mean-square-error surface is almost convex quadratic and therefore easier to minimize. It considers the functionally complete Fourier representation of Boolean functions to analyze this effect of such representation transformations. It offers experimental results to substantiate this claim. It shows that a linear classifier like the Perceptron [38] can learn non-linear XOR and DNF functions using a gradient-descent algorithm in a representation constructed by randomized GCTs. The paper also discusses the immediate challenges that must be solved before the proposed technique can be used as a viable approach for representation construction in machine learning.     

DSCE-GEP算法在PM2.5浓度预测中的应用

雾霾防治是目前空气质量保护问题研究的热点,PM2.5浓度预测是雾霾防治的关键之一;文章采用一种双系统协同进化的基因表达式编程算法(DSCE-GEP)进行PM2.5浓度预测,该算法在GEP算法中引入人工干预操作来提高算法进化速度以及解的质量;DSCE-GEP算法是对人类进化的模拟,不仅具有强大的模型学习能力,而且能得到模型的显式函数表达式;文中以西安地区逐日PM2.5浓度预测为例,将DSCE-GEP算法与传统基因表达式编程算法(GEP)、文献中分类回归树和极限学习机组合模型(CART-EELM)以及卷积神经网络和长短期记忆神经网络组合模型(CNN-LSTM)进行了对比实验;实验结果表明,DSCE-GEP算法拟合度更高,是一种具有竞争力的智能预测算法.     

Model gene network by semi-fixed Bayesian network

Gene networks describe functional pathways in a given cell or tissue, representing processes such as metabolism, gene expression regulation, and protein or RNA transport. Thus, learning gene network is a crucial problem in the post genome era. Most existing works learn gene networks by assuming one gene provokes the expression of another gene directly leading to an over-simplified model. In this paper, we show that the gene regulation is a complex problem with many hidden variables. We propose a semi-fixed model to represent the gene network as a Bayesian network with hidden variables. In addition, an effective algorithm based on semi-fixed structure learning is proposed to learn the model. Experimental results and comparison with the-state-of-the-art learning algorithms on artificial and real-life datasets confirm the effectiveness of our approach.     

基于ICA模式空间的基因分类

ICA是应用于盲源信号分离的一种统计方法。利用ICA对基因微阵列表达谱数据进行分解获得由基因模型谱和对应系数构成的线性谱模型,并在此基础上进行基因分类。由于基于ICA的一个模型谱并不能完整地代表一个具有生物意义的类别,并且模型谱之间不具正交性,在此线性模型下不能有效的表示基因数据,为此提出基于ICA的模式表达空间的概念,并在该模式空间中重新构造了基因的数据表达形式,并利用此表达形式进行基因分类。实验结果表明,该分类方法比线性谱模型下的基因分类具有更高的正确率。     

A linear model based on Kalman filter for improving neural network classification performance

Neural network has been applied in several classification problems such as in medical diagnosis, handwriting recognition, and product inspection, with a good classification performance. The performance of a neural network is characterized by the neural network's structure, transfer function, and learning algorithm. However, a neural network classifier tends to be weak if it uses an inappropriate structure. The neural network's structure depends on the complexity of the relationship between the input and the output. There are no exact rules that can be used to determine the neural network's structure. Therefore, studies in improving neural network classification performance without changing the neural network's structure is a challenging issue. This paper proposes a method to improve neural network classification performance by constructing a linear model based on the Kalman filter as a post processing. The linear model transforms the predicted output of the neural network to a value close to the desired output by using the linear combination of the object features and the predicted output. This simple transformation will reduce the error of neural network and improve classification performance. The Kalman filter iteration is used to estimate the parameters of the linear model. Five datasets from various domains with various characteristics, such as attribute types, the number of attributes, the number of samples, and the number of classes, were used for empirical validation. The validation results show that the linear model based on the Kalman filter can improve the performance of the original neural network.