Neural Networks for Full-Scale Protein Sequence Classification: Sequence Encoding with Singular Value Decomposition

A neural network classification method has been developed as an alternative approach to the search/organization problem of protein sequence databases. The neural networks used are three-layered, feed-forward, back-propagation networks. The protein sequences are encoded into neural input vectors by a hashing method that counts occurrences ofn-gram words. A new SVD (singular value decomposition) method, which compresses the long and sparsen-gram input vectors and captures semantics ofn-gram words, has improved the generalization capability of the network. A full-scale protein classification system has been implemented on a Cray supercomputer to classify unknown sequences into 3311 PIR (Protein Identification Resource) superfamilies/families at a speed of less than 0.05 CPU second per sequence. The sensitivity is close to 90% overall, and approaches 100% for large superfamilies. The system could be used to reduce the database search time and is being used to help organize the PIR protein sequence database.     

主奇异子空间跟踪算法与性能分析

主奇异子空间分析是一种自适应的神经网络信号处理技术,广泛应用于现代信号处理中.本文提出一种新的主奇异子空间跟踪信息准则,并以此为基础推导出一种在线的梯度流神经网络算法.理论分析表明,信息准则具有唯一的全局最小值,且最小值对应的状态矩阵能够恰好张成输入信号的主奇异子空间.该算法具有良好的收敛能力,强大的自稳定性能,且当输入信号呈现出奇异互相关特性时,仍呈现出良好的跟踪效果.分别采用李雅普诺夫函数方法和常微分方程方法分析算法的收敛性能和自稳定性. MATLAB仿真算例验证了算法的性能.     

基于遗传算法的灰色神经网络优化算法

针对BP 神经网络算法通常具有收敛速度慢且容易陷入局部极小值的缺点,在对国内空调订单市场进行分析和研究的基础上,提出一种用遗传算法优化灰色神经网络模型参数的方法,该方法利用灰色模型( Grey Model,GM) 弱化数据的随机性以及神经网络的高度非线性,对空调订单建立了一种非线性预测模型,并采用遗传算法对其进行优化,从而提高了预测的精度并加快了收敛程度。仿真结果表明该算法能较好的解决空调订单预测的问题并可推广到同类预测中。     

主成分分析方法(PCA)在车辆牌照识别中的应用

将主成分分析方法（PCA）应用于车牌识别。首先根据采集到样本分类构造各类样本对应特征子空间,然后对待识别字符图片进行预处理,再分别向各类特征空间投影,根据重构误差判断类别识别字符。     

On the Discrete-Time Dynamics of Cross-Coupled Hebbian Algorithm

Principal/minor component analysis(PCA/MCA),generalized principal/minor component analysis(GPCA/GMCA),and singular value decomposition(SVD)algorithms are important techniques for feature extraction.In the convergence analysis of these algorithms,the deterministic discrete-time(DDT)method can reveal the dynamic behavior of PCA/MCA and GPCA/GMCA algorithms effectively.However,the dynamic behavior of SVD algorithms has not been studied quantitatively because of their special structure.In this paper,for the first time,we utilize the advantages of the DDT method in PCA algorithms analysis to study the dynamics of SVD algorithms.First,taking the cross-coupled Hebbian algorithm as an example,by concatenating the two cross-coupled variables into a single vector,we successfully get a PCA-like DDT system.Second,we analyze the discrete-time dynamic behavior and stability of the PCA-like DDT system in detail based on the DDT method,and obtain the boundedness of the weight vectors and learning rate.Moreover,further discussion shows the universality of the proposed method for analyzing other SVD algorithms.As a result,the proposed method provides a new way to study the dynamical convergence properties of SVD algorithms.     

混合总体最小二乘的迭代解算算法

总体最小二乘估计能够同时顾及线性模型中系数矩阵[WTHX]A和观测向量L的 误差,平差理论相对更为严密。如果系数矩阵[WTHX]A[WTBZ]的部分元素没有误差,这种总体最小二乘模 型为混合总体最小二乘模型。针对混合总体最小二乘(Least squares total least squares, LS TLS)解算问题,应用测量平差中 的 原理和方法,推导了混合总体最小二乘的迭代逼近解算公式,通过与奇异值分解法分析比较 ,分析了两种解算方法具有等价性,最后通过实验数据分析得出迭代算法的有效性 和合理性。     

一种针对聚类问题的量子主成分分析算法

聚类问题中的离群点容易影响簇中心的选择,且样本数据量规模的扩大会造成样本点间的距离计算需要消耗大量计算资源.为了解决上述问题,从簇中心选取和最短距离搜索2个方面出发,提出了一种针对聚类问题的新型量子主成分分析算法.利用阈值更新奇异值并得到主成分,再通过势函数得到簇中心,从而减少异常值对簇中心选取的影响.此外,采用量子最小值搜索算法寻找距离样本点最近的簇中心,减少聚类所需迭代次数.以小规模数据集为例,采用Cirq量子编程框架对算法进行电路设计和仿真实验.实验结果表明,该算法与已有的量子聚类算法相比,在聚类准确度上有所提升.性能分析表明,与现有经典和量子算法比较,该算法在簇中心选取和最短距离搜索时间复杂度上有不同程度的改进,消耗资源有所降低.     

基于CNN与SVDD的掘进机智能监测系统设计

通过激光标志物的卷积神经网络（ CNN）检测,与标志物中心点的奇异值分解（ SVD）重构,实现了掘进机在巷道坐标系下的坐标估计。通过基于支撑向量数据描述（ SVDD）的陀螺仪静止状态抖动抑制,与参考系变换,实现了机身与掘进臂的姿态检测。通过基于OpenGL的图形学引擎,实现了工作面场景的实时虚拟渲染。测试结果表明：系统能够准确可靠地完成工作面场景下掘进机监测任务。     

基于数据的改进回声状态网络在高炉煤气发生量预测中的应用

以钢铁企业高炉煤气系统这一复杂生产过程为背景, 针对高炉煤气发生量的预测问题, 提出一种基于数据的网络模型预测方法. 鉴于生产数据含噪高的特点, 采用经验模态分解将历史数据分解为若干独立的固有模态函数, 将小尺度函数经低通滤波器自适应去噪后, 再对数据重构以建立预测模型. 在建模过程中提出一种改进的回声状态网络, 通过奇异值分解求取网络输出权值, 克服了线性回归算法出现的病态问题, 提高了模型的预测精度. 现场实际数据预测结果表明所提出方法的有效性, 为制定煤气管网平衡调度方案提供科学的决策支持.     

室内可见光多用户MIMO系统改进BD预编码算法

块对角化(block diagonalization, BD)算法是一种多输入多输出的传统线性预编码算法,其核心思想是通过奇异值分解(singular value decomposition, SVD)找到干扰矩阵零空间的正交基,从而完全消除多用户干扰(multiuser interference, MUI),但是随着收发端数目的增多, BD预编码算法所需的计算复杂也大大增加,成为了制约其发展的关键因素之一.为此,本文提出了一种改进的低复杂度BD算法——基于正交分解中的施密特正交化求逆与格基规约操作的组合算法,对传统BD算法两次高复杂度操作的奇异值分解用施密特正交化和格基规约操作进行替换,从而降低算法复杂度.结果表明,本文改进算法的计算复杂度上降低了46.7%,系统和容量上得到了2–10 bits/Hz的提高,同时误码率上得到了2个量级的优化.     

On the Wiberg Algorithm for Matrix Factorization in the Presence of Missing Components

This paper considers the problem of factorizing a matrix with missing components into a product of two smaller matrices, also known as principal component analysis with missing data (PCAMD). The Wiberg algorithm is a numerical algorithm developed for the problem in the community of applied mathematics. We argue that the algorithm has not been correctly understood in the computer vision community. Although there are many studies in our community, almost every one of which refers to the Wiberg study, as far as we know, there is no literature in which the performance of the Wiberg algorithm is investigated or the detail of the algorithm is presented. In this paper, we present derivation of the algorithm along with a problem in its implementation that needs to be carefully considered, and then examine its performance. The experimental results demonstrate that the Wiberg algorithm shows a considerably good performance, which should contradict the conventional view in our community, namely that minimization-based algorithms tend to fail to converge to a global minimum relatively frequently. The performance of the Wiberg algorithm is such that even starting with random initial values, it converges in most cases to a correct solution, even when the matrix has many missing components and the data are contaminated with very strong noise. Our conclusion is that the Wiberg algorithm can also be used as a standard algorithm for the problems of computer vision.     

基于卷积神经网络的鲁棒性基音检测方法

在语音信号中, 基音是一个重要参数, 且有重要用途. 然而, 检测噪声环境中语音的基音却是一项难度较大的工作. 由于卷积神经网络(Convolutional neural network, CNN)具有平移不变性, 能够很好地刻画语谱图中的谐波结构, 因此我们提出使用CNN来完成这项工作. 具体地, 我们使用CNN来选取候选基音, 再用动态规划方法(Dynamic programming, DP)进行基音追踪, 生成连续的基音轮廓. 实验表明, 与其他方法相比, 本文的方法具有明显的性能优势, 并且 对新的说话人和噪声有很好的泛化性能, 具有更好的鲁棒性.     

基于遗传算法和简化PCNN神经网络的裂缝检测方法*

为能够在复杂背景下检测裂缝、分析裂缝图像特征,由脉冲耦合神经网络(pulse coupled neural networks, PCNN)的运行特征和神经元的状态变化分析简化PCNN模型,将简化PCNN模型用于裂缝图像的目标检测。针对PCNN无法确定裂缝图像的最优检测以及脉冲门限具有非线性因子的问题,提出了一种基于遗传算法(genetic algorithm, GA)和简化PCNN的裂缝图像检测方法。该方法采用最小误差准则作为遗传算法的适应度函数,并且根据遗传算法具有全局最优解的特点确定简化PCNN中各因子的值,实现了简化PCNN的裂缝图像自动分割。将本文方法与不同的分割方法对实际裂缝图像的处理结果进行比较,通过区域对比度、准确率和召回率等客观指标进行定量分析,表明了该方法对裂缝图像检测的有效性与通用性。     

遗传算法用于波达方向估计的线阵优化

利用遗传算法优化阵列设计来改善声目标波达方向估计性能.研究波达方向估计采用信号相位匹配原理的奇异值分解法SVDSPM,利用遗传算法对线阵进行了优化.优化时,阵列孔径不变,将阵元数目作为优化变量,优化目标是降低DOA估计误差.仿真结果标明:优化后在阵元数目减少的情况下,DOA估计偏差和均方误差更小.而且优化的阵列有好的低信噪比及宽带信号波达方向估计的能力.     

基于EMD和LVQ的信号特征提取及分类方法

针对非平稳、非线性、微弱信号难以分析和处理的特点,本文提出了一种基于经验模式分解和学习向量量化神经网络的信号处理和分类方法,并在生物信号处理领域(左、右手运动想象的脑电信号)进行了研究和应用.首先通过经验模式分解算法对脑电信号分解,然后选取主要固有模态函数分量并计算其绝对均值作为特征值,最后使用学习向量量化网络进行分类,并分别与支持向量机和误差反向传播神经网络分类算法进行了对比研究.实验结果表明,所提出的算法分类正确率达到了87％,相比于其余两种对比算法在特定的信号处理领域优越,具有一定的参考和研究价值.     

改进型脉冲耦合神经网络在图像处理中的动态行为分析

为了进一步拓展脉冲耦合神经网络(Pulse coupled neural network, PCNN)在图像处理领域的应用深度, 本文对改进型PCNN在图像处理中的动态行为结合网络参数进行了具体的理论分析和公式推导, 明确了PCNN的动态行为特性受网络参数变化的影响, 并给出了保证其所有神经元只点火一次的网络参数确定准则, 最后将改进型PCNN应用于实际图像分割中. 实验结果证明了其动态行为特性与参数确定准则之间关系的正确性和算法的有效性.     

基于脉冲耦合神经网络的声纳图像噪声抑制

为解决声纳图像中存在的高斯与脉冲噪声的同时去除问题,在简化的脉冲耦合神经网络(Pulse Coupled Neural Net-work,PCNN)模型的基础上,提出了一种结合了数学形态学与中值滤波的噪声抑制算法.首先利用PCNN输出二值图像确定噪声在图像中的位置,用数学形态学方法保持目标的完整性,然后利用中值滤波方法去除图像的脉冲噪声并对PCNN逐次迭代的输出结果进行调整去除高斯噪声.实验结果证明,方法在保持图像边缘信息的前提下,与其他方法相比获得了更好的去噪效果.     

一种RBF网络结构优化方法

通过对ＲＢＦ网络结构的分析，结合奇异值分解方法，提出了一种ＲＢＦ网络结构优化的标准，并在此基础上实现ＲＢＦ网络结构的优化。     

基于奇异值分解和小波包分析的液压泵振动信号特征提取方法

针对液压泵故障特征提取问题,提出了一种基于奇异值分解和小波包变换的液压泵振动信号特征提取方法.通过奇异值分解将噪声非均匀分布的液压泵振动信号正交分解为噪声分布相对均匀的分量,对各分量进行小波包阈值去噪,重构去噪后分量,对去噪后信号进行小波包分解,提取各频带能量特征.以齿轮泵为例,将该方法对齿轮泵的气穴故障、齿轮磨损和侧板磨损3种常见故障和正常状态的振动信号进行特征提取分析,结果表明,该方法可有效提取齿轮泵故障特征.     

基于DNN的低资源语音识别特征提取技术

针对低资源训练数据条件下深层神经网络（Deep neural network,DNN）特征声学建模性能急剧下降的问题,提出两种适合于低资源语音识别的深层神经网络特征提取方法.首先基于隐含层共享训练的网络结构,借助资源较为丰富的语料实现对深层瓶颈神经网络的辅助训练,针对BN层位于共享层的特点,引入Dropout,Maxout,Rectified linear units等技术改善多流训练样本分布不规律导致的过拟合问题,同时缩小网络参数规模、降低训练耗时;其次为了改善深层神经网络特征提取方法,提出一种基于凸非负矩阵分解（Convex-non-negative matrix factorization,CNMF）算法的低维高层特征提取技术,通过对网络的权值矩阵分解得到基矩阵作为特征层的权值矩阵,然后从该层提取一种新的低维特征.基于Vystadial 2013的1小时低资源捷克语训练语料的实验表明,在26.7小时的英语语料辅助训练下,当使用Dropout和Rectified linear units时,识别率相对基线系统提升7.0%;当使用Dropout和Maxout时,识别率相对基线系统提升了12.6%,且网络参数数量相对其他系统降低了62.7%,训练时间降低了25%.而基于矩阵分解的低维特征在单语言训练和辅助训练的两种情况下都取得了优于瓶颈特征（Bottleneck features,BNF）的识别率,且在辅助训练的情况下优于深层神经网络隐马尔科夫识别系统,提升幅度从0.8%~3.4%不等.