用于图像分类的卷积神经网络中激活函数的设计

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元“坏死”以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign. 分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验. 实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆“坏死”现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好.     

一种新的深度卷积神经网络的SLU函数

修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.     

双通道卷积神经网络人脸表情识别

将卷积神经网络的单通道全连接层改为双通道,构建并训练了一个新的双通道卷积神经网络模型以增强模型的特征表达能力。在全连接层用Maxout激活函数代替传统的ReLU激活函数以优化网络内部结构。在网络训练过程中,采用A-Softmax损失,使卷积神经网络能够学习角度判别特征。改进后的卷积神经网络模型在FER2013数据集上准确率为73.6%。     

激活函数的对比测试与分析

随着人工智能的发展、含有激活函数库开源框架的增加,针对激活函数库的对比与分析越来越重要。在Intel x86架构上进行实验,从函数性能、稳定性、精度3个方面测试并分析了PyTorch和TensorFlow两种主流人工智能框架中的常用激活函数。实验结果表明,PyTorch的整体稳定性要高于TensorFlow,且Sigmoid、Hardsigmoid、SeLU、ReLU、ReLU6、Tanh函数的性能皆优于TensorFlow;在精度方面,TensorFlow中除SeLU函数与LeakyReLU函数稍差些,其余函数与PyTorch表现相当。     

非局部摩擦模型的核函数研究及其在锚杆中应用

为研究非局部摩擦理论中核函数的性质及其选取原则,在Oden等提出的非局部摩擦模型的基础上,分别采用指数型、三角函数型、负指数型和幂函数型等4种函数作为非局部摩擦模型中的核函数,并利用Mindlin问题的位移解导出的全长黏结式锚杆沿杆体表面所受剪应力的弹性解,对全长黏结式锚杆进行非局部摩擦分析.研究表明,基于这几种核函数的非局部摩擦模型以及局部摩擦模型所得到的剪应力分布大致相似.通过与实验数据对比可知,采用负指数函数的核函数形式计算所得锚杆侧剪应力分布比其他形式更接近于实验值.     

基于CNN的车牌数字字符识别算法

针对传统车牌识别算法识别率低、鲁棒性差等问题,提出一种基于卷积神经网络结构车牌数字字符识别算法.在卷积神经网络的基础上用ReLU激活函数代替传统的Sigmoid激活函数,引入卷积步长等操作,不仅加速网络的收敛,而且降低了网络参数的数量.实验结果表明:与传统特征提取算法相比,该算法识别率最高,达到95.2%,识别率波动范围小,鲁棒性强.     

双负阻区微分负阻器件的实现

本文探讨具有两个负阻区的微分负阻器件的电路合成法实现问题。文中介绍了用两个N型负阻单口并联,实现一个具有两个负阻区的压控双N型负阻单口;和用两个S型负阻单口串联,实现一个具有两个负阻区的流控双S型负阻单口的方法。文章还给出了若干电路示例及其实测结果。     

基于ANSYS的大型负游隙四点接触球轴承的接触应力分析

给出了用有限元分析软件ANSYS对大型负游隙四点接触球轴承进行接触分析的方法,并以某转盘轴承为例,计算空载时负游隙下钢球与内、外圈滚道之间的法向接触压力。结果表明:负游隙时轴承发生四点接触,接触区域为椭圆形,最大接触应力出现在钢球与外圈滚道的接触面上。ANSYS有限元分析结果的精度取决于模型网格尺寸,接触部位的网格尺寸要小于接触椭圆长半轴尺寸,同短半轴尺寸相适应。     

制造误差对谐波齿轮应力的影响规律

为研究谐波齿轮各种制造误差对柔轮齿面应力与磨损情况的影响,根据响应面思想,设计实验,采用四因素响应面模型,分析柔轮跨距值（M值）偏差、刚轮M值偏差、波发生器长半轴偏差及短半轴偏差,分别建立相应谐波齿轮模型,并进行有限元仿真分析. 实验结果表明,凸轮长半轴偏差对柔轮齿上应力敏感度最大,柔轮、刚轮M值偏差次之,凸轮短半轴偏差敏感度最小;针对在制造加工时可能出现的刚轮与柔轮齿廓不同偏差情况提出4种误差补偿方案,即当柔轮、刚轮M值均为负偏差或分别为正偏差、负偏差时减小凸轮长半轴,当柔轮、刚轮M值均为正偏差或分别为负偏差、正偏差时增大凸轮长半轴,以此改善啮合情况并提高精度保持性.     

多S型前馈网分类器及其在毒性识别中的应用

设计了一种新颖的、表达能力很强的多S型函数，以其作为单输出神经元的活化函数所构建的多S型前馈网(MS—FN)分类器，结构简洁，训练速率高，由此建立的多分类模型有很强的判别能力，且具有优良的泛化性和稳定性，还推导了相应的Levenberg—Marquart(LM)训练算法，并应用于胺类有机物急性毒性的定量构效关系，所建模型样本预报正确率高，实例表明MS—FN分类器是化学模式识别的一种有效工具。     

基于ReLU稀疏性的MAXOUT卷积神经网络的数据分类算法

卷积神经网络作为一种具有深度学习能力的人工学习网络,由于其具有权值数量少、网络模型复杂度低以及算法效率高等优点在很多领域被广泛应用,但是其表现在很大程度上依赖于激活函数的选取,而激活函数的选取又比较复杂,大都是依靠经验或者实验来选择,所以这个过程中会出现无先验知识可借鉴或者参数类型繁琐难以较快确定的情况。MAXOUT卷积神经网络的出现解决了激活函数难以选择的问题,在研究M AXOUT网络构架的基础上,针对其不稀疏的特性引入Re LU稀疏单元,提出了一种基于Re LU函数稀疏性的MAXOUT卷积神经网络,并在MINST和CIFAR 10两个数据集上分别进行了数据分类实验。实验结果表明,具有稀疏性的MAXOUT卷积神经网络的分类效果更加理想。     

新“三代同堂”住宅

吸取我国传统文化的精神,根据人们现代居住生活的需要,发展具有新的功能内涵的。“三代同堂”住宅,对解决我国目前城市青年和老年两辈人的住宅问题,具有重要的现实意义。本文就此问题作出论述,并进一步对新“三代同堂”住宅提出初步设计构思。     

加强校园文化建设的几点思考

校园文化是学校非课堂教育的重要组成部分,具有重要的育人功能。要充分认识校园文化在学校教育中的重要地位,坚持用“三个代表”重要思想指导校园文化建设,弘扬更具时代特色的校园精神,加强校园文化的制度建设,充分发挥网络教育的功能,净化、美化和优化校园环境,促进学生全面发展。     

A new kind of neuron model with a tunable activation function and its applications

A new neuron model with a tunable activation function, denoted by the TAF model, and its application are addressed. The activation function as well as the connection weights of the neuron model can be adjusted in the training process The two-spiral problem was used as an example to show how to deduce the adjustable activation function required, and how to construct and train the network by the use of the a priori knowledge of the problem. Due to the incorporation of constraints known a priori into the activation function, many novel aspects are revealed, such as small network size, fast learning and good performances. It is believed that the introduction of the new neuron model will pave a new way in ANN studies.     

在役抗震结构的最小费用维修策略优化方法

为解决在役抗震结构的最佳维修策略问题,采用马尔柯夫过程理论,综合考虑结构的破坏程度、维修费用等因素,以最小维修费用为目标函数建立了抗震结构最佳维修策略的数学模型。将抗震结构所处状态分为5种,相应的维修策略分为“单一状态”、“两种状态”、“三种状态”。根据结构所处的当前状态,分析其状态转移概率矩阵,通过求解抗震结构最小维修费用,进行抗震结构维修策略的优化分析。结果表明,在进行维修决策时,仅仅考虑“单一状态”的维修策略是不合理的,应根据具体情况考虑多种维修策略。     

用SSH实现网络的安全访问

传统的网络服务程序,如Telnet、FTP等服务在网络上都是通过明文传送数据、用户帐号和密码,使用窃听等网络攻击手段可以非常容易地截获这些数据、用户帐号和密码。而SSH有很多功能,它传送的是经过压缩的加密信息,目的是要在非安全网络上提供安全的远程登录和其他安全网络服务,使用它既可以代替Telnet,又可以为FTP、邮件传输、甚至为PPP提供一个安全的“通道”。在当今网络安全日益重要的情况下,保证网络访问的安全性很有必要。本文将介绍这种技术。     

EPON的技术难点及解决方案

基于以太网的无源光网络(EPON)被认为是当前解决接入网"第一英里问题"的最佳方案.首先简要介绍了EPON的系统结构和基本工作原理,然后依据2002年7月发布的IEEE802.3ah草案,简要讨论了EPON系统的层次模型在现有以太网功能层次基础上的变动之处.最后,对EPON系统中涉及到的一些技术难点及相应的解决方案进行了讨论和分析,包括动态带宽分配、测距、下行信道的安全性和突发接收等问题.     

神经网络在城市金融发展综合评判中的应用

引入神经网络,利用神经网络的自学习、自适应及非线性逼近能力,建立了针对城市金融发展的综合评判模型,并利用Matlab的神经网络工具箱进行开发实现.经过实证研究,表明了该模型的有效性,为城市金融发展综合评判提供了一种科学、可行的评标模型.