注意力分层双线性池化残差网络的表情识别

由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为关键问题,为此提出了一种注意力分层双线性池化残差网络。该模型采用有效的通道注意力机制显式地建模各通道的重要程度,为输出特征图分配不同的权重,按权重值大小定位显著区域。并添加了一个新的分层双线性池化层,集成多个跨层双线性特征来捕获层间部分特征关系,以端到端的深度学习方式在特征图中进行空间池化,使所提网络模型更适合精细的面部表情分类。分别在FER-2013和CK+数据集上对设计的网络进行实验,最高识别率分别为73.84%和98.79%,达到了具有竞争性的分类准确率,适用于细微的面部表情图像识别任务。     

基于显著增强分层双线性池化网络的细粒度图像分类

分层双线性池化网络考虑了中间卷积层的特征交互,对细粒度图像起到了良好的分类效果,但它对一幅图像包括无关背景在内的所有区域激活都进行了特征交互,会影响分类性能.针对该问题,提出一种显著增强的分层双线性池化方法.该方法在分层双线性池化网络的基础上,结合显著性检测网络生成注意力图,使用注意力图与特征提取网络进行交互实现对显著...     

深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。     

用于交通图像识别的改进尺度依赖池化模型

针对交通标志在自然场景中所占的比例较小、提取的特征量不足、识别准确率低的问题,提出改进的尺度依赖池化（SDP）模型用于小尺度交通图像的识别。首先,基于神经网络深卷积层具有较好的轮廓信息与类别特征,在SDP模型只提取浅卷积层特征信息的基础上,使用深卷积层特征补足型SDP（SD-SDP）映射输出,丰富特征信息;其次,因SDP算法中的单层空间金字塔池化损失边缘信息,使用多尺度滑窗池化（MSP）将特征池化到固定维度,增强小目标的边缘信息;最后,将改进的尺度依赖池化模型应用于交通标志的识别。实验结果表明,与原SDP算法比较,提取特征量增加,小尺度交通图像的识别准确率较好地提升。     

基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题，提出基于多尺度双线性卷积神经网络（MS-B-CNN）的车型精细识别模型。首先，对双线性卷积神经网络（B-CNN）算法进行改进，提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合，以提高特征表达能力；此外，还采用基于中心损失函数与Softmax损失函数联合学习的策略，在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心，在训练过程中新增加样本时，网络会约束样本的分类中心距离，以提高多角度情况下的车型识别的能力。实验结果显示，该车型识别模型在CompCars数据集上的正确率达到了93.63%，验证了模型在多角度情况下的准确性和鲁棒性。     

基于多尺度卷积神经网络的交通标志识别

基于多纵卷积神经网络的交通标志识别算法识别率较高,但识别和训练时间较长,实用性较差。为此,构造一种基于多尺度卷积神经网络的道路交通标志识别模型。通过改进单尺度卷积神经网络中特征提取的基网络,将网络不同层级所产生的特征融合为多尺度特征并提供给分类器,以提高低层特征的利用率。在GTSRB数据集上的实验结果表明,该模型准确识别率达到99.25%,与多纵卷积神经网络模型相比,其在保证高精度的同时,识别和训练时间的降幅均超过90%,更适用于真实路况下交通标志的精准检测。     

基于双线性卷积网络的细粒度图像定位

细粒度图像识别是计算机视觉领域的一个难题,也是大数据时代和人工智能的一个具有挑战性的难题。为了解决该问题,提出了一种基于双线性卷积网络的对象定位方法,该方法通过双线性网络来得到VGG网络不同层的特征,将其交集作为最终的定位框。为了验证所提方法的可行性,在CUB-200-2011数据集和Stanford Cars-196上对所提方法进行验证,实验结果表明所提的方法的对象定位精确度远远高于其他具有代表性的方法,同时在加入了软最大化分类器后,所提方法得到的分类准确率比原始图像有了较大提高。     

基于时域卷积网络的多尺度双线性天气预测模型

针对时域卷积网络(TCN)提取能力受卷积层感受野限制,难以对天气数据中的季节 性信息和长时信息进行有效提取与分析的问题,提出了一个新的基于 TCN 的多尺度双线性天气 预测模型。该模型由 TCN 层和双线性汇合层 2 部分组成,时域卷积层包含双路 TCN,每个 TCN 利用历史观测数据独立提取特征,除卷积核尺度之外,其他网络参数均保持一致。多尺度的 网络组合可以更深入挖掘数据中潜在关联信息;时域卷积层的输出作为双线性汇合层的输入 进行双线性融合,规范化后得到最终输出,即对未来天气的预测值,进一步提升模型的特征 表示能力。在公开的天气预测数据集上与 5 个基准方法进行对比,实验结果表明所提方法的预 测结果准确率更高;此外,对比 TCN,多尺度双线性天气预测模型面对长时数据信息时表现更 加稳定。     

基于改进卷积的多尺度表情识别

在表情识别任务中由于人脸特征的多样性和不确定性,导致在特征提取阶段容易出现特征缺失以及特征提取率低下等问题,与此同时,在具有特征复用结构的网络训练过程中还会堆积大量冗余特征,从而影响特征质量。针对以上问题,提出了一种基于特征筛选结合改进卷积的残差多尺度特征融合注意力机制模型（residual multiscale feature fusion attentional network,RMFANet）。参考蓝图可分离卷积以及空洞卷积的思想,设计并引入了改进后的卷积形式,从而更有效地将卷积进行分离,提升特征提取效能;在改进后卷积模式的基础上设计并引入了多尺度并行特征提取通路,丰富了特征信息;设计并引入了特征筛选模块,以减少模型训练过程中产生的冗余特征,同时筛选出优质特征,提升特征质量;设计并引入了浅层输入特征处理层,以简化网络结构,降低计算复杂度;引入通道注意力机制,以突出局部关键特征信息;最后引入SMU激活函数,从而提升模型的非线性能力。通过实验结果可以看出,该模型可以在保证较低参数量以及计算成本的前提条件下在Fer2013数据集以及CK+数据集上分别取得70.298%和96.566%的...     

基于遮挡感知卷积神经网络的面部表情识别模型

针对面部遮挡情况下表情特征难以提取的问题,提出一种双通道遮挡感知神经网络模型.设计区域遮挡判定单元并集成到VGG16网络中形成遮挡感知神经网络,提取面部图像中未遮挡区域及遮挡较少区域的表情特征.运用迁移学习算法对卷积层参数进行预训练,减轻训练数据样本不足带来的过拟合问题.通过优化残差网络提取全脸表情相关特征,在此基础上...     

基于分层精简双线性注意力网络的鱼类识别

由于水下鱼类图像采集困难,现有的数据集主要以视频提取为主,采集到的鱼类图像存在背景环境复杂、像素低下等问题,使得细粒度鱼类图像识别任务难度较大.针对上述问题,提出了一种基于空间域注意力机制和分层精简双线性特征融合的网络.识别网络可进行端到端的训练,由两部分组成:第一部分是以空间变换网络(STN)为注意力机制的背景过滤网...     

基于双线性模型的人脸表情识别技术

针对现阶段人脸表情识别过程中所遇到的问题,基于三维数据库BU-3DFE中的三维表情数据,研究三维人脸表情数据的点云对齐及基于对齐数据的双线性模型建立,对基于双线性模型的识别算法加以改进,形成新的识别分类算法,降低原有算法中身份特征参与计算的比重,最大可能地降低身份特征对于整个表情识别过程的影响。旨在提高表情识别的结果,最终实现高鲁棒性的三维表情识别。     

细粒度分层时空特征描述符的微表情识别方法

由于微表情持续时间小于0.5 s、非自愿性和低强度等特点,微表情识别仍然是具有挑战性的任务.对分层时空特征描述符进行改进,提出一种新的细粒度分层时空特征的微表情识别方法.提取微表情视频片段中的各层次时空特征,利用投影矩阵建立时空特征和微表情之间的联系,进而选择对识别任务有贡献的区域.然后统计具有整体最大贡献度的层次,将...     

Self-attention Hypergraph Pooling Network

Recently, Graph Convolutional neural Networks (GCNs) have attracted much attention by generalizing convolutional neural networks to graph data, which includes redefining convolution and pooling operations on graphs. Due to the limitation that graph data can only focus on dyadic relations, it cannot perform well in real practice. In contrast, a hypergraph can capture high-order data interaction and is easy to deal with complex data representation using its flexible hyperedges. However, the existing methods for hypergraph convolutional networks are still not mature, and there is no effective operation for hypergraph pooling currently. Therefore, a hypergraph pooling network with a self-attention mechanism is proposed. Using a hypergraph structure for data modeling, this model can learn node hidden features with high-order data information through hypergraph convolution operation which introduces a self-attention mechanism, select important nodes both on structure and content through hypergraph pooling operation, and then obtain more accurate hypergraph representation. Experiments on text classification, dish classification, and protein classification tasks show that the proposed method outperforms recent state-of-the-art methods.     

基于自适应分层阈值判断的神经网络模型压缩

面对多样化的应用环境,卷积神经网络（CNN）的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。