基于多编码器多解码器的大规模维汉神经网络机器翻译模型

为提升维汉机器翻译模型的翻译能力,该文提出使用多编码器多解码器的结构,搭建大规模的维汉神经网络机器翻译模型。相比于单编码器单解码器的浅层的小模型,多编码器多解码器模型具有多个编码器,可以对源语言进行多层次、多视角的压缩表示;同时具有多个解码器,可以增强目标语言的生成能力。实验证明,在大规模的训练数据上,使用该方法搭建的大规模维汉神经网络机器翻译模型,译文质量可以大幅度地超过基于短语的统计机器翻译模型和基本的神经网络翻译模型。该文还针对维汉翻译源端语言和目标端语言的翻译单元粒度进行了实验,发现维吾尔语端使用字节对编码单元、汉语端使用字单元,可以消除对汉语分词器的依赖,做到和双端都使用字节对编码单元可比的效果。     

一种通过评价类别分类提升评价对象抽取性能的方法

评价对象抽取主要用于文本的意见挖掘,旨在发掘评论文本中的评价对象实体。基于无监督的自编码器方法可以识别评论语料库中潜藏的主题信息,且无需人工标注语料,但自编码器抽取的评价对象缺乏多样性。提出一种基于监督学习的句子级分类任务和无监督学习自编码器混合模型。该模型通过训练一个分类器生成评价对象类别,对自编码器共享分类任务中的LSTM-Attention结构进行编码得到句向量表征,以增加语义关联度,根据得到的评价对象类别将句向量表征转化为中间层语义向量,从而捕捉到评价对象类别与评价对象之间的相关性,提高编码器的编码能力,最终通过对句向量的重构进行解码得到评价对象矩阵,并依据计算评价对象矩阵与句中单词的余弦相似度完成评价对象的抽取。在多领域评论语料库上的实验结果表明,与k-means、LocLDA等方法相比,该方法评价指标在餐厅领域中提升了3.7%,在酒店领域中提升了2.1%,可有效解决训练过程缺少评价类别多样性的问题,具有较好的评价对象抽取能力。     

基于深度自编码的医疗命名实体识别模型

针对在医疗命名实体识别（MNER）问题中随着网络加深,基于深度学习的识别模型出现的识别精度与算力要求不平衡的问题,提出一种基于深度自编码的医疗命名实体识别模型CasSAttMNER。首先,使用编码与解码间深度差平衡策略,以经过蒸馏的Transformer语言模型RBT6作为编码器以减小编码深度以及降低对训练和应用上的算力要求;然后,使用双向长短期记忆（BiLSTM）网络和条件随机场（CRF）提出了级联式多任务双解码器,从而完成实体提及序列标注与实体类别判断;最后,基于自注意力机制在实体类别中增加实体提及过程抽取的隐解码信息,以此来优化模型设计。实验结果表明,CasSAttMNER在两个中文医疗实体数据集上的F值度量可分别达到0.943 9和0.945 7,较基线模型分别提高了3个百分点和8个百分点,验证了该模型更进一步地提升了解码器性能。     

基于分解法与轨迹搜索的无人机群轨迹多目标优化模型

基于深度学习（DL）的传统多目标求解器存在模型利用率低以及容易陷入局部最优的问题。针对这些问题，提出了基于分解法与轨迹搜索的无人机群轨迹多目标优化模型（DTMO-UT）。所提模型包含编码与解码部分。首先，编码部分由设备编码器（Dencoder）和权重编码器（Wencoder）组成，用于提取物联网（IoT）设备的状态信息与权重向量的特征，其中权重向量代表分解多目标优化问题（MOP）的标量优化子问题，因此解决所有子问题即可解决该MOP。权重编码器可以实现对所有子问题的编码，从而提高了模型的利用率。然后，使用包含轨迹解码器（Tdecoder）的解码部分对编码特征进行解码，以生成帕累托最优解。最后，为了减少贪婪策略陷入局部最优的现象，为轨迹解码器设计轨迹搜索技术，即通过生成多个候选轨迹选标量值最优的轨迹作为帕累托最优解，从而增强了轨迹解码器在轨迹规划时的探索能力，并获得质量更好的帕累托集。仿真实验结果表明，所提模型相较于主流的基于DL的MOP求解器，在模型参数量降低98.93%的情况下，MOP解的分布性提高了0.076%，延展性提高了0.014%，平均综合性提高了1.23%，表现出较强的实用性...     

基于手写-印刷混合字符的口算题识别

针对小学生口算题中印刷体与手写体字符同时存在以及手写体字符不规范的问题,提出'一种基于编码器-解码器模型的整体识别方法.引入多分支改进的Densenet网络对图片进行特征提取,在此基础上引入基于多分支改进后的联合CTC-Attention模型的编码器-解码器模型进行处理以充分利用多分支特征.基于真实样本数量不足、分布不均的问题,提出一种样本生成方法.以实例验证该模型与样本生成方法的可行性.     

复杂噪声环境下语音识别研究

语音识别是人机交互的重要方式,针对传统语音识别系统对含噪语音识别性能较差、特征选择不恰当的问题,提出一种基于迁移学习的深度自编码器循环神经网络模型。该模型由编码器、解码器以及声学模型组成,其中,声学模型由堆栈双向循环神经网络构成,用于提升识别性能;编码器和解码器均由全连接层构成,用于特征提取。将编码器结构及参数迁移至声学模型进行联合训练,在含噪Google Commands数据集上的实验表明本文模型有效增强了含噪语音的识别性能,并且具有较好的鲁棒性和泛化性。     

融合预训练模型的中文知识图谱问题生成方法

基于知识图谱的问答方法旨在通过知识图谱的三元组检索和推断来对自然语言形式的问题进行解答.然而,现有中文知识图谱问答语料库存在规模较小,质量较差等问题,相关语料库构建方法亟待完善.因此,本文提出一种融合预训练模型的中文知识图谱问题生成方法,目标是以中文知识图谱三元组作为输入生成正确且多样的问题.该方法汲取了条件变分自编码器的思想,以预编码器-源编码器-解码器为核心架构,利用BERT模型进行预编码,并以Transformer模型为基础构建源编码器和解码器.此外,该方法还结合了答案编码技术并进行了改进.本文使用NLPCC2017 KBQA数据集进行实验,实验表明该模型在BLEU、ROUGE以及人工评价指标上较基线模型有明显提升,并且能够生成更具多样性的问题,证明了该方法的有效性.     

基于变分自编码器的实验设计

针对现有实验设计方法难以对复杂系统进行高效实验设计的问题, 本文提出了一种基于变分自编码器的实验设计方法, 首先利用实验历史记录数据训练变分自编码器将复杂的实验样本空间编码到一个较为简单的隐变量空间, 然后在该隐变量空间里进行取样, 最后通过解码器还原产生新的实验样本, 完成实验设计. 通过对比本文方法与数种基准实验设...     

反馈学习高斯表观网络的视频目标分割EI北大核心CSCD

大量基于深度学习的视频目标分割方法存在两方面局限性:1)单帧编码特征直接输入网络解码器,未能充分利用多帧特征,导致解码器输出的目标表观特征难以自适应复杂场景变化;2)常采用前馈网络结构,阻止了后层特征反馈前层进行补充学习,导致学习到的表观特征判别力受限.为此,本文提出了反馈高斯表观网络,通过建立在线高斯模型并反馈后层特征到前层来充分利用多帧、多尺度特征,学习鲁棒的视频目标分割表观模型.网络结构包括引导、查询与分割三个分支.其中,引导与查询分支通过共享权重来提取引导与查询帧的特征,而分割分支则由多尺度高斯表观特征提取模块与反馈多核融合模块构成.前一个模块通过建立在线高斯模型融合多帧、多尺度特征来增强对外观的表征力,后一个模块则通过引入反馈机制进一步增强模型的判别力.最后,本文在三个标准数据集上进行了大量评测,充分证明了本方法的优越性能.     

自编码器理论与方法综述

自编码器作为深度学习的一个重要分支, 吸引了该领域内大量杰出的研究者. 研究者们深入研究其本质并在此基础上提出了很多的优化方法, 如稀疏自编码器、降噪自编码器、收缩自编码器和卷积自编码器等. 在深入阅读了多篇基于自编码器方法的文献之后, 我们发现优化后的自编码器在图像分类、自然语言处理、目标识别等方面都取得了较好的实验结果. 因此, 本文将详细地分析优化后自编码器的基本结构和原理, 并对文献中的实验结果进行多方面的评价与分析.     

Emotion Recognition with Capsule Neural Network

For human-machine communication to be as effective as human-to-human communication, research on speech emotion recognition is essential. Among the models and the classifiers used to recognize emotions, neural networks appear to be promising due to the network’s ability to learn and the diversity in configuration. Following the convolutional neural network, a capsule neural network (CapsNet) with inputs and outputs that are not scalar quantities but vectors allows the network to determine the part-whole relationships that are specific 6 for an object. This paper performs speech emotion recognition based on CapsNet. The corpora for speech emotion recognition have been augmented by adding white noise and changing voices. The feature parameters of the recognition system input are mel spectrum images along with the characteristics of the sound source, vocal tract and prosody. For the German emotional corpus EMO-DB, the average accuracy score for 4 emotions, neutral, boredom, anger and happiness, is 99.69%. For Vietnamese emotional corpus BKEmo, this score is 94.23% for 4 emotions, neutral, sadness, anger and happiness. The accuracy score is highest when combining all the above feature parameters, and this score increases significantly when combining mel spectrum images with the features directly related to the fundamental frequency.     

用于遥感图像人造目标识别的三维建模方法研究

该文研究了用于遥感图像人造地物目标识别的三维建模方法,文中分析了识别任务的特点,比较了一般的建模方法,介绍了一种基于广义锥思想的几何表示方法,并利用面向对象的技术来表示模型内部数据及其操作。     

多支路协同的RGB-T图像显著性目标检测

目的 显著性目标检测是机器视觉应用的基础,然而目前很多方法在显著性物体与背景相似、低光照等一些复杂场景得到的效果并不理想。为了提升显著性检测的性能,提出一种多支路协同的RGB-T（thermal）图像显著性目标检测方法。方法 将模型主体设计为两条主干网络和三条解码支路。主干网络用于提取RGB图像和Thermal图像的特征表示,解码支路则分别对RGB特征、Thermal特征以及两者的融合特征以协同互补的方式预测图像中的显著性物体。在特征提取的主干网络中,通过特征增强模块实现多模图像的融合互补,同时采用适当修正的金字塔池化模块,从深层次特征中获取全局语义信息。在解码过程中,利用通道注意力机制进一步区分卷积神经网络（convolutional neural networks,CNN）生成的特征在不同通道之间对应的语义信息差异。结果 在VT821和VT1000两个数据集上进行测试,本文方法的最大F-measure值分别为0.843 7和0.880 5,平均绝对误差（mean absolute error,MAE）值分别为0.039 4和0.032 2,相较于对比方法,提升了整体检测性能。结论 通过对比实验表明,本文提出的方法提高了显著性检测的稳定性,在一些低光照场景取得了更好效果。     

改进YOLOv3-SPP的无人机目标检测模型压缩方案

无人机设备算力低下,深度模型计算量过大不适合直接部署,航拍图像目标小并且密集,模型对目标识别分类效果也不佳。为了提高深度模型航拍目标检测的精度和速度,降低计算量。对YOLOv3-SPP模型进行改进,将GIoU代替平方和用作定位损失,提高定位精度。提出了一种数据集优化和数据增强方法。再针对特定类别按照权值进行采样处理均衡化类别数量。随机组合不同场景样本组成批训练,提高模型训练效率和检测鲁棒性。再对模型进行压缩,在BN层添加缩放因子进行稀疏训练和通道剪枝的基础上,通过缩放因子衡量模型残差层重要性,修剪不重要残差,进一步减小前向推理层数和参数。实验表明,模型参数量减小了95.7%,模型大小减小95.82%,同等算力下模型推理速度提高为原来3倍。且精度和速度均高于最新YOLOv5系列轻量模型。     

基于随机游走模型的物体识别

针对传统物体识别算法中只依赖于视觉特征进行识别的单一性缺陷,提出了一种结合先验关系的物体识别算法。在训练阶段,通过图模型结构化表示先验关系,分别构建了图像-图像、语义-语义两个子图以及两子图之间的联系,利用该图模型建立随机游走模型;在识别阶段,建立待识别图像与随机游走模型中的图像节点和语义节点的关系,在该概率模型上进行随机游走,将随机游走的结果作为物体识别的结果。实验结果证明了结合先验关系的物体识别算法的有效性;提出的物体识别算法具有较强的识别性能。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的 3D 目标检测方法有效地解决了 RGB 图像的 2D 目标检测易受光照、天气等因 素影响的问题。但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响 3D 目标检测精度。针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点 云补全网络,由输入的部分稀疏点云生成完整的密集点云,根据级联解码方式的特性,定义了一个新的复合损 失函数。除了原有的折叠解码阶段的损失之外,还增加了全连接解码阶段存在的损失,以保证解码网络的总体 误差最小,从而使得点云补全网络生成信息更完整的密集点云 Ydetail,并将补全的点云应用到 3D 目标检测任务 中。实验结果表明,该算法能够很好地将 KITTI 数据集中稀疏的汽车点云补全,并且有效地提升目标检测的精 度,特别是针对中等和困难等级的数据效果更佳,提升幅度分别达到 6.81%和 9.29%。     

Kinect 下深度信息获取技术及其在三维目标识别中的应用综述

微软公司 2010 年推出的 Kinect 深度传感器能够同步提供场景深度和彩色信息,其应用的一个关键领域就是目标 识别。传统的目标识别大多限制在特殊的情形,如：手势识别、人脸识别,而大规模的目标识别是近年来的研究趋势。 通过 Kinect 得到的 RGB-D 数据集多为室内和办公环境下获取的多场景、多视角、分目标类型的数据集,为大规模的目标 识别算法设计提供了学习基础。同时,Kinect 获取的深度信息为目标识别提供了强有力的线索,利用深度信息的识别方法 较以前的方法具有无法比拟的优势,大大地提高了识别的精度。文章首先对 Kinect 的深度获取技术做了详细介绍;其次 对现有的 3D 目标识别方法进行综述,接着对已有的 3D 测试数据集进行分析和比较;最后对文章进行小结以及对未来 3D 目标识别算法和 3D 测试数据集的发展趋势作了简单的阐述。     

融合压缩感知和SVM的SAR变形目标识别算法

为降低合成孔 径雷达(Synthetic aperture radar, SAR)图像目标识别中目标方位角的影响,并提高对SAR变形目标的识别率,本文提出了一种基于压缩感知和支持向量机决策级融合的目标识别算法。该算法首先基于稀疏表征理论将SAR目标识别问题描述为压缩感知的稀疏信号恢复问题,然后基于稀疏系数分别进行目标类别判别与方位角估计。对样本进行姿态校正后,利用支持向量机分别对经过姿态校正和未经姿态校正的样本进行目标分类。最后采用投票表决法对3种算法的分类结果进行决策级融合。实验结果表明,基于压缩感知结果进行目标方位角估计有效,且随着训练样本数的增加,提出的决策级融合算法提高了SAR变形目标的识别率。     

优化非线性激活函数-全局卷积神经网络的物体识别算法

传统的物体识别算法识别精度、自适应能力弱等问题已然不能满足实际的仓储物流领域对物体识别精度的要求.近年来,相关学者提出了基于深度学习的物体识别算法,它得到一定的推广和应用.但是,深度学习在物体识别的应用过程中存在以下问题:一是深度学习模型中激活函数的非线性建模能力弱;二是深度学习模型大量重复的池化操作丢失信息.鉴于此,本文提出了一种参数形式统一且可学习的指数非线性单元(Multiple Parameters Exponential Linear Units,MPELU).它通过在ELU(Exponential Linear Units)中引入两个学习的参数,提升模型的非线性建模能力.同时,本文提出了一种新的全局卷积神经网络结构,减少大量池化操作丢失特征信息的问题.基于上述思想,本文提出了优化非线性激活函数-全局卷积神经网络的物体识别算法.利用本文所提算法对CIFAR100数据集和ImageNet数据集分别进行实验.结果表明,本文所提物体识别方法不仅识别准确率较传统机器学习、其他深度学习模型有较大幅度提升,而且具有良好的稳定性和鲁棒性.     

Generic object recognition with regional statistical models and layer joint boosting

This paper presents novel regional statistical models for extracting object features, and an improved discriminative learning method, called as layer joint boosting, for generic multi-class object detection and categorization in cluttered scenes. Regional statistical properties on intensities are used to find sharing degrees among features in order to recognize generic objects efficiently. Based on boosting for multi-classification, the layer characteristic and two typical weights in sharing-code maps are taken into account to keep the maximum Hamming distance in categories, and heuristic search strategies are provided in the recognition process. Experimental results reveal that, compared with interest point detectors in representation and multi-boost in learning, joint layer boosting with statistical feature extraction can enhance the recognition rate consistently, with a similar detection rate.