基于残差的门控循环单元EI北大核心CSCD

传统循环神经网络易发生梯度消失和网络退化问题.利用非饱和激活函数可以有效克服梯度消失的性质,同时借鉴卷积神经网络中的残差结构能够有效缓解网络退化的特性,在门控循环神经网络(Gated recurrent unit,GRU)的基础上提出了基于残差的门控循环单元(Residual-GRU,Re-GRU)来缓解梯度消失和网络退化问题.Re-GRU的改进主要包括两个方面:1)将原有GRU的候选隐状态的激活函数改为非饱和激活函数;2)在GRU的候选隐状态表示中引入残差信息.对候选隐状态激活函数的改动不仅可以有效避免由饱和激活函数带来的梯度消失问题,同时也能够更好地引入残差信息,使网络对梯度变化更敏感,从而达到缓解网络退化的目的.进行了图像识别、构建语言模型和语音识别3类不同的测试实验,实验结果均表明,Re-GRU拥有比对比方法更高的检测性能,同时在运行速度方面优于Highway-GRU和长短期记忆单元.其中,在语言模型预测任务中的Penn Treebank数据集上取得了23.88的困惑度,相比有记录的最低困惑度,该方法的困惑度降低了一半.     

COVID-19医学影像数据集的研究与分析

新型冠状病毒(COVID-19)被首次发现以来目前感染病例超过一亿,死亡人数高达二百多万,对全球的经济活动和社会活动造成了严重的破坏,给国际危机管理和医疗保健体系带来了严峻的考验。基于人工智能的医学影像技术在COVID-19检测方面具有一系列的优势,然而面向建模使用的数据集可用性限制了COVID-19诊断模型的发展。本文介绍了COVID-19检测常用的医学影像公开数据集,讨论了在COVID-19诊断建模时遇到的阻碍,并且分析了融合数据集时对图像采用的一系类预处理方法。文章指出了面向人工智能建模的COVID-19数据缺乏公开性,强调在使用融合数据集进行建模前应采取合理的预处理方法,并且在追求算法的优化和创新的同时应当注重数据的可靠性,提出了启动开源并且可扩展的COVID-19医学影像收集并且发展相应的图像集质量保障机制的倡议。     

Support vector machine incremental learning triggered by wrongly predicted samples

According to the classic Karush-Kuhn-Tucker (KKT) theorem, at every step of incremental support vector machine (SVM) learning, the newly adding sample which violates the KKT conditions will be a new support vector (SV) and migrate the old samples between SV set and non-support vector (NSV) set, and at the same time the learning model should be updated based on the SVs. However, it is not exactly clear at this moment that which of the old samples would change between SVs and NSVs. Additionally, the learning model will be unnecessarily updated, which will not greatly increase its accuracy but decrease the training speed. Therefore, how to choose the new SVs from old sets during the incremental stages and when to process incremental steps will greatly influence the accuracy and efficiency of incremental SVM learning. In this work, a new algorithm is proposed to select candidate SVs and use the wrongly predicted sample to trigger the incremental processing simultaneously. Experimental results show that the proposed algorithm can achieve good performance with high efficiency, high speed and good accuracy.     

基于强化学习的对抗预训练语言建模方法

在大规模无监督语料上的BERT、XLNet等预训练语言模型,通常采用基于交叉熵损失函数的语言建模任务进行训练。模型的评价标准则采用困惑度或者模型在其他下游自然语言处理任务中的性能指标,存在损失函数和评测指标不匹配等问题。为解决这些问题,该文提出一种结合强化学习的对抗预训练语言模型RL-XLNet(Reinforcement Learning-XLNet)。RL-XLNet采用对抗训练方式训练一个生成器,基于上下文预测选定词,并训练一个判别器判断生成器预测的词是否正确。通过对抗网络生成器和判别器的相互促进作用,强化生成器对语义的理解,提高模型的学习能力。由于在文本生成过程中存在采样过程,导致最终的损失无法直接进行回传,故提出采用强化学习的方式对生成器进行训练。基于通用语言理解评估基准(GLUE Benchmark)和斯坦福问答任务(SQuAD 1.1)的实验,结果表明,与现有BERT、XLNet方法相比,RL-XLNet模型在多项任务中的性能上表现出较明显的优势: 在GLUE的六个任务中排名第1,一个任务排名第2,一个任务排名第3。在SQuAD 1.1任务中F₁值排名第1。考虑到运算资源有限,基于小语料集的模型性能也达到了领域先进水平。     

提高图像篡改检测区域选取性能的FCR-CNN模型

图像篡改检测不同于目标检测,篡改检测更加关注篡改伪像这一目标而非图像内容本身,需要学习更加丰富的特征.为提高图像篡改检测区域选取性能,提出一种将特征金字塔网络(feature pyramid networks, FPN)模型与级联区域卷积神经网络(cascade region-convolutional neural networks, Cascade R-CNN)模型相结合的FCR-CNN模型.首先将FPN模型提取的多尺度篡改特征输入到区域建议网络(region proposal network, RPN),然后由RPN输出篡改分类分数和区域建议框,最后将区域建议框输入到3阶段Cascade R-CNN进行检测.此外,系统地对FCR-CNN模型的损失函数进行了分析.基于CASIA, Columbia和NC2016数据集,与其他算法进行对比实验,结果表明, FCR-CNN模型能够有效地检测与定位篡改区域;其中,在CASIA数据集上,其与FPN模型和Cascade R-CNN模型相比, F1分数分别提高了6.0%和7.5%.     

基于深度学习的医学影像报告生成研究综述

阅片是放射科医生日常的一项艰巨任务.实现医学影像报告自动生成就是为了缓解并辅助放射科医生快速准确进行疾病诊断和治疗方案制定的,同时减轻他们撰写报告的负荷.目前基于深度学习的医学影像报告自动生成的研究是当前的热门课题.文章对医学影像报告自动生成现有的主流方法及研究成果进行了总结和讨论,分析了该研究主要使用的网络模型和建模...     

高速简单循环单元网络

基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highway-networks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和隐状态的激活函数替换为非饱和激活函数;另一方...     

动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。