结合全局和局部特征的BiGRU-RA图像中文描述模型

针对目前基于全局特征的图像描述模型存在细节语义信息不足的问题,提出结合全局和局部特征的图像中文描述模型.该模型采用编码器-解码器框架,在编码阶段,分别使用残差网络(residual networks,ResNet)和Faster R-CNN提取图像的全局特征和局部特征,提高模型对不同尺度图像特征的利用.采用嵌入了残差连接结构和视觉注意力结构的双向门控循环单元(bi-directional gated recurrent unit,BiGRU)作为解码器(BiGRU with residual connection and attention,BiGRU-RA).模型可以自适应分配图像特征和文本权重,改善图像特征区域和上下文信息的映射关系.此外,加入基于强化学习的策略梯度对模型的损失函数进行改进,直接对评价指标CIDEr进行优化.在AI Challenger全球挑战赛图像中文描述数据集上进行训练和实验,实验结果表明,该模型获得更高的评分,生成的描述语句更准确、更详细.     

融合非局部神经网络的行为检测模型

针对在视频行为检测中卷积神经网络(CNN)对时域信息理解能力不足的问题,提出了一种融合 非局部神经网络的行为检测模型。模型采用一种双分支的 CNN 结构,分别提取视频的空间特征和运动特征。 将视频单帧和视频连续帧序列作为网络输入,空间网络对视频当前帧进行 2D CNN 特征提取,时空网络采用融 合非局部模块的 3D CNN 来捕获视频帧之间的全局联系。为了进一步增强上下文语义信息,使用一种通道融合 机制来聚合双分支网络的特征,最后将融合后的特征用于帧级检测。在 UCF101-24 和 JHMDB 2 个数据集上进 行了实验,结果表明,该方法能够充分融合空间和时间维度信息,在基于视频的时空行为检测任务上具有较高 的检测精度。     

基于多尺度残差神经网络的阿尔茨海默病诊断分类

提出多尺度残差神经网络(multi-scale resnet, MSResnet)。采用不同大小的卷积核对图像进行多尺度信息采集,并对神经网络进行残差学习,避免网络退化。对核磁共振图像(magnetic resonance imaging, MRI)进行标准化处理,利用MSResnet模型在阿尔茨海默症(Alzheimer's disease, AD)和正常受试者(normal control, NC)获得的分类准确率为99.41%,在AD和轻度认知障碍(mild cognitive impairment, MCI)获得分类准确率为97.35%。与已有的算法相比,本研究提出的算法的分类准确率得到了明显的提高。     

GZMH：用于有丝分裂细胞核检测和分割的乳腺癌病理图像数据集

目的 有丝分裂细胞核计数是乳腺癌诊断和组织学分级的3个重要评分指标之一,基于深度学习的自动检测方法,可以有效辅助医生进行乳腺病理图像有丝分裂细胞核识别和计数。而当前研究中的公开数据集多为竞赛所用,由举办方联合数据提供者挑选而来,与医院临床应用中所使用的数据存在较大的差异,不利于模型性能及泛化能力的测试验证。针对以上问题,本文发布了来自中国赣州市立医院临床环境的数据集GZMH （Ganzhou municipal hospital）。方法 整理并公开发布的数据集GZMH包含55幅全视野数字切片（whole slide images,WSIs）临床乳腺癌病理图像,提供了用于有丝分裂细胞核目标检测和语义分割研究的两种标注,并由2名高年资医师对3名初级病理医师的标注进行了复核。5种主流目标检测方法和5种经典分割方法在GZMH数据集上进行了训练和测试,检验它们在临床数据集GZMH上的性能。结果 目标检测方法实验结果比较中,SSD （single shot multibox detector）模型取得了最佳的效果,F1分数为0.511;分割方法实验结果比较中,R2U-Net （recurrent rsidual convolutional neural network based on U-Net）性能最佳,F1分数为0.430。所有方法在面对较大规模的临床数据集GZMH时体现的性能都明显低于它们在一些公开数据集上的性能。结论 本文所提出的GZMH数据集能够用于有丝分裂目标检测与语义分割研究任务,且此数据集中的图像更加接近实际的应用场景,在推动乳腺病理图像有丝分裂细胞核分割的研究和临床应用方面具有较大的价值。数据集的在线发布地址为：https：//doi.org/10.57760/sciencedb.08547。     

仿射不变的中心投影

 考虑将区域和轮廓类不变特征提取算法结合:利用中心投影将目标转化为闭曲线,对闭曲线运用轮廓类方法提取不变特征.证明了图像经中心投影所得闭曲线保持仿射变换的结论.介绍了一种利用小波变换进行仿射不变特征提取的算法.对一些汉字、26个大写英文字母等的实验结果表明结论的有效性,与传统方法相比该算法对噪声具有较强的鲁棒性.     

基于二面角逆插值Loop细分的渐进传输方法

随着虚拟现实、增强现实等领域快速发展,渐进传输获得了良好的用户体验。为 了三角网格在移动终端的快速传输和显示,提出了一种基于二面角逆插值 Loop 细分(DRILS)的 渐进传输算法。主要通过对原始三角网格进行基于二面角插值 Loop 细分(DILS)和插值 Loop 细 分(ILS)进行预处理,在局部特征精确保持的同时获得具备细分连通性的精网格。在渐进传输的 过程中通过对该精网格迭代操作 3 个步骤,即奇偶顶点划分、预测偏移量、更新三角网格。由 于采用 DILS 与 ILS 结合获取精网格,在渐进传输的过程中保持了精确的局部特征,同时也加 快了渐进传输的速度。实验对比表明,该算法精确、高效,适应于移动终端设备的显示传输及 存储。     

基于相似性保持和判别性分析的快速视频哈希算法

针对当前视频哈希算法检索时间长、准确率低的问题,提出一种基于相似性保持和判别性分析的快速视频哈希算法。通过视频的标签信息直接得到相似性矩阵,减少视频关键帧之间相似度的计算时间。采用根据标签信息定义的码本矩阵,使同一类别的视频生成相同的哈希码。在算法优化过程中,使用迭代优化找到参数的封闭解,学习得到视频哈希函数。本研究使得相似性矩阵和码本矩阵共同作用,不仅获得了较高的准确率,还极大提高了检索效率。试验结果表明,在两个公开视频数据集HMDB51和UCF101上,在数据集设置相同的情况下,该算法和6个常用的哈希算法相比,检索的时间和空间复杂度都明显优于其他算法。     

基于像素级分治策略的超分网络加速方法

在图像超分辨率任务中通过加大网络参数量和计算复杂度可以提升性能，但该方法不适用于很多计算能力受限的应用场景。因此当超分图像较大时，轻量化超分网络的设计是个至关重要的方向。针对该问题的一个经典加速策略是分治法(将大问题拆解成小问题逐一击破),现有方法通常将大图像的超分问题分解成不同子图像块的超分问题，并根据每个子图像块的超分难易程度，使用不同计算量规模的网络分别进行超分处理，从而减少了冗余的计算。然而，该分治策略仅将子问题分解到了子图像块级别，并未达到满意的加速效果。据此，将分治策略中的子问题分解进一步深入到了像素级，根据不同像素的超分难易程度采用不同计算量的网络来分而治之。具体来说，引入一个不确定度估计的思想在训练中自适应预测每个像素所在位置的超分难易程度；提出了一个自适应像素特征精炼模块，根据不同像素的超分难易程度，对超分困难的像素点进行采样和特征修复，从而为困难点的超分问题分配了更多的计算量进行处理。大量实验表明，相比现有的子图像块级的超分网络加速方法，提出的像素级超分网络加速方法更为高效，在相同精度的情况下，有效减少了计算复杂度。