基于深度学习的超声心动图切面识别方法

提出了一种基于深度卷积神经网络自动识别超声心动图标准切面的方法,并可视化分析了深度模型的有效性。针对网络全连接层占有模型大部分参数的缺点,引入空间金字塔均值池层化替代全连接层,获得更多空间结构信息,并大大减少模型参数、降低过拟合风险,通过类别显著性区域将类似注意力机制引入模型可视化过程。通过超声心动图标准切面的识别问题案例,对深度卷积神经网络模型的鲁棒性和有效性进行解释。在超声心动图上的可视化分析实验表明,改进深度模型作出的识别决策依据,同医师辨别分类超声心动图标准切面的依据一致,表明所提方法的有效性和实用性。     

基于两级分割的胎儿四腔心超声切面质量评测

目的 为解决基于深度学习算法在执行胎儿四腔心超声切面图像质量评测时无法准确反映心脏区域中瓣膜与房室间隔及心室心房区域的可见程度问题，提出一种目标检测与两级分割相结合的胎儿四腔心超声切面图像质量评测方法。方法 首先利用自行构建的胎儿超声切面数据集训练主流的YOLOv5x（you only look once v5x）模型，实现四腔心区域与胸腔区域的有效定位。当检测到四腔心区域在胸腔区域内时，将其视为感兴趣区域送入训练好的U2-Net模型，进一步分割出包含心房室及瓣膜的部分。然后利用形态学算子去除其外围可能存在的少许心脏外膜区域得到四腔心内区域后，通过直方图修正与最大类间方差法（OTSU）相结合的方法分割出瓣膜连同房室间隔区域，并通过减法操作得到心室心房区域的分割图。最后通过联合胎儿四腔心超声切面图像中瓣膜连同房室间隔与心室心房区域的面积之比、瓣膜与房室间隔区域以及心室心房区域的平均灰度构建评分公式与评分标准，实现胎儿四腔心超声切面图像质量的有效评测。结果 在胸腔和四腔心区域的检测任务上的mAP@0.5、mAP@0.5-0.95和召回率分别为99.5%、84.6%和99.9%；在四腔心内部区域分割任务上的灵敏度、特异度和准确度分别为95.0%、95.1%和94.9%；所提质量评测方法在所构建的A、B、C三类评测数据集上分别取得了93.7%、90.3%和99.1%的准确率。结论 所提方法的评测结果与医生主观评测结果相近，具有较好的可解释性，拥有良好的实际应用价值。     

基于BCNN的胎儿颅脑超声横切面识别算法

孕期超声检查是评估胎儿大脑发育、检测生长异常的重要步骤,开展对胎儿早期检查准确高效的诊断研究具有重要的临床价值。文中使用双线性卷积神经网络BCNN进行胎儿颅脑横切面识别,提出了BCNN-R和BCNN-S两种算法。BCNN算法首先对输入的胎儿颅脑超声影像数据进行预处理,去除个人信息等敏感信息;其次,利用两路并行的子网络从影像数据中提取辨识度高、鲁棒性强的横切面特征,并将其融合得到有助于识别的细微特征;最后使用线性连接层进行识别和分类。为了验证算法的有效性,在自建胎儿超声数据集JFU19上进行了对比实验,实验结果表明,所提算法相比常见的深度网络(GoogleNet,DenseNet,SeNet等)在分类性能上有明显的提升,其中BCNN-S算法的总体准确率达到了88.95%,BCNN-R在水平横切面的识别上达到了97.22%的精确度和88.61%的召回率。此外,在公开数据集HC18上进行了实验,BCNN算法的准确率、精确度、召回率分别达到了89.48%,87.66%和87.71%,进一步验证了算法的有效性。     

基于基准点的蚂蚁算法在胎儿脊柱裂超声图像边缘检测中的应用

胎儿脊柱裂超声图像一般较为模糊不易判断识别,该文基于蚁群算法,提出了一种新的胎儿脊柱裂超声图像边沿检测方法。针对超声图像特点,算法对信息素及食物源的设置进行了改进,阐述了该算法,同时将检测结果与Sobel算法的结果进行了比较,实验证明该改进的蚂蚁算法提取出了清晰的胎儿脊柱裂的边沿。     

基于贝叶斯理论的超声肝图像识别系统研究

超声肝图像识别是医学图像图像处理的重要分支,也是计算机辅助诊断中的一个重要应用,在医院常规检查和远程医疗中有广泛的实际意义和应用价值.本系统对获取的图像进行处理,通过将共生矩阵和多分辨率提取分形特征方法结合来提取和选择超声肝图像特征并采用贝叶斯理论设计判别规则进行分类.实验证明,该系统对普通超声肝检查中的正常肝、肝硬化和肿瘤肝识别性能好,具有很强的扩展性、可操作性.     

多切面分类改进独立成份与支持向量机集成故障诊断方法

本文采用多切面分类方法改进独立成份(ICA)与支持向量机(SVM)集成诊断方法. 在高维独立成份特征空间中采用多切面分类方法在不同切面上分别建立SVM故障分类模型. 对不同切面的分类情况进行故障识别, 改善ICA--SVM集成故障诊断性能. 将ICA--MSVM集成故障诊断方法对动态执行器基准平台(DAMADICS)的19种阀门故障模式进行仿真验证, 结果表明改进的ICA--MSVM方法有效地提高了故障诊断精度.     

一种自由臂三维超声任意切面重建方法

提出一种无体素的自由臂三维超声任意切面重建方法。通过计算重建切面和原始超声图像的位置关系,根据重建切面附近的超声图像像素点直接重建得到任意切面图像,在计算切面图像像素值的过程中采用平方距离加权方法。实验结果证明,与传统方法相比该方法具有更高的重建精度和相近的噪声抑制能力,而针对某一确定平面的重建时间仅为传统方法的1.6%左右。     

ADI全新8通道超声接收器问世 支持高质量的多普勒处理

<正>超声成像经历了多年的发展,在医疗领域起着越来越重要的作用,从日常产前保健到高级心脏成像,超声成像必不可少。多普勒超声检查对血管病治疗非常重要,在美国该病是引起死亡和残疾的主要原因;另外在紧急情况下,多普勒超声检查也是极其重要的,例如检查人     

融合帧间时序关系的标准胎儿四腔心超声切面自动获取

目的 超声医师手动探查与采集胎儿心脏切面图像时,常因频繁的手动暂停与截图操作而错失心脏切面最佳获取时机。而单纯采用深层视觉目标检测或分类网络自动获取切面时,因无法确保网络重点关注切面图像中相对较小的心脏区域的细粒度特征,导致高误检率;另外,不同的心脏解剖部件的最佳成像时刻也常常不同步。针对上述问题,提出一种目标检测与分类网络相结合,同时融合关键帧间时序关系的标准四腔心（four-chamber,4CH）切面图像自动获取算法。方法 首先,利用自行构建的胎儿心脏超声切面数据集训练目标检测网络,实现四腔心区域和降主动脉区域的快速准确定位。接着,当检测到在一定时间窗内的视频帧存在降主动脉区域时,将包含四腔心目标的候选区域提取后送入利用自建的标准四腔心区域图像集训练好的分类网络,进一步分类出标准四腔心区域。最后,通过时序关系确定出可靠的降主动脉区域,将可靠降主动脉的检测置信度及同一时间窗内各个切面图像中四腔心区域在分类模型中的输出,加权计算得到标准四腔心切面图像的得分。结果 采用本文构建的数据集训练的YOLOv5x(you only look once version 5 extra large...     

基于模板匹配的3维超声心动图四腔切面自动检测

在利用实时3维超声心动图诊断心脏病的过程中,医生手动寻找各关键剖视面既繁琐又费时;四腔切面是最重要的观察切面之一,为便于诊断,提出了基于模板匹配的自动检测3维超声心动图四腔切面的方法。首先,在医生指导下选择一幅四腔切面图像作为模板;其次,从3维心动图中提取一系列切面建立待检索图像库;最后,用两种不同的相似测度依次进行粗检索和精检索,找到与模板图像最相似的切面,即为该3维心动图中的四腔切面。利用该方法对28组正常人数据和22组非正常人数据进行实验,正确率分别为96%及863%。该方法仅利用一幅模板图像,初步实现了不同人3维超声心动图四腔切面的自动检测;其计算复杂度低,易于实现实时处理,避免了人工寻找切面的诸多弊端,对测量及配准等后续的计算机辅助诊断有重要意义。     

基于对抗学习和知识蒸馏的神经网络压缩算法

针对基于深度学习的人脸识别模型难以在嵌入式设备进行部署和实时性能差的问题,深入研究了现有的模型压缩和加速算法,提出了一种基于知识蒸馏和对抗学习的神经网络压缩算法。算法框架由三部分组成,预训练的大规模教师网络、轻量级的学生网络和辅助对抗学习的判别器。改进传统的知识蒸馏损失,增加指示函数,使学生网络只学习教师网络正确识别的分类概率;鉴于中间层特征图具有丰富的高维特征,引入对抗学习策略中的判别器,鉴别学生网络与教师网络在特征图层面的差异;为了进一步提高学生网络的泛化能力,使其能够应用于不同的机器视觉任务,在训练的后半部分教师网络和学生网络相互学习,交替更新,使学生网络能够探索自己的最优解空间。分别在CASIA WEBFACE和CelebA两个数据集上进行验证,实验结果表明知识蒸馏得到的小尺寸学生网络相较全监督训练的教师网络,识别准确率仅下降了1.5%左右。同时将本研究所提方法与面向特征图知识蒸馏算法和基于对抗学习训练的模型压缩算法进行对比,所提方法具有较高的人脸识别准确率。     

知识蒸馏方法研究与应用综述

随着深度学习方法的不断发展,其存储代价和计算代价也不断增长,在资源受限的平台上,这种情况给其应用带来了挑战。为了应对这种挑战,研究者提出了一系列神经网络压缩方法,其中知识蒸馏是一种简单而有效的方法,成为研究热点之一。知识蒸馏的特点在于它采用了“教师—学生”架构,使用一个大型网络指导小型网络进行训练,以提升小型网络在应用场景下的性能,从而间接达到网络压缩的目的。同时,知识蒸馏具有不改变网络结构的特性,从而具有较好的可扩展性。本文首先介绍知识蒸馏的由来以及发展,随后根据方法优化的目标将知识蒸馏的改进方法分为两大类,即面向网络性能的知识蒸馏和面向网络压缩的知识蒸馏,并对经典方法和最新方法进行系统的分析和总结,最后列举知识蒸馏方法的几种典型应用场景,以便加深对各类知识蒸馏方法原理及其应用的理解。知识蒸馏方法发展至今虽然已经取得较好的效果,但是各类知识蒸馏方法仍然有不足之处,本文也对不同知识蒸馏方法的缺陷进行了总结,并根据网络性能和网络压缩两个方面的分析,给出对知识蒸馏研究的总结和展望。     

基于知识蒸馏的YOLOv3算法研究

知识蒸馏作为一种模型压缩方法,将大网络（教师网络）学到的知识传递给小网络（学生网络）,使小网络获得接近大网络的精度。知识蒸馏在图像分类任务上获得不错的效果,但在目标检测上的研究较少,且有待提高。当前目标检测中主要基于特征提取层进行知识蒸馏,该类方法存在两个问题,第一,没有对教师网络传递知识的重要程度进行度量,第二,仅对特征提取层进行蒸馏,教师网络的知识未充分传递给学生网络。针对第一个问题,通过引入信息图作为蒸馏的监督信号,强化了学生网络对教师网络重点知识的学习;针对第二个问题,对特征提取层和特征融合层的输出同时进行蒸馏,使学生网络更充分地学习教师网络传递的知识。实验结果表明,以YOLOv3为检测模型,在不改变学生网络结构的基础上,平均类别精度（mAP）提升9.3个百分点。     

基于知识蒸馏的特定知识学习

在传统知识蒸馏框架中,教师网络将自身的知识全盘传递给学生网络,而传递部分知识或者特定知识的研究几乎没有。考虑到工业现场具有场景单一、分类数目少的特点,需要重点评估神经网络模型在特定类别领域的识别性能。基于注意力特征迁移蒸馏算法,提出了三种特定知识学习算法来提升学生网络在特定类别分类中的分类性能。首先,对训练数据集作特定类筛选以排除其他非特定类别的训练数据;在此基础上,将其他非特定类别视为背景并在蒸馏过程中抑制背景知识,从而进一步减少其他无关类知识对特定类知识的影响;最后,更改网络结构,即仅在网络高层抑制背景类知识,而保留网络底层基础图形特征的学习。实验结果表明,通过特定知识学习算法训练的学生网络在特定类别分类中能够媲美甚至超越参数规模六倍于它的教师网络的分类性能。     

基于关系型蒸馏的分步神经网络压缩方法

针对关系型知识蒸馏方法中教师网络与学生网络的层数差距过大导致蒸馏效果下降的问题,提出一种基于关系型蒸馏的分步神经网络压缩方法.该方法的要点在于,在教师网络和学生网络之间增加一个中间网络分步进行关系型蒸馏,同时在每一次蒸馏过程中都增加额外的单体信息来进一步优化和增强学生模型的学习能力,实现神经网络压缩.实验结果表明,本文的方法在CIFAR-10和CIFAR-100图像分类数据集上的分类准确度相较于原始的关系型知识蒸馏方法均有0.2％左右的提升.     

基于知识蒸馏的超分辨率卷积神经网络压缩方法

针对目前用于超分辨率图像重建的深度学习网络模型结构深且计算复杂度高，以及存储网络模型所需空间大，进而导致其无法在资源受限的设备上有效运行的问题，提出一种基于知识蒸馏的超分辨率卷积神经网络的压缩方法。该方法使用一个参数多、重建效果好的教师网络和一个参数少、重建效果较差的学生网络。首先训练好教师网络，然后使用知识蒸馏的方法将知识从教师网络转移到学生网络，最后在不改变学生网络的网络结构及参数量的前提下提升学生网络的重建效果。实验使用峰值信噪比（PSNR）评估重建质量的结果，使用知识蒸馏方法的学生网络与不使用知识蒸馏方法的学生网络相比，在放大倍数为3时，在4个公开测试集上的PSNR提升量分别为0.53 dB、0.37 dB、0.24 dB和0.45 dB。在不改变学生网络结构的前提下，所提方法显著地改善了学生网络的超分辨率重建效果。     

基于改进注意力迁移的实时目标检测方法

目前深度神经网络模型需要部署在资源受限的环境中,故需要设计高效紧凑的网络结构。针对设计紧凑的神经网络提出一种基于改进注意力迁移的模型压缩方法(KE),主要使用一个宽残差教师网络(WRN)指导一个紧凑的学生网络(KENet),将空间和通道的注意力迁移到学生网络来提升性能,并将该方法应用于实时目标检测。在CIFAR上的图像分类实验验证了经过改进注意力迁移的知识蒸馏方法能够提升紧凑模型的性能,在VOC上的目标检测实验验证了模型KEDet具有很好的精度(72.7 mAP)和速度(86 fps)。实验结果充分说明基于改进注意力迁移的目标检测模型具有很好的准确性和实时性。     

基于动态特征蒸馏的水工隧洞缺陷识别方法

针对水工隧洞缺陷识别任务中现有深度卷积神经网络（DCNN）对缺陷图像特征提取能力不足、识别种类少、推理耗时长的问题,提出一种基于动态特征蒸馏的缺陷自主识别方法。首先,通过深度曲线估计网络对图像进行优化,从而改善低照度环境下的图像质量;其次,构建加入注意力机制的动态卷积模块取代传统静态卷积,并且把得到的动态特征用于训练教师网络以获得更好的模型特征提取能力;最后,在知识蒸馏框架中融合鉴别器结构,以构造一种动态特征蒸馏损失,并通过鉴别器将动态特征知识从教师网络传递到学生网络,从而在大幅减少模型推理时间的同时实现六类缺陷的高精度识别。在四川某水电站水工隧洞缺陷数据集上对该方法和原有残差网络进行对比实验,结果表明该方法可达到96.15%的识别准确率,其模型参数量和推理时间分别降低到原来的1/2和1/6。通过实验结果可知,将缺陷图像的动态特征蒸馏信息融合到识别网络中能够提高水工隧洞缺陷的识别效率。     

基于集成知识蒸馏的肺病分析

新冠肺炎以来,肺部疾病引起了人们更大的关注.肺音的特征与诊断是肺病理学中重要的组成部分.现有的肺音分析工作主要是对肺音的类型进行分类,分类肺病的研究较少.另外,单个分类模型无法在保护隐私的前提下融合多方数据,复杂的模型也难以保证分类的实时性.针对这些问题,本文提出集成知识蒸馏的肺疾病分类模型.首先从肺音音频中提取梅尔频谱特征,然后建立多个二分类卷积神经网络模型作为教师模型,最后通过集成知识蒸馏技术,将多个教师模型的知识集成到一个精简的多分类学生模型上.实验表明,该模型能够在预测准确率达95%的情况下,参数量比教师模型减少79%,预测速度提升20%.在同等条件下,时耗仅有MobileNet–v3–small模型的6%,实现实时性肺疾病分析.     

基于生成对抗网络的知识蒸馏数据增强

在图像分类和工业视觉检测过程中,缺陷样本量少导致神经网络分类器训练效率低及检测精度差,直接采用原始的离散标签又无法使网络分类器学习到不同类别间的相似度信息。针对上述问题,在区域丢弃算法的基础上,提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补,减少区域丢弃产生的非信息噪声。在补丁生成网络中,保留生成对抗网络的编码器-解码器结构,利用编码器卷积层提取特征,通过解码器对特征图上采样生成补丁。在样本标签生成过程中,采用知识蒸馏算法中的教师-学生训练模式,按照交叉检验方式训练教师模型,根据教师模型生成的软标签对学生模型的训练进行指导,提高学生模型对特征的学习能力。实验结果表明,与区域丢弃算法相比,该算法在CIFAR-100、CIFAR-10数据集图像分类任务上的Top-1 Err、Top-5 Err分别降低3.1、0.8、0.5、0.6个百分点,在汽车转向器轴承数据集语义分割任务上的平均交并比和识别准确率分别提高2.8、2.3个百分点。