糖尿病性视网膜图像的深度学习分类方法

目的 糖尿病性视网膜病变（DR）是目前比较严重的一种致盲眼病,因此,对糖尿病性视网膜病理图像的自动分类具有重要的临床应用价值。基于人工分类视网膜图像的方法存在判别性特征提取困难、分类性能差、耗时费力且很难得到客观统一的医疗诊断等问题,为此,提出一种基于卷积神经网络和分类器的视网膜病理图像自动分类系统。方法 首先,结合现有的视网膜图像的特点,对图像进行去噪、数据扩增、归一化等预处理操作;其次,在AlexNet网络的基础上,在网络的每一个卷积层和全连接层前引入一个批归一化层,得到一个网络层次更复杂的深度卷积神经网络BNnet。BNnet网络用于视网膜图像的特征提取网络,对其训练时采用迁移学习的策略利用ILSVRC2012数据集对BNnet网络进行预训练,再将训练得到的模型迁移到视网膜图像上再学习,提取用于视网膜分类的深度特征;最后,将提取的特征输入一个由全连接层组成的深度分类器将视网膜图像分为正常的视网膜图像、轻微病变的视网膜图像、中度病变的视网膜图像等5类。结果 实验结果表明,本文方法的分类准确率可达0.93,优于传统的直接训练方法,且具有较好的鲁棒性和泛化性。结论 本文提出的视网膜病理图像分类框架有效地避免了人工特征提取和图像分类的局限性,同时也解决了样本数据不足而导致的过拟合问题。     

融合注意力机制和高效网络的糖尿病视网膜病变识别与分类

目的 糖尿病视网膜病变（diabetic retinopathy,DR）是一种病发率和致盲率都很高的糖尿病并发症。临床中,由于视网膜图像不同等级之间差异性小以及临床医生经验的不同,会出现误诊、漏诊等情况,目前基于人工DR的诊断分类性能差且耗时费力。基于此,本文提出一种融合注意力机制（attention mechanism）和高效率网络（high-efficiency network,EfficientNet）的DR影像自动分类识别方法,以此达到对病变类型的精确诊断。方法 针对实验中DR数据集存在的问题,进行剔除、去噪、扩增和归一化等处理;利用EfficientNet进行特征提取,采用迁移学习的策略用DR的数据集对EfficientNet进行学习与训练,提取深度特征。为了解决病变之间差异小的问题,防止网络对糖尿病视网膜图像的特征学习时出现错分等情况,在EfficientNet输出结果上加入注意力机制;根据网络提取的特征在深度分类器中进行分类,将视网膜图像按等级进行五分类。结果 本文方法的分类精度、敏感性、特异性和二次加权（kappa）值分别为97.2%、95.6%、98.7%和0.84,具有较好的分类性能及鲁棒性。结论 基于融合注意力机制的高效率网络（attention EfficientNet,A-EfficientNet）的DR分类算法有效地提高了DR筛查效率,解决了人工分类的手动提取特征的局限性,在临床上对医生诊断起到了辅助作用,能更有效地防治此类恶性眼疾造成严重视力损伤、甚至失明。     

基于AlexNet2_att模型的视神经炎分类

视神经炎(optic neuritis)是一种眼部神经疾病, 会造成儿童和成人的急性视神经损伤, 严重时会有致盲的风险. 因此, 视神经炎早期发现和诊断, 对患者的恢复有着巨大的帮助. 基于视神经炎视网膜图像病变特征不明显, 人工诊断分类困难且准确率不高等问题, 本文设计了一种改进的混合注意力机制CS-CBAM模块, 并将CS-CBAM模块融合到改进的AlexNet网络, 形成一个具有更深层次的AlexNet2_att视神经炎分类模型, 从而实现视神经炎图像的自动分类. 首先, 对数据集中的视网膜图像进行图像尺寸调整, 去除图像冗余信息, 直方图均衡化和数据增强等预处理操作; 然后, 在AlexNet网络的基础上, 引入批归一化层以提高训练速度, 之后, 在改进后的AlexNet网络中融入我们所提出的混合注意力机制CS-CBAM, 形成AlexNet2_att模型; 最后, 使用来自大连市第三人民医院的临床数据对本文模型进行性能评估, 实验结果表明, 该模型的分类准确率可达99.19%. 实验结果证明本文模型具有良好的实用性和鲁棒性, 有很高的实用价值, 可以辅助医生进行视神经炎分类与诊断.     

结合PCANet与线性判别分析的视网膜光学相干断层扫描图像分类

目的 主成分分析网络（PCANet）能提取图像的纹理特征,线性判别分析（LDA）提取的特征有类别区分性。本文结合这两种方法的优点,提出一种带线性判别分析的主成分分析网络（PCANet-LDA）,用于视网膜光学相干断层扫描（OCT）图像中的老年性黄斑变性（AMD）、糖尿病性黄斑水肿（DME）及正常（NOR）这3类的全自动分类。方法 PCANet-LDA算法是在PCANet的基础上添加了LDA监督层,该层加入了类标签对特征进行监督投影。首先,对OCT视网膜图像进行去噪、二值化及对齐裁剪等一系列预处理,获得感兴趣的视网膜区域;然后,将预处理图像送入一个两层的PCA卷积层,训练PCA滤波器组并提取图像的PCA特征;接着,将PCA特征送入一个非线性输出层,通过二值散列和块直方图等处理,得到图像的特征;之后,将带有类标签的图像特征送入一个LDA监督层,学习LDA矩阵并用其对图像特征进行投影,使特征具有类别区分性;最后,将投影的特征送入线性支持向量机（SVM）中对分类器进行训练和分类。结果 实验分别在医院临床数据集和杜克数据集上进行,先对OCT图像预处理进行前后对比实验,然后对PCANet特征提取的有效性进行分析,最后对PCANet算法、ScSPM算法以及提出的PCANet-LDA3种分类算法的分类效果进行对比实验。在临床数据集上,PCANet-LDA算法的总体分类正确率为97.20%,高出PCANet算法3.77%,且略优于ScSPM算法;在杜克数据集上,PCANet-LDA算法的总体分类正确率为99.52%,高出PCANet算法1.64%,略优于ScSPM算法。结论 PCANet-LDA算法的分类正确率明显高于PCANet,且优于目前用于2D视网膜OCT图像分类的先进的ScSPM算法。因此,提出的PCANet-LDA算法在视网膜OCT图像的分类上是有效且先进的,可作为视网膜OCT图像分类的基准算法。     

基于深度学习的眼底视网膜图像疾病分类研究

糖尿病是眼底病变的导火索之一。本文提出一种基于深度学习的多疾病分类方法,并给出了一个完整的眼底视网膜图像辅助诊断解决方案。首先,对数据归一化,剪裁掉多余的背景,并利用直方图均衡化解决光照不均匀问题,然后对少样本进行数据增强及扩充来解决样本不平衡;随后将 Resnet50 作为主干网络,并且利用多任务学习来解决多标签分类问题,并根据左右眼的相关性对左右眼图像进行拼接,融合左右眼特征,从而提高模型的精度;由于眼底图像的疾病分类本质上是根据图像上的病灶来判断的,因此引入注意力机制来使得模型更关注病灶特征,增强网络对有效特征的学习能力。     

基于双注意力编码-解码器架构的视网膜血管分割

眼底视网膜血管的分割提取对于糖尿病、视网膜病、青光眼等眼科疾病的诊断具有重要的意义。针对视网膜血管图像中的血管难以提取、数据量较少等问题,文中提出了一种结合注意力模块和编码-解码器结构的视网膜血管分割方法。首先对编码-解码器卷积神经网络的每个卷积层添加空间和通道注意力模块,加强模型对图像特征的空间信息和通道信息(如血管的大小、形态和连通性等特点)的利用,从而改善视网膜血管的分割效果。其中,空间注意力模块关注于血管的拓扑结构特性,而通道注意力模块关注于血管像素点的正确分类。此外,在训练过程中采用Dice损失函数解决了视网膜血管图像正负样本不均衡的问题。在3个公开的眼底图像数据库DRIVE,STARE和CHASE_DB1上进行了实验,实验数据表明,所提算法的准确率、灵敏度、特异性和AUC值均优于已有的视网膜血管分割方法,其AUC值分别为0.9889,0.9812和0.9831。实验证明,所提算法能够有效提取健康视网膜图像和病变视网膜图像中的血管网络,能够较好地分割细小血管。     

深度学习在糖尿病视网膜病变分类领域的研究进展

糖尿病视网膜病变是导致糖尿病患者视力受损的主要原因之一,早期的分类诊断对于病情的治疗与控制具有重要意义。深度学习方法能够自动提取视网膜病变的特征并进行分类,因此成为糖尿病视网膜病变分类的重要工具。介绍常用的糖尿病视网膜病变数据集及评价指标,总结了深度学习在糖尿病视网膜病变二分类中的应用;综述了不同的经典深度学习模型在糖尿病视网膜病变严重程度分类中的应用,重点阐述卷积神经网络的分类诊断方法,并对不同方法进行综合对比分析;最后讨论该领域面临的挑战,并对未来发展方向进行了展望。     

基于眼底图像的糖尿病视网膜病变分类系统设计

针对眼底图像,设计了一个糖尿病视网膜病变(Diabeticretinopathy,DR)分类系统,通过对视网膜血管图像进行定量分析来实现对DR病程的分类.采用Messidor数据集的眼底照片图像,这个数据集共包含100个研究项目,其中32张未患DR的眼底照片,24张患NPDR.根据数据集中DR患者和非DR人群的眼底图像以及眼科专家的分类结果,利用数字图像处理技术分析特征值的统计意义,判断该图像所反映的DR病程.预处理为提取特征值前的图像增强、主像素成分分析、匹配滤波以及Gabor滤波,对预处理后的图像进行直径、角度和分形维数等特征值提取.最终结果展示了直径、角度和分形维数的准确率达到了93％、96％、81.8％,提供有效的辅助诊断手段.糖尿病视网膜病变的特征值分析包括直径、角度和分形维数准确率较高.对于缺乏医疗条件的地区很有价值.     

基于多尺度注意力深度可分离卷积残差网络的视网膜血管堵塞检测

提出了一种基于多尺度注意力深度可分离卷积残差网络模型，用于辅助视网膜血管堵塞的诊断和分类。收集了两个公开数据集共计725张视网膜眼底图像，包括正常视网膜和三种不同类型的视网膜血管堵塞。实验使用深度可分卷积提取多级图像特征，并通过空间和通道注意力机制增强这些特征，最后将增强后的多级特征融合并使用全局平均池化和全连接层进行分类。该模型在这个数据集上获得了93.79%的分类准确率，并具有较高的精准率、召回率和F1度量值等指标，可以有效地诊断视网膜堵塞。该研究为深度学习在眼科医学中的应用提供了新的思路和方法。     

多尺度特征融合网络的视网膜OCT图像分类

目前基于深度学习的视网膜OCT图像分类方法存在网络特征提取能力低、小目标病变分类困难等问题。为此本文提出了一种双分支多尺度特征融合网络,通过加入门控注意力机制,利用深层特征作为选通信号传递给浅层特征,在消除冗余特征的同时,获得更细尺度的抽象信息。同时加入空洞空间金字塔模块,实现在不降低特征图分辨率的同时增大感受野,按不同比例有效捕获全局上下文信息,提高了小目标病变分类精度。实验结果表明,本文提出的方法在视网膜OCT图像分类任务中取得了较好效果,分类准确率达97.9%。     

A NEW EYENET MODEL FOR DIAGNOSIS OF DIABETIC RETINOPATHY

Diabetic retinopathy (DR) is an eye disease caused by complications of diabetes and it should be detected early for effective treatment. As diabetes progresses, the vision of a patient may start to deteriorate and lead to diabetic retinopathy. Two types were identified: nonproliferative diabetic retinopathy (NPDR) and proliferative diabetic retinopathy (PDR). In this study, to diagnose diabetic retinopathy, we have proposed a new EYENET model that was obtained by combining the modified probabilistic neural network (PNN) and a modified radial basis function neural network (RBFNN), and hence, it possesses the advantages of both models. The features such as blood vessels and hemorrhages of the NPDR image and exudates of the PDR image are extracted from the raw images using image-processing techniques and are fed to the classifier for classification. A total of 600 fundus images were used, out of which 400 were used for training, and 200 images were used for testing. Experimental results show that PNN has an accuracy of 96%, modified PNN has an accuracy of 97.5%, RBFNN has an accuracy of 93.5%, modified RBFNN has an accuracy of 95.5%, and the proposed EYENET model has an accuracy of 98.5%. This infers that our proposed model outperforms all other models.     

Hinge attention network: A joint model for diabetic retinopathy severity grading

Diabetic Retinopathy is one of the prominent reasons for permanent blindness in working age, long term diabetic patients. With the prevalence in raise of diabetics, majority of the people are endangered to permanent vision loss. The advancements in medical imaging techniques enabled the research community to focus on developing automated and computerized systems for diagnosing retinopathy in early stages. But, it is a very complex challenge due to the presence of high intra-class variations and imbalanced data distribution for higher grades of severity. In recent years, various deep learning based models have been designed for automating the process of retinopathy severity classification. In this research work, we present a fascinating deep learning model with multiple attention stages called Hinge Attention Network (HA-Net). Proposed model consists of a pre-trained VGG16 base to extract initial spatial representation from retinal scan images, spatial attention autoencoder to learn lesion specific latent representations in spatial dimensions and a channel attention based hinge neural network to grab category based discriminative features in channel dimension and classify the severity grade of retinopathy. In addition to spatial and channel attention mechanism, we use Convolutional LSTM layer to prioritize highly important spatial maps before passing to hinge neural network. All these components of HA-Net, enabled it to make generalised and accurate predictions on unseen data. The effectiveness and acceptability of proposed model is proved by validating it using two benchmark datasets, Kaggle APTOS 2019 and ISBI IDRiD. Extensive experimental studies on these datasets reveal that, proposed HA-Net outstrip several existing models by achieving an accuracy of 85.54% on Kaggle APTOS, and an accuracy of 66.41% on IDRiD datasets.

     

结合多通道注意力的糖尿病性视网膜病变分级

目的 糖尿病性视网膜病变（diabetic retinopathy, DR）是一种常见的致盲性视网膜疾病,需要患者在早期就能够被诊断并接受治疗,否则将会造成永久性的视力丧失。能否检测到视网膜图像中的微小病变如微血管瘤,是糖尿病性视网膜病变分级的关键。然而这些病变过于细小导致使用一般方法难以正确地辨别。为了解决这一问题,本文提出了一种基于多通道注意力选择机制的细粒度分级方法（fine-grained grading method based on multi-channel attention selection, FGMAS）用于糖尿病性视网膜病变的分级。方法 该方法结合了细粒度分类方法和多通道注意力选择机制,通过获取局部特征提升分级的准确度。此外考虑到每一层通道特征信息量与分类置信度的关系,本文引入了排序损失以优化每一层通道的信息量,用于获取更加具有信息量的局部区域。结果 使用两个公开的视网膜数据集（Kaggle和Messidor）来评估提出的细粒度分级方法和多通道注意力选择机制的有效性。实验结果表明：FGMAS在Kaggle数据集上进行的五级分类任务中相较于现有方法,在平均准确度（average of classification accuracy,ACA）上取得了3.4%10.4%的提升。尤其是对于病变点最小的1级病变,准确率提升了11%18.9%。此外,本文使用FGMAS在Messidor数据集上进行二分类任务。在推荐转诊/不推荐转诊分类上FGMAS得到的准确度（accuracy,Acc）为0.912,比现有方法提升了0.1%1.9%,同时AUC （area under the curve）为0.962,比现有方法提升了0.5%9.9%;在正常/不正常分类上FGMAS得到的准确度为0.909,比现有方法提升了2.9%8.8%,AUC为 0.950,比现有方法提升了0.4%8.9%。实验结果表明,本文方法在五分类和二分类上均优于现有方法。结论 本文所提细粒度分级模型,综合了细粒度提取局部区域的思路以及多通道注意力选择机制,可以获得较为准确的分级结果。     

基于R-FCN算法的糖尿病眼底病变自动诊断

糖尿病眼底病变（Diabetic Retinopathy,DR）是糖尿病患者常见的致盲疾病,可使用深度学习算法对患者的糖尿病眼底图片进行图像识别,实现对糖尿病眼底病变的辅助诊断。针对以往普通卷积神经网络只能进行分类和输入尺寸固定的问题,提出了基于目标检测的区域全卷积网络（Region-based Fully Convolutional Networks,R-FCN）算法,实现同时对任意尺寸输入的糖尿病眼底图片的分类和病变区域检测。针对原始R-FCN算法对小目标（极小的出血点和血管瘤）检测困难的问题,对R-FCN算法做了一定的改进,加入特征金字塔网络（Feature Pyramid Networks,FPN）结构,升级主干网络,修改区域建议网络（Region Proposal Network,RPN）。实现结果表明,改进后的R-FCN算法能以很高的正确率实现对糖尿病眼底图片的五级分类（健康、轻度、中度、重度、增殖）和病变区域检测（血管瘤、眼底出血、玻璃体出血）。     

基于多尺度高阶注意力机制的视网膜血管分割

视网膜血管分割对于辅助医生诊断糖尿病性视网膜病变、黄斑萎缩、青光眼等眼科疾病具有重要意义. 注意力机制被广泛用于U-Net及其变体中以提高血管分割模型的性能. 为进一步提高视网膜血管的分割精度, 挖掘视网膜图像中的高阶及全局上下文信息, 本文提出基于多尺度高阶注意力机制的模型(multi-scale high-order attention network, MHA-Net). 首先, 多尺度高阶注意力(multi-scale high-order attention, MHA)模块从深层特征图中提取多尺度和全局特征计算初始化注意力图, 从而改进模型处理医学图像分割时尺度不变的缺陷. 接下来, 该模块通过图的传递闭包构建注意力图, 进而提取高阶的深层特征. 通过将多尺度高阶注意力模块应用于编码器-解码器结构中, 在彩色眼底图像数据集DRIVE上进行血管分割, 实验结果表明, 基于多尺度高阶注意力机制的视网膜血管分割方法有效地提高了分割的精度.     

Identification of different stages of diabetic retinopathy using retinal optical images

Diabetes is a disease which occurs when the pancreas does not secrete enough insulin or the body is unable to process it properly. This disease affects slowly the circulatory system including that of the retina. As diabetes progresses, the vision of a patient may start to deteriorate and lead to diabetic retinopathy. In this study on different stages of diabetic retinopathy, 124 retinal photographs were analyzed. As a result, four groups were identified, viz., normal retina, moderate non-proliferative diabetic retinopathy, severe non-proliferative diabetic retinopathy and proliferative diabetic retinopathy. Classification of the four eye diseases was achieved using a three-layer feedforward neural network. The features are extracted from the raw images using the image processing techniques and fed to the classifier for classification. We demonstrate a sensitivity of more than 90% for the classifier with the specificity of 100%.