分享:
分享到微信朋友圈
X
综述
深度残差网络在脑肿瘤MRI分类上的研究进展
李光宇 杨锋 张智悦 陈雷

Cite this article as: LI G Y, YANG F, ZHANG Z Y, et al. Advances in deep residual networks for MRI classification of brain tumors[J]. Chin J Magn Reson Imaging, 2025, 16(3): 143-149, 161本文引用格式:李光宇, 杨锋, 张智悦, 等. 深度残差网络在脑肿瘤MRI分类上的研究进展[J]. 磁共振成像, 2025, 16(3): 143-149, 161. DOI:10.12015/issn.1674-8034.2025.03.024.


[摘要] 脑肿瘤作为一组在人脑内部或周围异常增殖的组织,其生长可能导致严重的神经功能障碍,对患者的生活质量和生命安全构成重大威胁。因此,准确地对脑肿瘤进行分类,对于制订针对性的治疗方案和评估患者的预后情况具有至关重要的意义。近年来,深度学习技术的迅猛发展为医学影像分析领域开辟了新的途径,深度残差网络(ResNet)及其衍生变体在图像分类任务中展现出了卓越的性能,为脑肿瘤MRI分类带来了新的突破。本文深入探讨了基于深度残差网络的网络模型在脑肿瘤MRI分类中的优化策略,首先介绍了深度残差网络的发展,随后详细地分析了当前深度残差网络及其衍生变体在脑肿瘤磁共振图像上的应用。最后,指出了该领域目前面临的挑战,并对未来的研究方向进行了展望,旨在为相关研究提供全面的参考和思路,推动深度残差网络在脑肿瘤MRI分类中的进一步发展和应用,从而提高脑肿瘤诊断的准确性和效率,为临床治疗提供更有力的支持。
[Abstract] Brain tumors, as a group of tissues that proliferate abnormally in or around the human brain, may grow in ways that lead to severe neurological dysfunction, posing a significant threat to patients' quality of life and life safety. Therefore, accurately classifying brain tumors is of crucial importance for formulating targeted treatment plans and evaluating the prognosis of patients. In recent years, the rapid development of deep learning technology has opened up new avenues in the field of medical image analysis, and the deep residual network (ResNet) and its derived variants have demonstrated excellent performance in image classification tasks, bringing new breakthroughs in brain tumor MRI classification. In this paper, the optimization strategy of the network model based on deep residual networks in brain tumor MRI classification is discussed in depth, firstly, the development of deep residual networks is introduced, followed by a detailed analysis of the current applications of deep residual networks and their derived variants on brain tumor MRI images. Finally, the current challenges faced in this field are pointed out, and the future research directions are prospected, aiming to provide comprehensive references and ideas for related research, and to promote the further development and application of deep residual networks in brain tumor MRI classification, so as to improve the accuracy and efficiency of brain tumor diagnosis, and to provide more powerful support for clinical treatment.
[关键词] 深度残差网络;脑肿瘤;磁共振成像;图像分类;注意力机制;迁移学习
[Keywords] deep residual network;brain tumor;magnetic resonance imaging;image classification;attentional mechanisms;transfer learning

李光宇 1   杨锋 2   张智悦 1   陈雷 2*  

1 山东中医药大学医学信息工程学院,济南 250355

2 山东中医药大学附属医院资产设备处,济南 250014

通信作者:陈雷,E-mail: szysbc@163.com

作者贡献声明:陈雷设计了本研究的方案,对稿件重要内容进行了修改;李光宇起草和撰写稿件,获取、分析和解释本研究的数据;杨锋、张智悦获取、分析和解释本研究的数据,对稿件重要内容进行了修改;全体作者都同意发表最后的修改稿,同意对本研究的所有方面负责,确保本研究的准确性和诚信。


收稿日期:2025-01-09
接受日期:2025-03-10
中图分类号:R445.2  R739.4 
文献标识码:A
DOI: 10.12015/issn.1674-8034.2025.03.024
本文引用格式:李光宇, 杨锋, 张智悦, 等. 深度残差网络在脑肿瘤MRI分类上的研究进展[J]. 磁共振成像, 2025, 16(3): 143-149, 161. DOI:10.12015/issn.1674-8034.2025.03.024.

0 引言

       据世界卫生组织(World Health Organization, WHO)统计,每年全球约有数十万人被诊断患有脑肿瘤[1]。脑肿瘤对患者的健康和生活质量造成严重影响,可能导致神经系统功能障碍、智力下降、运动障碍等严重后果。治疗脑肿瘤的方法包括手术切除、放疗、化疗等,但由于脑肿瘤的位置复杂、治疗难度大,因此对其进行准确的诊断和治疗至关重要[2]

       在医学影像分析领域,脑肿瘤分类是一项至关重要的任务。脑肿瘤的早期诊断和准确分类对于患者的治疗和预后具有重要意义[3]。在脑肿瘤的诊断中有颅骨X线平片、脑血管造影、计算机断层扫描(computed tomography, CT)、磁共振成像(magnetic resonance imaging, MRI)、神经核医学检查等一系列的成像方式。在所有这些成像模式中,MRI因其是唯一的非侵入性和非电离模式,并且可以提供有关脑肿瘤类型、大小、形状和位置而被认为是最优的选择。然而,因为图像中脑肿瘤的形状、位置和清晰度的不同需要临床医生耗费大量的时间和精力对其进行分类。

       传统的脑肿瘤分类方法往往依赖于人工特征提取和手动设计的分类器,这种方法在处理大量医学影像时效率低下且不稳定。近年来,随着机器学习和深度学习技术的迅速发展,特别是2015年深度残差网络的提出以及后续对残差网络的各种优化,为医学影像分析带来了新的突破[4]

       尽管深度学习在脑肿瘤分类中取得了显著的成果,如利用MRI脑图像定位肿瘤区域并分类,通过改进的深度残差网络分割和分类脑肿瘤MRI,该方法在敏感性、特异性和效率方面表现出色。但仍面临着一些挑战,如脑肿瘤的大小、形状和强度各异且不同病理类型在外观上相似,增加了分类难度。此外,小数据集容易导致模型过拟合,计算资源需求大等问题也限制了深度学习在脑肿瘤分类中的进一步发展[5]

       为此,本文通过对近几年深度残差网络及其衍生变体在脑肿瘤MRI上的应用进行综述,帮助研究人员了解当前基于深度残差网络的脑肿瘤分类研究现状、存在的问题及未来的发展方向,为后续研究提供指导,推动该领域研究的深入发展,进而提高脑肿瘤分类的准确性和效率,为临床诊断和治疗提供更有力的支持。

1 深度残差网络的概述及发展

       ResNet[6]由微软实验室在2015年提出,其通过跳跃连接有效缓解了深层网络的梯度消失问题,能更好地提取脑肿瘤MRI图像中的细节特征,从而提高分类准确性。ResNet主要有三大创新点:首先,它突破性地设计了超过1000层的网络结构,巧妙地解决了深层网络训练中的难题,其次,引入了Residual模块,有效地克服了梯度消失和梯度爆炸的问题,最后,通过Batch Normalization技术,显著提升了训练效率。

       随着ResNet网络的不断发展,以ResNet网络为基准模型衍生出了ResNeXt、EfficientNet和ResNeSt等高效变体。ResNeXt[7]由XIE及其团队在2017年提出,其网络的设计灵感部分来源于Inception网络,它将传统的卷积层分解为32个并行的分组卷积层,然后将这些分组的输出进行合并。这种设计的优势在于它为多分支网络提供了模块化的结构,从而使得网络在不同平台上的优化和训练变得更加高效和便捷。EfficientNet[8]是由Google团队在2019年提出,该网络通过系统化的复合缩放与高效的基线设计,重新定义了模型缩放范式,成为轻量级深度学习模型的标杆。ResNeSt网络由ZHANG等[9]在2020年提出,该网络通过融合多路径分组卷积与通道注意力机制,显著提升了ResNet系列模型的特征表达能力,成为高效视觉任务的强力骨干网络。

2 ResNet在脑肿瘤MRI分类中的应用进展

       在脑肿瘤诊断领域,磁共振成像和电子计算机断层扫描是两种主要的成像技术。尽管它们为诊断提供了宝贵的信息,但这些技术产生的图像在形态和分辨率上往往存在差异,这就需要医生进行深入的分析和评估。这种依赖于专家判断的方法不仅给医生带来了沉重的工作负担,而且由于其主观性,还可能引发评估标准的不一致性。然而,随着深度学习技术的飞速发展,一系列创新的网络架构应运而生。特别是深度残差网络,在脑肿瘤分类领域取得了突破性进展。这些网络通过自动化和精确的图像分析,不仅减轻了医生的工作量,还显著提升了脑肿瘤分类的准确性与一致性[10]

2.1 ResNet在区分有无脑肿瘤的应用

       在脑肿瘤图像分类中准确地判断有无肿瘤不仅有助于肿瘤的早期发现,提高治疗的成功率,还能为确定肿瘤类型和分级提供关键信息,指导后续的治疗计划[11]。因此,针对有无肿瘤的区分,DESHPANDE等[12]提出了DCT-CNN-ResNet50的网络模型,该模型巧妙融合了离散余弦变换[13]、卷积神经网络以及ResNet50的优势,显著提升了脑肿瘤分类和图像超分辨率处理的性能。同时,ZHU等[14]针对脑肿瘤的分类问题,提出了一种RBEBT(Residual Block Extreme Learning Machine with Bat Optimization)模型。该模型利用ResNet18作为特征提取器,有效解决了梯度爆炸的问题,同时采用极限学习机作为分类器,缩短了模型的分类时间。此外,通过蝙蝠算法[15]对模型进行优化,进一步提升了模型的分类准确性和泛化能力。

       尽管上述两种脑肿瘤分类模型在准确率上取得了显著提升,但它们的性能受限于较小的数据集规模。为了解决这一问题,ASIRI等[16]在TCGA-LGG和TCIA两个数据集上进行了深入研究。他们采用U-Net进行图像分割,并提出了一个Fine-Tuned ResNet50分类模型,该模型基于预训练的ResNet50进行微调,以适应特定的脑肿瘤分类任务。

       针对脑肿瘤分类模型应用的问题,EL-FESHAWY等[17]提出了一种基于CNN架构的多路访问检测系统。他们在分类任务中应用了OMRES网络模型,该模型是ResNet18的一个改进版本,通过对学习率、优化算法等方面的调整,成功将ResNet网络结构与物联网系统相结合,为脑肿瘤的分类和检测提供了新的解决方案。

       综上所述,虽然研究者们在区分有无脑肿瘤上取得了不错的成果,但仅区分有无脑肿瘤过于简化,无法提供足够的信息来指导治疗和预测预后。这种分类忽略了肿瘤的组织学类型、分级、生长方式等关键特征,导致无法准确评估患者的预后和选择最合适的治疗方法。以上研究只是区分有无脑肿瘤,未来的脑肿瘤分类研究需要更加深入,可以结合多模态、组织学类型、分级及生长方式等特征,构建精准分类体系。

2.2 ResNet在脑肿瘤分级的应用

       在脑肿瘤图像分类中,准确判断肿瘤的分级对于制订治疗计划至关重要。脑肿瘤主要分为四个级别,分别为GradeⅠ、GradeⅡ、GradeⅢ和GradeⅣ,其中GradeⅠ和GradeⅡ属于低级别胶质瘤(low grade glioma, LGG),GradeⅢ和GradeⅣ属于高级别胶质瘤(high grade glioma, HGG)。肿瘤级别反映了肿瘤的侵袭性、生长速度和恶性程度,高级别的肿瘤通常意味着更快的生长速度和更高的复发风险,可能需要更积极的治疗措施,如手术、化疗和放疗的组合疗法[18]。而低级别的肿瘤可能允许更为保守的治疗方案。此外,准确的分级可以帮助医生预测肿瘤的进展和患者的存活期,从而为患者提供更准确的预后信息[19]

       因此,针对脑肿瘤分级,PEI等[20]将ResNet融入深度神经网络中,有效避免了因DNN参数众多而可能引发的过拟合问题。他们的研究重点在于区分LGGⅡ与LGGⅢ,但由于这两个等级的肿瘤在组织病理学特征上可能极为相似,这使得准确分级颇具挑战性。为了提高分级的准确性,ELAZAB等[21]开发了一种基于迁移学习[22]的计算机辅助诊断系统。该系统创新性地融合了ResNet50与YOLOv5[23]的优势,不仅继承了ResNet50在特征提取和分类方面的卓越能力,还融入了YOLOv5在目标检测方面的先进性能。此外,他们还引入了XGBoost分类器,进一步提升了模型的分类精确度,在低级别和高级别脑肿瘤的分级任务上取得了显著成效。

       然而,上述两种基于3D网络模型的脑肿瘤分级方法可能会受到模型中信息过载带来的噪声干扰。为了解决这一问题,ZENG等[24]将多模态数据中提取的肿瘤3D信息与2D ResNet50架构中提取的信息相结合,既补充了2D网络在空间信息捕捉上的不足,又减少了3D网络可能引入的噪声。尽管如此,由于模型所使用的两个数据集来源于不同时间点,成像扫描仪的差异可能导致肿瘤分级结果的不一致性,这表明未来研究需要进一步对数据集进行标准化处理。

       综上所述,针对脑肿瘤的分级,研究者们分别从集成学习、迁移学习、多模态融合等方面来解决模型过拟合、准确率较低和噪声干扰等问题。但是由于数据集的相似性和差异性导致了分级结果的准确率较低和分级结果不一致的问题。未来可以关注规范数据标注标准,确保数据标注的准确性和一致性;加强数据质量控制,剔除低质量或错误数据,提高数据集质量。

2.3 ResNet在脑肿瘤三分类的应用

       由于脑肿瘤的多样性,它们对治疗的反应和预后结果各不相同,因此,精确地识别肿瘤类型对于临床治疗至关重要。脑膜瘤、胶质瘤和垂体瘤各自拥有独特的分子标志和病理机制,这构成了脑肿瘤三分类的基础。正确的分类不仅能够帮助医生为患者量身定制更有效的治疗方案,减少不必要的并发症和副作用,而且对于研究者来说,精确的分类也有助于深入理解肿瘤的生物学特性,促进新药物和治疗技术的创新。

       在此基础上夏景明等[25]提出了MDM-ResNet网络,该模型是在ResNet网络的基础上融合了多尺寸卷积核模块、双通道池化层和多深度融合残差块[26]。KOKKALLA等[27]则探索了将ResNet与深度密集网络[28]结合的方法。这两种方法在性能上均展现出显著的效果,但多深度融合残差块和深度密集网络的应用也带来了参数数量的增加,从而增加了计算的复杂度。

       为了解决参数过多导致的计算负担,ASHWINI等[29]提出了一种高效的基于跳跃连接的残差网络(ESRNet),该模型通过在特定阶段实施高效下采样和在残差块中应用批量归一化,减少了参数数量,加快了训练速度。

       综上所述,对于脑肿瘤的三分类,研究者们主要针对多尺度、池化层和分类器进行了改进。这使得模型的准确率有了显著的提高,但也因各种模块的引入导致模型参数量增多而造成训练时间加长。未来可以利用分布式计算和并行处理技术,将模型训练任务分配到多个计算节点上同时进行,提高计算效率,缩短训练时间。

2.4 ResNet在脑肿瘤四分类的应用

       脑肿瘤的四分类体系,涵盖脑膜瘤、胶质瘤、垂体瘤及无肿瘤组,相较于传统的三分类方法,提供了一个更加完善的研究框架。引入无肿瘤组作为对照,极大地促进了在影像学分析和生物标志物研究中对肿瘤特征的精确识别与区分。这种四分类方法不仅提升了脑肿瘤研究和诊断的精确度,也为个性化医疗的进步和模型训练的优化提供了强有力的支持。

       在这一背景下,黄敏等[30]提出了一种多尺度混合ResNet网络,专为脑肿瘤的四分类设计。该模型整合了多尺度输入模块、多深度残差块、下采样模块和双通道池化模块,通过这些模块的综合运用,实现了卓越的性能表现。然而,这种高度集成的模型也带来了计算量和时间的增加。

       为了解决训练时间长的问题,张晓倩等[31]提出了SE-Net网络模型,该模型将SE注意力模块嵌入到ResNet架构中,并采用Swish激活函数替代了传统的ReLU激活函数,从而使模型更有效地学习关键特征,显著提升了模型的表现力。此外,他们在全局最大池化后的第一个卷积层后引入了ECA注意力模块,并在第二层卷积后加入了改进的BAM注意力机制。

       然而,上述模型主要针对单一数据集进行测试,存在数据孤岛的问题。为此,吴波等[32]提出了一种融合联邦学习框架和改进的CBAM-ResNet18网络的脑肿瘤网络模型,通过联邦学习[33]和CBAM[34]技术对医疗数据进行融合,有效打破了数据孤岛,构建了能够处理多点医疗数据的模型。该模型在卷积注意力模块中进行了两项重要改进:一是调整了通道注意力模块的维度变化顺序,以增强网络对图像细节的提取能力;二是将通道注意力模块与空间注意力模块的结构从级联改为并联,以减少顺序对特征提取的影响。

       综上所述,针对于脑肿瘤的四分类,研究者们主要针对多尺度、注意力机制和联邦学习进行了改进。注意力机制的引入使得模型更加聚焦于肿瘤区域,使得模型能够更快、更准确地获取到重要的信息,但是注意力机制的引入难免会增加模型的计算复杂度。联邦学习的引入,解决了数据孤岛的问题,使得数据集更加丰富,但是联邦学习需要在服务器和客户端之间频繁通信以交换模型更新信息,这可能导致通信网络的带宽负担巨大。针对以上问题,未来可以利用动态网络架构搜索技术,自动寻找最优的网络结构和超参数配置,提高模型性能,降低人工设计成本。

2.5 Resnet在脑肿瘤分类的应用小结

       综上所述,ResNet网络因其残差模块和批量归一化的特性,被众多研究者广泛用作脑肿瘤分类的基础网络。尽管如此,ResNet在计算资源消耗、参数数量以及泛化能力方面仍存在一些挑战。基于研究者们对以ResNet为基础的各种算法进行的优化,我们综合考虑了网络模型、数据集、发表年份以及准确率、精确度、召回率和F1得分等因素进行了深入分析,相关结果详见表1

表1  ResNet脑肿瘤MRI分类模型对比
Tab. 1  Comparison of ResNet brain tumor MRI classification models

3 ResNeXt在脑肿瘤MRI分类中的应用进展

3.1 ResNeXt在脑肿瘤分级的应用

       ResNeXt网络在脑肿瘤分级领域展现了其卓越的特征提取能力、可扩展性、参数效率以及泛化性能,这些特性使其成为医学图像分级任务的理想选择。众多研究者正致力于基于ResNeXt的脑肿瘤分级模型的优化。例如,JIANG等[38]针对神经胶质瘤分类的复杂性,提出了一种融合了SE-ResNeXt网络的分类框架,该框架结合了SENet的注意力机制和ResNeXt的分组卷积,有效避免了深层或宽层网络可能出现的性能退化,并增强了特征之间的信道相关性。然而,SE-ResNeXt网络参数众多,导致计算时间较长。该研究提出了基于空洞卷积的多尺度特征提取模块和通道注意力机制模块的脑肿瘤良恶性分类方法,在扩大感受野、保留图像的细节特征的同时,提高网络对病灶区域的关注度。但是由于网络的第一层卷积层是由四个空洞卷积组成,这增大了网络的计算量,使网络的运算时间增加。

       由此可见,以ResNeXt网络为基础的脑肿瘤分级研究,虽然通过引入各种模块提高了分类准确率,但也不可避免地增加了模型参数。在未来的研究中,我们需要在保持网络分类能力的前提下,进一步优化网络结构,以提升其运算速度。

3.2 ResNeXt在脑肿瘤多分类的应用

       在基于ResNeXt的脑肿瘤的多分类中,分类的类别更加多样化,更加有助于医生为患者提供更加个性化的治疗。例如,LIN等[39]将研究聚焦于儿童后颅底肿瘤,自2015年深度残差网络问世以来,脑肿瘤分类研究主要集中于成人数据,而儿童脑肿瘤患者的生存率也比较低,这一领域鲜有关注。因此QUON等[40]针对儿童后颅底肿瘤,提出了ResNeXt-50-32x4d网络结构,这是一种具有50层深度的ResNeXt网络,每个基数分为32个分支,每个分支执行4种不同的变换操作,以增强网络的表征能力和性能。然而,由于室管膜瘤样本在数据集中的占比较小,该网络的准确率受到了一定影响。

       在基于ResNeXt的成人脑肿瘤多分类研究中,WEN等[41]针对常见的脑肿瘤分类问题,提出了一种集成了注意力机制和多路径网络的模型,通过注意力机制增强了肿瘤区域的特征识别,并通过多路径网络简化了模型结构。尽管如此,该模型在脑膜瘤样本分类上存在一定的误分类问题,且在小数据集上易出现过拟合现象。通过以上研究发现,数据集的不充分有导致准确率过低或者过拟合的风险。因此,针对多样化脑肿瘤分类后续的研究更应关注数据集的充分性。

       针对训练时的参数过多的问题,GAYATHRI等[42]提出了一种CNN-ResNeXt网络模型,该模型在传统的CNN基础上,融入了ResNeXt的深度残差连接和分组卷积[43],旨在提升脑部肿瘤分割与分类的性能和精确度。该模型显著减少了传统网络所需的超参数数量,从而降低了模型的计算成本。

       虽然,ResNeXt在成人和儿童的脑肿瘤分类上都取得了不错的成果,但数据集不均匀或者数据集过小导致存在着某种种类的准确率较低或者过拟合的问题。这些研究都表明,数据集的充分性对于提高分类准确率至关重要,未来可以采用数据增强技术,如图像旋转、翻转、调整对比度等,增加数据量;同时,通过过采样或欠采样等方法平衡数据集,解决数据不均匀问题。

3.3 ResNeXt在脑肿瘤分类的应用小结

       综上所述,ResNeXt网络通过提升模型的基数,在保持计算复杂度不变的情况下增强了分类精度。然而,为了实现该模型的最佳性能,可能需要进行大量实验来调整和确定最优的配置。在对ResNeXt网络的不同变体进行分析时,我们综合考量了包括网络模型、所用数据集、研究成果发表的时间,以及模型的准确率、精确度、召回率和F1分数等多个关键指标。基于这些因素,我们对基于ResNeXt的脑肿瘤分类模型进行了详尽的分析,具体的分析结果请参见表2

表2  ResNeXt脑肿瘤MRI分类模型对比
Tab. 2  Comparison of MRI classification models for brain tumors in ResNeXt

4 EfficientNet在脑肿瘤MRI分类中的应用进展

       EfficientNet凭借其独特的网络架构,在脑肿瘤分类上展现出显著优势。其模型结构经优化设计,利用复合缩放法则,综合考量深度、宽度及分辨率,使网络参数量和计算量得以有效控制,实现高效性能。该模型以出色的特征提取能力,精准捕捉脑肿瘤图像的关键特征,并借由合适的注意力机制,聚焦病灶区域,抑制无关信息干扰,提高分类精度。

       针对脑肿瘤的分级,ISUNURI等[45]提出了一种基于EfficientNet和多路径卷积的多头注意力网络模型用于脑肿瘤分级。不但增强了特征学习能力,还使得模型能更好地捕捉脑肿瘤特征。该模型利用预先训练好的EfficientNetB 4.0进行特征提取。然后,利用多头注意力网络的多径卷积进行特征增强。该实验还在带有噪声的数据集上验证了模型的鲁棒性。但是各种模块的引入导致了参数量和计算成本的提高。

       针对脑肿瘤的三分类,ISUNURI等[46]提出EfficientNet-B2与混合卷积网络结合的模型,在BTDS和CPM数据集上分别取得98.04%和96.00%的准确率,通过混合卷积网络增强特征提取能力,减少计算成本并抑制过拟合。崔博等[47]改进了EfficientNetV2网络,加入坐标注意力机制和Hard-Swish激活函数,在Figshare数据集上验证准确率达98.4%,提升特征提取和运算速度,增加模型复杂度。GHOSH等[48]采用了预训练的EfficientNet-B7作为特征提取器,引入Nadam优化器,使用全局平均池化层和Dropout层。在提升泛化能力的同时使准确率达到了99%。王勇等[49]基于迁移学习优化EfficientNet-B0,引入CBAM和ECA注意力机制,测试准确率为99.67%,增强特征提取和分类能力。四篇论文均显著提升脑肿瘤分类性能,未来可进一步优化模型结构,降低复杂度,提升实际应用的可行性。

       针对脑肿瘤的四分类,华昕宇等[50]提出了一种基于CBAM和改进通道注意力的EfficientNet的混合脑肿瘤分类方法,该方法首先用CBAM提取脑肿瘤的特征,然后用ECA注意力机制替换EfficientNet中的SE注意力机制。该模型在Kaggle上的Brain Tumor MRI Dataset数据集上达到了99.39%的准确率。

       以上对EfficientNet在脑肿瘤MRI分类上的改进主要围绕注意力机制、迁移学习、激活函数和优化器等进行改进,可以看到以上研究都取得了不错的结果,但是由于各种模块的引入难免会提高模型的复杂性,导致时间和计算成本的增加,未来可以在保持网络性能的前提下,探索更简洁高效的网络结构,减少参数量和计算复杂度,提高模型的运行效率和可扩展性。

5 ResNeSt在脑肿瘤MRI分类中的应用进展

       ResNeSt因其具有高效的特征提取能力和多尺度的注意力机制使其成为脑肿瘤分类任务的有力工具。例如,ZHANG等[51]针对肿瘤存在与否及其类型的分类挑战,提出了ResNeSAt网络模型。该模型在ResNeSt的基础上,融入了通道注意力机制和空间注意力模块,实现了在不显著增加原始模型参数规模的情况下,提升分类性能,使模型能更专注于脑肿瘤区域的特征。在上海交通大学医学院附属脑部MIR数据集的测试中,该模型在有无肿瘤的分类上达到了99.18%的准确率、99.83%的精确度、98.64%的召回率和99.23%的F1得分。在肿瘤源分类上,也取得了83.38%的准确率、85.91%的精确度、82.12%的召回率和83.97%的F1得分。尽管如此,由于儿童脑肿瘤数据的稀缺性,这些指标仍有提升空间。

       ResNeSt在图像分类领域的表现确实令人瞩目,但它在实际应用中可能面临一些挑战,限制了其广泛应用。首先,作为一个较新的模型,ResNeSt对计算资源的需求较高,模型体积也较大。此外,目前关于ResNeSt的文档和教程相对较少,这可能会增加使用者的学习曲线。再者,ResNeSt在特定领域的专用性可能限制了其在其他领域的应用。尽管如此,随着未来研究的不断深入,我们可以通过优化模型结构和算法,降低ResNeSt的计算资源需求和模型体积,使其更易于部署和应用,成为医学图像分类等专业领域中的强大工具。

6 总结与展望

       本文总结了深度残差网络在脑肿瘤分类中的应用。通过介绍了脑肿瘤的常见类型及其临床表现,以及深度残差网络及其变体的由来和优势,我们可以看到深度学习在医学影像领域中的巨大潜力。基于深度残差网络的脑肿瘤模型一方面减轻了临床医生的工作压力,为临床医生提供了更准确、快速的诊断手段,使临床医生在复杂、重复的图像识别中解放出来。另一方面,使脑肿瘤的分类更加准确、快速,避免了因肿瘤形状不一,清晰度不同而对脑肿瘤产生的影响。虽然深度残差网络在脑肿瘤分类方面有很多的优点,但同时也存在一些问题没有被解决。(1)数据集的质量和数量限制。深度残差网络需要大量的数据集进行有效训练,但在医学影像领域,获取高质量且足够数量的数据集可能非常困难和昂贵。这可能限制了模型的性能和泛化能力。(2)模型的解释性差。深度残差网络是一种黑盒模型,难以解释其决策过程。在医学应用中,模型的解释性很重要,医生需要了解为何模型做出特定的诊断或分类,以便做出正确的治疗决策。(3)对输入数据质量和预处理的敏感性。深度残差网络对输入数据的质量和预处理过程非常敏感。如果输入数据存在噪声、伪影或其他干扰因素,可能会影响模型的性能和稳定性。(4)模型复杂度和计算成本提高。为了提高模型的准确率,很多研究者使用过多的注意力机制等模块添加在模型之中,难免会导致参数量的增加。

       针对以上数据集、模型的可解释性、不稳定性和模型复杂度等问题。对深度残差网络在脑肿瘤分类上未来的研究做出以下展望:

       (1)改进模型鲁棒性。未来的研究可以致力于改进深度残差网络的鲁棒性,使其对噪声、干扰和数据变化更加稳健。这可以通过引入数据增强技术对原始数据进行变换和扩展,使用正则化技术引入额外的约束条件,也可以通过在训练过程中引入对抗性样本使模型在训练过程中逐渐适应对抗性样本的干扰。(2)提高解释性。针对深度残差网络的黑盒特性,未来的研究可以探索如何提高模型的解释性,使医生能够理解模型的决策过程。我们可以通过可视化模型中间层的特征或者引用激活图来显示模型中不同层次的激活情况,也可以通过解释性工具(SHAP库、DeepLIFT等)来使得模型更加透明。(3)迁移学习和领域自适应。迁移学习和领域自适应技术可以帮助将在其他领域训练好的深度残差网络模型迁移到脑肿瘤分类任务上,并且在不同数据分布之间进行适应,从而减少对大量标注数据的需求。(4)结合多模态信息。脑肿瘤分类往往需要综合考虑多种医学图像的处理和临床数据。未来的研究可以探索如何将深度残差网络与其他模态的信息融合,例如磁共振成像、磁共振波谱、临床报告等,以提高分类性能。(5)模型结构优化。针对模型在训练过程中的复杂度和参数量过多的问题,我们可以采用正则化技术、参数共享、简化网络结构等来实现,也可以在训练过程中采取早停等措施。

       综上所述,随着以深度残差网络为基础的模型的不断改进,使得其在脑肿瘤分类当中得到的效果不断提高。虽然其中仍然存在些许的问题和不足,但相信随着技术的不断进步和研究的深入,深度残差网络能够更好地应用于医学分析领域。

[1]
TANDEL G S, BISWAS M, KAKDE O G, et al. A review on a deep learning perspective in brain cancer classification[J/OL]. Cancers, 2019, 11(1): 111 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/30669406/. DOI: 10.3390/cancers11010111.
[2]
GBD 2016 Brain and Other CNS Cancer Collaborators. Global, regional, and national burden of brain and other CNS cancer, 1990-2016: a systematic analysis for the Global Burden of Disease Study 2016[J]. Lancet Neurol, 2019, 18(4): 376-393. DOI: 10.1016/S1474-4422(18)30468-X.
[3]
LI C, ZHANG F X, DU Y J, et al. Classification of brain tumor types through MRIs using parallel CNNs and firefly optimization[J/OL]. Sci Rep, 2024, 14: 15057 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/38956224/. DOI: 10.1038/s41598-024-65714-w.
[4]
XIA Q L, ZHENG H, ZOU H N, et al. A comprehensive review of deep learning for medical image segmentation[J/OL]. Neurocomputing, 2025, 613: 128740 [2025-01-08]. https://www.sciencedirect.com/science/article/abs/pii/S092523122401511X. DOI: 10.1016/j.neucom.2024.128740.
[5]
HOSAIN M T, JIM J R, MRIDHA M F, et al. Explainable AI approaches in deep learning: Advancements, applications and challenges[J/OL]. Comput Electr Eng, 2024, 117: 109246 [2025-01-08]. https://www.sciencedirect.com/science/article/abs/pii/S0045790624001745. DOI: 10.1016/j.compeleceng.2024.109246.
[6]
HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 770-778. DOI: 10.1109/CVPR.2016.90.
[7]
XIE S N, GIRSHICK R, DOLLÁR P, et al. Aggregated residual transformations for deep neural networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 5987-5995. DOI: 10.1109/CVPR.2017.634.
[8]
TAN M X, LE Q V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[C]//International Conference on Machine Learning, 2019. DOI: 10.48550/arXiv.1905.11946.
[9]
ZHANG H, WU C R, ZHANG Z Y, et al. ResNeSt: Split-Attention Networks[J/OL]. arXiv preprint arXiv, 2020 [2025-01-08]. https://arxiv.org/abs/2004.08955. DOI: 10.48550/arXiv.2004.08955.
[10]
RAGAB M, KATIB I, SHARAF S A, et al. Automated brain tumor recognition using equilibrium optimizer with deep learning approach on MRI images[J/OL]. Sci Rep, 2024, 14: 29448 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/39604452/. DOI: 10.1038/s41598-024-80888-z.
[11]
DUAN J W, XIONG J Q, LI Y H, et al. Deep learning based multimodal biomedical data fusion: an overview and comparative review[J/OL]. Inf Fusion, 2024, 112: 102536 [2025-01-08]. https://www.sciencedirect.com/science/article/abs/pii/S1566253524003142. DOI: 10.1016/j.inffus.2024.102536.
[12]
DESHPANDE A, ESTRELA V V, PATAVARDHAN P. The DCT-CNN-ResNet50 architecture to classify brain tumors with super-resolution, convolutional neural network, and the ResNet50[J/OL]. Neurosci Inform, 2021, 1(4): 100013 [2025-01-08]. https://www.sciencedirect.com/science/article/pii/S2772528621000133. DOI: 10.1016/j.neuri.2021.100013.
[13]
JIANG M W, ZENG P Y, WANG K, et al. FECAM: Frequency enhanced channel attention mechanism for time series forecasting[J/OL]. Adv Eng Inform, 2023, 58: 102158 [2025-01-08]. https://www.sciencedirect.com/science/article/abs/pii/S1474034623002860. DOI: 10.1016/j.aei.2023.102158.
[14]
ZHU Z Q, ATTIQUE KHAN M, WANG S H, et al. RBEBT: a ResNet-based BA-ELM for brain tumor classification[J]. Comput Mater Continua, 2023, 74(1): 101-111. DOI: 10.32604/cmc.2023.030790.
[15]
HUANG S J, CHEN W Q, LU B X, et al. An improved BAT algorithm for collaborative dynamic target tracking and path planning of multiple UAV[J/OL]. Comput Electr Eng, 2024, 118: 109340 [2025-01-08]. https://www.sciencedirect.com/science/article/abs/pii/S0045790624002684. DOI: 10.1016/j.compeleceng.2024.109340.
[16]
ASIRI A A, SHAF A, ALI T, et al. Brain tumor detection and classification using fine-tuned CNN with ResNet50 and U-Net model: a study on TCGA-LGG and TCIA dataset for MRI applications[J/OL]. Life, 2023, 13(7): 1449 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/37511824/. DOI: 10.3390/life13071449.
[17]
EL-FESHAWY S A, SAAD W, SHOKAIR M, et al. IoT framework for brain tumor detection based on optimized modified ResNet 18 (OMRES)[J]. J Supercomput, 2023, 79(1): 1081-1110. DOI: 10.1007/s11227-022-04678-y.
[18]
ZOU Q, CAI K Y, CHEN Z X, et al. Comment on Prognostic Factors for Lymph Node Metastases in pT1 Colorectal Cancer Differ According to Tumor Morphology: A Nationwide Cohort Study[J/OL]. Ann Surg Open, 2023, 4(2): e289 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/37601461/. DOI: 10.1097/as9.0000000000000289.
[19]
BHAGYALAXMI K, DWARAKANATH B, REDDY P V P. Deep learning for multi-gradebrain tumor detection and classification: a prospectivesurvey[J]. Multimed Tools Appl, 2024, 83(25): 65889-65911. DOI: 10.1007/s11042-024-18129-8.
[20]
PEI L M, JONES K A, SHBOUL Z A, et al. Deep neural network analysis of pathology images with integrated molecular data for enhanced glioma classification and grading[J/OL]. Front Oncol, 2021, 11: 668694 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/34277415/. DOI: 10.3389/fonc.2021.668694.
[21]
ELAZAB N, GAB-ALLAH W A, ELMOGY M. A multi-class brain tumor grading system based on histopathological images using a hybrid YOLO and RESNET networks[J/OL]. Sci Rep, 2024, 14(1): 4584 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/38403597/. DOI: 10.1038/s41598-024-54864-6.
[22]
BUTEREZ D, JANET J P, KIDDLE S J, et al. Transfer learning with graph neural networks for improved molecular property prediction in the multi-fidelity setting[J/OL]. Nat Commun, 2024, 15(1): 1517 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/38409255/. DOI: 10.1038/s41467-024-45566-8.
[23]
JOCHER G, STOKEN A, BOROVEC J, et al. ultralytics/yolov5: v3.1 - Bug Fixes and Performance Improvements[J/OL]. Zenodo, 2020 [2025-01-08]. https://ui.adsabs.harvard.edu/abs/2020zndo...4154370J/abstract. DOI: 10.5281/ZENODO.4154370.
[24]
ZENG Y H, LIU N B, YANG X, et al. Enhanced multimodal brain tumor classification in MR images using 2D ResNet as backbone with explicit tumor size information[J]. J Cancer, 2024, 15(13): 4275-4286. DOI: 10.7150/jca.95987.
[25]
夏景明, 邢露萍, 谈玲, 等. 基于MDM-ResNet的脑肿瘤分类方法[J]. 南京信息工程大学学报(自然科学版), 2022, 14(2): 212-219. DOI: 10.13878/j.cnki.jnuist.2022.02.009.
XIA J M, XING L P, TAN L, et al. Brain tumors classification based on MDM-ResNet[J]. J Nanjing Univ Inf Sci Technol Nat Sci Ed, 2022, 14(2): 212-219. DOI: 10.13878/j.cnki.jnuist.2022.02.009.
[26]
LIU Y B, HUANG H Y, ZENG Y H. DC-net: a dual-channel and cross-scale feature fusion infrared small target detection network[J/OL]. IEEE Trans Geosci Remote Sens, 2024, 62: 4708809 [2025-01-08]. https://ieeexplore.ieee.org/abstract/document/10706880. DOI: 10.1109/TGRS.2024.3475742.
[27]
KOKKALLA S, KAKARLA J, VENKATESWARLU I B, et al. Three-class brain tumor classification using deep dense inception residual network[J]. Soft comput, 2021, 25(13): 8721-8729. DOI: 10.1007/s00500-021-05748-8.
[28]
WANG T T, HU Z H, GUAN Y R. Author Correction: an efficient lightweight network for image denoising using progressive residual and convolutional attention feature fusion[J/OL]. Sci Rep, 2024, 14: 15834 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/38982102/. DOI: 10.1038/s41598-024-66739-x.
[29]
ASHWINI B, KAUR M, SINGH D, et al. Efficient skip connections-based residual network (ESRNet) for brain tumor classification[J/OL]. Diagnostics, 2023, 13(20): 3234 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/37892055/. DOI: 10.3390/diagnostics13203234.
[30]
黄敏, 熊正云, 朱俊琳. 基于多尺度残差网络的MRI脑肿瘤分类[J]. 磁共振成像, 2023, 14(1): 124-129. DOI: 10.12015/issn.1674-8034.2023.01.022.
HUANG M, XIONG Z Y, ZHU J L. MRI brain tumor classification based on multi-scale residual network[J]. Chin J Magn Reson Imag, 2023, 14(1): 124-129. DOI: 10.12015/issn.1674-8034.2023.01.022.
[31]
张晓倩, 罗建, 杨梅, 等. 基于改进SE-Net网络与多注意力的脑肿瘤分类方法[J]. 西华师范大学学报(自然科学版), 2024, 45(1): 93-101. DOI: 10.16246/j.issn.1673-5072.2024.01.013.
ZHANG X Q, LUO J, YANG M, et al. Classification method of brain tumor based on improved SE-net network and multi-attention[J]. J China West Norm Univ Nat Sci, 2024, 45(1): 93-101. DOI: 10.16246/j.issn.1673-5072.2024.01.013.
[32]
吴波, 史东辉, 吕东来, 等. 基于联邦学习与改进CBAM-ResNet18的脑肿瘤分类[J]. 计算机系统应用, 2024, 33(4): 39-49. DOI: 10.15888/j.cnki.csa.009469.
WU B, SHI D H, LYU D L, et al. Brain tumor classification based on federated learning and improved CBAM-ResNet18[J]. Comput Syst Appl, 2024, 33(4): 39-49. DOI: 10.15888/j.cnki.csa.009469.
[33]
LIU B Y, LV N Y, GUO Y C, et al. Recent advances on federated learning: a systematic survey[J/OL]. Neurocomputing, 2024, 597: 128019 [2025-01-08]. https://www.sciencedirect.com/science/article/pii/S0925231224007902. DOI: 10.1016/j.neucom.2024.128019.
[34]
LIU W S, HAN S, RONG N. A novel ensemble method based on residual convolutional neural network with attention module for transient stability assessment considering operational variability[J/OL]. Eng Appl Artif Intell, 2025, 139: 109519 [2025-01-08]. https://www.sciencedirect.com/science/article/abs/pii/S0952197624016774. DOI: 10.1016/j.engappai.2024.109519.
[35]
SCHMAINDA K M, PRAH M A, RAND S D, et al. Multisite concordance of DSC-MRI analysis for brain tumors: results of a national cancer institute quantitative imaging network collaborative project[J]. AJNR Am J Neuroradiol, 2018, 39(6): 1008-1016. DOI: 10.3174/ajnr.A5675.
[36]
HAO Z C, AGHAKOUCHAK A, NAKHJIRI N, et al. Global integrated drought monitoring and prediction system[J/OL]. Sci Data, 2014, 1: 140001 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/25977759/. DOI: 10.1038/sdata.2014.1.
[37]
CHENG J, YANG W, HUANG M Y, et al. Retrieval of brain tumors by adaptive spatial pooling and fisher vector representation[J/OL]. PLoS One, 2016, 11(6): e0157112 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/27273091/. DOI: 10.1371/journal.pone.0157112.
[38]
JIANG L Q, NING C Y, LI J Y. Glioma classification framework based on SE-ResNeXt network and its optimization[J]. IET Image Process, 2022, 16(2): 596-605. DOI: 10.1049/ipr2.12374.
[39]
LIN Z Y, CUI Y P, LIU J, et al. Automated segmentation of kidney and renal mass and automated detection of renal mass in CT urography using 3D U-Net-based deep convolutional neural network[J]. Eur Radiol, 2021, 31(7): 5021-5031. DOI: 10.1007/s00330-020-07608-9.
[40]
QUON J L, BALA W, CHEN L C, et al. Deep learning for pediatric posterior Fossa tumor detection and classification: a multi-institutional study[J]. AJNR Am J Neuroradiol, 2020, 41(9): 1718-1725. DOI: 10.3174/ajnr.A6704.
[41]
WEN J, ZHENG L Y. Brain tumor classification based on attention guided deep learning model[J/OL]. Int J Comput Intell Syst, 2022, 15(1): 35 [2025-01-08]. https://link.springer.com/article/10.1007/s44196-022-00090-9. DOI: 10.1007/s44196-022-00090-9.
[42]
GAYATHRI T, SUNDEEP KUMAR K. A deep learning based effective model for brain tumor segmentation and classification using MRI images[J]. J Adv Inf Technol, 2023, 14(6): 1280-1288. DOI: 10.12720/jait.14.6.1280-1288.
[43]
LIU G Q, YANG Y P, LI X S, et al. Gca-pvt-net: group convolutional attention and PVT dual-branch network for oracle bone drill chisel segmentation[J/OL]. Herit Sci, 2024, 12(1): 260 [2025-01-08]. https://www.nature.com/articles/s40494-024-01378-z. DOI: 10.1186/s40494-024-01378-z.
[44]
KAZEROONI A, KHALILI N, LIU X, et al. The Brain Tumor Segmentation (BraTS) Challenge 2023: Focus on Pediatrics (CBTN-CONNECT-DIPGR-ASNR-MICCAI BraTS-PEDs)[J/OL]. ArXiv, 2023 [2025-01-08]. https://pubmed.ncbi.nlm.nih.gov/37292481/. DOI: 10.48550/arXiv.2305.17033.
[45]
ISUNURI B V, KAKARLA J. EfficientNet and multi-path convolution with multi-head attention network for brain tumor grade classification[J/OL]. Comput Electr Eng, 2023, 108: 108700 [2025-01-08]. https://www.sciencedirect.com/science/article/abs/pii/S0045790623001246. DOI: 10.1016/j.compeleceng.2023.108700.
[46]
ISUNURI B V, KAKARLA J. EfficientNet and mixed convolution network for three-class brain tumor magnetic resonance image classification[J]. Soft Comput, 2024, 28(17): 10741-10750. DOI: 10.1007/s00500-024-09830-9.
[47]
崔博, 贾兆年, 姬鹏, 等. 基于改进EfficientNetV2网络的脑肿瘤分类方法[J]. 吉林大学学报(理学版), 2023, 61(5): 1169-1177. DOI: 10.13413/j.cnki.jdxblxb.2022383.
CUI B, JIA Z N, JI P, et al. Brain tumor classification method based on improved EfficientNetV2 network[J]. J Jilin Univ Sci Ed, 2023, 61(5): 1169-1177. DOI: 10.13413/j.cnki.jdxblxb.2022383.
[48]
GHOSH A, SONI B, BARUAH U. Transfer learning-based deep feature extraction framework using fine-tuned EfficientNet B7 for multiclass brain tumor classification[J]. Arab J Sci Eng, 2024, 49(9): 12027-12048. DOI: 10.1007/s13369-023-08607-w.
[49]
王勇, 杨义龙, 范晓晖, 等. 基于迁移学习和改进EfficientNet-B0的脑肿瘤分类算法[J]. 电子科技, 2024: 1-7. DOI: 10.16180/j.cnki.issn1007-7820.2025.04.007.
WANG Y, YANG Y L, FAN X H, et al. Brain tumor classification algorithm based on transfer learning and improved EfficientNet-B0[J/OL]. China Ind Econ, 2024: 1-7. DOI: 10.16180/j.cnki.issn1007-7820.2025.04.007.
[50]
华昕宇, 祁云嵩. IC+IEffxNet: 一种基于CBAM和改进通道注意力的EfficientNet的混合脑肿瘤分类方法[J]. 计算机与现代化, 2023(5): 1-7. DOI: 10.3969/j.issn.1006-2475.2023.05.001.
HUA X Y, QI Y S. IC+IEffxNet: a hybrid brain tumor classfication study based on CBAM and EfficientNet with improved channel attention[J]. Comput Mod, 2023(5): 1-7. DOI: 10.3969/j.issn.1006-2475.2023.05.001.
[51]
ZHANG Y H, WANG S H, WU H X, et al. Brain tumors classification for MR images based on attention guided deep learning model[C]//2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). November 1-5, 2021, Mexico. IEEE, 2021: 3233-3236. DOI: 10.1109/EMBC46164.2021.9630571.

上一篇 乳腺癌化疗所致周围神经病变诱发中枢异常的多模态MRI研究进展
下一篇 心脏磁共振在扩张型心肌病中的应用进展
  
诚聘英才 | 广告合作 | 免责声明 | 版权声明
联系电话:010-67113815
京ICP备19028836号-2