0 引言

       抑郁症如今是一种常见的精神障碍，其临床特征是持续性的情绪低落，快感缺失，意志活动减退及认知功能损害等，严重者出现自杀意念，对个人与社会造成了严重影响^[1]。全球约有1.85亿人受到抑郁症的困扰^[2]。传统抑郁症患者的诊断通常较为主观，易受医生经验和患者主观报告的影响，目前缺乏明确的客观标志物^[3]，且患者出现多种症状组合时，容易漏诊和误诊^[4]。

       多模态MRI技术通过结合多种MRI序列和参数在精神障碍性疾病的诊断与治疗预测评估中展现出显著优势^[5]。在抑郁症方面，结构磁共振成像（structural magnetic resonance imaging, sMRI）可以提供抑郁症患者海马体萎缩、灰质体积变化等重要特征^{[6, 7]}；弥散张量成像（diffusion tensor imaging, DTI）可以揭示抑郁症患者扣带束完整性受损，额叶、杏仁核和海马体等脑区白质纤维束连接异常^[8]；功能磁共振成像（functional magnetic resonance imaging, fMRI）能捕捉到抑郁症患者大脑关键区域在执行任务或静息态下的异常激活模式，如杏仁核在面对负面情绪刺激时的过度活跃^[9]和前额叶-边缘系统功能连接的失衡^[10]。这些不同模态关键信息的融合，为寻找抑郁症生物标志物提供了一个潜在的突破口。但是多模态数据融合增加了数据处理的复杂性与难度，面对大规模的高纬度数据与复杂特征，传统的数据分析方法（统计推断分析、区域兴趣分析和基于体素的形态测量等）表现出明显的局限^[11]，如处理速度慢、难以捕捉复杂非线性关系、难以自动提取深层特征和数据异质性处理能力有限。机器学习技术的出现带动了数据分析领域的变革，它可以从复杂的高维数据中精准筛取关键信息^[12]。但其依赖人工特征提取，跨模态融合效率低下。而深度学习技术通过端对端的架构自动学习磁共振图像的时间和空间特征，高效准确地自动提取特征和图像识别，展示出独特优势。然而现有的研究与综述多是论述使用机器学习的支持向量机和随机森林等算法对抑郁症进行研究^{[13, 14]}。而深度学习的网络模型结合多模态序列在抑郁症中的应用呈碎片化，处于探索阶段，缺乏针对抑郁症多模态特性的网络架构指南。因此本文综述了深度学习各网络模型处理抑郁症多模态MRI数据的优势及应用价值，探讨了今后的研究方向，为抑郁症的MRI研究提供深度学习模型的选择策略。

1 基于深度学习的多模态MRI技术

       深度学习是机器学习的一个分支，通过多层神经网络模拟人脑的学习过程，能够从海量的复杂数据中自动提取特征，具有良好的准确性和泛化性能^[15]。在医学图像领域，深度学习凭借其强大的高维数据处理能力和自动特征提取能力，受到广泛的关注和研究。尤其是在多模态MRI数据中，它可以整合结构、功能和代谢等多模态数据，自动选择提取和融合来自不同模态的特征，显著提升诊断的准确性和可靠性^[16]。抑郁症患者存在多种结构和功能异常，例如海马萎缩、杏仁核功能异常和前额叶皮层功能改变。传统的统计分析和机器学习方法无法充分挖掘多模态数据的复杂性，而基于深度学习的多模态MRI技术为抑郁症的诊断带来突破。深度学习的卷积神经网络（convolutional neural network, CNN）可以有效识别抑郁症患者sMRI图像中边缘和纹理等区域的微小变化；图卷积网络（graph convolutional networks, GCN）可以分析脑网络连接异常，挖掘抑郁症患者脑网络变化；Transformer能够分析fMRI数据，捕获抑郁症患者脑功能活动动态特征，并且注意力机制和多任务学习技术的引入可以使模型高效聚焦于抑郁症病变关键特征，更好地处理多模态数据之间的关联性，进一步增强多模态数据融合。不同模型处理MRI数据时，各有优势，融合互补，显著提高了对MRI数据的诊断能力与处理效率^[17]。基于深度学习多模态MRI技术在抑郁症中有着自动特征提取、多模态整合、非线性关系建模和个体化诊断的独特优势，越来越多的学者利用深度学习技术来分析多模态MRI数据，用于对抑郁症、阿尔茨海默等精神障碍疾病进行诊断与治疗^{[18, 19, 20]}

2 深度学习网络模型结合MRI序列的应用与价值

2.1 CNN与sMRI

2.1.1 CNN模型

       CNN是深度学习的一种网络架构，在医学图像领域取得显著进展，可以自动提取图像中的原始特征信息，进行高效准确的图像识别，分割和配准等^{[21, 22]}。尤其适合处理高纬度、高分辨率的sMRI数据。可以捕捉脑组织的灰质、白质和脑脊液等结构信息，进而对大脑解剖结构变化进行深入研究^{[23, 24]}。CNN处理sMRI图像过程如图1所示。

点击查看大图

图1  CNN处理抑郁症sMRI图像流程图。1A：输入抑郁症sMRI脑部图像，经过卷积层特征提取，生成多层特征表示（浅蓝色和深蓝色矩形），并通过池化层降维。特征数据输入到全连接层进行分类，输出预测概率。1B：卷积核在图像上滑动，检测图像中的局部特征，比如边缘、纹理，在整张图像上完成卷积操作，会生成一个二维的特征图。CNN：卷积神经网络；sMRI：结构磁共振成像。
Fig. 1  The process of CNN handling sMRI images of patients with depression. 1A: The input sMRI brain image of a patient with depression undergoes feature extraction through convolutional layers, generating multi-layer feature representations (represented as light blue and dark blue rectangles), and dimensionality reduction via pooling layers. The resulting feature data is then fed into fully connected layers for classification, outputting the predicted probability. 1B: In this step, the convolutional kernel slides over the image, detecting local features such as edges and textures. The convolution operation is completed across the entire image, resulting in the generation of a two-dimensional feature map. CNN: convolutional neural network; sMRI: structural magnetic resonance imaging.

2.1.2 CNN结合sMRI诊断抑郁症研究进展

       WANG等^[25]提出了一种CNN的变体：3D-DenseNet网络。与以往2D模型处理图像切片不同，其创新性在于将DenseNet架构扩展至三维空间，使模型能够直接处理完整的体素级sMRI数据。上述研究在174例样本的sMRI序列试验中得到的结果表明，该模型在鉴别重度抑郁症（major depressive disorder, MDD）与健康对照组（healthy control, HC）的任务中表现出色，准确率、召回率及曲线下面积（area under the curve, AUC）分别达到了84.37%、87.26%和0.86。此外，该研究首次从深度学习角度确认了大脑结构变化主要集中于额上回背外侧、额中回和颞上回等区域，为传统神经影像学结果提供独立验证。这些区域的变化可能与抑郁症患者认知功能障碍、注意力不集中和情绪调节障碍等症状密切相关^[26]。

       为解决3D CNN中特征丢失问题，HONG等^[27]提出创新性方案，将3D-ResNet的残差网络与特征图重建技术结合，可以最大化保留空间特征细节。在68例小样本私有数据集的sMRI图像上（34例MDD+34例HC），取得了与大样本研究相当的性能，准确率、召回率和F1分数（F1-score, F1）达到了86%、84%和0.84。这为抑郁症样本数据小、异质性强的问题带来新的进展和突破。但该研究未能在其他数据集上验证，可能存在小样本过拟合问题。

       在进一步提升模型对sMRI空间信息捕捉方面，LI等^[28]提出SE-Resnet网络，合并一个专用的分支用于空间注意力图生成。在303名专有数据集上，准确率、召回率和F1分数分别为85.7%、85.8%和0.857。未来有望通过注意力机制，聚焦抑郁症患者异常特征，为临床解释异常脑区提供直观依据，解决深度学习可视化瓶颈。

       上述研究都使用了3D形式的CNN，表明3D模型可以充分利用三维信息，解决sMRI空间信息丢失问题，显著提高诊断性能，高于传统的机器学习方法和2D模型。尽管上述三种模型的指标相似，但并未详细探讨数据量大小、样本平衡性、扫描参数和预处理流程等因素对研究结果可靠性和泛化性的影响，未来研究应进行外部验证或跨中心验证，加强模型在不同人群和不同采集条件下泛化能力的评估，以更全面、客观地评价各模型的真实临床价值。

2.1.3 CNN结合sMRI预测抑郁症自杀风险

       HU等^[29]构建了可解释的全连接神经网络，对有自杀意念和无自杀意念的抑郁症患者进行了自杀风险分析和识别，结果显示对有自杀风险抑郁症患者诊断准确性超70%，提取关键特征解释模型，发现脑脊液、灰质和白质体积等特征对分类起重要作用，这与HARRIS等^[30]研究一致。该研究从深度学习角度首次发现存在两个与抑郁症患者自杀风险相关的关键脑区：右眶回和左梭状回。这与HONG等^[31]的研究一致。右侧眶回与左侧梭状回厚度与自杀企图呈负相关，且可能与抑郁症患者情绪调节障碍，认知功能受损及自杀风险增加有关^[32]，未来仍需继续探索此脑区在抑郁症患者中具体作用机制，有望做到早期诊断与治疗，减少抑郁症患者自杀风险。

       综上所述，CNN可以充分挖掘抑郁症患者sMRI图像结构特征，尤其是3D CNN，展示了较好的诊断性能，自动识别额上回等与MDD相关的关键脑区，并且在预测MDD自杀风险等方面也有很大应用价值。但对于抑郁症患者脑网络连接分析，捕捉脑活动动态变化尚有不足，CNN在抑郁症中的研究仍面临若干挑战。一是难以解释提取的结构特征与抑郁症病理机制之间的联系，一定程度限制了CNN的推广和应用；二是抑郁症患者存在很强的异质性，现有的模型难以全面适应不同表型；三是CNN训练需要大量标注的sMRI图像，而抑郁症患脑成像数据较为稀缺，这可能限制模型性能；四是CNN更擅长捕捉局部特征，分析抑郁症脑部整体结构变化时，还需要进一步地提升。未来应优化模型的可解释性算法，通过可视化技术解释模型决策与抑郁症病理之间的联系；结合临床知识，通过元学习和迁移学习，开发针对个体化的诊断模型；开展多中心前瞻性研究，建立标准MRI抑郁症数据库，最终推动CNN在抑郁症中的进一步应用。

2.2 GCN与fMRI

2.2.1 GCN

       GCN是一种专门用于处理图结构数据的深度学习模型，由节点和边组成，节点表示数据对象，边表示节点之间的关系和连接，直接在图上进行卷积操作^[33]。由节点和边组成的独特结构，非常契合fMRI序列数据构建的大脑功能网络。在fMRI序列中，大脑网络被划分为多个大脑功能区域，区域之间的功能连接表示神经活动的协同性^[34]。GCN处理fMRI序列脑功能连接数据，可以高效捕捉连接之间的复杂关系和全面地探究全脑网络的拓扑结构，自动挖掘提取节点特征及其相互作用^[35]。所以GCN可以深入挖掘抑郁症患者脑网络连接之间的神经生物学信息，为抑郁症患者脑区连接异常和病理机制研究带来新的发展与可能。

2.2.2 GCN结合fMRI诊断抑郁症研究进展

       首先GCN处理fMRI数据在诊断抑郁症方面有着显著优势。QIN等^[36]应用GCN模型分析多中心的静息态fMRI数据，收集了1568名参与者（821例MDD患者和765例HC）的数据,来自16个Rest-meta-MDD联盟站点扫描的大型多站点公开数据集（http://rfmri.org/REST-meta-MDD）^[37]，模型诊断MDD和HC的分类准确率和AUC分别达到81.5%和0.865，并进一步确定了对MDD分类贡献最大的脑区。研究识别的关键脑区主要分布在默认网络（default mode network, DMN）、前额叶-顶叶网络（fronto-parietal network, FPN）和扣带回-操作网络（cingulo-ppercular network，CON），包括前扣带皮层（anterior cingulate cortex, ACC）、前额叶皮层（prefrontal cortex, PFC）和楔前叶等脑区，这与KAISER等^[38]所报道的一致，且左背外侧前额叶皮层（dorsolateral prefrontal cortex, DLPFC）等区域的节点拓扑特征与临床指标（抑郁严重程度和持续时间等）密切相关^[39]。这些脑区的异常可能与抑郁症患者的自我否定、消极情绪及认知功能下降有关，进一步证实了抑郁症的发病机制涉及多个脑区和网络连接异常^{[40, 41]}。MA等^[42]开发了一种专为fMRI数据设计的新颖的可解释性GCN模型：APO-GCN。该研究包含16个Rest-meta-MDD联盟站点的1601参与者，模型分类准确率达到91.8%，优于传统的支持向量机等机器学习算法。模型通过自动分析，准确识别出与抑郁症网络存在功能连接异常，如DMN、中央执行网络（central executive network, CEN）和凸显网络（salience network, SN）等。这些发现与以往的研究^[43]一致。ZHOU等^[44]使用动态GCN，同样是基于16个Rest-meta-MDD联盟站点1081名MDD患者和1236名HC的2317个fMRI，结合个人全脑功能连接网络，取得82.5%的准确率和0.869的AUC，并且突出了DMN、FPN和扣带-岛叶网络在抑郁症病理机制中的重要性。

       此外，GCN为评估有效连接（effective connectivity, EC）提供新的角度，EC虽然可以揭示脑区之间的相互作用和信息流动方向，深入地挖掘脑网络的复杂机制，但需要更为复杂的参数模型方法如动态因果建模和格兰特因果分析^[45]。JUN等^[46]使用GCN，创建了结构方程模型，与稀疏表示方法结合来评估EC。该研究创新性引用了基于梯度的敏感性分析方法（sensitivity analysis, SA），可以评估特征对诊断的贡献度，首次从深度学习中识别出与MDD有关脑区之间的EC异常。实验结果从6441个可能的连接中筛选出了107个具有高判别性的EC，随后通过SA方法，进一步地从107个连接中确定了14个与MDD诊断相关的EC。研究发现，这些连接涉及背外侧前额叶皮层、楔前叶和海马旁回等脑区，这与上文研究所揭示的结果大体一致，可见GCN在处理脑功能数据时，可以精准识别与MDD有关的异常连接。作者还使用构建的网络结合筛选出的高分辨的EC连接对药物初治的抑郁症患者和健康人进行分类，准确率和AUC达到74.1%和0.791，进一步证实模型评估的EC连接与MDD高度相关和GCN诊断MDD患者的高效准确的性能。

       综上所述，GCN在分析抑郁症脑网络的复杂连接和病理机制中潜力极大，尤其是涉及网络拓扑结构的研究时，展现高效的诊断性能，具体的优势总结如下：一是通过可视化技术，从深度学习角度高效识别与抑郁症病理机制高度相关的脑区和网络，减少人为误差，提高客观性。这为抑郁症传统分析方法提供新的研究视角和验证依据，推动两者协同发展，相互印证，显著提高研究精度和深度，为抑郁症的诊断与治疗开辟了更广阔的可能性。二是GCN可以利用图结构先验知识，在小样本数据集中也能取得较好的结果。三是针对当前抑郁症动态功能连接研究较少的空白，未来还可以利用GCN对动态fMRI数据进行建模，研究抑郁症患者在不同认知任务或情绪状态下的脑网络动态变化，推动抑郁症脑网络研究进入新的阶段。但GCN在抑郁症中的研究同样面临抑郁症患者异质性强等问题，未来应进行前瞻性研究，测量模型在真实临床环境中的性能。

3 基于深度学习的多模态数据融合

3.1 基于Transformer自注意力机制的融合在抑郁症诊断中的应用

       利用Transformer的自注意力机制进行多模态数据融合，是当前最受欢迎方法之一。图2（改编自VASWANI等^[47]的研究）展示了Transformer的核心架构，该模型擅长分析时序数据，同时关注序列中不同时刻的数据点，发现长距离依赖关系，有效捕捉局部和全部特征。fMRI数据本质正是一种时间序列数据，显示出大脑不同区域随时间的活动变化^[48]。Transformer可以处理多通道时序数据^[49]，这种特性使Transformer可以同时关注抑郁症患者PFC、杏仁核和海马等不同关键区域的不同时间点活动，并分析他们之间的相互作用，从时空两个维度全面分析全脑区域变化。

       基于自注意力机制可以融合多模态的MRI数据，显著提高对MDD的诊断能力。ZHENG等^[50]构建了一种以Transformer为主体，结合CNN和全连接层等架构的混合模型，通过注意力机制，捕获了sMRI与fMRI之间的特征交互，实现结构与功能信息的融合。该模型在一项大样本量研究中实现了75.2%的诊断准确率，展示了高效的诊断能力。该模块可以自适应调整融合过程中的注意力权重，根据个体的不同，模型可以动态选择最有用的信息，有望实现精准的个体诊断与治疗^[51]。传统抑郁症的诊断方法往往侧重于群体的统计分析，使得诊断性和可靠性受到限制，忽略个体化诊疗^[52]。所以深度学习技术为抑郁症等疾病的早期诊断和个体化诊疗提供有力支持。

       为进一步提高对sMRI和fMRI数据信息之间的融合，ZHANG等^[53]提出基于Transformer的时空聚合网络，模型通过卷积神经网络和循环神经网络提取sMRI和fMRI数据特征，设计两个模块分别捕捉大脑空间信息和时间信息，使用注意力机制结合起来。这种方法表现十分出色，上述实验结果显示模型诊断MDD准确率为82.38%，AUC为0.907。此外，ZHANG等引用了一些创新技术，如傅里叶变化，有研究表明该技术像分析音乐节奏一样，可以用来分析大脑信息的频率变化^[54]，支持模型更好地理解大脑的动态变化。ZHANG等的研究还引入合成少数类过采样技术，该技术可以通过插值的方法，生成虚拟样本，增加少数类的样本数量，使数据更加平衡^[55]。所以这个模型处理小样本数据有着独特优势。在实际研究中，抑郁症患者数据因为获取难度大，采集成本高及患者数量有限等问题，患者数量远远小于对照组，出现数据不平衡的问题，这会导致研究统计功效不足、结果不可靠、缺乏客观标志物和影响模型的分类准确率等问题^[56]。该模型为解决抑郁症样本量小的问题带来了全新的思路，有望在有限的数据中实现高准确率的诊断，进一步对MDD的早期诊断和干预提供帮助。

       Transformer潜力极大，与CNN和GCN相比，通过整合多模态信息可以提供更全面的抑郁症表征和全局信息，这在抑郁症研究中尤为重要。因为一些研究表明抑郁症与大尺度网络间的信息交互异常相关。通过注意力机制，模型可以自动学习重点关注关键的区域或连接，帮助揭示抑郁症患者中具有病理学意义的脑区或网络模式。但是Transformer模型需要大规模数据集才能有效训练，而抑郁症临床影像数据通常数量有限，容易导致过拟合或训练不稳定。此外，这种多模态数据融合策略存在所需参数多、计算量大、训练时间长和对硬件设施要求高等问题，未来研究应着重以下方向：通过数据增强、迁移学习和半监督学习方法解决数据不足问题；设计轻量级Transformer变体和应用知识蒸馏技术降低模型复杂度；利用硬件加速和云端部署提高计算效率；采用模型压缩与边缘计算技术促进临床移动端部署。这些改进将为抑郁症早期诊断提供更有效的技术支持。

点击查看大图

图2  Transformer模型核心架构。左边为编码器，负责读取和理解输入。右边是解码器，负责生成输出。编码器与解码器通过多头注意力机制互相作用，编码器输出作为键和值，供解码器查询使用。
Fig .2  The core architecture of the Transformer model. On the left is the encoder, responsible for reading and understanding the input. On the right is the decoder, responsible for generating the output. The encoder and decoder interact through a multi-head attention mechanism, where the encoder's output serves as keys and values for the decoder's queries.

3.2 其他主流融合策略

       WANG等^[57]创新性将早期融合策略和晚期融合策略集成在一起。在早期融合阶段，使用编码器和多层感知机，从DTI、sMRI和fMRI数据中分别提取低频特征、高频特征和功能连接特征信息，将高频特征（局部细节）和低频特征（全局模式）以多种组合方式（如高-高、低-低、高-低）融合。晚期融合阶段，在生成6个基于sMRI和DTI特征融合的预测值以及1个基于fMRI的预测值后，模型通过集成投票机制将这7个预测结果整合为最终诊断。通过这种方式模型可以提取到sMRI和DTI的局部与全局信息，以及fMRI的功能连接信息。实验结果表明，模型分别在准确率、召回率、F1和AUC上达到72.4%、0.5、0.6和0.66。但该模型的性能指标并不出色，这可能受128例小数据集、模型复杂、训练优化和抑郁症患者异质性强等问题限制。此外，该融合方法存在一定局限性，提取特征太过繁杂，未能有效筛选出抑郁症患者各模态的核心特征，存在大量冗余和无效信息影响模型的学习能力。未来可以引入自注意力机制，为每个模态分配权重，聚焦抑郁症病变关键特征，深入探究特征背后抑郁症的病理机制。

       基于深度学习的多模态数据融合策略还有集成学习，该方法结合多个独立模型预测，稳定性高，不易过拟合，但同样存在复杂度过高问题。生成对抗网络融合策略可以生成高质量数据，缓解抑郁症患者数据量小，异质性强等问题。通过学习更一致的跨模态表示，促进模态间特征对齐。但网络不稳定，易崩溃。深度学习极大推动了多模态MRI数据的融合，从简单的拼接、加权到复杂的注意力机制、集成学习、联邦学习、决策融合、图神经融合及生成对抗网络融合等，融合策略日益精细和强大，但仍需要解决过于复杂、计算资源高和过拟合等挑战。未来研究方向应致力于：开发高效的跨模态特征提取与融合模型，提升抑郁亚型分类与早期诊断精度；构建多中心标准化数据库，通过联邦学习解决抑郁症数据异质性；整合基因组学与临床指标，建立可解释的深度学习框架，实现个性化治疗预测。

4 小结与展望

       应用深度学习技术分析患者数据已经成为当前神经科学与精神病学最有前景和价值的发展方向之一，深度学习技术结合多模态MRI序列，可以实现对抑郁症患者大脑的静态与动态、全局与局部、细微与宏观的全面分析和融合，为我们研究抑郁症神经病理机制带来前所未有的发现和视角，有望实现抑郁症的早期诊断、个体化诊疗和疾病进展与风险的动态监测。但目前深度学习结合多模态MRI在抑郁症等疾病中的应用研究仍存在着一些问题，如抑郁症患者数据量有限，质量参差不齐，缺乏统一的标准化处理；深度学习模型的决策缺乏解释性；需要较高的计算资源和时间成本及多模态融合方法的局限性等问题。未来需要针对这些问题做出进一步的优化和发展：（1）使用生成对抗网络生成抑郁症亚型特异性样本和迁移学习训练预权重模型等技术解决样本数量小、不平衡的问题，进行多中心数据合作，制定统一的抑郁症标准化采集，扫描和预处理流程；（2）探索基于注意力机制的可视化技术，加强特征与抑郁症病理机制之间的联系，为临床提供直观的解释；（3）开发更强大的算法模型，不同网络模型优势融合互补，优化多模态数据的融合策略，充分挖掘出模态之间的互补信息，提高模型的性能和泛化能力，进一步降低计算需求。通过这些优化，可以促进数据瓶颈突破与技术的临床落地，有望推动深度学习技术在抑郁症及其他精神障碍疾病的广泛应用，加速全面理解抑郁症病理机制和实现个体化高效诊疗的进程，为精神医学的精准化和个性化发展注入新的动力。