0 前言

       心脏磁共振（cardiac magnetic resonance, CMR）成像是评估心血管结构和功能的重要方法。通过心脏黑血、亮血序列、电影序列、心肌灌注、延迟强化等多序列、多平面成像显示心血管解剖结构、运动功能、血流灌注等组织功能特性，在缺血性心脏病、心肌病、心脏瓣膜病、心衰以及心包占位等疾病中具有重要的诊断价值。随着应用的深入，CMR由于一些限制逐渐难以满足临床的需求。首先，CMR扫描时间长且需要患者密切的配合才能得到符合诊断要求的图像。其次，基于CMR的心功能指标测量，需要在后处理软件上进行人工勾画、校对，难以完全自动化^[1]。此外，由于硬件设备及扫描时长的限制，CMR序列的图像分辨率不高。最后，延迟强化序列识别心肌瘢痕需要注射钆对比剂，既限制了部分患者的使用又延长了检查时间，还增加了发生不良反应的风险。针对以上不足，人工智能（artificial intelligence, AI）在医学图像中的应用提供了一些可行的解决办法^{[2, 3]}。

       深度学习是AI研究中的关键方法，在补充图像解释、增强图像表示和分类方面具有极大潜力，引发了很多革命性变化。然而，随着深度学习的不断发展，对医学图像数据量、分辨率等提出了更高的要求^{[4, 5]}。由于CMR图像相对于其他医学图像样本量偏小、影响图像质量的因素众多，构建的分析模型普适性较差，因而AI在CMR图像中的应用面临诸多限制^[6]。同时CMR图像还存在类别不均衡等共性问题，即病理图像样本量相较于正常样本来说一般较少，这会使模型过拟合或者收敛速度过慢^[7]。另外，早期算法通常依赖监督式学习，需要大量手动调整以将输入图像转换为期望的输出结果^[8]。CMR图像序列多，图像质量良莠不齐，手动数据标注需要专业人员耗费巨大时间成本，并且标注的准确度和统一性也高度依赖标注者的专业水平^[9]。为了模型的准确性，需要不同层次的专业人员反复确认，这会进一步增加时间和人力成本^[10]。总之，CMR图像相对于其他医学图像，在进行AI分析时需要面临更艰难的挑战。

       生成对抗式网络（generative adversarial network, GAN）是一种具有突破性的深度学习方法。GAN基于博弈思想使网络具有强大的泛化和生成能力，自2014年被GOODFELLOW等^[11]提出后，就被广泛应用于图像重建^[12]、图像复原^[13]、风格转换^[14]等方面。GAN的加入在一定程度上弥补了CMR图像数据集较小、图像质量参差不齐、标注成本高昂等不足。GAN在CMR图像中的应用主要集中在图像分割与合成、图像重建、超分辨率重建、虚拟增强等方面，可用于提高CMR图像的质量和分辨率，缩短扫描时间，自动化测量心功能指标，无需对比剂生成增强图像等。本文分析总结GAN在CMR图像中的应用进展，并对面临的挑战和未来展望进行阐述，为早日实现其临床应用提供帮助。

1 GAN

       GAN基于博弈对抗思想，是一种具有强大泛化能力的生成式网络。基本结构如图1所示，GAN由生成器G和判别器D两部分组成，生成器从输入的随机噪声中学习样本分布，判别器用于判别样本是来自真实图像还是生成器，并输出相应的概率值。GAN的核心思想是生成器G与判别器D的博弈，生成器希望生成的图像分布更接近真实图像的分布，而判别器则要尽可能地分辨出真实图像和生成图像直至无法鉴别，二者相互对抗制约，不断优化网络参数，最后达到最佳的平衡状态。

       生成器与判别器的博弈对抗是一种具有交叉熵的零和优化问题，此模型的标准损失函数公式如公式（1）所示。

       其中，G代表生成器，D代表判别器，x代表真实图像，z表示随机噪声，G(z)代表生成器学习图像的概率分布，Pr代表真实图像的概率分布。D(x)为数据x经过判别器后判断x为真实图像的概率值，Pz代表输入的随机噪声的分布，D[G(z)]表示判别器把生成器学习的图像判断为真实图像的概率。

       GAN通过判别器和生成器的交替学习，不断优化参数，最终达到网络平衡，生成器学习到数据的概率分布，而判别器无法判断数据来源于真实样本还是生成器生成。这种互相对抗博弈的特性使得GAN具有强大的生成及泛化能力。GAN在医学成像中通常有两种使用方式：（1）第一种侧重于图像生成方面，有助于探索和训练数据的底层结构，并学习生成新的图像。这一特性使GAN在应对样本数量较少和保护患者隐私造成的图像难以共享问题时，具有强大的应用前景。（2）第二种主要关注判别器方面，判别器D可以被当作正常图像的学习先验，当呈现图像出现异常时，它可以被用作正则化或检测器。在医学影像中GAN已经被广泛用于图像合成、图像分割、图像重建、图像去噪等多个方面^[15]。

点击查看大图

图1  生成对抗式网络的基本结构。
Fig. 1  The basic structure of generative adversarial network.

2 GAN在CMR中的应用

       GAN在CMR图像中的应用大致分为图像合成、图像分割、图像重建、超分辨率重建、虚拟增强等。图像合成可以通过学习真实的图像，生成合成图像样本，达到扩充稀缺图像数据集的目的。GAN的生成器与判别器的对抗博弈思想对提升图像分割模型的性能和稳定性有重大意义，图像分割模型的应用可以显著降低数据标注的人力及时间成本，提高分析的效率。图像重建对欠采样或者有伪影的CMR图像可以恢复组织结构、增强图像细节、生成缺失图像，改善CMR图像的成像质量。超分辨率重建可以在不对成像硬件设备进行更新的情况下，从低分辨率图像生成高分辨率图像，提升图像分辨率。虚拟增强通过模拟外部对比剂的使用，生成虚拟的增强图像，此技术既能避免对比剂的使用又可以减少扫描时间和成本。此外，也有一些更加深入的研究，使用基于GAN的模型直接预测CMR图像的心脏功能评价指标或病理信息^{[16, 17]}。由于GAN的训练和测试需要尽可能多的样本量，受限于上文提到的CMR图像的采集及使用限制，很多研究使用公开的CMR数据集进行研究，常用的数据集见表1。

2.1 图像分割与合成

       CMR图像不仅可以清晰地显示心脏的解剖结构，还能通过电影序列提供精确的心脏功能指标，包括射血分数、收缩及舒张末期心室容积、每搏排出量、心肌质量等。然而实现心脏功能指标测定的基础是在短轴电影序列上进行左心室分割，包括心内膜和心外膜的轮廓分割^{[18, 19]}。目前已经有一些软件可以实现自动分割，但是准确性较低，仍需专业医生耗费大量时间进行校正核准^[20]。基于卷积神经网络U-Net算法的心脏分割模型是目前常用的经典模型。ZHANG等^[21]利用33名受试者的短轴CMR序列图像建立基于迁移学习和多尺度判别GAN的左心室分割模型，此模型与U-Net分割模型相比，显著提高了分割精度。WU等^[22]提出了一种可在训练过程中交替输入标注和未标注数据的自动左心室分割GAN框架，此框架在Sunnybrook和ACDC分割挑战数据库中进行评估，结果表明其收敛速度更快，分割性能更好。UPENDRA等^[23]受GAN的启发，建立了分割对抗网络框架（segmentation adversarial network, SegAN），联合U-Net网络对ACDC数据集进行实验，结果表明，在SegAN框架中进行训练时，U-Net网络的性能比单独进行训练时要好。还有学者针对儿童先天性心脏病数据量少的缺点，训练GAN模型时引入半监督语义分割，在减少训练所需图像数量的同时保持了良好的分割精度^[24]。此外还有一些研究进一步对心脏的子结构，包括心室、心房、心肌，心内、外膜等进行分割。有学者利用ACDC数据集，建立扩张块对抗网络模型，对心脏短轴MR图像进行左右心室及心肌分割，定量分析表明，新模型测得的心功能指标与临床专家相似^[25]。有研究提出针对心脏子结构的三维GAN分割算法，并在ACDC和M&Ms数据集上进行测试，结果表明分割准确性得到提高^[26]。还有基于MM-WHS数据集开发的一种用于心脏子结构分割的双向跨模态无监督域自适应框架，该框架将自关注机制与GAN结合，使GAN在训练过程中更稳定同时提高了模型在无监督目标域中的分割性能^[27]。还有学者在CMR钆对比剂延迟强化（late gadolinium enhancement, LGE）图像中建立级联间GAN模型，可以自动、准确地分割心房^[28]。准确分割心脏子结构是实现CMR自动心功能指标测量的基础，同时模型分割的准确性也是检验合成或重建图像质量的标准之一。相较于经典的U-Net分割模型，目前基于GAN的模型，分割精度有所提高。

       具有GAN加持的图像合成算法直击CMR图像数据样本量少的痛点，通过合成逼真的图像达到数据增广的目的。这对于样本量较少的特殊类型心脏病种，如先天性心脏病等具有较强的应用前景。然而单纯的图像合成算法无法证明其在临床中的应用价值，很多研究将合成的CMR图像用于下一步的图像分割或者预测等研究。AMIRRAJAB等^[29]基于M&Ms数据集提出一种基于掩模条件GAN的图像分割和合成框架，用于生成高保真和多样化CMR图像，并且评估了合成数据用于心腔分割模型下游任务的有效性和可用性，结果表明训练过程中使用合成数据可以显著提高分割模型的效能。有研究基于303例法洛四联症患者的CMR数据训练渐进式GAN（progressive GAN, P-GAN）模型，用于合成大量逼真的CMR图像，并使用合成图像进行分割检验，发现基于合成图像的分割效果与基于真实数据类似^[30]。还有学者针对儿童先天性心脏病患者的CMR数据集稀少的限制，使用GAN生成合成CMR图像来增强心室分割的训练数据集，提高分割模型的效能^[31]。目前的研究表明GAN的数据增强技术，可通过图像合成达到数据增广的效果，可以解决由于缺乏病理样本导致数据集不平衡产生的过度拟合问题。在分割方面，即使用小数据集或者合成的CMR图像也可以精确分割心脏，并且使用分割的心脏子结构测得的心功能指标准确度较高，这对进一步实现心功能指标的自动化测量有重要意义。

2.2 图像重建

       图像质量是AI分析的基石。CMR图像相对于其他影像，影响其图像质量的因素众多。一是采集时间较长；二是扫描过程需要患者严苛的呼吸配合，心脏搏动、呼吸运动以及附近快速流动的血液可能会导致运动伪影；三是具有不同特征的相邻组织或植入物可能会导致某些层面中的信号局部丢失^[32]。此外，由于放射技师在扫描采集计划、触发时机等方面的经验不足，可能导致部分结构显示不完全^[33]。在基于GAN的众多模型中，有一类模型可以完成图像到图像的翻译任务，在CMR图像中可以端对端的重建恢复组织结构、增强图像边缘细节、生成缺失图像等，改善CMR图像的成像质量，同时可以提高成像及重建速度，提升CMR的检查量，减少患者痛苦^[34]。有研究提出一种基于自我注意机制和相对平均判别器的GAN欠采样MRI重建方法，此方法引入自注意机制解决了卷积核尺寸有限的问题，使得重建图像具有更高的峰值信噪比（peak signal-to-noise ratio, PSNR）和结构相似性指数（structural similarity, SSIM），并且细节更为丰富^[34]。还有一种通过学习缺失信息附近的短轴CMR层面的关键特征来推断重建缺失层面的图像脉冲GAN（image imputation GAN, I2-GAN），重建图像用于心功能指标测量一致性良好^[35]。有学者提出用于减少CMR运动伪影的递归GAN模型，此模型基于相邻帧生成可靠的缺失中间帧，可提高CMR电影序列的时间分辨率^[36]。有研究引入并行成像耦合双判别器GAN，通过合并多视图信息进行快速多通道MRI重建，着重于改善CMR重建图像的边缘信息^[37]。还有学者专注于提升多通道重建的速度，将并行成像与GAN相结合建立模型，此模型在缩短重建时间的同时，可以有效恢复组织结构并减少混叠伪影^[38]。此外，还有基于三维CMR电影序列重建四维MR图像的技术，在快速重建四维图像的同时进行呼吸运动补偿，允许患者在扫描时自由呼吸^[39]。CMR图像质量相较于其他影像更易受各种因素的影响，GAN凭借强大的数据生成能力，帮助重建CMR图像细节，生成各种原因造成的部分图像缺失，还有望减少图像伪影，缩短重建时间，在实践中对于儿童或难以配合的患者的检查具有潜在帮助。

2.3 超分辨率重建

       超分辨率（super-resolution, SR）图像重建技术是通过特定的算法基于低分辨率图像生成含有丰富细节信息的高分辨率图像^[40]。在医学影像领域由于安全要求或物理设备的限制导致部分成像方式的图像分辨率不高，SR重建技术只需软件系统即可获得细节丰富的高分辨率图像。目前基于GAN的超分辨率重建算法已被广泛应用于各种医学影像检查方法之中^{[41, 42, 43]}。得益于CMR图像公开数据集较多，SR重建技术在CMR中的探索也相对较多。早期有学者使用P-GAN，基于Sunnybrook心脏数据集重建SR图像，并用SR图像进行左心室分割，结果表明使用SR图像的分割模型性能优越^[44]。JIANG等^[45]使用脑、膝关节及CMR图像训练融合注意GAN模型，此模型可以在减少扫描时间的同时，从低分辨率图像生成超分辨率图像。还有学者针对SR重建后图像精度低、产生虚假细节等问题，提出拉普拉斯金字塔GAN，该模型将拉普拉斯金字塔表示法与GAN结合，来捕捉高倍率放大图像时的高频细节，可以有效避免超分辨率后的虚假细节，并生成含有更丰富高频细节的SR图像^[46]。此外还有学者关注冠状动脉MR血管造影（coronary MR angiography, CMRA）的SR重建，他们基于GAN的SR框架，结合非刚性呼吸运动补偿建立SR-CMRA模型，此模型显著提高图像的空间分辨率并将扫描时间缩短至1 min以内^[47]。提高CMR图像分辨率，缩短检查时间一直是探索的重点，然而快速MRI序列在临床应用时常常受到低空间分辨率和低信噪比的限制，SR技术作为一种提高图像分辨率的方法，有望从软件层面提高CMR图像质量。

2.4 虚拟增强

       LGE是在CMR上识别梗死心肌和瘢痕组织的金标准^[19]。但是LGE需要静脉注射钆对比剂，这会增加扫描时间，并且对于有钆对比剂过敏史、肾功能不全等部分人群来说，钆对比剂不能或者需要慎重使用，此外，使用钆对比剂还有可能发生不良反应^{[48, 49]}。虚拟增强技术（virtual native enhancement, VNE）是一种新的人工智能方法，通过增强原始的CMR成像信号，使用深度学习来生成类似LGE的图像，因此VNE为实现无需使用对比剂的快速CMR成像提供了一种潜在的解决方案^[50]。随着深度学习的发展，有学者在心肌梗死患者的CMR图像中使用条件GAN改进VNE技术，结果表明VNE与LGE CMR和组织病理学在评估既往心肌梗死患者的瘢痕组织方面表现高度一致，并且基于T1 mapping和电影序列生成虚拟增强图像只需不到1 s^[50]。还有学者将这种虚拟增强的想法迁移到CMR的4D Flow序列中，开发了基于循环一致GAN的算法，可以在不使用对比剂的情况下提升4D Flow图像中的血液组织对比度^[51]。如何在不使用钆对比剂的情况下识别出心肌瘢痕或者提升血液对比度，一直是CMR研究的重难点。基于GAN提出的VNE技术，具有减少扫描成本、缩短扫描时间、增加检查量、扩大CMR适用范围等潜力，但这一理论仍需更多的研究支持。

点击查看表格

表1  心脏磁共振常用的公开数据集
Tab. 1  Common Open Datasets for cardiac magnetic resonance

3 挑战与展望

       近年来，GAN作为一种具有强大泛化和生成能力的深度学习方法已经被广泛应用于CMR图像的处理。大多数图像分割模型可以从CMR图像中自动确定相关心功能参数，这些参数可用于诊断或预后。图像合成在一定程度上可以扩充训练数据集，解决CMR图像样本量小的问题。GAN用于图像重建、超分辨率重建及虚拟增强技术，可以增强CMR图像的质量。目前对GAN模型的效果评价，依赖于专业影像医师或下游图像分析任务，在技术层面只能通过定量指标例如均方差、PSNR和SSIM来进行评价。在下游应用中，GAN结合影像组学可以根据成像数据及临床信息用于患者的诊疗及预测预后。目前这部分研究还较少，这是因为影像组学需要由海量涵盖图像及其他各种临床信息组成的大型真实数据集，而满足要求的CMR大型数据集获取困难，这也是目前GAN在CMR图像中应用的关键限制。大多数研究只是提出了初步模型，但没有在大型多中心数据集上进行广泛验证，因此，模型的泛化性能无法确认。另一个限制是目前大多数研究的数据来源于公开CMR数据集，而这些数据集的提供者多为发达国家或地区，缺乏发展中国家或经济欠发达地区的数据，因此创建的算法受地域、经济发展等因素的局限。作为最大的发展中国家和人口大国，建成我国的CMR图像公开数据库迫在眉睫。

       为推进CMR的AI研究，提高基于GAN的图像分析算法在临床应用的可能性，首先需要改善并规范GAN模型图像质量的评价标准，建立更真实准确的生成图像评价体系。其次，在GAN模型中引入临床及其他信息，进一步探究GAN模型生成图像在患者诊疗及预后中的作用。最后，推进我国大规模、多中心CMR公开数据库的建设，有助于为GAN模型的改进和在临床上的验证提供更多数据基础和可能性。

       GAN在CMR图像处理中已经覆盖了多种任务，可用于高效分割图像并改进心功能参数测量、增强图像质量、缩短扫描时间及简化工作流程，然而与其他深度学习技术相比，GAN在CMR中的应用仍处于早期阶段。虽然存在诸多困难和挑战，但是选择合适的GAN改进模型并进一步与临床信息结合，最大限度发挥CMR图像数据库的潜力，其在CMR图像AI领域的应用前景依然广阔。