0 引言

       我国脑卒中发病率居世界首位，具有高发病率、高致残率及高死亡率的特点，其中缺血性脑卒中占比约85%，颈动脉粥样硬化是导致其发病的主要原因^{[1, 2, 3]}。颈动脉粥样硬化的通常受到年龄的影响而逐渐加重，其早期表现为内膜与中膜增厚，随后逐步形成粥样硬化斑块^{[4, 5, 6]}。从而可能导致斑块内出血、破裂脱落、血栓形成以及血管狭窄^{[7, 8, 9]}。包括黑血序列T1WI的在内的高分辨磁共振成像（high resolution magnetic resonance imaging, HR-MRI）已经在临床广泛应用于诊断和评估颈动脉粥样硬化斑块的稳定性^{[10, 11, 12]}。注射钆对比剂（gadolinium-based contrast agent, GBCA）的对比增强MRI（contrast enhanced magnetic resonance imaging, CE-MRI）能够客观评估颈动脉粥样硬化斑块中脂质坏死核心的比例与纤维帽增厚程度，对评估斑块易损性具有重要意义^{[12, 13, 14]}。

       尽管注射GBCA的CE-MRI普遍认为相对安全，但对于既往应用GBCA出现中重度不良反应患者、肾功能不全、处于妊娠与哺乳期的患者均需要谨慎使用。一些研究指出了超敏反应（hypersensitivity reaction, HSR）、脑沉积与肾源性系统性纤维化（nephrogenic systemic fibrosis, NSF）与GBCA使用的关联性，且对于需要长期随访的患者，重复暴露于GBCA会增加产生不良反应的风险^{[15, 16, 17]}。此外，注射GBCA的CE-MRI检查需选择患者外周静脉进行有创留置针置入，需要患者具有较高的配合度。颈动脉粥样硬化患者多伴有全身系统合并症，如糖尿病、外周动脉硬化等，造成患者肾脏功能下降，血管情况不佳，为对比剂的排泄、留置针的置入带来难度。因此，应用一种方法在避免注射GBCA的同时直接从颈动脉HR-MRI平扫图像中生成高质量的CE-MRI图像，对于更全面地评估不适用GBCA的患者颈动脉斑块危险程度和临床高效诊断来说十分有意义。

       近年来，基于深度学习的图像生成方法已被证实可以较好地实现跨模态生成与同一模态间不同序列生成的图像任务^{[18, 19, 20]}。XIE等^[21]基于对比学习方法从多序列平扫MRI图像中合成对比剂增强脑胶质瘤图像。LYU等^[22]从非对比CT平扫图像合成注射碘对比剂的CTA图像，并且在视觉评分中与真实CTA图像差距较小。然而上述研究并未考虑头颈血管CE-MRI图像的生成。因此，本研究创新地从平扫T1WI图像生成颈动脉的CE-MRI图像，在提高检查效率的同时尽可能地降低药物注射带来的额外风险，以便于诊断医师仅通过短时间的平扫图像T1WI就可以得到合成CE-MRI图像，从而实现快速且精确地判断患者颈动脉粥样硬化斑块中的脂质坏死核心存在比例与斑块易损程度，辅助临床医师快速诊断与治疗方案的制订。

1 材料与方法

1.1 研究对象

       回顾性地纳入首都医科大学宣武医院2021年9月至2023年9月期间于神经外科住院符合2022年欧洲血管外科协会颈动脉狭窄诊治指南中颈动脉狭窄诊断的患者303例，包括36例女性患者。患者在入组时进行颈动脉HR-MRI扫描。纳入标准：（1）年龄为45~85岁；（2）超声证实存在单侧或双侧颈动脉粥样硬化斑块（内膜厚度≥2 mm）；（3）无MRI禁忌证或对比剂注射禁忌证。排除标准：（1）既往存在颈动脉内膜剥脱术、颈动脉支架术或颈部放疗病史；（2）既往存在肿瘤病史或化疗病史；（3）近期存在急性或慢性感染、自身免疫病或正在进行抗炎治疗；（4）图像质量不佳，难以分辨颈动脉管和血管外界，无法分辨管壁与周围组织。本研究遵守《赫尔辛基宣言》，经首都医科大学宣武医院伦理委员会批准，免除受试者知情同意，批准文号：临研审[2022]023。

1.2 检查方法

       颈动脉HR-MRI采集设备为3.0 T MR（uPMR790，联影，中国），8通道颈动脉专用表面线圈。采集过程中嘱患者取仰卧标准体位，头先进，充分暴露颈部血管，扫描时尽量保持静止并减少吞咽动作。以颈动脉分叉处为中心进行平扫的3D T1WI以及对比增强3D T1WI。MRI对比剂采用钆喷酸葡胺（Gd-DTPA，拜耳，德国），经肘静脉高压注射器（EmpowerMR，博莱科，瑞士）团注，注药流率为2 mL/s，注射量0.1 mmol/kg，以同样流率注射0.9%生理盐水20 mL。序列参数为：TR 800 ms，TE 14.52 ms，FOV 180 mm×180 mm，分辨率0.60 mm×0.60 mm×0.60 mm，层数390，层间距0.8 mm。

1.3 数据预处理与训练细节

       使用3D Slicer软件（4.11.0 版，https://www.slicer.org）General Registration（Elastics）将对比增强T1WI（contrast enhanced T1WI, CE-T1WI）图像配准至T1WI图像的体素空间以确保器官相对位置稳定。其次，在输入网络前将纳入试验的双侧486根血管的图像以扫描中心进行固定裁剪，得到大小为128×128×60的感兴趣容积（volume of interest, VOI），并选择每根血管中随机10层进行小于5°的平面旋转以进行训练阶段的数据增强。按照医生判读，在病灶维度将图像分类为脂质图像与非脂质图像，将图像质量维度分为四个等级，四级为最优。基于均衡脂质图像数量、图像质量的原则并以5∶1的比例随机划分训练验证集与测试集，训练验证集包括405根血管的图像，测试集中包括81根血管的图像，其中47张为脂质图像，23张为3级质量的图像。在训练过程中，进一步从训练验证集中按照4∶1的比例划分训练集与验证集，使用五折交叉验证法进行训练与验证，并使用类别加权采样策略以消弭每个训练小批次中类别不平衡带来的潜在偏差。重复三次训练验证集与测试集的划分，最终结果取平均值。在生成过程中，3D图像被按层读取为2D图像并输入网络。

1.4 基于GAN的虚拟对比增强T1WI图像生成方法

       本研究针对是否配对训练分别采用了pix2pix^[23]和Cycle GAN^[24]两种基于GAN的深度学习图像生成算法进行虚拟对比增强T1WI（virtual contrast enhanced-T1WI, vce-T1WI）图像的生成任务，前者使用带残差的U-Net网络^[25]和马尔可夫判别网络分别作为生成器和判别器，直接从逐层配对的训练样本中生成目标图像；后者不需要配对的样本，因而采用了额外的双向循环生成与判别网络对模型的生成结果进行额外的规范与限制。

       如图1A所示，以配对后拼接的平扫T1WI图像与CE-T1WI图像作为输入，pix2pix方法使用带残差连接的U-Net网络（GA）作为生成器、使用一个马尔可夫判别网络（DA）作为判别器。相比原生的GAN模型，DA输出一个70×70的特征图作为对生成器生成的vce-T1WI图像真伪的判断依据，即该特征图中的每个元素分别对应原始图像中的一个patch，使得判别器具有更大的感受野，提升了对生成图像真伪的判断能力。与pix2pix不同的是，Cycle GAN网络不强制配对的训练样本。如图1B所示，Cycle GAN网络通过两个生成器和两个判别器构建了双向的生成过程，具体而言，首先使用生成器GA将原始平扫T1WI图像生成为vce-T1WI图像，再通过生成器GB将此前生成的vce-T1WI重新生成为虚拟的平扫T1WI图像，在优化过程不仅强调对目标序列虚拟CE-MRI图像的生成，也同时强调了模型必须保证可以通过GB将此前生成的虚拟图像中的解剖结构还原为近似真实的平扫T1WI图像，另一个方向的生成过程则是使用GB将真实的CE-T1WI图像生成为虚拟平扫T1WI图像，再通过GA将真实对比增强图像的血管结构与图像对比度特征从虚拟平扫T1WI图像中还原出来。上述双向的过程同时进行并同时优化，从而保证了最终生成结果在特征分布与图像质量上保持稳定。

       在部署过程中，所有实验都在搭载两张Nvidia A40 GPUs的服务器中进行，两个网络的判别器均初始化为patch GAN，生成器初始化为8层带残差的U-Net网络，学习率初始化为0.0 001并在经过100轮训练之后线性衰减，对所有网络训练模块均采用Adam优化器，batch size设为128，训练轮次为500轮。

点击查看大图

图1  pix2pix模型与Cycle GAN模型的生成逻辑对比，前者需要配对图像，后者无需样本配对。1A为vce-T1WI图像在pix2pix模型中的生成路径；1B为vce-T1WI图像在Cycle GAN模型中的生成路径。图中标注“fake”的图像为模型生成输出结果，标注“real”的图像为扫描采集的真实图像。不同颜色构成的生成器用于标记不同网络。vce-T1WI：对比增强T1WI。
Fig. 1  Comparison of the generation logic of the pix2pix model, which requires paired images, and the Cycle GAN model, which does not require sample pairing. 1A shows the generation path of vce-T1WI image in pix2pix model; 1B shows the generation path of vce-T1WI image in Cycle GAN model. In the figure, the image labelled "fake" is the output result of the model, and the image labelled "real" is the real image acquired by scanner. Different colors are used to mark the generators for different networks. vce-T1WI: virtual contrast enhanced-T1WI.

1.5 模型结果评估方法

1.5.1 脂质坏死核心诊断评估

       脂质坏死核心在T1WI平扫呈等或稍高信号，在CE-T1WI图像中呈低信号^[26]。由两位10年以上血管病诊断经验的放射科主任医师分别对真实的CE-T1WI图像、vce-T1WI图像进行判读。首先在模型训练前阶段，两位医师采用相同的标准独立判断CE-T1WI图像中斑块是否存在脂质坏死核心，二者不一致时协商讨论给出确定结论。在模型推理结果的评估阶段，以医生在真实CE-T1WI图像上判读的结果为金标准，两位医师分别对照真实CE-T1WI图像，确认vce-T1WI图像是否正确反映了脂质坏死核心，二者不一致时协商讨论确定结论。

1.5.2 图像质量客观定量评估

       使用五次随机种子，通过峰值信噪比（peak signal-to-noise ratio, PSNR）和结构相似性（structural similarity, SSIM）两个指标对神经网络合成的vce-T1WI图像质量进行定量评估^{[21, 27]}。PSNR用于评价vce-T1WI图像与真实CE-T1WI图像之间图像质量差异，值越大说明生成图像的质量越好。SSIM用于评估vce-T1WI图像与真实CE-T1WI图像之间在像素水平上的结构相似度，考虑了亮度、对比度和结构三个方面的信息，-1~1之间的值越大说明生成图像与真实图像越相似。假设在生成任务中真实CE-T1WI图像为T、vce-T1WI图像为F，上述两个指标的具体计算方法如公式（1）和公式（2）所示，其中μ代表图像亮度，σTF代表真实图像与生成图像之间的协方差，σ2代表方差，MAX表示像素最大值，MSE计算方法如公式（3）所示，Ti,  j、Fi,  j均表示像素值。

1.5.3 图像质量主观视觉评估

       由两位10年以上血管病诊断经验的放射科主任医生对vce-T1WI图像的质量进行严格分级，按照从差到好评价为1~4级。具体评分标准如下：1级，图像模糊，颈动脉管和血管外界均显示不清，管壁与周围组织辨识不清，有明显的运动伪影；2级，图像中颈动脉管壁可见，但管壁结构或管腔和血管外界轮廓显示欠清晰，伪影较多；3级，图像中颈动脉管壁结构显示尚清楚，但管腔和血管外界轮廓局部模糊，伪影少但不影响诊断；4级，图像中颈动脉管壁结构、管腔和血管外界轮显示清晰，无明显伪影。

1.5.4 统计学分析

       采用混淆矩阵的方法评估两种不同方法对斑块中脂质坏死核心的检出效果，两位10年以上血管病诊断经验的放射科诊断医师对比真实CE-T1WI图像的结果，判读两种不同方法生成的vce-T1WI图像中脂质坏死核心的生成结果。随后将判读结果与金标准进行对比以计算模型检出的准确度、敏感度和特异度，并通过受试者工作特征（receiver operating characteristic, ROC）曲线计算曲线下面积（area under the curve, AUC）值以评估模型的诊断能力。使用统计学分析软件SPSS 25.0分析结果，采用非参数检验分析不同方法生成的图像质量与真实图像质量之间的差异，P<0.05为差异具有统计学意义。

2 结果

2.1 一般资料

       在数据集的统计学分析方面，本研究纳入的患者年龄为（64.90±6.54）岁，其中小于等于50岁的患者共6人，大于50岁且小于等于60岁的患者共79人，大于60岁且小于等于70岁的患者共152人，大于70岁的患者共66人。交叉表分析年龄与图像质量之间的关联性（P=0.094）、性别与图像质量（P=0.674）之间的关联性均不具备统计学意义。

2.2 不同模型生成的vce-T1WI图像对斑块脂质坏死核心的检出结果

       将经过相同训练轮次的两个模型在独立测试集中进行测试，包括81例患者共4860张平扫T1WI图像数据集上进行测试。如表1所示，Cycle GAN生成的vce-T1WI图像中对脂质坏死核心的检出准确率为82.7%（67/81），敏感度为78.7%（37/47），特异度为88.2%（30/34），AUC值为0.865；经由pix2pix模型生成的vce-T1WI图像准确率为74.1%（60/81），敏感度为61.7%（29/47），特异度为91.2%（31/34），AUC值为0.780，差异具有统计学意义（Z=-2.02，P=0.043）。如图2所示，两个模型的vce-T1WI图像生成结果与真实图像相比均在脂质坏死核心处表达了低信号，且对整体血管壁结构的还原能力相当，但Cycle GAN生成了相较pix2pix更清晰的图像，且对微小的血管壁边缘结构具有更稳定的重建能力，在脂质坏死核心的低信号表达方面也更符合真实CE-T1WI图像中的分布情况，在血管壁边缘生成的错误高信号更少。

点击查看大图

图2  脂质坏死核心在pix2pix、Cycle GAN生成的vce-T1WI图像与真实T1WI、CE-T1WI图像中的比较。红框内区域为斑块所在位置。2A~2D为真阳性的图像；2E~2H为假阳性；2I~2L为假阴性结果。四列图像由左至右分别为pix2pix生成的图像、Cycle GAN生成的图像、真实T1WI图像与真实CE-T1WI图像。vce-T1WI：虚拟对比增强T1WI；CE-T1WI：对比增强T1WI。
Fig. 2  Comparison of lipid necrotic cores in pix2pix, Cycle GAN-generated vce-T1WI images with real T1WI and CE-T1WI images. The area in the red box is the location of the plaque. 2A-2D in the first row are true-positive images; 2E-2H in the second row are false-positive; 2I-2L in the third row are false-negative results. The four columns of images from left to right are pix2pix-generated images, Cycle GAN-generated images, true T1WI images and true CE-T1WI images, respectively. vce-T1WI: virtual contrast enhanced-T1WI; CE-T1WI: contrast enhanced T1WI.

点击查看表格

表1  不同模型生成的vce-T1WI图像与医师评估真实CE-T1WI图像得出的脂质坏死核心检出结果对比
Tab. 1  Comparison of vce-T1WI images generated by different models with lipid-rich necrotic core detection results derived from real CE-T1WI images assessed by physicians

2.3 不同模型生成的vce-T1WI图像质量评估结果

       在客观定量评价指标方面，基于pix2pix生成的vce-T1WI图像在SSIM和PSNR两个指标中平均为0.591和20.206，标准差分别为0.047和1.200。基于Cycle GAN生成的vce-T1WI图像的SSIM得分为0.635，标准差为0.061，在PSNR中得分为19.717，标准差为1.590。如表2所示，对比真实CE-T1WI图像的图像质量分布，Cycle GAN和pix2pix在视觉质量评估方面在样本中取得大于2级评分的比例分别为97.5%（79/81）和95.1%（77/81），且Cycle GAN获得了58.0%（47/81）的4级评分结果。经医生判读，真实CE-T1WI图像与Cycle GAN生成的图像在质量上的差异不具有统计学意义（Z=-0.888，P=0.375），与pix2pix模型生成的图像在质量上的差异具有统计学意义（Z=-2.742，P=0.006）。对比两种模型对脂质坏死核心与周围血管的生成结果，pix2pix模型对血管壁的边缘的生成较为清晰，高信号与低信号结构之间界限较为明显，在斑块内部信号混杂的区域表达存在一定程度的模糊；Cycle GAN模型生成的vce-T1WI图像在血管壁处伪影较少，清晰度较高，高低信号差异的还原比较符合真实图像，如图2所示。

点击查看表格

表2  不同模型生成的vce-T1WI图像视觉质量评估
Tab. 2  Subjective visual evaluation of vce-T1WI images generated by different models

3 讨论

       本研究基于深度学习方法从颈动脉的平扫MRI图像中生成vce-T1WI图像，并通过客观定量评估、主观视觉质量评估和脂质坏死核心诊断评估三个方面对两种基于GAN的生成方法进行了对比。研究结果表明，基于深度学习的方法可以在一定程度上生成了基本符合临床诊断要求的vce-T1WI图像，且两种模型的生成结果都对脂质坏死核心具有较高的准确率和特异度，可以辅助放射科医师在临床环境中规避风险的同时，针对不适应钆对比剂注射的颈动脉狭窄患者可以进行更全面、高效的斑块危险程度分析与诊断。本研究纳入比较的Cycle GAN与pix2pix方法都基于GAN拓展而来，其中前者在无配对生成任务中超越了多种传统方法，被广泛应用于医学图像生成领域，前者由于不需要一对一完全配对的训练数据，在解决医学任务中对影像数据的准备要求更低，在模型泛化能力中更加出色，也更适合解决真实临床环境中的问题^{[20, 22, 28]}。

3.1 不同生成模型生成的vce-T1WI图像质量的优劣

       通过本研究的实验表明，以经过3D刚性配准后的平扫T1WI图像与注射GBCA增强的CE-T1WI图像作为训练数据集，在生成的图像质量方面，基于无配对的Cycle GAN方法表现出了更加优越且稳定的图像重建能力，在SSIM指标中领先pix2pix模型，在PSNR指标中相对持平。在视觉质量评估，Cycle GAN中取得了更加稳定且质量更高的生成结果，颈动脉管壁结构、管腔和血管外界限显示更为清晰且具有更少的伪影。考虑到Cycle GAN具有额外的双向循环生成模块，要求模型在充分考虑原始平扫T1WI序列中血管走势与形态结构的前提下进行虚拟图像的生成，限制了生成结果中破损、扭曲结构的产生，并可以充分学习同类图像中的信号分布特点；对比而言，pix2pix直接使用生成的类GAN网络结构在对生成结果的限制上仅使用单一的判别器，在细微的血管壁与管腔边缘的学习能力较弱，且无法避免由于前期配准带来的错层问题的影像。

3.2 不同生成模型在vce-T1WI图像检出脂质坏死核心的优劣

       在脂质坏死核心检出诊断方面，pix2pix在特异度上更有优势，但准确率与敏感度都明显弱于Cycle GAN，一方面，这可能是因为pix2pix中的马尔可夫判别网络相对生成器更强势^[24]。另一方面，特别是考虑到在临床环境中，同一患者的不同序列在扫描采集时按序进行，时间差异存在的同时潜在地导致患者在扫描时无法精确地保持相同状态，呼吸、心跳和血管搏动等多种因素都对多序列研究产生了挑战^{[29, 30, 31]}，例如在颈动脉分叉或C1段等复杂解剖结构处，不同序列间由客观原因导致的细微错层等样本间不匹配的问题都会导致模型对真实CE-T1WI图像的学习能力降低^[28]。参考生成结果不佳的图像可以看出，该模型对图像中局部区域的对比度具有更加敏感，特别是在颈动脉血管壁中复杂成分的区域更倾向于高信号的表达，与脂质坏死核心在真实对比增强中的表达相悖，从而影响了临床医师对斑块成分的判断结果。

3.3 局限与展望

       本研究仍存在一定的局限性。首先，本研究基于回顾性的单中心数据进行试验研究，存在地区、人群和扫描机型方面的局限，未来应当在多中心研究方面进行拓展，以降低机型、序列参数、人群等客观条件对生成结果的影响；其次，本研究仅使用了黑血平扫序列T1WI作为生成任务的源图像，并未充分利用T2WI、TOF等在颈动脉斑块诊断问题中同样重要的序列图像中潜在的丰富信息，未来应当考虑联合多序列影像构建更鲁棒的生成网络，提高vce-T1WI图像中对复杂斑块图像的表征能力；最后，本研究应用的模型均有待进一步在网络结构与参数方面进行优化，以提升vce-T1WI图像在图像质量和病灶准确度两方面的结果。

4 结论

       综上所示，本研究基于深度学习方法从颈动脉平扫MRI的T1WI序列图像生成的vce-T1WI图像质量基本符合放射科医师对颈动脉斑块中脂质成分的诊断需求，并且使用Cycle GAN的模型生成了97.5%的高质量图像，且在脂质坏死核心检出中的准确度超过80%，可以在患者对GBCA过敏或其他不适用的情况下辅助临床医师对斑块危险程度进行分析。未来可以进一步探索颅内或复杂成分斑块分析等复杂任务中模型的生成能力。