0 引言

       肝癌是全球发病率、病死率较高的恶性肿瘤之一^{[1, 2, 3]}，其并发症多，预后较差。肝脏病变的主要检查方法包括超声、计算机断层扫描、MRI^[4]，其中MRI对于肝癌的诊断、鉴别诊断及疗效评估方面均具有良好的价值^{[5, 6, 7]}。

       多参数MRI（multi-parameter MRI, mpMRI）已被广泛应用于肝脏疾病的评估^{[8, 9, 10]}，临床常用的扫描序列^{[11, 12]}包括T1WI、T2WI、扩散加权成像（diffusion-weighted imaging, DWI）、表观扩散系数图（apparent diffusion coefficient map, ADC）和动态对比增强（dynamic contrast-enhanced, DCE）图像等。

       近年来，基于肝脏MRI的人工智能（artificial intelligence, AI）研究取得了显著进展。既往研究证实，AI诊断模型在肝脏疾病的病灶检出^{[13, 14]}、病变分类^{[15, 16]}及肿瘤侵袭性评估^{[17, 18, 19]}等方面展现出较好的临床应用价值。但是基于AI的医学影像模型的准确性受到图像识别效能及图像质量的影响^[20]，筛选出所需的图像是进行医学影像AI研究的前提之一。在真实临床工作场景中，由于不同厂家的MR序列命名规则的异质性^{[21, 22, 23]}，既往通过人工挑选图像费时费力。因此，目前亟需构建医学影像图像分类模型以实现MRI图像的高效自动筛选。然而，现有研究^{[24, 25, 26]}多数聚焦于腹部多种序列的分类，且缺少对于模型的外部验证，本研究根据临床诊断思路^{[11, 12]}，提出序列甄别的9个目标类别，同时使用公开数据集进行外部验证，以期实现AI在肝脏影像研究流程中全自动化并且在临床实践中自动挑选出诊断所需的序列、提高工作效率。

1 材料与方法

1.1 用例定义

       根据我院AI研究流程，首先定义研发肝脏mpMRI序列分类AI模型用例，包括：模型ID、临床任务、临床应用场景、调用流程、输入输出数据等。模型的输出结果定义为9个类别：T1WI同相位（T1WI in-phase, T1WI_In）、T1WI反相位（T1WI opposed-phase, T2WI_Opp）、T2WI脂肪抑制序列（T2WI with fat suppression, T2WI_Fs）、高b值DWI（high b value DWI, DWI_High）、ADC以及DCE的增强前（pre enhanced, DCE_Pre）、动脉期（arterial phase, DCE_AP）、门脉期（portal venous phase, DCE_PVP）、延迟期（delayed phase, DCE_DP）图像。肝脏mpMRI序列名称和定义见表1和图1。

点击查看大图

图1  肝脏mpMRI图像序列类别示例。肝囊肿患者，男，60岁，肝左叶占位。1A：T1WI同相位；1B：T1WI反相位；1C：T2WI脂肪抑制序列；1D：高b值扩散加权成像；1E：表观扩散系数图；1F：DCE 增强前；1G：DCE动脉期；1H：DCE门脉期；1I：DCE延迟期。mpMRI：多参数磁共振成像；DCE：动态对比增强扫描。
Fig. 1  Examples of liver mpMRI image sequence categories. Hepatic cyst, male, 60 years old, lesions in the left lobe of liver. 1A: T1WI in-phase; 1B: T1WI opposed-phase; 1C: T2WI with fat suppression; 1D: High b-value diffusion-weighted imaging; 1E: Apparent diffusion coefficient map; 1F: DCE-pre enhanced; 1G: DCE- arterial phase; 1H: DCE-portal venous phase; 1I: DCE-delayed phase. mpMRI: multi-parameter magnetic resonance imaging; DCE: dynamic contrast-enhanced.

点击查看表格

表1  肝脏mpMRI的序列名称和定义
Tab. 1  Sequence names and definitions of liver mpMRI

1.2 建立研究队列

       本回顾性研究遵守《赫尔辛基宣言》，经北京大学第一医院伦理委员会批准，免除受试者知情同意，批件号：2024研502-001。本研究回顾性收集北京大学第一医院影像归档和通信系统（picture archiving and communication system, PACS）中2022年11月16日至2023年6月29日的MRI图像作为模型构建数据集，纳入标准：（1）检查项目为上腹部或腹部MRI；（2）轴位图像；（3）扫及全部肝脏。排除标准：（1）患者年龄小于18岁；（2）图像非本研究涉及的序列类型，如肝脏特异性对比增强等；（3）图像从PACS到试验平台传输失败。最终纳入患者1676例，共1744次检查。使用公开数据集癌症基因组图谱-肝细胞癌（The Cancer Genome Atlas Liver Hepatocellular Carcinoma, TCGA-LIHC）数据集^{[27, 28]}作为本研究肝脏mpMRI序列分类模型的外部验证数据集，纳入标准：（1）MRI图像；（2）扫及全部肝脏。排除标准：（1）图像非本研究涉及的序列类别，如肝脏特异性对比增强等；（2）图像伪影过重，医师难以从图像特征区分序列类别。最终纳入患者38例，共59次检查。

1.3 图像采集

       模型构建数据集中所有检查均来自北京大学第一医院医学影像科5台3.0 T MR设备（设备A：Achieva TX, Philips Healthcare, Best, the Netherlands；设备B：Discovery HD 750, Ge Healthcare, Milwaukee, WI, USA；设备C：Ingenia, Philips Healthcare, Best, The Netherlands；设备D：Magnetom Prisma, Siemens Healthcare, Erlangen, Germany；设备E：uMR790, UIH, Shanghai, China）或1台1.5 T MR设备（设备 F：Magnetom Aera, Siemens Healthcare, Erlangen, Germany）。使用相控阵线圈采集信号。肝脏mpMRI扫描方案包括T1WI、T2WI_Fs、DWI、ADC和DCE。其中DCE图像扫描方案为平扫后通过高压注射器（Medrad MRI Spectris Solaris）静脉团注莫迪司（Multihance; Bracco Imaging, Milan, Italy），剂量为0.1 mmol/kg，注射流率为1.5~2.0 mL/s，分别于注射对比剂后25~30 s、50~55 s、180 s扫描获得动脉期、门脉期及延迟期图像。

       外部验证集图像来自多台1.5 T MR机器及3.0 T MR设备。从图像提取医学数字成像和通信标准（digital imaging and communications in medicine, DICOM）信息获得相应扫描参数。模型构建数据集、外部验证集图像具体扫描参数见表2。

点击查看表格

表2  图像扫描信息
Tab. 2  Image scanning information

1.4 参考标准

       根据表1的定义，由1名工作年限为2年的影像科住院医师将本研究收集的肝脏mpMRI图像分为T1WI_In、T1WI_Opp、T2WI_Fs、DWI_High、ADC以及DCE_Pre、DCE_AP、DCE_PVP、DCE_DP共9个类别。之后由1名高年资影像专家（工作年限为32年，主任医师）对分类结果进行检查核对，当分类结果不一致时，以高年资影像专家分类结果为准。

1.5 数据处理和模型训练

       本研究所有肝脏MRI图像的原始DICOM格式转换为NIFTI格式。模型训练时硬件使用GPU NVIDIA Tesla P100 16GB，软件包括Python3.6、Pytorch0.4.1、Numpy、Opencv和Simple-ITK等。

       训练序列分类模型时，将序列数据按照8∶1∶1的比例随机分为训练集[序列数（number of series, ns）=20 207]、调优集（ns=2664）和测试集（ns=2494）。图像重采样的大小为（z=128，y=128，x=192），图像扩增方法包括：平滑去噪、旋转、随机噪声、透视变换、倾斜、平移图像。深度学习模型每次输入的数据量（batchsize）设定为16，模型迭代次数为400个周期（epoch），学习率（learning rate）设定为0.000 01，深度学习的模型为3D-ResNet，见图2，模型深度（model depth）为10，使用SGD作为优化器。

点击查看大图

图2  3D-ResNet架构。DWI：扩散加权成像；ADC：表观扩散系数图；DCE：动态对比增强扫描。
Fig. 2  Structure of 3D-ResNet model. DWI: diffusion-weighted imaging; ADC: apparent diffusion coefficient map; DCE: dynamic contrast-enhanced.

1.6 模型评价

       对单个序列评价时，以目标分类为正样本、其他分类为负样本计算准确率、敏感度、特异度和F1分数（F1 score）。采用混淆矩阵评估多分类模型的分类结果。

       计算平均准确率（average accuracy），宏F1（macro-F1）和微F1（micro-F1）评价整体分类效能。其中平均准确率是指在混淆矩阵中先计算出每一个分类类别的准确率，然后计算其平均值。宏F1是指在混淆矩阵中先计算出每一个分类类别的F1分数，然后计算其平均值。微F1是指在混淆矩阵中分别计算单个分类类别的真阳性、假阳性、真阴性、假阴性实例数，然后再计算F1分数。

1.7 统计学分析

       使用R4.2.2软件进行统计分析。符合正态分布的计量资料以x¯±s表示，非正态分布的计量资料以M（Q1，Q3）表示；计数资料以例数或百分比表示。使用Kolmogorov-Smirnov test进行正态性检验。组间比较采用Kruskal-Wallis检验，以P<0.05为差异具有统计学意义。

2 结果

2.1 研究数据特征

       共1676例患者的1744次肝脏mpMRI检查纳入模型构建数据集。所有DCE序列按照时间划分为多个独立图像序列，最终共25 365个序列纳入。模型构建数据集中患者的年龄为60（48，68）岁，男877（50.3%）人。共38例患者的59次肝脏mpMRI检查纳入外部验证集，共332个序列。外部验证集患者的年龄为65（54，70）岁，男25（65.8%）人。入组流程图见图3。模型构建数据集的人口学信息见表3。

点击查看大图

图3  研究对象入组流程。n：患者数；N：检查数；ns：序列数；TCGA-LIHC：癌症基因组图谱-肝细胞癌。
Fig. 3  Process flowchart for enrollment of study population. n: number of patients; N: number of examinations; ns: number of sequences; TCGA-LIHC: The Cancer Genome Atlas Liver Hepatocellular Carcinoma.

点击查看表格

表3  患者临床信息
Tab. 3  Clinical information of patients.

2.2 肝脏mpMRI序列分类模型在模型构建数据集的预测结果

       在总体分类评价水平上，模型构建数据集平均准确率、宏F1、微F1分别为97.2%~99.0%、0.949~0.982、0.960~0.985。训练集、调优集及测试集中多分类模型的混淆矩阵显示了预测类别与真实类别的比较，具体见图4A~4C。模型对模型构建数据集的总体评估效能见表4。在单序列分类水平上，每个序列类别的准确率为89.6%~100.0%，敏感度为81.0%~100.0%，特异度为98.2%~100.0%，F1分数为0.797~1.000。模型对训练集、调优集及测试集单个序列类别分类的评估效能如表5, 表6, 表7所示。

点击查看大图

图4  序列分类模型的预测结果和医师分类结果。4A：训练集；4B：验证集；4C：测试集；4D：外部验证集。Predicted：模型分类结果；Ground Truth：医师分类结果；T1WI_In：T1WI同相位序列；T1WI_Opp：T1WI反相位序列；T2WI Fs：T2WI脂肪抑制序列；DWI_High：高b值DWI；ADC：表观扩散系数图；DCE_Pre：DCE增强前；DCE_AP：DCE动脉期；DCE_PVP：DCE门脉期；DCE_DP：DCE延迟期；DWI：扩散加权成像；DCE：动态对比增强扫描。
Fig. 4  Prediction results of sequence classification model and physician classification results. 4A: Training set; 4B: Validation set; 4C: Test set; 4D: External validation set. Predicted: classification results of model; Ground Truth: classification results of physicians; T1WI_In: T1WI in-phase; T1WI_Opp: T1WI opposed-phase; T2WI_Fs: T2WI with fat suppression; DWI_High: high b-value DWI; ADC: apparent diffusion coefficient map; DCE_Pre: pre dynamic contrast-enhanced; DCE_AP: arterial phase of dynamic contrast-enhanced; DCE_PVP: portal venous phase of dynamic contrast-enhanced; DCE_DP: delayed phase of dynamic contrast-enhanced; DWI: diffusion-weighted imaging; DCE: dynamic contrast-enhanced.

点击查看表格

表4  肝脏mpMRI序列分类模型的总体评估效能
Tab. 4  Overall performance evaluation of liver mpMRI sequence classification model

点击查看表格

表5  肝脏mpMRI序列分类模型在训练集的评估效能
Tab. 5  Performance evaluation of liver mpMRI sequence classification model in training set

点击查看表格

表6  肝脏mpMRI序列分类模型在调优集的评估效能
Tab. 6  Performance evaluation of liver mpMRI sequence classification model in validation set

点击查看表格

表7  肝脏mpMRI序列分类模型在测试集的评估效能
Tab. 7  Performance evaluation of liver mpMRI sequence classification model in test set

2.3 肝脏mpMRI序列分类模型在外部验证集的预测结果

       在总体分类评价水平上，外部验证集平均准确率、宏F1、微F1分别为91.6%、0.819、0.816。外部验证集中多分类模型的混淆矩阵见图4D。在单序列分类水平上，每个序列类别的准确率为74.1%~99.4%，敏感度为55.4%~100.0%，特异度为92.8%~100.0%、F1分数为0.579~0.968。经统计，模型对单个序列判断耗时约0.95 s。模型对外部验证集单个序列类别分类的评估效能如表8所示。

点击查看表格

表8  肝脏mpMRI序列分类模型在外部验证集的评估效能
Tab. 8  Performance evaluation of liver mpMRI sequence classification model in external validation set

3 讨论

       本研究训练并验证基于深度学习（3D-ResNet）的肝脏mpMRI自动序列分类模型，结果证实有较好的分类效能。本研究创新性地从临床诊断思路出发，提出肝脏mpMRI序列分类的9个目标类别，并且利用公开数据集进行外部验证，不仅为AI在肝脏影像研究流程中实现全自动化提供帮助，也可提高肝脏疾病诊疗的临床工作效率。

3.1 肝脏mpMRI图像序列分类模型

       肝脏mpMRI检查序列多样，不同序列对肝脏疾病的诊断贡献不同，因此无论是医生诊断还是AI诊断均要求首先对序列做出正确甄别。本研究收集了我院不同MR扫描设备的连续数据，数据的丰富性、代表性与实际临床工作一致。结果表明，该肝脏mpMRI分类模型可用于不同扫描设备的不同协议的图像，在我院全部设备获取的图像均可较准确地实现分类，单个序列的分类准确率均达到89.0%以上。在外部验证集中，该模型有较好的分类性能，平均准确率达到91.6%，除DCE_PVP外，单个序列分类准确率均高于84.0%。

       既往关于颅脑^[29]、乳腺^[30]、前列腺^{[31, 32]}MRI图像序列分类的研究已证明了深度学习在图像性质分类任务中的类似潜力。针对肝脏mpMRI序列分类，既往有研究^[24]使用3DPP框架（3D Pyramid Pooling Network）的深度学习模型将肝脏MRI图像分类为30个类别，除本文所涉及的序列，还包括定位像、冠状位及磁共振胰胆管成像（magnetic resonance cholangiopancreatography, MRCP）等序列，其模型准确率为83%，低于本研究结果，其原因可能是该研究分类类别较多，其中涉及到采用放射医师认为对临床实践相对不太重要的序列进行分类。另外在对不针对特殊器官的腹部MRI序列分类方面，KIM等^[25]采用DenseNet-121卷积神经网络实现对全身MRI序列分类任务，结果显示对腹部MRI的分类准确率较高，该研究主要将序列分为T2WI、T2WI_Fs、DWI、ADC、DCE序列等8个序列，其结果与本研究类似，准确率达到97.3%，但未对临床常用的T1WI进行分类，该研究使用杜克肝脏数据集（duke liver dataset, DLDS）作为外部验证，模型预测平均准确率为87.2%，与本研究91.6%的结果相仿，不过还需注意到以下方面：第一，本研究外部验证集数据量相对该研究较少，第二，本研究外部验证集多数数据来源于1.5 T MR设备，与模型构建数据集数据存在较大差异。MILLER等^[26]采用由基于图像特征的深度学习模型、基于DICOM标签的机器学习模型及前两者的混合模型分别将腹部MRI分类为19个序列，其中混合模型分类效果最优，在测试集的分类准确率为93%，平均准确率为86%，略低于本研究，且该研究样本量相对较小，共纳入2165个序列，同时该研究未对模型进行外部验证。本研究从肝脏AI模型实现临床应用的角度出发，设计了序列分类的9个类别，数据量相比既往研究较大。实际应用中可联合传统图像处理工具，用以区分矢冠轴方位。此外，本研究使用TCGA-LIHC数据集进行外部验证，证明了本研究模型具备一定的泛化能力。

3.2 影响肝脏mpMRI图像序列分类模型分类效能的因素

       对于肝脏mpMRI序列分类模型分类预测错误的情况进行分析，本研究发现当图像特征不典型或图像质量不佳可能导致图像分类预测错误。与既往研究结果^{[24, 25, 26]}相似，相较于其他序列，DCE图像在本研究肝脏mpMRI序列分类模型的分类效能欠佳，尤其是在DCE_PVP和DCE_DP两个期相，在测试集中其准确率分别为89.6%和93.0%，其主要原因可能是图像特征不典型。DCE是一个连续扫描的过程^[33]，专家人工分类时根据关键结构（肝动脉、门静脉、肝静脉、肝实质）结合肾脏、脾脏的图像特征进行判断，将门静脉、肝静脉可见强化，肾脏皮髓质界限不清晰，脾脏均匀强化无“花斑样”定义为DCE_PVP，将腹主动脉无明显强化，肾实质均匀强化呈高信号，肾盂有少量对比剂，输尿管可有对比剂，肝脉管结构模糊定义为DCE_DP，但在实际情况中，存在介于DCE_PVP和DCE_DP扫描时间段的图像，即肾实质接近均匀强化，此时深度学习模型可能会将DCE_PVP、DCE_DP错误分类。除此之外，肝脏存在较大的病变也可能影响到模型对肝脏MRI序列的判断，可能的解释是病变造成门静脉、肝静脉等肝脏血管发生变形，进而影响到模型对于DCE期相的分类效能。在本研究外部验证集中，模型的分类效能降低还可能是由于模型对于低场强MR图像分类效果欠佳，在本研究中模型构建数据集中图像多数来源于3.0 T MR设备，而公开数据集中的图像多来源于1.5 T MR设备，低场强设备可能导致图像信噪比较低^[34]，进而导致模型分类性能下降。上述情况在临床实际中是可见的，我们认为有必要在数据集中保留这些挑战，以便它们能够模拟临床实践的真实样本。从本研究最终结果来看，肝脏mpMRI序列分类模型在多数图像均可实现正确分类，在外部验证集中，除DCE_PVP准确率为74.1%以外，其余各序列准确率均高于84.0%，可以在一定程度上满足临床工作的要求。

3.3 局限性与未来研究方向

       本研究有以下局限性，第一，本研究为回顾性研究，外部验证集数据样本量小，这是由于受到公开数据集数据量较小的限制，之后应进一步进行前瞻性、多中心、大样本研究以提升、检验模型的效能；第二，本研究从不同MRI扫描设备收集的图像数量不均衡，这种偏差是由日常工作习惯造成的，之后需进一步添加来自多场强、多扫描参数设备的数据，以进一步提升模型的泛化性能和实用性；第三，本研究缺少对于定位像、不同扫描体位、肝脏特异性对比增强图像的分类，但本研究主要目的在于实现临床常用的肝脏mpMRI序列分类，未来研究可加入相关序列类别以提升模型的临床实用性；第四，本研究未与其他架构的深度学习模型、基于图像DICOM信息的机器学习模型及医师分类结果进行比较，未来可进一步训练其他模型或与医师手工分类进行比较，除此之外，还可结合图像DICOM信息及图像特征训练混合模型，以提升模型分类效能。

4 结论

       基于深度学习对肝脏mpMRI序列进行分类具有较高的准确率，可实现对肝脏mpMRI图像的自动序列分类。