0 引言

       乳腺癌目前已成为全球女性发病率、病死率较高的恶性肿瘤之一^{[1, 2]}，其并发症多、预后差，因此对乳腺癌患者早期诊断至关重要。乳腺病变的主要检查方法有超声、乳腺X线摄影和MRI检查^[3]，其中MRI检查对乳腺癌的诊断、鉴别诊断和新辅助化疗疗效评估有良好的价值。乳腺MRI中的主要序列可反映肿瘤内水分子的布朗运动、血管生成情况及血流动力学变化等，其对乳腺良恶性病变的鉴别有重要作用。

       近年来，人工智能（artificial intelligence, AI）在医学影像方面的研究非常广泛^{[4, 5, 6]}，是目前辅助乳腺癌诊断^{[7, 8, 9]}、疗效评估^{[10, 11, 12]}和预测预后^{[13, 14, 15]}等研究的主要手段。众所周知，应用AI训练医学影像模型的准确性受图像识别效能和质控的影响^{[16, 17]}，其中筛选所需图像是基于AI的医学影像研究首先需要完成的工作。而真实临床工作场景的影像图像因扫描机型和方案的不同，缺乏规范统一的命名和准确的扫描期相，目前通过人工挑选图像的方法费时费力。因此，目前亟须构建精准的医学影像图像自动分类模型，高效地筛选出满足临床研究需求的影像图像。

       由于基于深度神经网络的影像图像分类模型的性能与网络的深度相关，深度神经网络层数的不断提升会导致梯度消失和网络性能退化的问题^[18]，为了解决这一问题，WU等^[19]提出了残差网络（residual networks, ResNet）。ResNet是在传统卷积神经网络中结合了残差学习，使得在网络深度增加的同时，精确率也不断提升。ResNet模型通过多个小卷积核来进行特征提取，目前在前列腺MRI序列的分类^[20]、腹盆部CT或MRI扫描范围和增强期相的分类^{[21, 22]}方面取得了很好的效果，但目前尚无乳腺MRI图像自动分类方面的研究。本研究目的是基于ResNet开发一种乳腺MRI图像自动分类模型，并通过验证探索模型自动筛选出乳腺癌研究所需图像的可行性。

1 材料与方法

1.1 病例资料

       本回顾性研究遵守《赫尔辛基宣言》，经我院伦理委员会批准，免除受试者知情同意，批件号：2019（170）。收集我院影像存储及传输系统（picture archiving and communication system, PACS）中乳腺MRI检查的影像资料，纳入标准：（1）检查项目为乳腺MRI增强检查；（2）乳腺MRI图像的序列完整。排除标准：图像不清晰，存在伪影。训练序列分类模型使用2010年1月27日至2020年11月16日乳腺MRI图像质量符合纳排标准的合格病例862例（数据集I），数据集I中T2WI、脂肪抑制（fat suppression, FS）T2WI、表观扩散系数（apparent diffusion coefficient, ADC）、动态对比增强（dynamic contrast-enhanced, DCE）、扩散加权成像（diffusion weighted imaging, DWI）序列图像分别为750、642、796、862、862幅。训练DCE期相分类模型使用2013年2月25日至2020年4月29日乳腺MRI图像质量符合纳入与排除标准的合格病例377例（数据集Ⅱ），数据集Ⅱ中T2WI、FS T2WI、ADC、DCE、DWI序列分别为303、247、287、377、377个。使用2021年10月27日至2021年12月13日乳腺MRI图像质量符合纳入与排除标准的合格病例95例（数据集Ⅲ）对序列和DCE期相的深度学习分类模型进行独立验证和DWI参数进行分类，数据集Ⅲ中T2WI、FS T2WI、ADC、DCE、DWI序列分别为139、47、78、95、95个。

1.2 成像方法

       我院乳腺MRI检查于1.5 T MR机（Signa Twinspeed; GE Medical Systems, USA）及3.0 T MR机（GE Healthcare, USA; Discovery MR750）进行，均应用8通道的相控阵双侧乳腺线圈。患者俯卧位于检查床，使双侧乳腺自然下垂于乳腺线圈内，观察线圈周围乳腺是否有皮肤褶皱以免出现图像伪影。乳腺MRI检查序列包括T2WI、FS T2WI、DWI、DCE。

       DCE序列为动态增强横轴位FS 3D T1WI容积成像。对比剂Gd-DTPA（Multihance; Bracco Imaging, Milan, Italy）通过拜耳高压注射器（Spectris Solaris EP）团注，注射速度3 mL/s，总对比剂的剂量0.1 mmol/kg，随后追加20 mL生理盐水，注射速度2 mL/s。注射对比剂前采集1个期相，注射对比剂90 s后开始连续采集8个期相，共计9个期相。1.5 T MR机参数：TR 6 ms，TE 2.6 ms，FOV 320 mm×320 mm，矩阵384×288，层厚 2.4 mm，层间距-1.2 mm。单个期相采集时间为58 s，单个期相扫描层数为124层。3.0 T MR机参数：TR 3.8 ms，TE 1.7 ms，FOV 360 mm×360 mm，矩阵320×320，层厚1.6 mm，层间距0 mm。单个期相采集时间为58 s，单个期相扫描层数为116层。

       DWI均采用单次激发平面回波成像序列（echo planar imaging, EPI），1.5 T MR机参数：b＝0、1 000 s/mm²，TR 5 000 ms，TE 59 ms，层厚4.0 mm，层间距1.0 mm，扫描时间72 s。3.0 T MR机参数：b＝0、1 000 s/mm²，TR 9 000 ms，TE 53 ms，层厚4.0 mm，层间距0.5 mm，扫描时间70 s。

       ADC是在GE MR工作站AW 4.6上通过处理DWI数据形成，通过公式 ADC=[In(S低/S高)]/(b高-b低)计算得到，公式中S高、S低分别指用高、低b值成像所测的信号值，In为自然对数。

       T2WI通过长TR和长TE的扫描序列获得。1.5 T MR机参数：TR 2 000 ms，TE 85 ms，层厚4.0 mm，层间距1.0 mm，扫描时间50 s。3.0 T MR机参数：TR 4 005 ms，TE 71 ms，层厚3.0 mm，层间距1.0 mm，扫描时间45 s。

       FS T2WI使用1.5 T MR机和3.0 T MR机成像，1.5 T MR机参数：TR 5 000 ms，TE 38 ms，层厚4.0 mm，层间距1.0 mm，翻转时间320 ms，扫描时间50 s。3.0 T MR机参数：TR 2 130 ms，TE 67 ms，层厚4.0 mm，层间距1.0 mm，翻转时间300 ms，扫描时间45 s。

1.3 用例定义

       使用本研究中心AI训练管理方法，首先定义研发乳腺MRI中序列、DWI参数、DCE期相分类的AI模型用例（Use Case），内容包括：AI模型ID、临床问题、应用场景、在实际工作中调用模型的流程、模型传递数据结构等。模型的目标对象定义为：乳腺MRI序列、DWI参数、DCE期相。MRI序列输出结果包括：“T2WI”或“FS T2WI”或“ADC”；DCE期相模型的输出结果为：“无对比剂期（no-contrast, NoC）”或“对比剂增强早期（contrast enhanced early, CEearly）”或“对比剂增强期（contrast enhanced, CE）”；DWI参数模型输出结果：“DWI-high”或“DWI-low”。

1.4 数据处理

       本研究所有乳腺MRI图像的原始DICOM格式转换为NIFTI格式。由两位工作年限分别为6年和10年的乳腺影像研究方向的影像科主治医师（A和B），根据图像的特征训练三种不同模型，研究队列分组，详情见图1。对于不同序列的分类模型分为三类：T2WI、FS T2WI、ADC（图2）。对于DCE期相分类模型，依据心腔充盈情况将9个期相分为三类（图3）：NoC，心腔内无对比剂充盈；CEearly，心腔内对比剂充盈小于心腔1/2；CE，心腔内对比剂充盈大于心腔1/2。对于DWI分类模型，从DICOM图像中的Meta Data中获取DWI的b值，不同机器的b值根据不同的Tag和规则进行获取，然后按照b值排序分组（图4），b值最高者为DWI-high，b值最低者为DWI-low。

点击查看大图

图1  研究数据的分组情况。DCE：动态对比增强；DWI：扩散加权成像。
Fig. 1  The data grouping situation of the study. DCE: dynamic contrast-enhanced; DWI: diffusion weighted imaging.

点击查看大图

图4  女，48岁，左乳浸润性乳腺癌。4A~4B：左乳肿块在DWI-high（b值=1 000 s/mm²）、DWI-low（b值=0 s/mm²）序列中分别呈高信号、等信号。DWI：扩散加权成像。
Fig. 4  Female, 48 years old, with invasive breast cancer. 4A-4B: The left breast mass in DWI-high (b=1 000 s/mm²), DWI-low (b=0 s/mm²) sequences showed high signal, equal signal, respectively. DWI: diffusion weighted imaging.

1.5 模型训练

       深度学习模型选择的是3D-ResNet（表1），硬件为GPU NVIDIA Tesla P100 16GM，软件包括Python3.6、Pytorch0.4.1、Numpy、Opencv和Simple-ITK^[23]，均用于图像处理。图像预处理使用直方图均衡化的程序，训练优化器使用的是Adam。序列分类模型和DCE期相分类模型的训练参数见表2。训练序列分类模型时，将研究数据（n=862）按6∶2∶2的比例随机分为训练集（n=547）、调优集（n=155）、测试集（n=160）（图1）。训练DCE期相分类模型时，将研究数据（n=377）按6∶2∶2的比例随机分为训练集（n=195）、调优集（n=90）、测试集（n=92）（图1）。

点击查看大图

图2  女，48岁，左乳浸润性乳腺癌。2A~2C：左乳肿块在T2WI、脂肪抑制T2WI、ADC序列中分别呈等信号、稍高信号、低信号。ADC：表观扩散系数。
Fig. 2  Female, 48 years old, with invasive breast cancer. 2A-2C: The left breast mass in T2WI, fat suppression T2WI, ADC sequences show equal signal, slightly high signal, and low signal, respectively. ADC: apparent diffusion coefficient.

点击查看大图

图3  女，41岁，双侧乳腺增生。3A：DCE第1期相，心腔内无对比剂充盈分为NoC类；3B：DCE第2期相，心腔内对比剂充盈小于心腔1/2分为CEearly类；3C：DCE第3期相，心腔内对比剂充盈大于心腔1/2分为CE类。DCE：动态对比增强；NoC：无对比剂期；CEearly：对比剂增强早期；CE：对比剂增强期。
Fig. 3  Female, 41 years old, with bilateral breast hyperplasia. 3A: Phase 1 of DCE, intracardiac non-contrast media filling is classified as NoC. 3B: Phase 2 of DCE, intracardiac contrast media filling less than 1/2 of the cardiac cavity is classified as CEearly. 3C: Phase 3 of DCE, intracardiac contrast media filling greater than 1/2 of the cardiac cavity is classified as CE. DCE: dynamic contrast-enhanced; NoC: no-contrast; CEearly: contrast enhanced early; CE: contrast enhanced.

点击查看表格

表1  3D-ResNet的结构参数
Tab. 1  Structural parameters of 3D-ResNet

点击查看表格

表2  两种深度学习模型的训练参数
Tab. 2  Training parameters of the two deep learning models

1.6 模型评价

       数据集Ⅲ（n=95）的乳腺MRI图像用于序列模型和DCE期相模型的独立验证和程序对DWI参数分类。深度学习模型和程序算法输出的分类作为预测结果，两位影像科医师依据MR序列、增强特点、参数共同进行分类，若分类结果未达成一致，则由第三位高年资乳腺影像专家（工作年限20年，主任医师）协商决定，并将最终结果作为金标准。

1.7 统计学分析

       采用混淆矩阵（confusion matrix）方法来评估深度学习模型和程序算法的分类结果。通过统计学软件SPSS 27.0，采用卡方检验对模型多分类的准确度进行对比，P<0.05为差异有统计学意义。

2 结果

2.1 序列分类模型的预测结果

       在数据集Ⅲ中进行序列分类模型的独立验证，以不同序列为单位，模型预测结果见表3。序列分类的总体准确率为92.0%（243/264），在ADC、T2WI、FS T2WI中分类的评估效能见表4。模型对ADC与T2WI分类的准确率差异具有统计学意义（P<0.05），ADC与FS T2WI分类的准确率差异不具有统计学意义（P＞0.05），T2WI与FS T2WI分类的准确率差异具有统计学意义（P<0.05）。

点击查看表格

表3  序列分类模型的预测结果和医师分类结果
Tab. 3  Prediction results of sequence classification model and physician classification result

点击查看表格

表4  序列分类模型的评估效能
Tab. 4  Performance evaluation of sequence classification model

2.2 DCE期相分类模型的预测结果

       在数据集Ⅲ中进行DCE期相分类模型的独立验证，以DCE期相为单位，医师对DCE期相分类详情见表5，模型预测结果详情如表6所示。DCE期相三分类的整体准确率为90.4%（773/855），模型在NoC、CEearly、CE中分类的评估效能见表7。模型对NoC与CEearly分类的准确率差异具有统计学意义（P<0.05），NoC与CE分类的准确率差异不具有统计学意义（P＞0.05），CEearly与CE分类的准确率差异具有统计学意义（P<0.05）。

点击查看表格

表5  医师对DCE期相分类详情
Tab. 5  Physician's classification details of DCE phase

点击查看表格

表6  DCE期相分类模型的预测结果和医师分类结果
Tab. 6  Prediction result of DCE phase classification model and physician classification result

点击查看表格

表7  DCE期相分类模型的评估效能
Tab. 7  Performance evaluation of DCE phase classification model

2.3 DWI参数算法分类结果

       在数据集Ⅲ中进行DWI参数计算和分类，分为DWI-high和DWI-low各95例，程序自动分类结果与医师分类结果完全一致，准确率达100.0%（95/95），精确度达100.0%（95/95），敏感度达100.0%（95/95），特异度达100.0%（95/95）。

3 讨论

       本研究首次提出乳腺MRI图像的自动分类问题，训练并验证基于深度学习（3D-ResNet）的乳腺MRI序列、DCE期相分类模型，以及使用程序对DWI参数进行二分类，不仅为乳腺癌诊疗相关的AI研究提高效率，也为乳腺MRI图像的质量控制和AI在乳腺影像研究流程上实现自动化提供帮助。

3.1 序列分类模型

       在临床工作中评估乳腺肿瘤时，T2WI在腺体周围脂肪高信号的衬托下乳腺病变显示不清，而FS T2WI在压脂后可清楚显示病变、呈稍高信号，另外在ADC中肿瘤信号具有特征性，常呈低信号的表现^[24]。本研究中序列分类模型（T2WI、FS T2WI、ADC）的总体准确率可以接受，在各自分类中FS T2WI、ADC与医师分类结果完全一致，而对T2WI分类存在少部分错误数据，多错分为FS T2WI，究其原因，可能是二者在乳腺结构的形态方面更为接近。

3.2 DCE期相分类模型

       在图像分类研究中，对DCE期相进行三分类的主要原因是为了选出乳腺肿瘤强化最明显期相，多为DCE中的第2期相或第3期相^{[25, 26, 27, 28]}。

       根据乳腺肿瘤病变检出的需求，DCE期相按心腔内对比剂填充情况主要分为：NoC、CEearly、CE，这种分类方式是为了选出乳腺肿瘤强化最明显期相（CEearly中最早期相），此时乳腺肿瘤在乳腺背景实质中的对比最明显^{[21, 22]}。DCE期相分类模型的整体准确率高，其中对NoC、CE分类的准确率达90%以上，而对CEearly分类的预测结果欠佳，多错分为CE类，分析原因可能是由于心脏跳动造成的运动伪影对邻近期相分类造成了干扰，另外心腔内1/2被对比剂充盈的界限难以判断。

3.3 DWI参数算法分类

       在DWI分类研究中，对DWI参数二分类的主要原因是临床工作中选择更高b值的DWI进行病灶评估^{[29, 30]}，其显示高信号的病变组织与正常组织的对比度更高。本研究基于程序对DWI参数二分类结果与医师分类结果完全一致,说明程序按照b值大小进行分类的方式非常精准。

3.4 本研究的局限性

       本研究尚存在一些局限性：（1）本研究是单中心回顾性研究，存在人群种族、地区、扫描设备等方面的差异，因此未来需要进行多中心、大样本研究证明模型的临床实践效能，以完成适应于复杂临床环境的模型研发；（2）在基于深度学习的图像分类模型中，只对不同序列、DCE期相、DWI参数进行分别分类，尚未对所有图像进行综合分类，并且缺少外部验证，后续将进一步探索基于深度学习和程序技术对乳腺MRI所有图像进行综合分类的可行性以及通过外部验证评价模型效能的泛化性；（3）在图像分类研究中缺少对图像质控的研究，而在临床实践中存在一定质量不合格图像，后续图像分类模型会增加图像质控研究；（4）本研究训练的是基于3D-ResNet的图像分类模型，缺少与其他神经网络模型效能的对比，未来会探索多种神经网络模型的训练。

4 结论

       综上所述，基于深度学习训练并验证多参数乳腺MRI中序列、DCE期相分类模型，并通过程序对DWI参数分类，整体分类效能达90%以上，与既往图像分类模型的研究结果基本接近^{[20, 21, 22]}，未来通过对模型的进一步优化和临床验证，有希望将模型植入临床工作流程。