0 前言

       乳腺癌是一种严重危害妇女健康的恶性肿瘤，自2010年以来，其发病率以每年0.5%的速度增长，现为女性肿瘤发病率的首位^[1]。乳腺癌在组织形态、病理特征及治疗疗效等方面个体差异明显^{[2, 3]}。根据St Gallen 2013共识^[4]将乳腺癌分为4种分子亚型，即Luminal A型、Luminal B型、人类表皮生长因子受体-2（human epidermal growth factor receptor 2, HER-2）过表达型以及三阴性型乳腺癌。不同分子亚型的乳腺癌有不同的临床表现和治疗方案，Luminal A型患者和Luminal B型患者都常见于绝经后的女性，这两种类型在临床中多使用内分泌治疗，通常预后较好；HER-2过表达型的肿瘤形态不规则、恶化程度大，对靶向治疗敏感但预后情况不佳；三阴性型多发生于年轻女性中，恶化程度极高，对靶向治疗、内分泌治疗都不敏感，预后较差^[5]。MRI检查能够反映乳腺癌的功能性信息，在乳腺癌的病灶分割、分子分型等方向具有重要临床研究价值。然而传统MRI检查需要由诊断医师对病灶影像进行分析后做出诊断，容易受到医师主观经验的影响。因此，越来越多的研究者尝试使用传统影像组学和卷积神经网络对乳腺癌分子亚型进行分类。

       传统影像组学是通过使用特征提取算法对图像进行定量分析，比如有研究者使用灰度依赖矩阵（gray level dependence matrix, GLDM）、局部二值模式（local binary pattern, LBP）、高斯-拉普拉斯（Laplacian of Gaussian, LOG）^{[6, 7, 8]}，然后使用传统统计模式来分类和预测，如支持向量机（support vector machine, SVM）、随机森林等^{[9, 10]}。传统影像组学具有很好的解释性与说服力，但面临特征提取不全面，高度依赖于提取算法的缺点。近年来基于深度学习的乳腺癌分类研究开始大量兴起^{[11, 12]}。有研究者针对乳腺癌病理图像提出一个新的卷积神经网络，该网络可通过卷积操作来提取图像的深层特征信息，再训练SVM分类器实现乳腺癌四分类任务（良性、原位癌、浸润性癌和正常）^[13]。也有研究者以结合迁移学习的VGG16、Inception-V3和ResNet-V2网络搭建集成模型，实现乳腺癌的良恶性分类^[14]。相较于传统影像组学，这些基于深度学习的乳腺癌分类研究方法可获得更高的准确性，但无法同时获得图像的浅层特征（如纹理、颜色、形状等）和深层次语义特征，因此容易产生过拟合的问题，并且缺乏可解释性和鲁棒性。

       本研究将传统影像组学提取的纹理特征和卷积神经网络提取的深层次语义特征融合起来，旨在构建分类乳腺癌分子亚型的SVM集成模型，探讨该模型分类乳腺癌分子分型的价值，为乳腺癌早期诊断和个性化治疗方案提供临床参考。

1 材料与方法

1.1 研究对象

       回顾性分析美国国家癌症研究所（National Cancer Institute, NCI）癌症影像档案中存储的乳腺癌MRI公共数据集Duke-Breast-Cancer-MRI^{[15, 16]}。该数据集由Duke医院单一机构回顾性收集组成，包含2000年1月1日至2014年3月23日在Duke医院活检证实的922名浸润性乳腺癌患者^[17]。这些患者进行了术前MRI检查，图像以DICOM格式提供，包含不压脂和压脂的T1WI平扫序列以及动态对比增强MRI（dynamic contrast-enhanced MRI, DCE-MRI）序列。本研究采用DCE-MRI强化后第一期图像^[15]。由于本研究使用的图像数据来源于公开数据库，因此免除受试者知情同意，同时该研究遵守《赫尔辛基宣言》和《TCIA数据使用政策》。

       本研究在Duke-Breast-Cancer-MRI数据集上进行病例数据筛选。纳入标准：（1）经病理证实为乳腺癌的女性；（2）临床资料及病理资料完整；（3）由美国通用电气医疗集团设备拍摄的病例。排除标准：DCE-MRI图像质量较差，显示不清晰。最终采用189例病例作为本次研究的数据集，患者的基本信息：年龄25～80（52±11）岁；发生转移7例（3.7%），无转移182例（96.3%）；绝经114例（60.3%），未绝经75例（39.7%）。将189例病例按照8∶2的比例随机划分为训练集（n=151）和测试集（n=38）。患者选择结果如图1所示。

点击查看大图

图1  患者选择流程图。HER-2：人类表皮生长因子受体-2。
Fig. 1  Flow chart of patient selection. HER-2: human epidermal growth factor receptor 2.

1.2 设备与扫描方法

       Duke-Breast-Cancer-MRI数据集均采用美国通用电气医疗集团的1.5 T或3.0 T（SIGNA HDx和SIGNA HDxt）扫描仪，将患者置于俯卧位以进行扫描。DCE-MRI序列扫描参数如下：层厚1.1～2.2 mm，重复时间4.78～7.39 ms，回波时间2.23～2.69 ms，矩阵340×340～384×384，翻转角（flip angle, FA）10°，视野（field of view, FOV）270 mm×270 mm～430 mm×430 mm。

1.3 图像分析和诊断方法

       Duke-Breast-Cancer-MRI数据集带有专业医师标注的病灶信息，有包含完整病变区域的最小矩形坐标、病变开始的层面和结束的层面。图像中肿瘤的位置以三维（three dimension, 3D）边界框坐标的形式给出。在本研究中，每个病例按照医师的标注选取病灶区域最大的一张图片及其前后各一张共三张图片用于后续的分析研究。

       Duke-Breast-Cancer-MRI数据集中的所有病例都采用免疫组化法进行检测，根据雌激素受体（estrogen receptor, ER）、孕激素受体（progesterone receptor, PR）和HER-2的表达情况分为三种亚型：（1）Luminal型：ER（+）、PR（+）、HER-2（-）；（2）HER-2过表达型：ER（-）、PR（-）、HER-2（+）；（3）三阴性型：ER（-）、PR（-）、HER-2（-）。ER和PR根据Allred评分划分为高表达与低表达，Allred评分＞3为高表达。HER-2根据荧光原位杂交法（fluorescence in situ hybridization, FISH）来判断，FISH ratio（HER-2）＞2.2为高表达。

1.4 乳腺病变区域分割

1.4.1 图像标准化

       本研究选取的是通用电气医疗集团设备采集的影像，数据范围仍有细微的区别，因而在处理之前对所有采用的数据（1.5 T和3.0 T）进行归一化处理^[18]，将图像强度放缩到相同范围，以此来减少场强和扫描协议不同带来的偏差。

1.4.2 图像分割

       根据数据集自带的医师标注坐标从图像上画取感兴趣区（region of interest, ROI），采用基于遗传算法的大津阈值分割算法^[19]并手动选择每张ROI图片的病灶种子点，从而得到乳腺肿瘤Mask图像。分割流程如图2所示。

点击查看大图

图2  图像分割流程图。2A：女，62岁，左乳Luminal型乳腺癌；2B：女，51岁，左乳HER-2过表达型乳腺癌；2C：女，73岁，左乳三阴性型乳腺癌；2D～2F：三类患者按医生标注切取的病灶感兴趣区域；2G～2I：三类患者使用算法分割的Mask图像。
Fig. 2  Image segmentation flow chart. 2A: Female, 62 years old, Luminal type breast cancer in the left breast; 2B: Female, 51 years old, HER-2 overexpressed breast cancer in the left breast; 2C: Female, 73 years old, triple-negative breast cancer in the left breast; 2D-2F: Three types of patients are marked by the physician with the area of interest of the lesion cut; 2G-2I: Mask images segmented using algorithms for three types of patients.

1.5 特征提取

1.5.1 影像组学特征提取

       选取同一序列肿瘤横截面最大的图像及其前后各一张图像作为构建网络模型的图像数据。将Dicom格式的图像转换为灰度PNG格式的图片，使用开源Python软件（3.7.10版本，http://www.python.org）中的PyRadiomics模块^[20]提取影像组学特征，总共提取了1125个特征，包括：（1）形状特征9个；（2）一阶强度特征18个；（3）纹理特征75个；（4）变换特征1023个。

1.5.2 深度特征提取

       为减少训练模型对数据量的需求，使用了迁移学习的方法对模型进行参数初始化。网络模型的学习率决定了梯度的比例因子，过高的学习率会导致损失函数超过最优值，而学习率过低则会导致训练时间过长，所以本研究对网络增加了ReduceLROnPlateau回调函数^[21]。该函数监控模型损失值不再下降、或者分类准确率不再上升时将学习率下调为原本的1/10，这样有助于快速又精确地获得最优模型。

       大规模标注的医学影像数据集不易获取，因此本研究对ROI图像进行了不平衡处理和数据增强处理。189例病例使用了567张原始图像，其中训练集151个病例共453张图像，对训练集的图像采用旋转变换、翻转变换、颜色抖动等方法进行扩充。首先将原始图像顺时针旋转45°、90°、135°、180°、225°、270°、315°，然后通过镜像翻转对数据进行不平衡处理，最后使用颜色随机抖动的方法对平衡后的图像再扩增，扩充后训练集有6000张图片。网络训练时仍使用归一化将所有数据放缩到0到1之间，使网络收敛更加平顺^[22]。

       本研究在上述操作基础上对比了VGG16、VGG19、DenseNet121、DenseNet169、DenseNet201、ResNet、MobileNet等多个模型，效果如图3所示。MobileNet、DenseNet169、DenseNet121、DenseNet201在训练集上表现较优，准确率在75%～80%之间（χ²=1.541，P=0.672）；DenseNet121、DenseNet169、Xception、DenseNet201在测试集上表现较优，准确率在57%～65%之间（χ²=0.518，P=0.914）。因此本研究选择综合效果最好的DenseNet169模型作特征提取器，从最后一个全连接层提取了1664个卷积神经网络特征。

点击查看大图

图3  各网络模型在训练集（3A）和测试集（3B）上的准确率。
Fig. 3  Accuracy of each network model on the training set (3A) and test set (3B).

1.6 分类模型构建

       使用Spearman相关系数进行分析和最小绝对收缩和选择算子（least absolute shrinkage and selection operator, LASSO）算法相结合的方法进行特征降维，筛选出与乳腺癌分子分型相关的特征，将其和卷积神经网络特征进行特征融合构成新的特征组，使用该特征组构建SVM集成分类模型（图4）。本研究中该SVM集成分类模型共包含3个SVM二分类模型，即：分类Luminal型与HER-2过表达型的模型一；分类Luminal型与三阴性型的模型二；分类HER-2过表达型与三阴性型的模型三。

点击查看大图

图4  影像组学和深度学习构建模型流程图。LASSO：最小绝对收缩和选择算子；SVM：支持向量机；AUC：曲线下面积。
Fig. 4  Flowchart for building model with radiomics and deep learning. LASSO: least absolute shrinkage and selection operator; SVM: support vector machine; AUC: area under the curve.

1.7 统计学分析

       采用Python软件（3.7.10版本，http://www.python.org）进行统计学分析。使用Spearman相关系数进行分析后去除高相关性的相似特征，Spearman相关系数大于0.8的特征认为是高度相关的特征，两个相关的特征中只保留一个。使用LASSO算法进行10折交叉验证筛选特征，并删除特征系数为0的特征。SVM使用径向基核函数（radius basis function, RBF）。

       计量资料符合正态分布时以均数±标准差（x¯±s）表示，计数资料通过频数和百分比（%）描述。使用准确率、受试者工作特征（receiver operating characteristic, ROC）曲线及曲线下面积（area under the curve, AUC）来评估各二分类模型的性能。率的比较使用卡方检验分析。DeLong检验评价各模型AUC差异是否具有统计学意义。多分类ROC曲线绘制有宏观平均法和微观平均法两种，宏观平均法给予每个类别同等的权重，微观平均法倾向于给数目较大的类别更多的权重。在本研究中三个分子亚型病例数目差距较小，因此三分类ROC分析方法采用宏观平均计算方式：首先对三分类中的每一个类别进行一次二分类分析，计算出每一个类别的真阳性率（true positive rate, TPR）与假阳性率（false positive rate, FPR），将所有得到的TPR与FPR取平均即可得到宏观平均TPR与FPR，再根据得到的宏观平均TPR与FPR绘制ROC曲线并计算宏观平均AUC（macro-averaging AUC, macro-AUC）^{[23, 24]}。P＜0.05为差异有统计学意义。

2 结果

2.1 特征选择与融合

       提取每位患者T1WI增强序列图像的1125个特征，使用Spearman相关系数分析并去除高相关性的相似特征，然后使用LASSO算法进行特征降维，在特征选择的过程中，LASSO算法正则项参数alpha范围设定为（10^-4，10²），取相同间隔的50个数，10折交叉验证迭代100 000次。对三组影像组学特征进行特征筛选得到的特征数分别为51、49、20。LASSO算法的结果如图5所示。将卷积网络特征和筛选后的传统影像组学特征融合构成新的特征组用于后续研究。

点击查看大图

图5  三类乳腺癌患者的LASSO特征筛选图和不同lambda下每一折交叉验证的MSE结果图。5A～5B：Luminal型乳腺癌患者，lambda值为0.00372759372；5C～5D：HER-2过表达型乳腺癌患者，lambda值为0.00655128556；5E～5F：三阴性型乳腺癌患者，lambda值为0.01151395399。LASSO：最小绝对收缩和选择算子；HER-2：人类表皮生长因子受体-2；MSE：均方误差。
Fig. 5  Plots of LASSO feature selection for the three categories of patients with breast cancer and MSE results for each fold of cross-validation under different lambda. 5A-5B: Patients with luminal type breast cancer, lambda: 0.00372759372; 5C-5D: Patients with HER-2 overexpression type breast cancer, lambda: 0.00655128556; 5E-5F: Patients with triple-negative type breast cancer, lambda: 0.01151395399. LASSO: least absolute shrinkage and selection operator; HER-2: human epidermal growth factor receptor 2; MSE: mean square error.

2.2 模型构建

       使用SVM进行三分类通常有一对一和一对多两种方法。一对多是把某类样本归为一类，其他样本整体归为一类，因此容易导致样本不平衡，会影响到分类效果^[25]，所以本研究使用了一对一的方法。这种方法是在任意两个样本之间构造一个SVM分类器，构建k个类别的样本需要设计k（k-1）/2个SVM。当对一个未知样本进行分类时，最后得票数最多的类别即为该未知样本的类别，当得票数相同时比较每个分类器预测的概率值，选择概率最大的预测类别为该未知样本的类别，这种策略称为“投票法”^[26]。SVM多分类结构如图6所示。本研究中SVM集成模型由以下三个分类器模型构成：（1）区分Luminal型与HER-2过表达型的模型一；（2）区分Luminal型与三阴性型的模型二；（3）区分HER-2过表达型与三阴性型的模型三。

点击查看大图

图6  支持向量机集成模型。HER-2：人类表皮生长因子受体-2。
Fig. 6  Support vector machine integration model. HER-2: human epidermal growth factor receptor 2.

2.3 结果分析

       本研究基于特征融合构造的SVM集成模型的分类准确率为71.6%，相对于只使用传统影像组学特征的分类准确率59.7%和使用DenseNet169的分类准确率56.2%，分别提高了11.9%和15.4%。SVM集成模型的macro-AUC为0.820（表1）。DeLong检验显示，测试集的SVM集成模型macro-AUC值高于只使用传统影像组学特征构建的模型（Z=3.821，P＜0.05）及DenseNet169卷积神经网络模型（Z=3.852，P＜0.05），传统影像组学特征构建的模型与DenseNet169卷积神经网络模型的AUC差异无统计学意义（P=0.675）。以上结果显示该SVM集成模型的分类准确率及macro-AUC均高于另外两种模型，分类效果最优。

       综上所述，本文最终选择的SVM集成模型效果最佳，能更好地对乳腺癌进行三种分子亚型分类。

点击查看表格

表1  所有模型在测试集上的分类效能
Tab. 1  Classification performance of all models on the test set

3 讨论

       不同乳腺癌的分子亚型有不同的治疗方案，准确地诊断出乳腺癌患者的分子亚型对医治尤为关键。本文从实际的需求出发，以乳腺癌MRI图像为研究对象，分别使用影像组学方法和基于迁移学习的DenseNet169网络模型进行特征提取。计算影像组学特征的Spearman相关系数，保留一个具有高相关性的特征，使用LASSO算法对剩余特征进行筛选，最后使用融合后的特征构建SVM分类集成模型并对模型进行评估。在测试集上该模型准确率达到71.6%，macro-AUC值达到0.820，具有较高的可靠性。本研究证明了乳腺癌的影像组学特征和卷积神经网络特征相结合能够弥补单一特征结构的不足，有效提高模型的分类能力。

3.1 融合特征对乳腺癌分子分型的诊断价值

       研究表明乳腺癌具有高异质性，不同分子亚型的乳腺癌在肿块形态、肿块边缘及强化方式上存在差异^{[27, 28]}。通过图像像素值及几何关系等多阶参数的计算公式可提取传统影像组学特征，这些特征对分类结果具有很好的解释性与说服力。王世健等^[29]使用半自动提取特征方法提取了65维的DCE-MRI影像特征，并通过逻辑回归的方法判断出影像特征和分子分型之间具有关联性。李薇等^[30]提取了脂肪抑制T2WI和DCE-T1WI的影像组学特征，并将特征融合构成联合序列的影像组学特征组，采用logistic回归算法建立模型，最终在分类Luminal B型和非Luminal B型时AUC值达到0.808。王洪杰等^[31]基于扩散加权成像（diffusion-weighted imaging, DWI）、体素内不相干运动（intravoxel incoherent motion, IVIM）及扩散峰度成像（diffusion kurtosis imaging, DKI）序列构建三联合模型，在乳腺癌良恶鉴别时AUC值为0.915。虽然传统影像组学特征在对乳腺癌分子亚型进行分类上有了很大的研究进展，但仍面临高度依赖于提取算法的缺点，导致特征提取不够全面，可以获得图像的纹理特征但缺乏深层次的语义特征，在分类时会因为部分信息缺失而造成误判。

       神经网络在前端输入原始图像后末端直接输出结果，不需要对特征进行人为设定，会自动进行学习并创建特征，同时神经网络卷积运算可获取图像的深层次语义特征并更加关注特征之间的位置关系^[32]。赵清一等^[33]使用基于迁移学习的Xception网络模型进行特征提取，最后使用SVM分类器分类Luminal B和非Luminal B两种乳腺癌，AUC值为0.787，证明深度模型和传统分类器结合可有效提高模型的效果。SUN等^[34]使用三个序列图像各构成一个卷积神经网络模型，然后3个子模型基于加权投票构建集成模型来研究Luminal型和非Luminal型，AUC值为0.867，证明集成模型获得的特征更加丰富，更有利于对分子亚型的区分。神经网络模型相对于传统影像组学模型更注重于使用深层次语义特征来对乳腺癌分子亚型进行分类，但同时它也丢失了图像基础的纹理特征信息。

       因此本研究构建基于特征融合的集成模型，在保留传统影像组学大部分纹理特征的同时增加了深层次语义特征，更能全面体现乳腺癌的生物学信息，提高了乳腺癌分子亚型分类的准确率，增加了一定的解释性与说服力。

3.2 本研究的局限性

       本研究也有许多不足之处：（1）本研究为回顾性研究，选择的样本存在一定的选择性偏移；（2）本研究为单中心研究，并且样本量相对较小，后续可通过添加外部验证集的方法验证该模型，以更好地证明模型效能；（3）模型的特征筛选器及最终分类器的选择单一，可以将多种筛选器和分类器组合，挑选出最优的模型。

4 结论

       综上所述，本研究基于特征融合构建的SVM集成模型在分类三种乳腺癌分子亚型时表现出良好的效果，对术前乳腺癌分子亚型的分类具有重要的指导价值。