0 引言

       结直肠癌在癌症全球发病率排名第三、死亡率排名第二^[1]，中国是全球结直肠癌疾病负担较为沉重的国家之一^[2]。淋巴结状态是影响结直肠癌患者治疗策略和预后的重要因素之一^{[3, 4, 5]}。临床中工作中，影像医师通过超声、CT、MRI，病理医师通过光学显微镜对淋巴结状态进行评估，从而帮助临床医师做出治疗决策。但常规影像指标（形态、大小、密度或信号、回声等）在良恶性淋巴结中存在重叠以及诊断医生之间有主观性偏差^[6]，导致影像医师视觉评估淋巴结转移的准确性不高。尽管病理学检测是淋巴结状态评估的金标准，但相对费时费力、效率低下。因此，淋巴结状态影像评估的准确性和病理评估的高效性都需要进一步提升。近年来，深度学习（deep learning, DL）技术在图像阅读方面的发展为此提供了新的解决方案。DL能够通过不同技术手段揭示图像中的隐藏信息，借助DL对海量医学图像数据进行高效分析和挖掘来提高疾病诊断效率和准确度，是当前研究的热门方向^{[7, 8]}。为此，本文将对近年来国内外采用DL方法基于CT、MRI及数字病理图片预测结直肠癌淋巴结状态的研究进行综述，并对当前DL模型及其在淋巴结预测中存在的问题及其应用前景进行总结，旨在为结直肠癌患者的个性化治疗方案设计及预后预测提供科学依据和方法参考。

1 DL概述及发展

       DL的概念最早由HINTON等^[9]在2006年提出，神经网络是DL的核心技术，它通过模拟人脑神经元的工作原理，通过多层神经元之间的连接来实现对复杂数据的学习和识别^[10]。在图像分析任务中，DL的工作流程大致可以分为以下五个步骤：图像采集、图像处理、模型训练、模型评估、模型优化。区别于传统的医学图像分析方法需要人工提取特征，DL能够通过其深层次神经网络架构自动从大量数据中提取和学习关键特征，可以同时处理多个相关任务，提高医生诊断及治疗的效率和准确性^{[10, 11, 12]}。基于DL的神经网络主要包括卷积神经网络（convolutional neural network, CNN）、深度神经网络（deep neural network, DNN）和循环神经网络（recurrent neural network, RNN）等，其中，基于CNN的方法应用更为广泛。经典的CNN由卷积层、激活层、池化层和全连接层组成^[13]。大量研究显示，DL在结直肠癌的诊断^[14]、病灶分割^[15]、TNM分期^[16]、预测预后^[17]、基因突变^[18]、远处转移^[19]等方面已经取得了一定成果。此外，近几年已有一些研究尝试将DL与神经科学、认知科学等学科相结合设计新的模型和结构。例如：长短期记忆网络（long short-term memory, LSTM）^[20]、神经-符号集成模型（neuro-symbolic integration, NSI）^[21]、记忆增强网络（memory-augmented networks, MAN）^[22]、强化学习与元学习（reinforcement learning & Meta-learning, RL & Meta-Learning）^[23]等。这种跨学科的融合推动DL模型向更加智能和可解释的方向发展。在结直肠癌患者的临床治疗与预后评估中应用这一跨学科融合的研究方向，值得我们持续关注和进行深入探讨。

2 基于CT的DL在预测结直肠癌淋巴结状态中的应用

       CT扫描被广泛推荐用于结直肠癌患者的术前淋巴结分期评估。ZHAO等^[24]针对静脉期CT增强图像手动分割勾画结直肠癌原发肿瘤三维感兴趣区，基于深度CNN计算深度学习评分（Deep Learning-Score, DPL-score），同时结合癌胚抗原和糖类抗原19-9构建了一个预测结直肠癌区域淋巴结转移的复合模型。DPL-score和复合模型验证集的受试者工作特性（receiver operator characteristic, ROC）曲线下面积（area under the curve, AUC）分别为0.70和0.73。此外，该研究还通过转录组学分析发现DPL特征主要与分解代谢途径和免疫相关信号通路相关，并对DL特征所表征的生物学意义进行了探索。BEDRIKOVETSKI等^[25]对门静脉期CT图像进行手动分割勾画区域淋巴结，并提出构建ResNet-50网络模型识别并预测结肠癌的区域淋巴结转移。但是，在验证队列中AUC为0.619；而在测试队列1和测试队列2中，AUC仅分别为0.542和0.486。因此，该研究认为基于ResNet-50网络构建的DL模型尚不能通过CT图像预测结肠癌患者术前淋巴结状态。

       目前，利用DL技术基于CT图像预测结直肠癌淋巴结状态的研究较少，且预测性能较差；相对而言，基于原发肿瘤预测区域淋巴结转移的效果好于基于淋巴结本身预测的效果，分析其可能的原因为：相比于体积较小的淋巴结，原发肿瘤更容易识别和分割，DL网络能够提取到更多有效的特征；另一方面，CT图像较差的软组织分辨率也限制了其应用DL技术预测区域淋巴结状态的前景。

3 基于MRI的DL在预测结直肠癌淋巴结状态中的应用

       由于MRI软组织分辨率高，在显示肿瘤及周围解剖结构方面具有CT无法比拟的优越性，因此MRI被认为是结直肠癌分期的首选影像学检查。基于MRI的DL术前预测结直肠癌区域淋巴结转移的研究不断涌现^{[26, 27, 28, 29]}。鉴于腹部呼吸伪影、肠蠕动伪影、肠内容物干扰等因素，结肠癌患者进行腹部磁共振检查的研究较少，因此，本节主要是关于直肠癌的研究。

3.1 以影像医生评估结果建立DL模型的研究

       早期研究多集中在以高年资影像医师评估淋巴结状态结果作为DL模型的训练标签。LU等^[26]用28 080张有淋巴结转移的MRI图像训练了基于快速区域的CNN（faster region-based CNN, Faster R-CNN）模型。该模型能够自动识别并检测转移淋巴结，依据其数量及具体位置对患者的N分期进行判定。结果显示，Faster R-CNN的AUC在外部验证集为0.912，其诊断能力与具有20年经验的放射科医师相当，该模型诊断时间为20 s/例（影像科医生的平均诊断时间600 s/例）。值得注意的是，该研究团队使用在ImageNet上预训练的VGG16模型进行特征提取，由此达到了利用相对较少的新数据来实现高精度的特征提取和识别的效果。由于该模型并不适用于高分辨率MRI图像，在前期LU等^[26]研究的基础上，周云朋等^[27]选取术前盆腔高分辨MRI扫描图像建立数据库，对Faster R-CNN进行训练和验证从而建立直肠癌转移性淋巴结的自动识别系统，该系统的AUC为0.89，平均精度（average precision, AP）为0.39，单个病例的诊断时间缩短为10 s/例。DING等^[28]采用了与周云朋等^[27]类似的技术，同时结合了数学诺模图，该诺模图整合了转移淋巴结状态的显著预测因子（年龄、Fast-CNN诊断转移性淋巴结、肿瘤分化程度），预测转移淋巴结状态和转移程度的诺模图的AUC分别为0.920和0.886。

       虽然基于高年资影像医师MRI评估结果作为淋巴结状态标签的研究在检测转移性淋巴结取得了较好的结果，但是上述研究建立的均是模拟影像科医生进行诊断的DL模型，没有使用金标准病理学进行对照，其真实准确性值得商榷。但是，该类研究毕竟帮助建立了一种基于DL的影像诊断模型，在未来逐步进入临床实际诊断的过程中，仍需要在人工智能成像与病理学的融合上进行深入研究。

3.2 以病理诊断结果建立DL模型的研究

       采用病理学诊断结果作为DL模型的训练标签则是当下研究的热点。LI等^[29]手动分割直肠癌高分辨率T2WI中直肠系膜及直肠上动脉区域里的最大淋巴结（短轴直径≥3 mm），采用预训练的开源模型Inception-v3作为框架，每个不同方位的淋巴结图像作为单独样本、术后标本与术前检查进行匹配定位的目标淋巴结状态作为训练标签，从而实现逐节点识别和检测淋巴结状态，该方法的准确率和AUC分别为95.7%和0.994。但是，在大型回顾性研究中，将MRI检测到的淋巴结与病理淋巴结单独匹配是非常困难的，尤其是小于3 mm的淋巴结。XIA等^[30]利用多中心的术前MRI数据和术后患者的病理信息，建立了弱监督DL模型，其总体AUC为0.81。该辅助诊断模型显著提高了低年资影像医师（AUC从0.69到0.80，C-index从0.689到0.798）和高年资影像医师（AUC从0.79到0.88，C-index从0.788到0.869）的诊断水平。WAN等^[31]构建了二维和三维结构的4种ResNet模型（ResNet18、ResNet50、ResNet101和ResNet152），并在医学数据集上进行权重预训练，结果显示三维模型的AUC值高于相应的二维模型。在独立测试集中，3D ResNet101模型的预测性能最好，AUC为0.79，显著优于放射医师的AUC（0.54）。由于T1~T2分期的淋巴结转移发生率较低（10%~26%）^{[32, 33]}，诊断更为困难，因此该研究评估早期直肠癌的淋巴结转移更具有挑战性。综上所述，结合MRI和病理信息的DL模型表现出了不错的性能，或许能够更全面地评估淋巴结的状态。此外，上述两项研究^{[30, 31]}还使用梯度加权类激活映射（gradient-weighted class activation mapping, Grad-CAM）热图来可视化预测淋巴结转移的可能区域。XIA等^[30]的研究突出显示了淋巴结及结周区域，能够帮助临床医生快速关注到与转移相关的特征，从而提高诊断的准确性和效率。WAN等^[31]的研究则表明原发肿瘤内部及其附近的区域对诊断都很重要。虽然Grad-CAM热图为这些模型专注于重要的区域提供了证据，但是给出的样本量有限，如果加大样本量并纳入难以区分的病例（微转移淋巴结、黏液腺癌、印戒细胞癌等）可能会更有意义。

       由于直肠系膜淋巴结和侧方淋巴结转移在大小和形态上具有不同特征^{[34, 35]}，目前尚不清楚肠系膜淋巴结转移的人工智能诊断方法是否直接适用于外侧淋巴结的转移。因此，OZAKI等^[36]开发了一种用于晚期直肠腺癌患者侧方淋巴结转移的高精度AI诊断工具，经过ImageNet预训练的ResNet-18算法构建了基于术前图像和基线图像的两种模型。在验证队列中，基线图像和术前图像的准确率-召回率曲线下面积（precision-recall area under the curve, PR-AUC）分别为0.870和0.963。该工具的开发填补了当前侧方淋巴结在影像诊断转移领域的空白，提供了高效且创新的诊断方法。研究中采用了来自多个中心的病例数据集并考虑了不同的预处理方案，提升了模型的学习能力和适应性，并为其在不同临床环境中的应用奠定了基础。然而，值得注意的是，该研究数据集存在类别不平衡的问题，其中96.5%为阴性淋巴结。因此，未来需要进一步探讨更多样化和均衡的数据集对DL模型诊断性能的影响。

4 基于数字病理图片的DL在预测结直肠癌淋巴结状态中的应用

       当前，病理科正在迅速采用数字病理学将全切片图像（whole slide images, WSIs）作为主要的诊断方法^{[37, 38, 39]}。通过先进的算法和计算机辅助诊断技术，将病理学家的视野扩展到显微镜载玻片之外，从而将数字载玻片融入病理学工作流程中，这为DL在病理学诊断中的应用铺平了道路。

4.1 基于原发肿瘤病理特征间接预测淋巴结状态的研究

       人工智能在发现癌症进展中新的生物机制中展现出了巨大的潜力，利用DL可以分析大量的医学数据，识别出人类专家可能忽略的复杂模式和关系。KROGUE等^[40]提出了一种结合了已知的临床病理因素和DL特征的复合预测模型，使用K-means算法帮助提取与淋巴结转移相关的特征。结果显示，该复合预测模型在外部验证集中性能良好（外部验证集1：AUC=0.740；外部验证集2：AUC=0.738）。该研究中DL提取的与淋巴结转移最相关的特征由炎性细胞、脂肪组织以及微量肿瘤细胞组成，这一发现与BROCKMOELLER等^[41]最近的研究一致，即“炎症脂肪组织”是淋巴结转移存在的高度预测特征。KROGUE等^[40]对T3和T4分期病例的研究在一定程度上补充了BROCKMOELLER等^[41]对T1和T2分期病例的研究，并进一步确立了炎症脂肪是一种特征，而不是简单地与侵袭深度相关。这说明了人工智能有可能发现癌症进展中新的生物机制。脂肪组织、炎症和肿瘤的相互作用以及这些不同背景下潜在的生物机制在未来还需要进一步的研究。

4.2 基于淋巴结自身特征直接预测淋巴结状态的研究

       DL在显微病理图像中的应用面临着一个重要挑战：需要大量手动注释数据。WSIs的复杂性包括高分辨率的大尺寸图像、不规则和复杂的结构、纹理变化和核染色的组织学变化，而识别这些需要病理学家的专业知识和经验。因此，不少研究者致力于利用DL来制订高效和低成本的诊断策略。KHAN等^[42]开发了一种全自动计算机辅助诊断工作流程，该流程级联了自动分割的U-Net网络以及两个神经网络模型（Xception和VIT16）组成的集成模型用于转移检测。该研究通过迁移学习在公共数据集训练模型，避免了大量区域注释。该级联模型在外部队列中表现出100%的准确性，在内部队列中F1评分、敏感度和特异度分别为0.974、0.995和0.967。CHUANG等^[43]在仅有切片水平标签（阳性或阴性）的WSIs上进行直接的端对端训练，开发了DL算法（ResNet-50）来检测淋巴结转移。结果显示，在病理切片水平上（具有多个淋巴结），该算法在识别大转移（肿瘤大小>2.0 mm）和微转移（肿瘤大小0.2~2.0 mm）方面表现良好，AUC分别为0.999和0.996；在单个淋巴结图像中，其AUC分别为0.995和0.948。TAN等^[44]提出了一种变压器多实例学习模型，并结合Faster R-CNN建立两阶段诊断系统，用于WSIs中单个淋巴结的检测和分类。该模型只需要对整个切片或单个淋巴结进行标签的标注，无需详细手动注释，其在诊断淋巴结转移灶、微转移和大转移时的AUC分别为0.976、0.982和0.990。YU等^[45]提出一种半监督学习方法，在预测转移淋巴结方面，5%有注释的半监督学习模型与100%有注释的监督学习模型性能相当（AUC：0.960±0.002 vs. 0.961±0.004，P=0.888）。

       综上所述，虽然手动注释在当前数字病理学应用中仍是一个瓶颈问题，但随着技术的进步和新的标注方法的出现，如多实例学习、半监督学习以及全自动计算机辅助诊断工作流程等都表现出更好的性能，一定会促进DL在病理学中的更广泛应用和进步。

5 DL在结直肠癌淋巴结状态应用中的挑战与应对

       尽管现有的方法取得了一定的成果，DL在结直肠癌淋巴结状态应用研究中仍面临一些挑战：第一，相关研究一般为回顾性研究，并且多数是单中心研究且样本量较少，这可能导致模型训练过程中出现过拟合，进而影响结果的准确性和可靠性。第二，目前用于验证DL算法的大型结直肠癌数据集仍较少，大部分研究依赖于私人数据集。这些数据集中存在不同设备间的扫描参数不统一、患者个体差异、图像质量不佳（伪影、变形等）以及图像提取技术的差异等因素，模型的通用性有待进行进一步验证。此外，部分数据集中淋巴结转移阳性患者的占比不平衡，可能存在选择偏倚，影响模型在不同患者群体中的表现。第三，DL模型在判断淋巴结转移情况时，与病理证实的转移淋巴结一一对应存在挑战。第四，KROGUE等^[40]的研究中发现了一个意想不到的挑战。由于该研究中扫描是根据癌症分期进行的，淋巴结转移阴性病例的扫描时间通常早于阳性病例，而DL模型在训练过程中学到了扫描日期与淋巴结状态之间的关联，导致初期表现出虚假的高鲁棒性。DL模型具有学习混淆关联的能力，因此在模型构建过程中应注意避免引入偏差和混淆因素。

       此外，提高DL模型的可解释性对于深入理解其决策机制、增强其可信度和保障安全性同样至关重要^[46]。虽然大多数DL任务被认为具有不可解释性或有限可解释性，但有些研究已为此作出了重要贡献。ZHAO等^[24]揭示了与DPL特征相关的基因在代谢过程和免疫相关通路中的富集情况，表明DPL特征可能与淋巴结转移相关。DING等^[28]将Faster R-CNN与诺模图的数理统计模型相结合，显示了不同权重的独立因素对诊断的贡献，实现模型内部逻辑的透明化。部分研究^{[29, 30, 31, 41, 42, 43, 44]}通过可视化技术生成热图来直观评估对诊断非常重要的区域。YANG等^[47]不仅采用Grad-CAM热图来可视化模型，还采用了Shapley加法解释（一种基于博弈论的方法），在模型之外计算每个特征对预测的影响，从而提供全局和局部可解释性。SONG等^[48]的研究引入了注意力机制（它能够使模型为重要的区域分配更高的权重，同时将不重要的区域弱化），并通过计算出的注意力分数可视化为热图。通过热图展示各区域对决策的贡献，提高了模型解释性并为临床决策提供支持。可解释人工智能（eXplainable Artificial Intelligence, XAI）^[49]是近年来人工智能领域的一个重要研究方向。近期，ZHANG等^[50]基于概念瓶颈模型（XAI技术中一种代表性方法），提出一种解耦概念瓶颈模型（decoupling concept bottleneck model, DCBM），并使用概念贡献分数来量化模型的可解释性。此外，DCBM能够实现两种有效的人机交互（前向干预和后向整改），从而自动纠正标签和识别错误概念。随着可解释技术的发展，我们有望见证更为直观有效的DL模型在结直肠肿瘤诊断中的应用。

       未来的研究可着眼于以下几个方向进行深入探索：第一，未来DL可能应用于图像全流程自动化处理，减轻医师的工作量，助力于肿瘤的诊断、治疗、预后以及个体化治疗方案的定制。第二，迁移学习技术不仅能够有效缓解数据资源匮乏的问题，还能显著提高病灶识别的准确性。此外，集成方法能够整合不同模型的优势，可能会提升预测准确性。将集成方法、DL、迁移学习等多种方法相结合，有望建立高效精准的工作流程。第三，可以结合多模态[CT、MRI、病理切片、核糖核酸（ribonucleic acid, RNA）序列、影像组学、蛋白质组学，以及表观基因组学等]和动态（治疗前和治疗后）数据以及临床病理学信息（患者性别、年龄、肿瘤分化程度、癌胚抗原等），探索癌症进展的新生物学机制，并在临床实践中建立大样本、多中心和专家注释的代表性标准化数据库进行外部验证，确保模型的预测能力不依赖于单一特定条件，进而全面提升其泛化性能。第四，提升DL模型的透明度是一个具有重要技术价值的研究方向，未来的发展不仅将聚焦在技术的进步上，还将综合考虑伦理规范、数据隐私及临床需求。

6 小结

       DL在CT、MRI以及病理等方面预测结直肠癌淋巴结状态已取得一定进展，随着更先进算法的引入、大样本量数据、多中心协作以及临床病理学信息的整合，未来有望开发出更具鲁棒性和稳定性的DL模型，为结直肠癌患者提供更加精准和个性化的诊疗方案。