前交叉韧带(anterior cruciate ligament，ACL)是连接股骨和胫骨的重要膝关节稳定韧带^[1]，在运动时提供稳定性，ACL损伤是膝关节最常见的损伤^[2]，ACL损伤增加了创伤后发生膝关节骨关节炎和全膝置换术的风险^{[3, 4]}。因此，及时、准确评估ACL损伤在临床诊断和后续治疗中起着重要作用。磁共振成像(magnetic resonance imaging，MRI)以其良好的软组织分辨力、无电离辐射、多参数成像等特点成为评估膝关节ACL损伤的首选检查技术。近年来，随着医疗设备和影像技术的不断发展，患者检查量逐年递增，日渐增多的图像成为放射科医生工作中面临的巨大挑战。深度学习(deep learning，DL)作为机器学习的一个重要的新兴分支，在医学领域得到广泛应用^[5]。DL可以通过表征学习方法快速准确识别图像^[6]，国内外学者基于MRI图像对ACL损伤也进行了DL方面的探究。

       本文以“深度学习”“分割”“卷积神经网络”“前交叉韧带”“关节镜”“deep learning”“segmentation”“CNN”“anterior cruciate ligament”“arthroscopy”等为关键词，在中国知网、万方、Pubmed、Web of Science等数据库中组合查询进行搜索，结果共搜索到相关文献39篇，纳入标准包括DL在ACL的分割、损伤诊断和疾病预测中的应用，排除标准包括会议摘要、重复性研究和Meta分析，最终纳入35篇。本文旨在通过对国内外文献的分析、总结，对DL在膝关节前交叉韧带损伤中的应用进行综述。

1 DL的相关概念

1.1 DL

       DL是一种具有多个表示层级的学习方法，通过组合简单非线性模块，将原始表示层次转换为更高、更抽象的表示层次^[7]。正是有了足够多的转换组合，DL模型可以学习非常复杂的函数。DL模型突出特点在于可以凭借算法本身确定图像最佳特征，进而输出针对图像的各种分类^[8]。有监督学习和无监督学习是DL的两种基本学习模式。有监督学习是指计算机被赋予已预先标记好的数据集，利用算法寻找区分每个分类中对象的特征。而在无监督学习中，模型在未被标记的数据上自行寻找规律进行学习和分类。无监督DL算法的任务既要确定不同类别对象的标签，又要将这些对象分成合适的类别^[9]。目前的医学研究中主要以有监督学习为主，利用神经网络来训练图像的分类、分割及检测，但从长远来看，无监督学习将变得更加重要^[10]，因为无监督学习可以显著降低人工标记数据的时间和人力成本。

1.2 卷积神经网络

       卷积神经网络(convolutional neural networks，CNN)是在医学图像领域应用最成熟的算法模型，该模型是一个前馈系统，可以用来提取低级特征和高级特征^[11]，因此在图像识别与分类中大放异彩^{[12, 13]}。CNN一般由输入层、卷积层、池化层、全连接层以及输出层5层组成^[14]，其中，卷积层是CNN所特有的结构，主要用于提取输入的特殊信息，由若干卷积单元组成，在CNN中起关键作用。池化层的作用为压缩特征图，简化网络计算的复杂度。卷积层与池化层交替连接，构成了CNN的核心模块。全连接层用来输出最后的分类结果。各层之间相互联系，相互影响，共同构成CNN的基本结构。与传统的模式识别算法相比，CNN具有局部连接、权值共享和池化操作等结构特点，使其因运算难度减小而更易于训练。目前，CNN在医学影像处理的基本流程是预处理、分割、特征提取、训练及验证^[15]。

2 DL在前交叉韧带MRI图像分割中的应用

       膝关节解剖结构复杂，准确分割对于损伤的诊断、治疗和手术决策具有重要意义。人工分割虽然能取得理想的分割效果，但效率不高。随着计算机技术的不断发展，一些半自动和全自动分割技术也应运而生。但迄今为止，相关研究文献主要集中在骨的分割^[16]、半月板分割^[17]及软骨的分割^[18]，对于ACL的分割方法研究较少且准确度不高，DL模型擅长在施加最小限制的情况下从大量数据中推断复杂关系，已经被成功应用到ACL全自动分割领域。

       2021年，Flannery等^[19]利用2D U-Net在246例图像上完成了ACL分割并对模型解剖学性能和定量指标进行了评估，发现Dice相似系数(Dice similariy coefficient，DSC)为84%、精确度为82%、敏感度为85%，信号强度差异为0.3%，体积差异为2.3%，模型表现相当出色。在初始分割后平均两年零三个月内，模型和经验丰富的医师对随机挑选的10张图像进行再次分割并比较，得出DSC为84%，精确度为82%，敏感度为85%，两者一致性很高，说明模型的可重复性很好。此外，该模型在测试集上，平均在0.33 s内快速完成了分割任务，克服了目前MRI数据预处理过程中的难题。该团队^[20]在随后的研究中又应用迁移学习的方法训练之前的模型，并用来分割重建术后ACL和修复术后ACL。分割重建ACL的DSC为80%，精确度为79%，敏感度为82%，强度差异为0.82%，体积差异为1.7%，解剖学性能较分割完整ACL略有下降，猜测是由于重建后的韧带中存在伪影；分割修复术后ACL的结果是DSC为78%，精确度为78%，敏感度为80%，强度差异为2.7%，体积差异为2.7%，解剖学性能略有下降，原因可能是该组数据样本量较小。两组定量指标均不存在显著性差异，说明模型分割性能表现优秀。这一发现为解决CISS序列定量测量中人工分割速度慢的难题提供了可行方案，并加速推进qMRI序列的临床应用进程。2022年，Awan等^[21]应用CNN架构U-Net的语义分割技术，在克罗地亚里耶卡临床医学院中心数据库自动分割撕裂的ACL。该分割框架由三部分组成：首先将原始数据集中MR图像格式由pickle格式转化为jpeg格式以方便调阅，其次利用Mask图提取感兴趣区并根据原始图像的标签进行标记并调整超参数，最后使用开发出的U-Net网络在感兴趣区内分割撕裂ACL，并在训练集和测试集上进行广泛地评估和测试。该团队提出的分割方法在11 451张训练集图像上的准确度、DSC、精确度、召回率和平衡F分数分别为98.4%、99.4%、99.6%、99.6%和99.6%，而在3817张验证集图像上分别为97.7%、96.8%、96.5%、97.3% 和96.9%。实验结果表明：用该U-Net网络进行ACL分割，准确度超过了医师手动分割，但该方法的局限性在于分割方式和训练模型耗时耗力，且模型分割任务单一，只能识别出撕裂ACL。

       ACL的准确分割对于后续损伤的分类评估有重要意义，但目前基于DL的ACL MRI图像分割研究也面临一些挑战。首先，大多研究集中在对完整韧带的分割方面，在对损伤韧带的分割研究较少。推测原因可能是当ACL完全撕裂时，会出现水肿挛缩继而表现为异常形态，此时想要准确勾画其轮廓非常困难，因其撕裂范围边缘分割不准确，最终影响模型性能。其次，研究所针对的图像都是单一序列，模型的普适性有待进一步提高，这也制约了模型在临床上大力推广的可能性。最后，由于国内外缺乏公认的、统一的有分割标签的数据集，故各个模型的分割性能无法横向比较优劣。未来只有在大量有精准标注的数据集上做出更成熟的研究，才能最终提升分割模型的成熟度和泛化性，加速模型走向临床。ACL的分割文献汇总见表1。

点击查看表格

表1  深度学习分割前交叉韧带MRI图像文献汇总
Tab. 1  Literature summary of deep learning on segmentation of anterior cruciate ligament MRI images

3 DL在前交叉韧带损伤诊断分类中的应用

3.1 ACL损伤诊断二分类

       2018年，Bien等^[22]利用MRNet来识别ACL损伤。以三方位图像作为输入，模型诊断的敏感度为76%，特异度为97%，受试者工作特性(receiver operating characteristic，ROC)曲线下面积(area under the curve，AUC)为97%，放射科医生诊断的敏感度为91%，特异度为93%。该研究还比较了在有无模型辅助的情况下医生的工作表现，发现在DL支持下放射科医生诊断的敏感度提高了5%，而特异度保持不变。在使用Štajduhar等^[23]公开的外部数据集验证时发现，直接使用该模型时AUC下降到82%，再训练后，AUC提高到91%，表明了外部数据集再训练对DL模型泛化性具有重要作用。2019年Liu等^[24]提出的全自动化诊断模型由LeNet-5、YOLO网络、DenseNet三部分构成。该团队对350名受试者进行回顾性研究，以关节镜检查结果为参考标准，发现模型的敏感度为96%，特异度为96%，AUC为98%。相比之下，放射科医生的敏感度为96%～98%，特异度为96%～98%，AUC为98%。CNN诊断效能与放射科医师的表现相媲美。同时，该研究还比较了三种不同类型CNN的敏感度、特异度和AUC，分别是DenseNet (96%、96%、98%)、VGG16 (92%、92%、95%)和AlexNet (89%、88%、90%)，发现DenseNet表现出了最好的诊断效能。同年，Chang等^[25]使用了三种不同方法对260名受试者的MR图像进行评估，发现随着输入视野的减小和输入信息的增加，模型性能表现更加优越。先前的研究工作主要集中在提高诊断准确性上，而对可解释性和体积等方面关注较少。Jeon等^[26]提出了一种可解释性的轻量级3D CNN模型，该模型引入注意模块取代CAM或Grad-CAM，同时使用压缩模块和较少的卷积滤波器来最小化模型尺寸，该模型分别比MRNet和VGGNet小367倍和91倍。此轻量级模型在千叶和斯坦福数据集上都得到了很好的验证。2021年，Li等^[27]提出了一种基于DL的多模态特征融合模型用于ACL损伤诊断的前瞻性研究，将30例患者分为MRI诊断组和关节镜检查组，得出敏感度、特异度和准确度分别为96.78%、90.62%和92.17%。其中，矢状位相较于其他两个方位在ACL撕裂诊断任务中具有很大优势，准确度高达96.28%。

       2020年，Zhang等^[28]开发了一种基于3D DenseNet的分类CNN，使用408例MR图像来诊断ACL撕裂，并和VGG16和ResNet的诊断效能进行比较，发现其敏感度为98%，特异度为94%，准确度为96%，结果均高于其他两个模型。同年，Germann等^[29]在一项数据量庞大的研究中，以关节镜手术报告为参考标准，DCNN在512名受试者的内部数据集上实现了99%的敏感度、94%的特异度和97%的AUC。但在外部验证时，诊断效能明显降低，说明随着MRI检查异质性的增加，其性能可能会下降。该研究还发现了不同场强(1.5 T、3 T)不会对模型诊断准确性产生影响。基于DL对MRI图像ACL损伤二分类的文献汇总如表2。

点击查看表格

表2  深度学习对MR图像前交叉韧带损伤二分类的文献汇总
Tab. 2  Literature summary of deep learning on ACL tears classification of MRI images

3.2 损伤诊断多分类

       此前，大多数CNN对ACL损伤分类为完整和撕裂两分类，随着DL技术的不断发展，CNN对ACL损伤的多分类研究也取得了一些成果。2020年，Namiri等^[30]结合WORMS评分设计了两种CNN (2D CNN、3D CNN)输出了ACL四分类，即完整、部分撕裂、完全撕裂和重建术后ACL。该研究回顾性分析了1243例MR图像，发现2D CNN和3D CNN识别ACL损伤的总体准确度高达92%和89%。Awan等^[31]的研究旨在解决数据集不平衡的问题，首次基于混合类平衡和实时数据增强的方法，开发出一种三分类改进模型—ResNet-14 CNN。模型在917例克罗地亚里耶卡临床医学院中心公开数据集上得到健康、部分撕裂和完全撕裂的平均AUC分别为98%、97%和99%，说明在没有放射科医生参与的情况下，模型能够高效、全面地自动检测ACL损伤。Astuto等^[32]提出了一种基于完整膝关节多组织分区和多分类的全自动复合模型，回顾性地利用1252例3D高分辨FSE序列图像进行ACL四分类诊断。该复合模型检测ACL病变二分类(有无撕裂)的敏感度为88%，AUC为90%，多分类(完整、全部撕裂、部分撕裂、重建手术)敏感度为89%～97%，研究还比较了有无DL模型帮助的受训人员与经验丰富的医师诊断ACL损伤一致性的差异。结果显示模型的辅助大大提高了经验不足医生的诊断效能。2021年，Awan等^[33]应用LeNet-5 CNN和定制CNN在克罗地亚里耶卡临床医学院中心的917张膝关节磁共振图像对ACL损伤进行自动分类。该DL框架主要包括三个阶段：首先裁剪出膝关节MR图像感兴趣区域；其次训练标准CNN模型和定制的CNN模型，并手动设置了自适应矩估计优化器(ADAM)、均方根传递优化器(RMSprop)和两个学习率0.001和0.0001；最后通过训练集和测试集来比较不同模型性能。标准CNN和定制CNN模型准确度、精确度、敏感度、特异度、平衡F分数分别为96.3%、95%、96%、96.9%、95.6%和98.6%、98%、98%、98.5%、98%，定制CNN模型在ACL损伤前瞻性分类方面取得了较高的性能。该研究的不足之处在于：(1)数据集不平衡(健康图像的比例远高于部分和完全撕裂图像的比例)；(2)没有考虑前交叉韧带撕裂患者的年龄和外伤史或骨关节炎史；(3)没有通过交叉验证进行评估；(4)缺少外部数据集验证。基于DL对MRI图像ACL损伤多分类分级的文献汇总如表3。

       目前基于DL对ACL损伤分类的研究较多，并呈现出可喜的成果，但是也看到了研究存在的一些问题：(1)之前的研究主要以回顾性研究为主，缺乏前瞻性实验设计，导致实验结果易受设计者主观偏倚的影响；(2) ACL损伤存在与否的二分类研究较为成熟，但有关损伤严重性的多分类诊断准确度仍有待提高；(3)算法模型与现实的临床环境整合度不高，多分类大多只区分健康、部分撕裂、全部撕裂，没有对损伤严重程度更细化的分级，因此对临床手术决策及诊断伴随的膝关节损伤指导意义有限；(4)研究纳入损伤病例数所占比例较小，这就容易造成模型的过拟合(偏向健康)；(5)许多研究只将模型结果与放射医生的诊断结果相比较，而关于放射科医生在是否有DL模型支持的情况下诊断损伤的准确度和速度却鲜少对比分析；(6)模型在外部数据集的验证结果不理想，说明模型的通用性和可迁移性仍需进一步探讨。

点击查看表格

表3  深度学习对MRI图像前交叉韧带损伤多分类的文献汇总
Tab. 3  Literature summary of deep learning for multi-classification of ACL tears in MRI images

4 总结与展望

       现阶段有关DL在ACL上的研究焦点大多集中于对ACL损伤的分类，对于ACL的分割以及基于ACL对膝关节其他疾病的预测却鲜少关注。同时DL算法的实用性可能会随着医师经验水平的提高而降低，专业知识较少、经验不足的医师受益更多，而具有丰富经验的放射科医师受益较少。而且虽然经实验研究已经证实DL的准确度已经达到或者超过专业医生，但受临床实际情况复杂性的影响，实际应用于临床的并不多^[34]，其原因可能一是由于现有模型的鲁棒性和有效性有待于更加客观的检验。二是用于训练各个模型的数据集质量参差不齐，导致性能不稳定，有研究试图通过包括不同场强、脉冲序列协议、机型和外部测试集来评估真实场景，发现模型诊断效能有所下降，这说明模型的大范围的推广受到一定制约，需进一步提高模型普适性^[35]。目前基于ACL预测骨关节炎的发生和进展的研究仍是空白，如何通过ACL来预测膝骨关节炎，准确预测有前交叉韧带损伤或再损伤风险的个体，术中识别复杂的解剖标志，以及术后疼痛控制和康复方案的优化，这将是未来的一个研究方向。同时，将DL整合到临床实践中需要放射科医生的参与，他们提出临床工作中需要解决的问题，将工科和医学相结合，这是加速DL临床应用不可或缺的重要一环。

       综上所述，虽然DL关于ACL损伤的研究仍处于起步阶段，但随着人工智能的迅猛发展与精准医学理念的不断深入，更多模型会被不断开发出来，DL技术也将取得长足进步，并使相关医疗数据的分析更加精确。虽然短期来看，人工智能和DL预计不会取代放射科医生，但这些技术可以极大地简化工作流程，提高放射科医生的工作效率，减少诊断出错几率，切实提高患者的满意度。在可预见的未来，DL在临床应用的前景将更加广泛，将会成为放射科医生的得力助手。