骨性关节炎（osteoarthritis，OA）是常见病、多发病，在OA病变中，关节软骨是比较容易受累的组织之一。膝关节软骨是由胶原蛋白和富含蛋白多糖的基质以及单一类型细胞——软骨细胞组成的结缔组织结构。在结构上，软骨提供坚固的缓冲作用，适于抵抗和减弱压力及拉伸力。大体上，软骨由半透明的浅蓝色至黄白色（取决于亚型和胶原蛋白含量）橡胶状组织组成。在关节软骨中，水分子不均匀的分布，其在关节表面浓度最高。水与软骨基质的交接处不断进行扩散和潮汐运动。透明软骨由大量细胞外基质（extracellular matrix，ECM）^[1]包围的极少数软骨细胞组成。ECM主要由水和两组大分子组成：蛋白聚糖和胶原纤维。关节软骨中的大分子ECM限制了水分子的运动。根据胶原纤维的排列不同，将软骨表面至软骨下骨分为胶原纤维层（表层）、过渡层（中间层）、放射层（深层）和钙化层。

       早期诊断对于OA患者具有重要意义，甚至可避免全膝关节置换。MRI在软骨病变的诊断上起着非常重要的作用，无论临床还是科研。生活方式的改变包括减肥^[2]、有氧运动^[3]和运动范围加强^[4]均已被证明可以减轻患有退行性和创伤后软骨病变的患者的症状，并可能减缓疾病进展。软骨形态学成像功能的MRI序列已被证明具有高特异性，但对于检测膝关节内的软骨损伤仅具有中等敏感度^[5,6]。诊断准确性高度依赖于读片医师专业知识的水平，并且在大多数研究中都提及了不同读片医师之间的中等观察一致性。因此，开发基于计算机的用于MRI检测软骨损伤的标准化方法有利于将诊断准确性最大化，同时减少由于人为解读相关的分心和疲劳引起的主观性、可变性和错误率。

       本研究的目的是通过机器学习大量影像诊断明确的膝关节软骨不同程度病变的磁共振图像，评价膝关节软骨自动分割和分类的准确性，确定使用深度学习方法检测MR图像上膝关节软骨损伤的可行性，以提高未来膝关节OA自动诊断流程的效率和准确性。

1　材料与方法

       本研究用到的神经网络模型为V型网络^[7]和Inception网络^[8]。众所周知，深度学习方法是一种由数据驱动的方法。如果直接以较少的数据去训练较复杂的数据，可能无法取得较好的效果。而迁移学习方法通过使用在其他数据集上预先训练好的模型，可以有效减少需要的数据量^[9]。在本研究的分类任务中，笔者使用由PyTorch提供的在ImageNet^[10]上预训练的Inception V3模型。在本研究的分割任务中，笔者使用在SKI10^[11]数据集上预训练了的模型作为基础。模型的训练使用PyTorch^[12]框架，在GeForce GTX 1080 Ti GPU上完成。

1.1　MRI数据集

       实验使用的MR图像来自上海市第六人民医院膝关节MR，2011年1月至2017年1月期间接受膝关节磁共振扫描的590名受试者，年龄为16~ 80岁（图1）。所有受试者均采用仰卧位，使用8通道膝关节线圈（Philips Healthcare）固定。图像采集使用飞利浦3.0 T磁共振仪器（Achieva 3.0 TX；Philips Healthcare，Best，Netherlands）。图像重建分辨率为512 × 512，层厚为3.0 mm。放射科医生使用ITK-SNAP软件标注数据。

点击查看大图

图1  软骨损伤不同评分等级的年龄分布
图2  自动分割数据：SKI10与其标注
图3  分割标注
图4  分区示意图。A、B：髌骨分为内侧(PM)和外侧(PL)，脊部划为内侧部分；股骨和胫骨也划分为内侧(FM，TM)和外侧(TM，TL)，股骨滑车沟划为内侧；C~ E：S区代表胫骨髁间突下方的胫骨区域。股骨和胫骨又进一步划分为前区(FMA/FLA，TMA/TLA)、中区（FMC/FLC，TMC/TLC）、后区（FMP/FLP，TMP/TLP）
图5  层号码＋评分
图6  软骨的概率图。A：股骨，B：股骨软骨，C：胫骨，D：胫骨软骨，E：髌骨，F：髌骨软骨
Fig. 1  Age distribution histogram of different grades of cartilage damage.
Fig. 2  Automatic segmentation data: SKI 10 and label.
Fig. 3  Segmentation label.
Fig. 4  Regional subdivision of the articular surfaces. A, B: The patella is divided into medial (M) and lateral (L) regions, with the ridge considered part of the M region. The femur and tibia are also divided into M and L regions, with the trochlear groove of the femur considered part of the M region; C—E: Region S represents the portion of the tibia beneath the tibial spines. The femoral and tibial surfaces are further subdivided into anterior (A), central (C) and posterior (P) regions.
Fig. 5  Slice number+grade.
Fig. 6  Probability map. A: Femur, B: Femoral cartilage, C: Tibia, D: Tibial cartilage, E: Patella, F: Patellar cartilage.

1.2　放射科医师的评估

       为了比较软骨病变检测系统的诊断性能与临床放射科医师的诊断准确性，由第2年放射科住院医生阅读磁共振数据并独立做出诊断，是否存在软骨损伤，如果存在，则进一步评判是何种类型软骨损伤。临床放射科医生在评估关节软骨之前没有接受过正式的训练或校准，使用相同的软骨损伤定义评估每个图像，并以骨肌放射科主任医师的最终解读作为参考标准。

1.3　软骨自动分割与软骨损伤自动分类系统

       用于软骨自动分割的数据为33名正常人膝关节磁共振3.0 T数据，所用数据库为SKI10(图2)。用于软骨自动分类的数据为557例（表1），其年龄分布与放射科医师评分结果的特点为软骨重度缺损患者随年龄增加而明显增加（图1）。

点击查看表格

表1  自动分类数据
Tab. 1  Automatic classification data

1.4　数据的训练与评估

1.4.1　分割系统

       分割数据的处理（图3）：在图像分割任务的训练中，本研究使用了与下文分类任务相同的图像预处理与数据扩增方法，除了图像会被补全或者裁减到512 × 512像素大小。同样，本研究使用了梯度下降法来优化模型。为了评价模型分割效果，以患者为单位将所有样本按照大约4∶1的比例分为训练集和验证集。本研究使用Dice相似系数（dice similarity coefficient，DSC）来评价分割的准确性，27个数据用于训练，6个数据用于测试。

       分割评估方法：使用DSC来量化分析自动分割的精度。DSC的计算如公式为：

       DSC (A, B)=2|A∩B|÷ (|A|+|B|)

       其中，A代表参考的分割区域，B代表自动分割区域，|A∩B|代表A和B的交集。DSC的数值范围是0~ 1，数值越高分割效果越好，0代表两者没有交集，1代表两者完全重合。

1.4.2　分类系统

       分类数据的处理：在将图像输入模型之前做了一些预处理。首先，将每一个患者的图像与模板进行直方图匹配，然后每一层都重采样到1/3 mm × 1/3 mm。然后进行数据扩增，包括随机进行的微小的平移与旋转。最后，将每个二维图像都在周围用0补全或者裁减到299 × 299像素大小。其中，直方图匹配是离线完成的，其余步骤都是将所有变换合并后即时处理完成，虽然带来了大量的即时计算，但只进行了一次插值，提高了最后的图像质量。为了评价训练结果好坏，本研究进行了五折交叉验证。将所有已标记数据随机分成5个数据集，确保同一患者的图像只在一个数据集中出现，然后分别将这5个数据集中的一个作为测试集，其余数据作为训练集。对模型的每一次训练都采取固定的训练过程的方法（梯度下降法，批大小为60，40次遍历数据集）。当阈值设定为0.5时，准确率为0.9736；取得最高准确率0.9744时的最佳阈值为0.6130。

       分类标注（图4）：分区及评分策略。髌骨分为内侧（medial patella，PM）和外侧（lateral patella，PL），脊部划为内侧部分；股骨和胫骨也划分为内侧（medial femur/lateral femur，FM/FL）和外侧(medial tibia/lateral tibia，TM/TL)，股骨滑车沟划为内侧；S区代表胫骨髁间突下方的胫骨区域。股骨和胫骨又进一步划分为前区（medial anterior femur/lateral anterior femur，FMA/FLA；medial anterior tibia/lateral anterior tibia，TMA/TLA）、中区（medial central femur/lateral central femur，FMC/FLC；medial central tibia/lateral central tibia，TMC/TLC）、后区（medial posterior femur/lateral posterior femur，FMP/FLP；medial posterior tibia/lateral posterior tibia，TMP/TLP）。其中，FMA/FLA对应髌股关节面的软骨；FMC/FLC对应股骨承重区的软骨；FMP/FLP对应股骨后方只在极度屈曲状态下形成关节面的凸出部位的软骨；TMC/TLC对应胫骨表面半月板前后角之间未被覆盖的胫骨中央区域的软骨及半月板体部周围覆盖的部分区域的软骨。

       结合全器官磁共振成像评分（whole-organ magnetic resonance imaging score，WORMS）及上述相关文献研究之后，笔者决定对膝关节软骨病变MRI分级采用Recht标准^[13,14]（图5）。0分：正常关节软骨，软骨弥漫性均匀变薄但表面光滑；1分：软骨分层结构消失，软骨内出现局灶性信号改变区（包含上述低信号、高低混杂信号、高信号、高信号合并骨髓水肿），软骨表面光滑；2分：软骨表面轮廓轻至中度不规则，软骨缺损深度未及全层厚度的50%；3分：软骨表面轮廓中至重度不规则，软骨缺损深度达全层厚度的50％以上，但未完全脱落；4分：软骨全层缺损、剥脱，软骨下骨质暴露，有或无软骨下骨质信号改变。

1.5　数据分析

       数据分析所使用的软件为NumPy和Matplotlib(P<0.05表示差异具有统计学意义)。受试者工作特征（receiver operating characteristic，ROC）曲线分析用于进一步评估软骨损伤检测方法的诊断性能。把诊断正常数据的准确率（specificity，负样本分成阴性的比例）和诊断不正常数据的准确率(sensitivity，正样本分成阳性的比例)做平均，使灵敏度与特异度之和的平均值最大的阈值作为最适阈值（optimal threshold），ROC分析完成后，计算每一折数据分析在最适阈值下得到的ROC曲线下面积（area under the curve，AUC）。这时平均准确率相当于健康人和患者一样多时的总体准确率，目的是防止由于正样本太少造成偏倚。

2　结果

2.1　分割结果

       分割过程见概率图（图6），胫股关节及髌股关节的骨骼与软骨均得到较好的分割效果。股骨、胫骨和髌骨的分割结果为（表2）：DSC值依次为0.9856±0.0053、0.9806±0.0037和0.9121±0.0251，均高于0.9，并高于手工标注；股骨软骨、胫骨软骨和髌骨软骨的分割结果为：DSC值依次为0.8369±0.0703、0.7716±0.0701和0.7504±0.0982，均高于0.75，并高于手工标注。DSC的数值范围是0~ 1，数值越高分割效果越好，0代表两者没有交集，1代表两者完全重合。因此，V型网络模型较好地实现了股骨、股骨软骨、胫骨、胫骨软骨的自动分割。

点击查看表格

表2  分割准确性DSC(以个体为单位计算)
Tab. 2  Segmentation accuracy DSC (calculated based on individuals)

2.2　分类结果

       软骨病变检测系统能够检测所有类型的软骨病变，包括软骨局灶性信号改变、轻中度性缺损和全层缺损（图7）。五折交叉验证的ROC曲线（图8）清晰显示了用于检测膝关节内软骨损伤的软骨损伤检测系统的诊断性能。五折数据的灵敏度和特异度、准确率见表3，均高于0.93。五折数据的AUC值均高于0.98并接近于1。在最适阈值0.0014(图9)下，总灵敏度和特异度分别为0.9462、0.9527，总准确率为0.9521，AUC值为0.9859。

点击查看大图

图7  膝关节软骨损伤1~ 4分磁共振图像。1分（A）：软骨分层结构消失，软骨内出现局灶性信号改变区（包含上述低信号、高低混杂信号、高信号、高信号合并骨髓水肿），软骨表面光滑；2分（B）：软骨表面轮廓轻至中度不规则，软骨缺损深度未及全层厚度的50%；3分（C）：软骨表面轮廓中至重度不规则，软骨缺损深度达全层厚度的50％以上，但未完全脱落；4分（D）：软骨全层缺损、剥脱，软骨下骨质暴露，有或无软骨下骨质信号改变
图8  五折交叉验证的ROC曲线，纵坐标为灵敏度，横坐标为1-特异度。通过临床诊断的预测概率的阈值来创建橘色ROC曲线
图9  最适阈值图。为减小数据量小带来的偏倚，取灵敏度与特异度之和的平均值（即：灵敏度和特异度均一样时）最高时，最适阈值下的平衡准确率（红色五角星）为最高
Fig. 7  Magnetic resonance image of knee joint, cartilage injury grade 1-4. Grade 1 (A): The cartilage layered structure disappeared, and there is a focal signal change zone in the cartilage (including the above-mentioned low signal, high and low mixed signals, high signal, high signal combined with bone marrow edema), and the cartilage surface is smooth; Grade 2 (B): The cartilage surface profile is mild to moderately irregular, and the cartilage defect depth is less than 50% of the full thickness; Grade 3 (C): The surface contour of the cartilage is extremely irregular, and the depth of cartilage defect is more than 50% of the thickness of the whole layer, but it is not completely detached; Grade 4 (D): Complete cartilage defect, exfoliation, subchondral bone exposure, with or without subchondral bone signal changes.
Fig. 8  Five-fold cross-validated ROC curve, y-axis represents sensitivity, x-axis represents 1-specifity. The orange ROC curve is created by sweeping a threshold over the predicted probability of a particular clinical diagnosis.
Fig. 9  Optimal threshold. In order to reduce the bias caused by the small amount of data, when the average of the sum of sensitivity and specificity (that is, when the sensitivity and specificity are the same) is the highest, i.e., at the optimal threshold,the optimal balanced accuracy (red star) is the highest.

点击查看表格

表3  五折数据的分类效能
Tab. 3  Classification efficiency of the five-fold data

3　讨论

3.1　研究基础：软骨损伤半定量评分系统

       膝关节OA已有相对完善的半定量评分系统，例如WORMS^[15]和磁共振成像膝关节骨关节炎评分（MRI osteoarthritis knee score，MOAKS）^[16]。由于膝关节软骨在OA的发病过程中至关重要，这些评分系统在软骨的病变分级上十分详尽具体。而把WORMS和MOAKS对比之后发现，只有WORMS对于形态完整的膝关节软骨磁共振信号改变有具体的分级。WORMS对于膝关节软骨的信号和形态改变评分方法为：0=正常软骨厚度和信号；1=正常软骨厚度，T2WI信号增高；2.0=局部非全层缺损最大宽度<1 cm；2.5=局部全层缺损最大宽度<1 cm；3＝多发局部非全层缺损(2分)混合正常厚度区域，或2分病变基础上，缺损宽度>1cm但小于该区域的75%；4=弥漫性局部缺损(75%)；5＝多发全层缺损，或2.5分基础上缺损最大宽度>1 cm但小于75%；6=弥漫性圈层缺损（> 75%）。

       通过大量病例研究及文献报道后发现，WORMS评分中的"1分T2WI信号增高"部分可补充为：磁共振液体敏感序列的软骨信号改变。而信号改变亚型包含低信号、高低混杂信号、高信号及高信号合并骨髓水肿（最容易进展为软骨缺损）^[17]。其中，低信号改变的形式最为多见^[18]。软骨高信号改变对应的病理结果已被关节镜证实为1级软骨软化^[19]，然而目前软骨的低信号和高低混杂信号改变相对应的病理状态尚未有定论，有几种可能的机制^[20]，包括各向异性的破坏、磁化转移效应和透明软骨变性为纤维软骨。另外一种软骨低信号改变的可能机制是低信号代表未与滑液接触的软骨深层结构发生撕裂，因而磁共振信号非水分进入软骨后的高信号改变^[20]。低信号和混杂信号代表了膝关节软骨最早期发生的病变。有文献报道对发生1分软骨信号改变者进行随访48个月后^[17]，半数以上进展为不同程度的软骨缺损，因而若把膝关节软骨信号改变用作监测OA潜在患者发生软骨缺损的预测指标，未来可有望作为影像生物标记物评估软骨退变的风险。

3.2　研究意义

       本研究描述了一种基于全自动深度学习的软骨病变检测系统，该系统利用V型网络对软骨和骨进行分割，然后使用Inception网络来检测分割的软骨组织内的结构异常。本研究所提出的深度学习方法在检测膝关节内的软骨损伤方面获得了较高的诊断准确性，AUC为0.9859，高于0.91。软骨损伤检测系统的灵敏度和特异度与临床放射科医师的诊断准确性相当。软骨病变检测系统的高AUC值类似于先前研究中用于检测以下临床疾病的深度学习技术的AUC——胸部CT检测肺结节^[21]，胸部X线对肺结核进行分类^[22]，乳腺钼靶对乳腺密度进行分类^[23]，心脏血管增强CT检测冠状动脉狭窄^[24]，盆腔MRI检测前列腺癌^[25]，以及髋关节X线对骨关节炎的严重程度进行分级^[26]，这些都进一步强调了基于计算机的医学图像评估方法的初步前景。

       分割实验结果显示，自动分割的Dice相似系数明显高于手工标注。根据文献[27]，DSC大于0.70则表示分割效果较好，本研究的结果均优于此基准，表明本研究结果具有良好的性能，并且有潜力提高分割的准确性和一致性。本研究使用最先进的神经网络能够快速、准确、精确地自动分割和分类，达到自动分类速度在1 s以内，自动分割在5 s以内。同时，观察到自动分割的结果与参考值是有差别的，临床应用时需要医生认真的核查，并做必要的修正。形态学和生物化学成分定量MR成像已显示出在骨关节炎的诊断和监测中的临床相关性，准确和精确的自动分割或分类将实现快速提取这些信息及达到其在临床实践和研究中的应用。

3.3　研究优势

       软骨病变检测系统具有许多潜在的优点。虽然软骨病变检测系统的训练过程相对较长，但是对于评估整个膝关节的检测时间是非常有效的（大约几秒），这使其作为软骨病变的快速筛查方法而言非常有用。软骨病变检测系统也不受与缺乏经验、分心和疲劳相关的误差的影响。本研究结果显示了神经网络在骨骼肌肉研究领域的应用前景，这些结构的分类和分割在OA患者中是没有显著差异性的。本研究的方法还具有显著的计算速度优势。此外，本研究已经证明在提取膝关节软骨形态特征方面的能力可用于预测和监测OA中的关节退变，这表明本研究模型与手动分割的可互换性，从而使临床医生能够更快、更准确地进行OA诊断，这是定量MR成像技术迈向临床转化的重要一步。

3.4　局限性与展望

       尽管神经网络模型在自动分类与分割上相比手工标注表现出了较明显的优势，但在准确性上仍有提高的空间。另外，本研究只利用到软骨的分类与分割，若有半月板或韧带的详细分区与分割结果，则可能由此推测出更多膝关节OA诊断信息。本研究仅仅证实了使用深度学习方法评估膝关节关节软骨损伤的可行性，还需要进行大型前瞻性验证研究，以比较软骨病变检测系统的解读与关节镜下指定的软骨病变等级或膝关节关节面相同位置的小区域组织学检查。本研究的准确性计算是以手工标注为参照标准，而此标准可能因人而异。在实现膝关节软骨磁共振信号改变的自动分类与分割之后，有望进一步对OA相关其他组织进行自动评估，如半月板、前后交叉韧带、骨髓水肿、关节滑液、骨内囊肿、骨赘等，以达到利用人工智能的方法对OA实现自动诊断。也可结合软骨敏感的三维抑脂扰相梯度回波序列，或结合T1ρ及T2值^[28,29]的测量对不同级别的软骨的生化成分进行自动分析，进一步提高诊断软骨病变的敏感度和特异度。继续增加训练集的数据可以包括更多的患者特性，从而使模型更加稳定。未来的临床研究需要确定与单独的图像解读方法相比，是否综合人类解读和机器解读可以提高检测软骨损伤的诊断性能。

       总之，本研究利用深度神经网络建立了一种膝关节自动分割和软骨病变分类的方法，有利于提取形态特征，证明了使用全自动深度学习软骨病变检测评估膝关节关节软骨损伤的可行性，具有监测和诊断OA的价值，为影像诊疗流程自动化提供了技术支持。虽然本研究的初步研究结果看来很有前景，但在对软骨病变检测方法更深入的技术开发和验证之前，还需要进一步的工作才能在临床实践中全面实施。