0 前言

       图像配准又称图像匹配，它的目的是得到移动图像与固定图像匹配过程中生成的变形场，由此来准确配准一对图像，并在空间上对齐解剖结构^[1]。这些对齐的解剖结构能够充分利用不同患者图像之间的信息，医生可以运用这些信息对解剖结构进行比较，由此获取患者病情的信息^[2]。在微创手术中，医生需要将术中实时图像与术前图像进行配准，这样可以获取解剖结构的新位置信息。这些信息可以指导医生准确地发现病变，从而保证手术的安全性和有效性^[3]。目前，传统的配准方法面临着巨大的挑战。在面对高分辨率的三维医学图像数据进行非刚性配准建模时，需要处理大量的输入数据，而且使用迭代优化算法，需要耗费大量的时间^[4]。

       随着深度学习的发展，不少人提出了利用神经网络进行医学图像配准的方法。深度学习的配准方法要比传统的图像配准方法运行时间快，通过训练神经网络可以生成对应于输入图像对的变形场，从而实现了快速配准。大多数有监督配准方法依赖于解剖学标签。然而，解剖标签的标记难度大，耗时长，且不能保证准确性，有监督的配准方法受到限制。因此，有学者提出了无监督医学图像配准方法，并运用无监督的配准方法实现医学图像配准任务，如：MA等^[5]设计了一种新颖的分层损失函数，用于3D医学图像的无监督可变形图像配准网络。MOK等^[6]提出了一种条件图像配准方法和一种深度可变形图像配准自监督学习范式，可以使用任意平滑度强度正则化来操纵所得到的变形场的平滑度。GONG等^[7]提出了一个用于学习配准中不确定性的模块，并在框架中引入了配准误差预测，提高了配准的精度。KIM等^[8]提出一种用于具有严重变形的不同数据集间的精确配准方法，在肝脏CT图像上取得了较好结果。MIAO等^[9]使用基于扩张的全卷积网络的训练机制提出了一种自注意机制的智能体系，用于图像配准任务。BALAKRISHNAN等^[10]提出了一种基于快速学习的算法，将配准定义为参数函数，给定一对图像并对其进行优化参数，可以使用学习到的参数直接评估函数来快速计算变形场。ZHAO等^[11]提出了一种能够学习深度级联的通用递归级联网络用于可变性的图像配准，利用无监督的训练方式，对当前扭曲的图像执行渐进变形以取得良好的配准精度。鉴于多尺度和注意力机制的优秀性能，这些模块也被广泛应用于图像配准任务中，以此提高预测的变形场的准确性^{[12, 13, 14, 15]}。深度学习中的生成对抗网络^[16]在图像处理领域也有良好的发展前景。生成对抗网络被广泛应用于高质量分辨率图像重建任务^{[17, 18, 19]}、平行成像^[20]、图像恢复^[21]、血管分割^{[22, 23]}、脑肿瘤分割^{[24, 25]}、图像融合任务^{[26, 27, 28]}和图像分类任务^{[29, 30, 31]}。

       生成对抗网络同时在图像配准领域也取得了良好的配准效果。FAN等^[32]基于生成对抗网络实现了单模态与多模态图像之间配准，取得了良好的配准精度。ZHENG等^[33]采用半监督的训练策略，将单模态/多模态图像的对称配准设定为条件生成对抗网络，通过引入损失函数，实现一幅图像到另一幅图像的双向空间变换。考虑到基于UNet的网络结构在上采样的过程中会出现信息丢失的问题，会导致配准精度下降以及脑部边缘区域不精确配准。因此应该在图像配准过程中保留这部分有用的信息，实现更佳的配准效果。

       针对以上问题，本文提出了基于多尺度注意力机制的生成对抗网络脑MRI图像配准方法。首先，在鉴别网络的UNet模型^[34]的上采样过程中加入多尺度注意力机制（multiscale attention mechanisms, MAM）模块，使得鉴别网络在训练过程中能够考虑到更加全面的图像信息；其次，运用生成对抗网络自身的对抗损失函数和局部互相关损失函数来约束图像之间的相似性；最后，通过生成对抗网络的对抗学习使配准网络的配准效果得到进一步的提升。该方法在脑部边缘区域获得了较好的配准效果，有助于临床医生更好地掌握患者的病患信息，更好地为实时的临床诊断提供服务。

1 对抗学习方法

       本文提出了一种用于三维脑图像配准的对抗学习方法，对抗网络的学习框架旨在预测移动图像到固定图像变换的变形场。本文设计了一个配准网络来学习变形场，一个鉴别网络通过对抗学习的方式提高配准性能。在这两个网络的共同作用下，让配准网络学习到更好的变形场，从而提高了配准的精度。本文使用的配准网络的结构与VoxelMorph网络结构相似^[10]，网络结构见图1；鉴别网络中融入MAM模块；训练时同时使用对抗损失、局部互相关损失和L2正则化。

1.1 配准网络

       配准网络的输入是固定图像F和移动图像M，这一过程实现了移动图像到固定图像的初步对齐，配准网络的输出是变形场ϕ1，M和ϕ1通过空间变换层得到变形后的图像Mϕ1，最后再计算Mϕ1与F之间的相似性。

       在文献^[35]中，将局部互相关相似性损失函数应用于生成对抗网络的训练过程中，取得了较好的配准结果。本文采用同样的思想，将局部互相关损失函数作为F与Mϕ1之间的相似性损失函数，损失函数的公式如下：

       其中pi表示在体素p附近的n3体积上迭代，在本文中，n=9。Fpi表示F在pi处的体素值，Mϕ1pi表示M(ϕ1)在pi处的体素值，F(p)和M(ϕ1(p))表示局部均值。CC越高表示，表示对齐的越准。

       配准网络旨在使图像对尽可能相似，它的对抗损失函数公式如下：

       其中ξ是鉴别网络输出的值，它用来表示配准后的图像与F的相似性概率。c表示网络输入的情况。

       本文还使用L2正则化来平滑变形场，公式如下：

1.2 鉴别网络

       鉴别网络是对配准网络输出的图像做鉴别，来甄别输出图像的真假性，以此提高配准网络的配准性能。图2展示出本文所使用的鉴别网络结构图。鉴别网络在UNet网络的基础上，考虑到上采样过程中会出现特征丢失的问题，因此在上采样过程中加入了MAM模块，使得鉴别网络能够提取到图像中更加有效的信息，提高鉴别网络的鉴别能力。

       在训练过程中，配准网络和鉴别网络以对抗的方式交替训练。训练包括：（1）将参考图像（类似于固定图像的图像，在下面内容中给出定义）与固定图像一起输入给鉴别网络，以学习一对配准良好的图像对的情况；（2）将配准图像和固定图像作为鉴别网络的输入，让鉴别网络学习一对未配准图像对的情况；（3）将移动图像和固定图像作为配准网络的输入，通过鉴别网络的学习生成较好的变形场。重复这些步骤来训练鉴别网络和配准网络。

       鉴别网络的作用是来识别图像对之间的相似性，以下两种情况交替输入鉴别网络：（1）给网络输入配准良好的图像对，即正例图像P+：每个正例图像是由参考图像和固定图像组成的配准良好的图像对，在理想的情况下，这个图像对是完全相同的。然而，这样的要求不切实际，因为每个受试者的解剖结构都是有差异的，因此使用移动图像和固定图像组合的方式生成参考图像。参考图像的产生与方法^[32]相似，即通过移动图像与固定图像之间的组合关系，得到参考图像。本文在设置参考图像的过程中，只是对固定图像做了很小的扰动以减少参考图像与固定图像的差距，扰动量假设为x，公式为：

       x的设置是静态的，在整个训练过程中，本文将x设置为0.95；（2）给网络输入未配准的图像对，即负例图像P-：每个负例图像是由配准图像和固定图像组成的未配准的图像对。其旨在使得鉴别网络能够鉴别出配准后的图像，从而督促配准网络生成更加真实的变形场，产生与固定图像更像的图像，欺骗过鉴别网络。

       鉴别网络的对抗损失函数的具体公式为：

点击查看大图

图2  鉴别网络结构图。
Fig. 2  Discrimination network structure image.

1.3 MAM模块

       在UNet网络采样的过程中，保留特征的关键是提取丰富的上下文信息，通过扩大感受野来捕获更多的全局上下文信息是一种十分常见的方法。扩大感受野的方式有增加网络的深度和宽度，但是这样会增加更多的参数，而且增加网络深度的方法可能会在网络深度过深时出现梯度消失的情况。为了解决这个问题，空洞卷积被提出，它可以通过设置不同的空洞率来获得不同的感受野，达到扩大感受野的目的。

       如图3所示，MAM模块将输入的特征进行最大和平均池化操作后再将得到的图像信息连接在一起进行卷积操作，该卷积操作是在不同空洞率下进行的，卷积后将不同空洞率下得到的图像信息连接在一起进行上采样操作。在输出图像信息时，考虑到上采样过程中的图像信息，将上采样的图像信息与下采样的图像信息进行相乘。整个操作过程充分考虑到了图像的全局信息。

点击查看大图

图3  多尺度注意力机制模块（MAM）。
Fig. 3  Multiscale attention mechanisms module (MAM).

点击查看大图

图1  网络结构图。
Fig. 1  Network structure image.

2 实验设置

2.1 数据集

       为了证明多尺度注意力机制的生成对抗网络（multiscale attention mechanisms generative adversarial networks, MAM_GAN）方法的优越性能，本文使用HBN数据集^[36]和LPBA40数据集^[37]进行了训练和测试。HBN数据集是5～21岁多动症脑部数据集，通过对此数据集的研究，能够辅助医生对青少年的临床诊断。本文在该数据集上分别选择了496副和30副T1加权脑核磁共振图像进行训练和测试。在LPBA40数据集上分别选择了30副和9副T1加权脑核磁共振图像进行训练和测试。本文在训练时所用的固定图像是从训练集中随机选取的一幅图像，使得每幅图像都向固定图像线性对齐。本文使用的HBN数据集图像的尺寸均为182 mm×218 mm×182 mm，LPBA40数据集图像的尺寸为160 mm×192 mm×160 mm，分辨率均为1 mm×1 mm×1 mm。HBN数据集和LPBA40数据集中均包含脑脊液（cerebrospinal fluid, CSF），脑灰质（gray matter, GM）和脑白质（white matter, WM）分割标记图像。

2.2 实验细节

       本文是在Tensorflow框架中搭建的网络模型，在 NVIDIA GeForce GTX 2080 Ti显卡上进行训练和测试。在训练过程中，为了减少内存的占用率，使用基于patch的方式进行训练和测试，对于HBN数据集每幅图像能取127块大小为64 mm×64 mm×64 mm的patch块，对于LPBA40数据集每幅图像能取80块为64 mm×64 mm×64 mm的patch块，步长均设置为32。在训练配准网络时，根据文献^[32]和经验总结，学习率设置为0.00001，同时鉴别网络的学习率设置为0.000001。

       本文利用Demons和SyN两个传统配准方法作为对比实验，同时训练了深度学习模型VoxelMorph进行对比。为了验证本文鉴别网络的优越性，还将ResNet50^[38]和VGG19^[39]作为鉴别网络进行训练，在训练过程中，所有参数和配准网络是不发生变化的。

2.3 评价指标

       在本文中采用Dice系数（Dice coefficient, Dice）、结构相似度（structural similarity, SSIM）和皮尔森相关系数（Pearson's correlation coefficient, PCC）作为实验的评测指标。

2.3.1 Dice

       Dice指标用于评测变形后的分割图与固定图像的分割图的重叠程度，这个指标是用来反映实验的分割图与标准的分割图之间的相似性。它的定义为：

       其中，X表示标准的分割图，Y表示配准分割图。Dice的数值范围为0～1，0表示变形后的分割图与标准分割图的差距大，1表示配准分割图与标准分割图的差距小。实验结果越接近1，表示变形后的分割图与标准分割图越相似，配准结果就越好。

2.3.2 SSIM

       SSIM用来衡量两副图像的结构相似程度。SSIM的计算公式如下：

       X, Y表示输入的两幅三维图像，μX和μY分别表示X和Y的平均值，σX2是X的方差，σY2是Y的方差，σX和σY分别表示X和Y的标准差，σXY表示X和Y的协方差，c1和c2为常数来避免分母为0带来的系统错误。SSIM是可以衡量真实图像与配准图像之间的结构相似性，SSIM值越接近1说明两幅图像越相似。

2.3.3 PCC

       PCC用来衡量两幅图像之间的相似性。PCC的计算公式如下：

       PCC的值越接近1表示越正相关，PCC为0，表示不相关。X, Y表示输入的两幅三维图像，X¯和Y¯分别表示X, Y的均值。

3 结果

3.1 实验结果

       本文从以下3个方面比较了MAM_GAN方法的优越性：两种传统的配准方法，即Demons、SyN和一种无监督的深度学习的配准方法VoxelMorph（VM）。

       首先，本文将MAM_GAN方法与Demons、SyN这两种传统方法做了对比，表1和表2总结了不同数据集下的测试结果，各项指标均有了提升。图4展出了测试数据集的配准结果，其中第一行代表HBN数据集的实验结果原图，第二行代表HBN数据集实验结果原图对应的分割图；第三行代表LPBA40数据集的实验结果原图，第四行代表LPBA40数据集实验结果原图对应的分割图。与Demons和SyN相比，MAM_GAN方法取得的图像与固定图像更相似，具有差异的部分用右侧放大图表示出来。

点击查看大图

图4  传统方法与MAM_GAN方法的实验结果对比图。F表示固定图像；M表示移动图像；Demons、SyN为传统方法；MAM_GAN为本文所提融合多尺度注意力机制的生成对抗网络方法，HBN、LPBA40为公开可用的脑部MRI数据集。
Fig. 4  Comparison diagram of experimental results between traditional method and MAM_GAN method, among them, traditional methods include Demons and SyN, and the generative adversarial network method MAM_GAN by integrating multi-scale attention mechanism proposed in this paper.

点击查看表格

表1  不同数据集下与传统方法对比的实验精度
Tab. 1  Experimental accuracy compared with traditional methods under different datasets

点击查看表格

表2  不同数据集下SSIM指标与PCC指标的对比
Tab. 2  Comparison of SSIM indice and PCC indice under different datasets

3.2 消融实验

       其次，本文提出的MAM_GAN方法与VM方法做了对比，并在此基础上，还与配准网络使用VM的网络结构，鉴别网络使用UNet结构的GAN方法做了对比。本文的MAM_GAN方法的配准网络使用的也是VM的网络结构，鉴别网络在UNet基础上加入了MAM模块提高了图像配准的有效性。表3和表4汇总了不同数据集的Dice指标、SSIM指标和PCC指标。在表3中可以看出，VM+UNet+MAM方法与深度学习的VM方法相比，在HBN数据集中，CSF、GM和WM精度分别提高了0.013、0.023和0.028；在LPBA40数据集中，CSF提高了0.010，GM取得的结果与VM方法取得的结果持平，WM提高了0.015。

       在表4中可以看出，在HBN数据集中，本文提出的方法相对于VM方法，SSIM指标提高了0.011，PCC指标提高了0.004；在LPBA40数据集中，SSIM指标和PCC指标虽然没有高出很多，但结果也与其相当。

       图5展示出了消融实验的实验结果图，其中第一行代表HBN数据集的实验结果原图，第二行代表HBN数据集实验结果原图对应的分割图；第三行代表LPBA40数据集的实验结果原图，第四行代表LPBA40数据集实验结果原图对应的分割图。右侧放大的图表明了本文所提出的方法产生的结果更接近固定图像。通过实验结果可以看出本文所提方法的优越性。

       鉴别网络使用UNet结构取得的结果与VM的实验结果相比，在LPBA40数据集上出现了Dice指标下降的情况，经过分析，这是由于数据集的差异性造成。为了验证MAM_GAN方法的泛化能力，本文还使用注意缺陷多动障碍（attention-deficit hyper-activity disorder, ADHD）200数据集对HBN数据集的模型做了测试，实验结果如表5所示。

点击查看大图

图5  消融实验结果对比图。HBN、LPBA40为公开可用的脑部MRI数据集；F表示固定图像；M表示移动图像；VM表示VoxelMorph方法；VM+UNet表示配准网络为VoxelMorph，鉴别网络为UNet的方法；VM+UNet+MAM表示配准网络为VoxelMorph，鉴别网络为UNet框架融合多尺度注意力机制的方法。
Fig. 5  Comparison chart of ablation experiment results. F represents a fixed image; M represents a moving image; VM stands for VoxelMorph method; VM+UNet indicates that the registration network is VoxelMorph and the method of discrimination the network as UNet. VM+UNet+MAM indicates that the registration network is VoxelMorph, and the discrimination network is a method for integrating multi-scale attention mechanisms with UNet frameworks.

点击查看表格

表3  不同数据集下Dice指标
Tab. 3  Dice indice under different datasets

点击查看表格

表4  不同数据集下SSIM指标和PCC指标
Tab. 4  SSIM indice and PCC indice under different datasets

点击查看表格

表5  ADHD200数据集下Dice指标
Tab. 5  Dice indice under ADHD200 dataset

3.3 边缘区域配准

       MAM_GAN方法旨在解决图像边缘区域的配准问题，因此本文将固定图像分割图叠加起来，表示最好的分割结果。固定图像分割图与移动图像分割图叠加起来，表示固定图像分割图与移动图像分割图之间的差距。本文在配准网络不变的情况下，分别把ResNet50和VGG19作为鉴别网络，将估计到的分割图与固定图像分割图叠加，与本文MAM_GAN方法取得的分割图相对比，明显可以看出，MAM_GAN方法在脑部边缘区域取得了更优越的配准效果，MAM_GAN方法取得的分割图与固定图像分割图叠加之后相似度更高。为了使得结果更具有说服力，本文使用SSIM指标衡量分割图的效果，在两个数据集中，MAM_GAN方法取得的数值均优于其他方法。脑部边缘区域可视化结果如图6和图7所示。

点击查看大图

图6  分割图的SSIM指标。6A：HBN数据集；6B：LPBA40数据集。SSIM表示图像结构相似性；VM+VGG19表示配准网络为VoxelMorph，鉴别网络为VGG19的方法；VM+ResNet50表示配准网络为VoxelMorph，鉴别网络为ResNet50的方法；MAM_GAN表示配准网络为VoxelMorph，鉴别网络为UNet框架融合多尺度注意力机制的方法。
Fig. 6  SSIM index of the segmentation image. 6A: HBN data set; 6B: LPBA40 data set. VM+VGG19 indicates that the registration network is VoxelMorph and the method of discrimination the network as VGG19; VM+ResNet50 indicates that the registration network is VoxelMorph and the method of discrimination the network as ResNet50. MAM_GAN indicates that the registration network is VoxelMorph, and the discrimination network is a method for integrating multi-scale attention mechanisms in the UNet framework.

点击查看大图

图7  分割结果叠加图。HBN、LPBA40为公开可用的脑部MRI数据集；F表示固定图像，M表示移动图像，VM+VGG19表示配准网络为VoxelMorph，鉴别网络为VGG19的方法；VM+ResNet50表示配准网络为VoxelMorph，鉴别网络为ResNet50的方法；MAM_GAN表示配准网络为VoxelMorph，鉴别网络为UNet框架融合多尺度注意力机制的方法。
Fig. 7  Overlay of segmentation results. F represents a fixed image, M represents a moving image, VM+VGG19 indicates that the registration network is VoxelMorph, and the method of discrimination the network as VGG19. VM+ResNet50 indicates that the registration network is VoxelMorph and the method of discrimination the network as ResNet50. MAM_GAN indicates that the registration network is VoxelMorph, and the discrimination network is a method for integrating multi-scale attention mechanisms in the UNet framework.

4 讨论

       本文提出了一种结合多尺度注意力机制生成对抗网络进行无监督三维脑图像配准的方法。在Dice分数、SSIM分数和PCC分数上，与现有的配准方法^[10]相比，均取得了最优的结果。本文所提方法充分考虑了UNet网络结构在上采样过程中会丢失的信息，并引入MAM模块，保留上采样过程中可能丢失的特征信息。对临床手术指导具有重要的应用价值。

4.1 MAM模块的先进性

       MAM模块可以重新校准上采样路径的特征，并保留有用特征。在MAM模块中，使用平均池化层和最大池化层压缩和融合上采样路径特征。不同空洞率的空洞卷积用于提取不同尺度的特征。利用上采样层恢复特征图的尺寸，并使用 Sigmoid函数捕获位置相关性，每个位置的重新加权参数与下采样路径相乘作为MAM模块的输出。

       Attention-UNet的中心思想是提出了attention gate模块，将attention集成到UNet跳跃连接上采样模块中，attention-UNet模块的作用是突出局部的重要特征，在这个过程中未考虑到图像特征的多尺度信息^[40]。MAM模块通过空洞卷积在减少参数量的同时通过调整扩张率获得多尺度信息。

4.2 局部互相关损失函数的先进性

       局部互相关损失函数对三维图像使用了一个9×9×9的窗口来计算体素的灰度，因此称为局部互相关。局部互相关损失函数通过滑动窗口，对脑图像的局部区域依次计算相关性。本文中，局部互相关损失函数用于计算Mϕ1和F之间的负局部相关性，该方法对于灰度的变化有较好的鲁棒性，能够更好地计算图像之间的相似性，图像之间相似性的提高，有利于医生掌握患者的综合信息，提高临床诊断和治疗的水平。

4.3 局限性

       此项研究存在以下局限性：（1）本研究仅采用了两个数据集，HBN数据集是患有注意力障碍疾病患者的脑MR图像，然而LPBA40数据集是正常人的脑MR图像；（2）本研究的实验结果均有所提高，但是配准精度提高得很有限。

       因此，在未来的研究中，将该方法采用更多的不同类型的数据集，在训练时调整配准网络和鉴别网络的平衡，使网络得到充分的训练，验证该方法的泛化能力。

5 结论

       本文提出了结合多尺度注意力机制的生成对抗网络用于三维脑MRI配准任务，用于解决在配准过程中出现的脑图像边缘区域配准不精确的问题。（1）在UNet鉴别网络结构上采样过程中融入MAM模块，MAM模块通过空洞卷积设置不同的空洞率，扩大了感受野的范围，提取不同尺度的特征，降低冗余特征的影响；（2）将图像配准任务中的局部互相关损失函数用于生成对抗网络中，来约束图像之间的相似性,提高图像配准的精度；（3）通过生成对抗网络中配准网络与鉴别网络的对抗训练来进一步提高配准网络的配准精度，从而得到更精确的配准。

       本文在青少年多动症HBN数据集和正常脑部MRI数据集LPBA40上进行了实验，验证了本文所提方法的优越性。较好的脑图像配准精度，有利于医生更好地发现青少年多动症患者脑部病变的位置，获取脑部疾病的信息，更好地帮助患者治疗疾病。