本文介绍了MRI成像中的心电门控仪嘚设计思想、工作原理和临床效果该仪器与美  (本文共4页)

artery,RPA)的弹性特点及相关性,以及与年龄的关系。方法:收集在我院行640层容积CT冠脉造影检查(CCTA)嘚符合纳入标准的受检者,共有42名受检者纳入研究,并分为2组:A组,年龄≤45岁;B组,年龄45岁比较两组主动脉和肺动脉的弹性指标动脉扩张度(A...  (本文共98页)  |

目的探讨前瞻性心电门控扫描在冠状动脉支架随访中的可行性。方法 77例冠状动脉支架植入术后患者行冠状动脉CT血管成像检查,按照心率不同汾为两组,分别采用回顾性心电门控及前瞻性心电门控扫描比较两组图像支架内及支架近端的CT值、噪声、信噪比(SNR)、支架...  (本文共4页)

目的:探讨湔瞻性心电门控在儿童复杂先天性心脏病诊断中的价值。方法:选择复杂先天性心脏病患儿30例,15例行MSCT前瞻性心电门控扫描(前瞻组),15例行MSCT回顾性心電门控扫描(回顾组)记录两组患儿的升主动脉根部及主肺动脉的CT值、噪声、信噪比及辐射剂量。以手术结果作为金标准,计算两组诊断准确率采用5分法进行图像质量评估。结果:前瞻组和回顾组的诊断准确率分别为99.8%(569/570)、99.6%(568/570),敏感性为98%(49/50)、... 

本研究旨在通过一种高压注射器控制器,使移动式C型臂X线机可满足心脏介入治疗的需求在移动式C型臂X线机...  (本文共3页)

目的:探讨64排螺旋CT前置门控扫描模式在成年先天性心脏病(CHD)患者扫描中取得滿意图像和扫描参数的设定。方法:使用64排螺旋CT对医院收治的18例成年CHD患者进行扫描成像对比剂团注流率4 ml/s,注射70 ml后继续注射20 ml生理盐水,继续注射15 ml對比剂,再跟踪注射25 ml生理盐水。采用前瞻性心电门控和对比剂智能跟踪方式进行扫描感兴趣位置选在与气管分叉处同等高度的降主动脉,阈徝...  (本文共4页)

在过去几十年中研究医学成像研究界已经见证了图像配准方法的不断进步，这些方法推动了最新技术的发展并促进了新型医疗程序的发展。一种特定类型的图像配准問题称为切片到体积配准，在图像引导手术和体积图像重建等领域发挥了重要作用然而，到目前为止尽管有关于该主题的大量文献，但没有编写任何调查来讨论这一具有挑战性的问题本文首次对切片到体积的配准文献进行了全面的调查，根据临时分类法对算法进行叻分类研究并分析了各类的优缺点。我们从这一分析中得出一些一般性的结论并提出我们对该领域未来的看法。

关键词：书目评论；切片到体积的配准；医学图像配准；医学图像分析

图像配准是将来自多个图像源的数据对齐并组合成唯一坐标系的过程这个问题已成为計算机视觉和医学成像的支柱之一。在过去十年中切片到体积的配准（图像配准问题的特定情况）在医学成像领域受到进一步关注。在這种情况下我们寻求从对应于输入2D图像的给定3D体积确定切片（对应于任意平面），而不是配准具有相同尺寸的图像

已经出现了一些有從切片到体积映射需求的医疗应用，并推动社区开发向着更准确和有效的策略发展这种医学成像任务可以分为两大类：那些与图像引导幹预的图像融合相关的; 和那些与运动校正和体积重建有关的。在第一类中需要融合术前3D图像和术中2D图像以在医疗干预期间指导外科医生。切片到体积的配准在此过程中起着关键作用允许医生使用在手术期间实时采集的低分辨率2D图像来导航3D术前高分辨率带注释数据。在第②类中目标是在重建特定模态的体积时校正未对准的切片。解决该任务的典型方法在于将各??个切片映射到参考体积上以便校正切爿间的错位。同样开发精确的切片到体积配准算法对于成功解决这个问题至关重要。

由于配准过程中涉及的图像的维度切片到体积的配准也称为2D / 3D配准。然而该术语是含糊的，因为它根据用于捕获2D图像的技术描述了两个不同的问题：它可以是投影（例如X射线）或切片/断層摄影（例如US）图像即使两个问题在图像维度方面都有相似之处，但每个公式都需要不同的策略来估计解决方案缺乏透视和两种模态凅有的不同图像几何形状，这两种方式都是固有的因此有必要提出解决这些配准问题的不同策略。此外任何2D投影图像中的像素不仅对應于来自体积的一个体素（这是切片到体积的情况），而是对应于它们在一定视角中的一组投影因此，用于测量图像之间的相似性的函數的类型在每种情况下都必然是不同的虽然大多数投影2D / 3D图像配准方法需要将图像带入维度对应（通过投影，反投影或重建等不同策略）在切片到体积配准的情况下，可以直接将来自2D图像的像素与来自体积的体素进行比较在这篇综述中，我们专注于切片到体积的配准洏Markelj等人在调查中提供了关于投影2D到3D图像配准的更全面的概述。

切片到体积的配准可以被认为是3D-3D配准的极端情况其中一个3D图像仅包含一个切片。即使理论上正确3D-3D配准方法也无法以直接的方式推断到切片到体积的情况。这尤其适用于基于图像信息的配准方法因为用于量化圖像之间相似性的描述符号通常假设两个图像中可用的信息量是平衡的。在问题公式化中应明确考虑单个切片（或甚至几个稀疏切片）提供的信息少于整个体积的事实此外，特定的几何约束如平面度满足和平面内变形在切片到体积配准的情况下出现限制，这些限制不适鼡于维度对应的设定

尽管有大量有关切片到体积的配准的文献，但迄今为止还没有编写任何调查来讨论这一新兴领域在这篇综述中，峩们讨论了关于切片到体积的匹配的文献提供了对解决这个具有挑战性问题的文章的全面调查，根据分类法提出了相关算法的分类研究并分析了每个类别的优缺点。我们基于先前的图像配准调查提出了分类法并根据特定的切片到体积情况进行了调整（见图1 ）。我们根據几个原则对相关工作进行了分类：（i）匹配标准（第2节）规定了定义图像之间相似性的策略; （ii）转换模型（第3节），指出用于将图像帶入空间对应的模型的性质; （iii）优化（第4节）根据用于推断最优转换模型的策略区分方法; （iv）切片数量（第5节），根据它们是否需要单個或多个源图像切片将方法分成两组; （v）应用（第6节），我们确定了推动该领域研究的主要临床情景; 最后（vi）验证策略（第7节）我们总結了用于验证所提出的切片到体积配准方法的替代方法

系统地选择了本評论中包含的论文，搜索包含术语“切片到体积”和“匹配”（及其变体）的论文并仔细选择那些既可以提供方法论贡献也可以应用切爿到体积匹配的论文。引入一定程度新颖性的特殊问题

1.1. 切片到体积匹配的定义

M \mathscr{M} M表示图像相似性项（所谓的匹配标准）和 R \mathscr{R} R表示正规化项。請注意此映射可以是刚性或非刚性的，这取决于我们是否允许图像 I I I（或其对应的来自 J J J的重建切片）有没有变形如果我们仅估计刚性映射（即我们计算6自由度刚性变换或更严格的变换），我们将问题命名为刚性切片到体积的配准如果我们也推断某种变形模型或者我们认為更具表现力的线性变换（例如仿射变换），我们称之为非刚性配准有关不同转换模型的更多信息，请参阅第3节

匹配标准 M \mathscr{M} M测量2D图像与其对应的映射（切片）到3D体积之间的相似性。通常它使用来自 I I I和 J J J的强度信息或显著的结构来定义。关于在切片到体积匹配（我们还考虑鈈使用任何图像信息但依赖于外部传感器的方法）的完整讨论在第2节中介绍

正规化项 R \mathscr{R} R对解决方案施加约束，可用于解决问题它还可以茬扩展变换模型上（平面设定和非刚性配准的平面变形）编码几何属性。正则化项的选择取决于转换模型虽然简单的模型，如刚体变换即使没有正则化，也可以明确估计项 R \mathscr{R} R在更复杂的非刚性情景中变得至关重要，以确保实际结果在切片到体积配准的环境中，正则化器可用于对解决方案施加平面性约束（当不允许面外变形时）或限制平面外变形幅度保证现实的、合理的转换。当可用时也可以通过囸则化项编码关于组织弹性的先验知识。 此外正如我们将在第5节中看到的，当同时处理多个切片时可以使用正则化来强制它们之间的┅致性。

我们的目标是优化方程式（1）中定义的能量通过选择最好的 Θ ^ \hat{\Theta} Θ^使2D和3D图像对齐。根据我们试图推断的变量及其最优性保证它們可以分为不同的类别。第4节包含对该主题的全面研究

方程式（1）中给出的一般定义，将单个切片视为配准过程的输入然而，为了完整起见在本次调查中，我们还考虑了所谓的多切片到体积配准方法其中几个（但是稀疏的）切片被配准到完整的3D体积。值得注意的是我们不包括在配准之前从输入2D切片执行先前3D重建的方法，因为这些方法将问题减少为经典的3D-3D场景这不在我们的工作范围内。相反我們考虑那些直接配准2D切片子集的方法（可以是正交，平行任意或甚至没有先验已知的空间关系），而不是重建体积根据该标准对方法嘚讨论和分类见第5节。

所述匹配准则（也称为（DIS）的相似性度量评价函数或距离函数）量化的图像之间的对准的水平，它通常用来引导優化过程中的变换模型根据匹配过程中利用的信息的性质，注册方法可以被分类为标志性的（我们使用体素强度来量化相似性）几何（我们使用一组稀疏的显着图像位置来指导注册）或混合方法（我们将这两种策略结合起来）。在切片到卷注册的特定情况下还有一些方法，而不是使用图像信息依赖于其他非图像技术; 我们将它们称为基于传感器的方法。

除了基于图像的方法（即基于传感器的切片到体積配准）之外的切片到体积配准主要使用两种不同的技术来执行：光学（OTS）和电磁（EMTS）跟踪系统（ Birkfellner等人2008 ）。光学系统采用不同类型的相機（例如红外（IR）标准RGB或激光相机）来跟踪有助于识别物体当前位置的标记。电磁定位系统基于发射器传感器和处理单元系统执行跟蹤，通过测量电磁场来定位目标物体的位置和方向属性两种方法都继承了对它们可以估计的转换性质的约束，因为只能通过这些技术获嘚刚性转换此外，由于通过估计相对位移来完成定位因此通常在开始时需要精确的初始校准从前一个开始，因此可以通过所有过程传播和累积错误相反，利用基于图像的信息（特征或几何）的配准算法可以处理弹性解剖学变化并且它们对初始误差不太敏感（因为在紸册过程中迭代地校正它们很简单）。在消极方面这些方法可能对图像噪声更敏感，图像噪声经常出现在术中实时和低质量模态中，通常对应于输入的2D图像另外，与体积图像相比图像切片的信息量是稀疏的，导致图像匹配方面的模糊性这使得注册问题变得不适应巳经开发了不同的策略来根据匹配标准的选择来处理这些问题。

图像配准可以是单峰的（当使用相同类型的图像技术捕获切片和体积时）戓多模式（当切片和体积指的是不同的模态时例如US切片和MRI 或CT体积）。在前一种情况下测量图像之间的相似性的任务更简单，因为对应於相同解剖结构的像素/体素强度值在两个图像中高度相关或甚至相同因此，标志性方法可能表现得更好因为与它们相关的主要问题 - 使鼡像素/体素对应解释图像相似性的困难 - 已经得到解决。在多模态的情况下其中的关系像素强度并不明显，有两个主要的选择：继续使用標志性匹配标准但定义更复杂的相似性度量，或采用几何或基于传感器的策略在处理不同的图像模态时看起来更健壮。

使用图像强度信息定义标志性匹配标准使用作用于像素/体素强度水平的函数来测量图像之间的相似性。可以考虑为特定图像模态定义的标准信号处理笁具信息理论方法或甚至相似性度量。挑战在于描述可以轻松比较的公共空间上的两个图像特别地，在多模态配准的背景下对应于楿同解剖或功能结构的体素强度是不同的。有两个理想的属性寻求任何标志性相似性度量的定义：（i）是凸的因为它简化了优化过程，並且（ii）具有辨别力因为它为不同的组织或解剖结构赋予不同的值。凸性也是相关的

典型地，在切片与体积的配准一个标志性的匹配准则的上下文δ（我1，我2）：Ω 1 × Ω 2 →?被定义为量化两片（或小片之间的相似性根据是否我们指定全局或本地函数）。这种相似性喥量取决于我们试图注册的方式在单峰情景中，简单的相似性度量如绝对差值之和（SAD），方差之和（SSD）甚至是方差的平均值。可以使用强度值在矢量符号中，SAD也可以看作矢量化图像的L 1范数而SSD则对应于L 2规范。这些度量假设两个图像中的强度值之间的直接对应这不┅定是这种情况。在诸如图像引导手术的真实临床病例中在手术期间捕获的图像往往是嘈杂的，低分辨率的有时甚至不同的模态必须融合。在这些情况下SSD和SAD的性能会很差。

还提出了更复杂的度量利用两个图像中观察到的强度值的统计特性。除了处理身份变换之外這些方法可以处理要登记的图像中的强度之间的分段线性关系。在这些情况下两个图像中的图像像素被视为两个随机向量X和Y的条目。互楿关（CC）是在信号处理和统计领域中广泛使用的众所周知的函数也应用于几个切片到- 体积配准研究。CC测量X和Y的条目之间的相关性计算簡单，更重要的是强度域中的移位和缩放不变。另一个指标是相关比（CR）即使在多模态图像配准中也显示出有希望的结果。它测量X和Yの间的函数依赖性取0（无函数依赖）和1（纯确定性依赖）之间的值。CR本质上是不对称的因为两个变量（图像）在功能关系中不起相同嘚作用。换句话说与CC不同，CR根据图像的顺序提供不同的值CR已经被用作 Marami等人的切片到体积配准的标志性标准。

信息理论相似性度量通常昰多模态注册的首选项选择而片到卷注册也不例外。最受欢迎的是互信息（MI）其测量两个图像中相应分布的图像强度之间的统计依赖性或信息冗余，如果图像是几何对齐的则假定为最大。它需要估计联合和边际概率密度函数（PDFs）每张图片的强度鉴于与体积 - 体积情景楿比，切片到体积配准的信息稀疏性质每个切片的这些联合PDF的估计 - 特别是在低图像分辨率/样本数量的切片中 - 是一项艰巨的任务，可能会導致基于MI的注册结果不佳通过在fMRI 时间序列登记的背景下整合信息丰富的PDF先验，开发了一种改进基于MI的切片到体积登记的替代方法首先，显示位于头部扫描中间附近的切片提供更可靠的PDF和MI估计因为它们指的是比末端切片（顶部或底部）更丰富的信息空间。然后基于来洎注册的中心切片的强度计数，通过联合PDF先前引导端切片配准或者，当将2D MR侦察扫描记录到完整的3D MR时通过使用从较高分辨率的解剖数据集保留尽可能多的关于体素强度的信息的PDF估计，可以实现切片到体积配准中的更好的MI计算脑容积。MI是一种广泛使用的切片到体积配准的楿似性度量在过去几十年中采用了许多方法。MI的主要缺点之一是当图像之间的重叠区域改变时它变化即它在整个配准期间对重叠区域嘚变化不变。可能会发生这样的情况：在估算转换模型时一些潜在的解决方案不在于数量。在这种情况下可以选择重叠不变函数。为此可以应用MI的修正版本，即归一化互信息（NMI）其简单地是边缘熵和联合熵之和的比率。NMI在MI方面的另一个优势是它的范围：它方便地取0箌1之间的值.NMI也被用于切片到体积的配准

在图标注册过程中使用像分割掩模之类的先验知识可能是有用的。这些方法（也称为基于区域的方法）使用强度信息或统计来描述预分割区域例如，Chan-Vese度量旨在最小化给定分割轮廓内外区域的强度差异Nir和同事将这种匹配标准应用于將多个组织学图像切片与前列腺的体内MR图像对齐的问题。

边界信息是另一种低级视觉提示被标志性方法所利用。通常根据图像的强度梯喥确定其给出了由强度变化定义的图像结构的概念，与其实际值无关可以在两个图像的梯度幅度之上应用MI以及SAD或SSD 。在Brooks等人例如，使鼡美国切片和MRI体积的梯度幅度之间的MI苏等人。在图像强度和梯度上应用SSD将它们组合在一个独特的相似性度量中。在Xu等人，使用归一囮梯度场定义匹配标准对于图像而Xu等人采用了强度和梯度幅度的CC 。在Lin等人使用称为加权边缘匹配分数（WEMS）的优值函数来评估2D实时图像囷相应的重新格式化切片的相似性以搜索骨骼模型的3D姿势。

最近引入了更强大的相似性度量来处理医学图像配准中的问题特别是在切片箌体积的情况下。Wein等人做出了显着的贡献和Fuerst等。到这个领域他们基于来自MRI和CT的美国图像的模拟提出了不同的相似性度量，这可以处理這些具有挑战性的多模式配准问题在Wein等人。提出了一种模拟CT数据超声波效应的新方法，以及一种新的线性组合线性相关的相似性度量（LC 2））它对于缺少模拟细节是不变的，产生平滑的属性和对应于正确对齐的全局最优由于它们模拟了与探头几何形状相关的美国成像效果，因此使用扫描的原始B模式扫描平面代替3D重建使其适用于多切片到体积的配准。Fuerst等人使用LC 2 ，虽然没有模拟过程：相似性测量是通過将美国强度局部匹配到MRI强度和梯度幅度来定义的最近，LC 2 的变体名为BOXLC 2Pardasani等人提出当在GPU上运行时，其在LC 2 上产生可测量的速度改进（同时在單片到体积配准的背景下保持相似的性能）

Heinrich等人提出了另一种稳健的相似性度量，即模态独立邻域描述符（MIND）用于多模式刚性和可变形注册。它基于局部自相似性的概念在补丁级别它们通过对两个图像的局部强度分布进行排序来创建多维描述符，因此提供了图像特征嘚局部形状的非常好的表示它可以以密集的方式在图像的所有像素（或体素）上计算; 一旦计算出来，MIND表示的SSD可以用作相似性度量由于其逐点（像素或体素）计算性质，它可以适用于几乎任何配准算法MIND的扩展，称为自相似性上下文（SSC）也使用基于补丁的自相似性进行估计（Heinrich等，2013）在Cifor等人。MIND成功地用于多切片到体积的配准框架以将未经跟踪的2D美国扫描对准CT卷。

MRI图像配准的背景下在Rivaz等人。提出了┅种称为上下文条件互信息（CoCoMI）的度量。该度量旨在解决基于经典MI的方法的主要缺点之一即考虑相应像素的强度值而不考虑邻居的强度徝。图像被视为“单词包”因此忽略上下文信息。CoCoMI通过调整对上下文信息的MI估计来克服此限制在Rivaz等人。自相似性α提出了-MI（SeSaMI） - 另一種基于MI的匹配标准。α- MI通常根据强度及其梯度等多个特征计算而标准MI通常仅根据强度计算。芝麻结合此多特征α -MI制剂与一个kNN的自相似性α -MI登记框架由是不自相似惩罚簇（即最近的邻居）。最后在Rivaz等人。引入CR相似性度量。基于鲁棒补丁的相关比（RaPTOR）计算小补丁上的局蔀CR值并将它们相加以形成全局成本函数。作者声称一种产生合适的方法的属性：它们的度量对于重要的空间强度不均匀性是不变的这茬由于波衰减，阴影和增强伪像处理US图像时特别有用这些Rivaz指标（CoCoMI，SeSaMI和RaPTOR）的主要优点之一是它们的梯度可以通过分析得出因此可以使用隨机梯度下降方法有效地优化成本函数。

几何登记发现有意义的解剖学位置或凸标记这些方法旨在最小化能量函数，对于给定的变换該能量函数测量在2D切片和体积图像中检测到的关键点之间的差异。一旦标记被适当确定注册过程的简单性，对初始化没有敏感性并且在變形方面具有更宽的捕获范围是这些方法的主要优点另一方面，具有里程碑意义的检测并且匹配过程并不是那么简单其位置上的错误會影响注册过程的准确性。此外由于关键点的稀疏性，变形的质量可能变得不足（由于对插值的有限支持）

Gourdon和Ayache（1994）的早期工作提出了┅种在曲线和曲面之间进行切片到体积配准的几何方法。在这项工作中Gourdon和Ayache利用关于在曲线和曲面上计算的微分属性的知识来约束刚性匹配问题。这项工作最相关的贡献是他们讨论如何使用微分约束来严格记录曲面上的曲线然而，他们使用了基本的Marching Cubes算法（Lorensen和Cline1987）从模拟和醫疗数据中提取它们。对于具有低分辨率的图像这些结构的提取仍然是一项艰巨的任务，这种情况通常在切片到体积的配准中是有效的在这些情况下，可以使用替代方法（例如超分辨率重建（Oktay等人2016 ）或基于配准的插值方法（Penney等人，2004b））来提高原始图像的质量然后再提取感兴趣的结构，在应用几何配准过程后产生更准确的结果

对于医学图像（与自然图像相反），提取独特特征变得更加复杂因为第┅个通常不像最后一个那样具有辨别力（缺乏纹理）。对于缩放旋转和照明或亮度变化的不变性构成了寻求提取显着点的方法的有用属性。高度独特的功能（在空间和频率域中）简化了匹配任务因为它们可能正确匹配。成功应用于不同计算机视觉任务的此类描述符的经典示例是尺度不变特征变换（SIFT）（ Lowe1999），Harris检测器（Harris和Stephens1988）），方向梯度直方图（HOG）（Dalal和Triggs2005），加速鲁棒特征（SURF）（Bay et al，2008）等最近，使用罙度学习学习的特征已成功应用于场景涉及大量注释数据用于培训（Long et al，2014）这些特征用于提取将指导几何配准过程的显着标志。一旦在切片和体积图像中建立了界标就有两种选择。首先我们可以执行匹配过程，这导致建立来自两组的点对之间的对应关系匹配过程完荿后，可以使用对应关系来估计所需的 - 刚性 - 非刚性 - 变换模型或者，也可以应用直接估计变换模型而不推断任何对应关系的方法有时候，可以同时推断出对应关系和转换模型就像Iterative Closest Point（ICP）一样（Besl和McKay，1992））算法ICP是随后改进点对匹配的算法。它最小化了变换的源图像界标集与目标界面中最接近的检测到的界标之间的几何距离之和这是一种简单快速的方法，遵循最近邻原则来执行匹配任务但通常会收敛到局蔀最小值。

Dalvi和Abugharbieh（2008）提出了一种使用ICP的切片到体积的配准方法首先，它使用定向的2D Gabor小波从切片/体积中提取相位一致性信息然后，使用局蔀非最大抑制自动获得稳健且精确的特征点集，随后通过ICP推断刚体变换来匹配这些特征点Nir等人。（2014）使用几何匹配标准呈现粒子过滤框架其中应用最近点原理（它们在两组中的最近点对之间使用SSD）。在他们的提议中推断的变换模型涉及9-DOF（仿射）矩阵而不是6-DOF变换（刚體）。Nir的方法由Moradi和Mahdavi（2013）应用为基于肿瘤检测学习的框架中的预处理步骤以将US登记为前列腺图像的整体组织病理学参考，将肿瘤的位置映射到美国图像域Yavariabdi等人提出了另一种使用ICP的方法。（2015）用于可变形注册他们使用3D MRI体积记录2D经阴道美国（TVUS）图像，以定位子宫内膜植入物他们通过一种新的变分一步可变形ICP方法使用轮廓与表面对应，找到平滑的变形场同时自动建立点对应。这种方法的主要缺点是它依赖於用户来分割器官手动盆腔器官分割是一项费时费力的工作，因此适用性强在真实场景中的方法是有限的请注意，在本段讨论的论文Φ不同类型的变换模型基于最近点原理进行估计，显示了这种方法的灵活性

当执行形状和点的非刚性配准时，可以使用有符号距离函數（或带符号的距离图）来避免界标匹配步骤在这种情况下，地标或形状被指定为零距离而图像的其余像素被标记为到最近的几何图え（界标或边界）的距离。一旦创建了距离图就可以通过标准图标注册（例如在距离图上使用SSD）来估计最佳转换模型（Paragios，RoussonRamesh，2003Huang，ParagiosMetaxas，2006Taron，Paragios Jolly，2009）在Boer等人。（2007年）有符号距离函数用于利用预重建的3D模型来记录组织学图像的切片作者建议使用朴素强力方法进行优化，这會导致极高的计算成本

2.3. 基于传感器的方法

基于传感器的系统是基于图像的方法的替代方案（即使图像经常用于初始化），其中切片位置囷方向使用传感器不断更新假设初始对应，这种信息可用于从给定体积中提取相应的切片光学（OTS）和电磁（ETMS）跟踪系统是执行此任务嘚最广泛使用的技术。OTS系统通过跟踪附着在物体上的有源或无源标记的位置实时确定物体的位置。它需要在跟踪设备之间保持视线以及偠跟踪的工具这可能会给医生带来不便 - 尤其是在他的工作期间的图像引导干预 - 导致非常不方便。EMTS系统通常由三个基本组件组成：电磁场發生器与PC连接的系统控制单元，跟踪传感器线圈及其与系统控制单元的接口通过测量每个线圈的行为，可以确定物体的位置和方向EMTS鈈会继承与视线要求相同的约束，但它对来自附近金属源的失真很敏感并且与光学跟踪相比表现出有限的精度（ Birkfellner等人，2008 ）此外，OTS和EMTS都無法处理体积和切片之间的弹性变形通常，可以声称基于传感器的方法比基于图像的方法更可靠（当它们被正确校准时）因为它们不受在图像解释过程期间出现的模糊度的影响。

在Gholipour等人（2011），三维 磁场传感器用于在MRI扫描期间跟踪对象的运动它允许估计切片的位置以進行体积重建。使用MRI扫描仪的原生梯度场实时计算三维（6-DOF）传感器的刚性6-DOF变换通过切片采集时的传感器运动参数计算每个切片的相对3D位置。其他利用EMTS系统的工作可以在Hummel等人的文章中找到（2008） ; Olesch等。（2011） ;

光学跟踪系统还可以取代基于经典图像的切片到体积配准算法在Schulz等人。（2014）通过光学跟踪系统实现了用于fMRI 图像重建的逐片运动校正（关于该问题的完整讨论参见第6.2节）。作者建议使用三个带有嵌入式图像處理的跟踪摄像机使用护目镜跟踪附着在头骨上的三个光学标记的位置。然后使用跟踪信息来代替在fMRI图像重建期间考虑运动校正所必需嘚经典切片到体积配准步骤（ Kim等人1999）。在鲍等人（2005），基于红外相机光学跟踪用于将腹腔镜US注册到幻像肝脏的CT图像。红外摄像机的優点是位置传感器不会受到反射和环境光的干扰但是，视线要求仍然存在因此不能阻挡传感器。其他使用OTS跟踪图像切片在用体积图像進行记录时的位置的论文可以在这里找到黄等人（2009） ; Penney等人。（2006） ; 2004a）; 舒尔茨等人（2014年）。

）智能手机跟踪技术被认为是一种导航工具，用于初始化组织学2D切片和MR体积之间的切片到体积的配准过程智能手机的惯性测量单元（IMU）（也可作为独立组件提供）用于定义切片的方向。给定IMU传感器的方向和位置数据然后可以从MR体积内插相应的切片。这种交互式对齐用于确定2D切片的初始方向并使用通过强力优化嘚基于MI的标志性注册过程进行细化。IMU跟踪系统使用加速度计的组合和陀螺仪分别测量加速度和角速度由于加速度是相对于时间的位置的②阶导数，并且角速度是一阶导数因此从已知的起始位置产生平移和旋转（即6-DOF变换）随时间积分的角度变化（ Birkfellner等人2008 ） 。这些传感器价格便宜且可广泛使用然而，使用IMU进行跟踪的主要问题是错误的累积（系统或统计）导致随时间的退化估计。卡尔曼滤波器（Kalman1960）可以用來处理这类问题，并且经常被科学界采用在 Marami等人。（2016B）; 例如2016a），卡尔曼滤波器与切片到体积配准相结合以估计头部运动参数

请注意，如下一节所述几篇提出基于传感器的方法的论文实际上是这种技术与一些基于图像的配准技术的结合，从而产生了我们所谓的混合方法

索蒂拉斯等人。（2010）指出混合匹配标准利用标志性和几何方法，以努力获得两全其美此类别可以通过包括基于传感器的技术进行擴展，因为它也可以与标志或几何方法结合使用在这种情况下，传感器用于初始化配准过程或提供切片位置的实时更新然后可以使用基于图像的配准来细化。

Mitra等人（2012）提出了一种混合切片 - 体积配准方法，在概率框架中结合几何和标志性匹配标准以将经直肠美国（TRUS）與前列腺的MR图像配准。几何分量基于分段前列腺轮廓的形状 - 上下文（Belongie等2002 ）表示。在两个形状的形状 - 上下文直方图之间的Bhattacharyya距离（Bhattachayya1943 ）用于茬每个轴向MR图像中找到点对点对应。TRUS之间的卡方距离计算切片和每个MR切片并用于确定匹配切片一旦确定了具有最小卡方距离的TRUS-MR切片对，咜就用于检索它们之间的2D刚性变换（平面内旋转和平移）该变换应用于剩余的MR切片，以确保与2D TRUS切片类似的2D平面内刚性对准通过测量TRUS图潒与MRI的每个旋转的轴向切片之间的相似性（NMI和CC用作度量）来执行图标步骤。最后将形状和图像相似性度量转换为概率密度函数，并映射箌统计相似性框架以检索类似于TRUS图像的MR切片。两个问题限制了这种方法在临床实践中的适用性第一，注册由两个图像上的前列腺的手動分割确定其次，该方法假设TRUS切片与MR平行轴向平面 ; 因此登记的结果不考虑任何可能在现实场景中发生的平面外旋转。

跟踪信息（来自EMTS戓OTS系统）可以通过混合方法与标志或几何标准组合以执行切片到体积的配准在这种情况下，跟踪信号可以用于初始化过程或计算新2D切片楿对于前一个切片的附加位置将它们带到相同的坐标系。然后可以结合标志性或几何注册来补充该过程在 Penney等人。（2004年例如基于图像嘚配准用于计算将该独特坐标系与体积图像相关联的初始变换，以及用于执行跟踪的切片的相对位置的基于传感器的更新Penney等人使用了这種方法。（2004a）将术中US图像登记到术前MR体积该算法在Penney等人的文章中进行了扩展。（2006）处理2D US到体积CT注册SanJoséEstépar等。（2009年）改进由连接到腹腔鏡或内窥镜探头的EM系统提供的刚性跟踪信息使用基于边缘的图标配准方法结合相位相关技术，根据平移参数进行细化在Xu等人。（2008年）EM跟踪和术中图标图像配准用于将MRI数据叠加在前列腺的TRUS图像上。为此应用三步算法，其中中间算法对应于切片到卷的配准在TRUS手术开始時，操作者执行从前列腺基部到其顶点的2D跟踪轴向扫描其用于产生前列腺体积的体积US重建。重建的美国体积和MRI是手动对齐的因此，2D TRUS切爿被登记到US重建体积（将MRI / US多模态问题减少到US / US单峰性）而估计的变换仍可用于恢复相应的MRI切片。在干预期间平面外运动补偿使用近乎实時的2D US图像和3D US图像之间的间歇多切片到体积配准来实现。这种刚体注册基于使用Simplex算法最小化SSD 最后一步是指US的2D-2D注册（使用CC和基于梯度的相似性度量），并且它试图考虑平面内未对准在此工作流程中，EM跟踪信息用于简化从多个单模态注册的问题并结合标志性的切片到卷注册鉯考虑运动补偿。将跟踪信息与标志性或几何配准方法相结合的其他混合方法是 Sun等人（2007））; 严等人。（2012）;肖等人（2016）。

在Ghanavati等人（2010）茬全髋关节置换（THR）手术的背景下，提出了一种方法该方法将来自跟踪的徒手2D US 换能器的信息与基于US图像模拟的图标匹配标准相结合。他們使用骨盆的统计形状模型（SSM）由几个CT图像构成。他们开发了一种多切片到体积的配准方法将多个2D US切片注册到骨盆的统计图谱。基于媄国的模拟方法地图集的平均形状首先严格地记录在徒手2D美国图像上（Wein et al。2008a）。然后通过测量从地图集实例模拟的实际美国和美国图潒之间的图标相似性来实例化地图集。这种两步算法估计刚性变换并随后优化可变形参数在Ghanavati等人中被转化为一次性优化方法。（2011年）

茬Wein等人。（2008b ）附着在患者皮肤上的位置传感器用于提取标量替代测量，其代表用于检测和补偿肝脏呼吸运动的前 - 后翻译该信息与标志性标准相结合，以估计仿射12-DOF转换模型该模型将术前计划和成像映射到介入场景中。

黄等人（2009）提出了利用多个时间帧的混合切片到卷紸册策略。引入了多模态图像导航系统其使用心电图（ECG）信息，光学跟踪和基于图标MI的配准将2D美国图像与术前心脏CT体积集成该心电图鼡于使US图像与相应的术前动态3D CT同步，这取决于ECG指示的心脏相位由光学跟踪器给出的空间信息用于为每个切片产生接近最佳的起始点，其通过最大化MI相似性度量来改进这种方法可以实时工作，使其适用于真正的介入场景Hummel等人提出了一种不同的传感器组合来解决配准问题。（2008）EM和OTS传感器与标志性注册相结合，将内窥镜US注册到CT数据

转换模型解释了切片和正在注册的卷之间的关系，并且是注册过程的结果它们通常根据其自由度进行分类。刚性变换处理全局旋转和平移而可变形模型 - 复杂情况 - 可以产生局部面内和面外变形（见图 3）。变形模型的丰富程度与我们需要指定的参数数量成正比因此可以在模型复杂性和表达能力之间找到折衷。

当对给定图像应用变换时（在配准過程的最后步骤或在中间优化步骤期间）必须使用插值方法来在重采样期间推断变换图像的空间中的每个像素的强度值。在这方面在切片到体积配准时有两种选择：使用估计的变换重新取样切片或体积。最常采用的策略包括重新采样体积图像因为在3D中重新采样切片的萣义不如卷的定义。但是在某些特殊情况下，变换模型只允许在2D图像的空间内进行平面内变形（如（FerranteParagios，2013Ferrante，FecampParagios，2015））可以进行切片偅采样。

最简单的转换模型考虑了旋转和平移参数它通常表示为6个自由度（6-DOF）变换的Θ [R 3旋转和3个平移参数组成。这种基本模型是文献中鼡于切片到体积配准的最常见选择刚性变换足以表达简单的切片与体积关系（见图2 ）。他们可以处理平面内和平面外的平移和旋转不繼承图像失真的临床场景- 图2. 刚性切片到体积的注册。在这种情况下变换 Θ Θ Θ参数化一个简单的6-DOF变换，它只能模拟旋转和平移即使很簡单，这种类型的转换也已经被本次调查中审查的工作大量采用（见表1）

当避免平面外运动时甚至可以使用更简单的模型。Zakkaroff等（2012）提出使用堆栈比对变换恢复心脏MR系列中的平面内切片旋转。沿着X和Y的平媔内平移以及围绕用户提供的各个切片的旋转中心的旋转被独立地参数化它还包括沿Z方向进行全局平移的参数。因此它将各个切片变換组合成一个独特的参数空间 - 每个切片包含3-DOF而不是6-，这样所有参数都可以同时优化这种类型的模型在很大程度上受到批评，表明（特别昰在体积重建的背景下）精确对应的切片只能通过切片到体积的配准来找到该配准也考虑了平面外的旋转和平移。在肖等人（2011年）作鍺考虑了切片到切片匹配的初始步骤，其中来自组织学体积的每个2D图像通过基于组的MI比较与一个轴向MRI 切片匹配它意味着涉及简单切片对應（1-DOF）的受限变换模型。随后他们校正每对匹配切片应用2D-2D仿射配准的面外偏差，以及组织学伪体积（在转换每个2D切片后重建）和MRI体积之間的后三维仿射配准受限制的刚体转换可以是完整的切片到卷注册管道的方便初始化组件。

6-DOF刚体转换是几乎所有切片到体积配准算法的┅部分寻求可变形配准的文献通常在执行局部可变形映射之前通常采用刚性对齐来解释大范围位移（应用这种两步法的例子可以在Tadayyon等人（2011） ; Xu等人（2014a）中找到） ; Fuerst等人（2014） ; Hallack等人（2015） ; Murgasova等人（2016））。估算6-DOF刚性变换的标准方法包括通过持续优化最小化能量函数（基于图标或几何匹配標准）算法（参见4.1节）其中搜索空间是刚性变换的欧几里得群SE（3）的一部分。第2.3节中描述的传感器也可用于许多论文中提出的刚性对准

在这篇综述中，我们将非刚性转换称为那些在某种程度上执行图像结构变化的模型这些变化不同于简单的操作 - 它们仍然可以使用线性變换（例如缩放，翻转或剪切）建模到更复杂的模型从而产生局部变形。

线性变换是非刚性配准的第一步在Wein等人。（2008a ）作者提出仿射模型可以在将术中2D US切片记录到CT图像时消除大部分大规模变形。在不同呼吸配置的CT和US检查之间特别观察到这些变形并且可以通过仿射变換来处理。然而在前列腺的组织学切片记录到MRI体积的不同情况下，Nir等人（2014）得出结论，仿射变换模型无法捕捉变形特别是在直肠中區域。这是因为局部变形不能用全局仿射模型表示在这种情况下，需要进行可变形登记（在下一节中进一步说明）

最近，仿射模型用於记录骨骼的2D切片和3D图像（Hoerth等人2015 ）。他们的提议包括一种新的方式来启动2D切片和骨骼的3D图像之间的配准该方法使用广义霍夫变换（GHT）（Ballard，1981 ）来识别合适的起始位置他们通过对其梯度矢量场进行阈值处理来创建2D切片的模板版本，用于通过GHT形状检测过程探索3D体积提供一組初始位置。然后使用标准仿射登记过程根据初始配置使图像变形GHT空间的使用并使用基于MI的标准进行更新可以考虑这样的原则来处理替玳转换模型。估计用于解决切片到体积配准的仿射模型的其他论文是 Gefen等人（2008）; Micu等人。（2006）;

弹性变形是强大的变换在切片到体积的映射Φ得到了广泛的应用。这些模型的表现力取决于用于定义它们的参数数量Sotiras等人提出了用于非刚性配准的不同类型和类别的可变形模型的詳尽描述。（2013年）和（ Holden2008年）。在这里我们专注于应用于切片到体积映射的模型。

薄板样条（TPS）经常用于从稀疏的控制点集生成密集的變形场这些方法涉及一组可以位于任意位置的控制点，这些控制点通常通过检测显着结构来获得径向基函数（RBF） - 其中任何插值点处的徝作为其与控制点的距离的函数给出 - 以控制点为中心并与仿射项组合以定义插值函数。TPS 基于此插值函数最小化弯曲能量这提供了封闭形式的解决方案，其在大多数情况下保证其唯一性TPS可以分解为仿射和局部组件。在Osechinskiy和Kruggel（2011a）; 2011b ）TPS用于参数化2D表面（切片）的平滑3D变形。控制點放置在2D图像域上的规则网格中并且使用三个独立的TPS函数定义3D扭曲。同样在Miao等人。（2014）控制点的几个常规2D网格在多切片到体积的配准场景中定义每个切片的一个TPS变形模型。Kim等人（2000年）还将TPS应用于单个切片到体积的配准问题，并且使用刚体配准算法比较弹性映射的两個变体（涉及支持TPS模型的不同数量的控制点）作者提出了两个主要结论：（i）基于TPS的登记优于刚体登记，至少在他们的多切片fMRI情景中甴于局部场引起的变形或局部的平面外消除运动伪影的方法影而遇到局部变形 ; （ii）控制点的数量和位置对最终结果有重大影响。

自由变形（FFD）模型也广泛应用于医学图像配准起源于计算机图形学（Sederberg和Parry，1986）由于Rueckert等人的开创性工作，它们开始流行起来（1999）。在该模型中加权函数是三次B样条。控制点具有有限的局部支持（与TPS相反其中控制点在插值期间影响完整域）并且以类似网格的方式均匀地分布在图潒域上（Glocker和Sotiras，2011）在Ferrante和Paragios（2013年） 费兰特等人。（2015））FFD用于基于图的离散优化框架，用于执行切片到体积的可变形映射在该模型中，2D网格狀图同时编码平面位置（刚体变换）和切片相对于其在3D处的对应位置的平面内变形通过FFD插值获得平面内变形，其中图的节点起控制点的莋用类似地，但在连续设置中Osechinskiy和Kruggel（2011b）优化了在2D网格上定义的控制点的位置，其中未知变量对应于3D位移在另一种情况下，Fuerst等人（2014）提出在边界框内使用基于3D网格的FFD跟踪美国扫描。因此他们估计了3D网格中的单个3D变形场，可用于变形US扫描中包含的所有切片FFD优于TPS的主要優点是它不需要求解线性系统来计算位移的权重。然而FFD在建模方面施加了约束，因为控制点必须放置在规则网格中并且必须包围域边界而对于TPS，控制点原则上可以任意放置在域中（

基于有限元（FE）网格的替代模型已经在Marami等人中使用（2011）模拟动态线性弹性变形场。它基於图标图像相似性标准对允许的体积变换施加正则化约束有限元模型的优点在于它们允许通过物理上有意义的约束将组织变形的动态行為结合到配准过程中。

优化方法旨在确定基于上述匹配标准最小化函数的变换模型的实例（参见第2节）根据所涉及变量的性质，这些方法可以分为连续或离散连续方法利用整个参数空间，而离散方法利用可允许解决方案的离散化/量化版本

计算机视觉和医学成像中的许哆问题本质上是离散的（如语义分割）; 然而，这不是切片到体积图像配准的情况其中搜索空间是连续的。关于切片到体积配准的大多数巳发表的方法采用连续配方尽管如此，最近关于图像配准的工作主要集中在离散公式下一小节介绍了现有工作，并讨论了在切片到卷紸册的上下文中连续和离散推理方法的局限性我们还考虑了第三类启发式方法，这些方法独立于变量的性质可以应用于更广泛的问题，但代价是不提供最优保证考虑到问题目标函数的性质，当找到最优解不可能或不切实际时通常应用这些方法。

连续优化算法通常是迭代方法它们通过迭代更新它们来推断一组参数的最佳值。该策略的常见数学公式由下式给出：
其中Θ是参数的向量，d 吨是在迭代搜索方向吨和ω 是步大小或增益因子可以使用不同的策略来计算搜索方向。

可以根据不同的标准对连续优化方法进行分类（例如凸或凹最尛化，线性或非线性函数的求解器平滑或非平滑问题等）。在这里我们简单地根据它们是执行基于梯度或非梯度的优化来对它们进行汾类，即它们是否利用能量函数的第一（或更高阶）导数来计算搜索方向，或者它们是否依赖于其他策略Osechinskiy和Kruggel（2011b）提出了一个有趣的比較分析，其中来自两个类的方法用于解决组织切片与MR图像的切片到体积配准

梯度驱动方法使用目标函数的导数来指导优化过程。在凸函數和可微函数的情况下这些方法被赋予最优保证。否则可以收敛到局部最小值，并且它们对初始化是明智的它们的主要缺点是需要對能量函数导数进行分析推导或数值估计，从而降低其适用性因为它通常很复杂。

梯度下降是此类别中最简单的策略其中搜索方向d t由能量函数的负梯度给出。它指的是标准的连续优化方法并已广泛应用于切片到体积配准的问题。

共轭梯度方法使用共轭方向而不是局部梯度来估计d t能量函数具有长而窄的波谷形状，可以使用比标准梯度下降方法更少的步骤进行优化从而实现更快的收敛。Elen等人（2010） ; Osechinskiy和Kruggel（2011b ）分别应用这种策略来估计刚性和非刚性切片到体积映射函数。

当能量函数的雅可比行列式或Hessian不能被计算或者计算得太昂贵时使用准犇顿优化策略。在这种情况下基于使用先前迭代提供的信息计算的Hessian的估计来计算时间 t 处的搜索方向。 使用几种相似性度量，应用准牛頓优化来在Kim（2005）中对脑切片进行可变形的 MR 切片配准它还用于在 Brooks等人的术前体积中记录2D术中US图像。（2008年）最流行的准牛顿方法之一是Honal等囚使用的Broyden-Fletcher-Goldfarb-Shanno（BFGS）算法。（2010）在MRI采集期间校正呼吸消除运动伪影的方法影有限内存版本的BFGS（L-BFGS）特别适用于涉及大量变量的问题，并应用于解決多片到卷的注册问题Fogtmann等。（2014） ; 徐等人（2014a）。

Gauss-Newton方法可以处理非线性最小二乘函数使用Hessian矩阵的近似值，一旦与梯度组合就提供对这些函数的搜索方向的良好估计。因此它只需要计算一阶导数（与必须计算实际Hessian矩阵的标准牛顿方法相反）。在 Heldmann等人（2010） ; Olesch等。（2011） ; Olesch和Fischer（2011）Gauss-Newton方法用于多模式配准，其中2D US切片的肝脏被登记到术前CT体积它们的匹配标准计算平方差的和（SSD）对 3D和2D切片中肝脏血管结构的分割。SSD是朂小二乘函数因此可以有效地应用Gauss-Newton方法。该方法也用于Lasowski等人（2008），解决了迭代重加权最小二乘（IRLS）过程以估计fluoroCT和CT图像之间的刚性变換。该Levenberg-Marquardt算法是解决非线性最小二乘问题的另一种方法它也只需要一阶导数。对于表现良好的平滑函数该算法比标准Gauss-Newton方法花费更多时间。然而该方法比标准Gauss-Newton更稳健，这意味着即使初始化不良也可以找到解决方案据我们所知，这种优化算法仅用于估计刚体变换

4.1.2. 非基于梯喥的方法

无导数方法消除了目标函数的可微分条件它们适用于更广泛的功能，包括噪声不可微分或甚至未知功能，其中我们只有一个嫼盒子在给定一组输入参数的情况下返回输出值。这些是在处理医学图像登记时经常出现的情况

用于解决切片到卷注册的最简单的基於非梯度的方法是本地搜索或最佳邻居方法。在这种情况下使用步长ω依次扰动要估计的每个参数，并计算目标函数的值。然后，搜索方向d t被估计为产生目标函数的最大改进的方向。这种方法的主要缺点是它依赖于初始步长ω 的选择大步长可能导致算法移动到其捕获范圍之外。另一方面对于太小的步长，优化可能陷入局部最优（Penney et al，2004a））这种贪心算法已被应用于估计刚体和仿射变换映射切片到体积，其具有比可变形模型更少的DOF 不同的图像模式，如美国到MRI（ Penney等2004a）或CT（Penney等，2006 ; Sun等2007）图像，以及fluoroCT图像（Micu等2006）被认为是临床上。

Nelder-Mead（Nelder和Mead1965）（也称为下坡单纯形法或变形虫法）是最流行的无衍生物方法。它依赖于单纯形的概念（a生活在n 维空间中的多面体以系统的方式探索解決方案的空间。在每次迭代时该方法在搜索表面上构造一个单纯形，并在其顶点上计算目标函数该算法通过在每次迭代时将通过剩余n 個点的质心反射的点替换当前集合的最差顶点而在表面上移动。该方法可以收敛到局部最优值用于平滑和单峰的目标函数。然而与基於标准梯度的方法相比，它在复杂参数空间中表现出更强大的行为在鲁棒性和收敛时间之间提供了良好的折衷（Leung等，2008））它已被广泛鼡于切片到体积的配准应用。

另一种流行的基于非梯度的方法是众所周知的Powell方法它通过沿N个不同向量执行双向搜索来探索搜索空间。通瑺这些向量最初指的是canoninc方向。然后使用先前的线性组合更新搜索方向。算法迭代直到没有进行显着改进SmolíkováWachowiak等。（2005）应用Powell的方法将②维心脏图像记录到术前3D图像作者声称，与所有本地技术类似Powell的方法收敛于局部最小值，但它通常稳健且准确并且表现出快速收敛。Wein等（2008B利用鲍威尔方法在特定方向上执行线搜索的事实。他们对仿射变换的12个参数应用主成分分析（PCA）将搜索空间减少到3个最重要的PCA模式。因此Powell方向搜索以最重要的PCA模式启动，这确保了良好的性能和稳健性其他将Powell方法应用于我们问题的论文可以在这里找到Fei等人。

在離散场景中切片到体积的配准可以表示为马尔可夫随机场（MRF）上的离散标记问题（Wang等，2013 ）MRF的离散优化通常是NP难问题（Shimony，1994 ）但是，在特殊情况下它可以从非常有效的解决方案中受益。普通的强力算法（即为每个变量尝试所有可能的标签组合）具有指数复杂性使得这種方法不适合。在过去的二十年中已经开发出更有效的算法，这促进了计算机视觉领域中图形模型的使用根据它们，它们可分为三大類Kappes等（2013）：
多面体和组合方法，解决了离散能量最小化问题的连续线性规划（LP）松弛中心思想是放宽变量的完整性条件以简化问题。放宽完整性约束后可以应用标准线性规划方法来解决优化问题，并使用舍入策略来恢复积分解这种方法的示例是局部多面体上的线性規划松弛，二次伪布尔优化（QPBO）（ Rother等人2007）和双重分解（ Komodakis等人，2011）

最大流量和移动算法利用图论中众所周知的最大流量最小切割（Boykov和Kolmogorov，2004 ）算法该算法可以最优地解决离散能量的某些情况。这些方法通常与贪婪策略相结合通过求解一系列max-flow min-cut子问题迭代地最小化标签空间。唎子是α-扩张αβ交换（Boykov等，2001）和FastPD（Komodakis和Tziritas2007）算法。更简单的移动算法不使用max-flow但仍然应用以初始标记开始并迭代地移动到更好的标准直箌满足收敛标准的策略，是经典的迭代条件模式（ICM）（Besag1986）及其概括Lazy Flipper（Andres et

图形模型和离散优化是过去几年在计算机视觉领域成功使用的强大形式（Wang et al。2013）。通常图形模型表示为图形 在哪里顶点 对应于变量而 是一个邻域系统（成对和高阶集团），它编码这些变量之间的关系茬离散优化问题，其目的是为离散标签分配升v ∈ 大号到每个变量 通过最小化以下能量函数：
其中g v（l v）是一元势 是成对的术语和 是高阶集團C i的高阶项，取决于两个以上的变量请注意，此等式可视为等式的离散版本（1），其中通过标记{ l p }对变换映射函数Θ进行参数化，并且在能量项中编码相似性和正则化项。

基于方程式1的一般公式已经提出了几种模型。（3 ）最近，Porchetto等人提出了一种切片到体积刚性配准的離散方法（2016）。受先前使用图形模型进行线性变换离散估计的工作的启发（Zikic等2010a ），他们通过完全连接的成对MRF来制定它其中节点与刚性参数相关联，并且边缘编码之间的关系变量可变形图像配准也可以表示为最小成本图问题，其中图的节点对应于变形网格的控制点和圖形连通性强加正规化约束即使这种技术主要应用于单维情况（2D-2D或3D-3D）（ Glocker和Sotiras，2011）在过去的几年中发表了一些工作，将这一理论扩展到切爿到体积的情况注册（

Ferrante和Paragios（2013）提出了使用图形模型和离散优化进行可变形切片到体积配准问题的第一个解决方案同时模拟平面位置和平媔内变形的规则网格被解释为图形模型，其中每个网格点对应于离散变量使用在5维标签空间上的耦合公式内组合线性和可变形参数的成對模型。这种模型的主要优点是其成对结构提供的简单性而主要缺点是维度标签空间的计算低效和近似（搜索空间的有限采样）。考虑箌能量函数的特性（成对项和非子模块）采用FastPD作为优化算法。由 Shekhovtsov等人的工作所激发（2008年），为了减少标签空间的维度Ferrante等人的工作。（2015年）提出了一个不同的模型（所谓的解耦模型）其中线性和可变形参数现在被分成两个互连的子图，这些子图指的是较低维度的标签涳间它通过增加边和顶点的数量来减少标签空间的维度，同时保持成对图在这种情况下，循环置信传播被用作优化算法因为FastPD通常需偠所有节点的相同数量的标签，这在给定标签空间的不同维度的情况下是它们的设置中的问题最后，在Ferrante等人（2015年），提出了一种高阶方法其中标签空间维数减少是通过增加图形模型的顺序来实现的，使用利用这种类型的变量交互的表达能力的三阶集团这样的模型以非常具有挑战性的推理为代价提供了对全局变形约束的更好满足。在这种情况下Loopy置信传播也被用作优化算法。

与用于图像配准的连续方法相比离散方法具有若干优点。首先它们本质上是无梯度的，而大多数连续方法要求目标函数是可微分的其次，当函数不凸时连續方法常常容易陷入局部最小值。然而在离散方法的情况下，甚至可以使用大邻居搜索方法来优化复杂的功能第三，并行架构可用于執行若干离散算法（例如LBP中的消息计算）所需的非顺序任务从而实现更高效的实现。第四通过使用离散标签空间，可以明确地控制其范围和分辨率这对于引入先验信息是有用的。与连续方法相比离散方法的主要限制是精度，其由连续空间的离散化限制然而，正如Glocker（2010）所建议的那样即使最优性受离散化的限制，通过智能细化策略也可以实现连续方法的准确性。

无论变量是连续的还是离散的都鈳以使用不同的策略来探索解决方案的空间。启发式或元启发式可以获得可接受的解决方案特别是在我们处理非线性，非凸或黑盒优化問题的情况下即使我们知道没有提供最优性保证。在某些情况下（例如初始化更复杂的注册程序）具有近似良好的解决方案就足够了; 茬这些情景中，可以设想不同的策略

进化算法是最受欢迎的生物启发元启发式算法。在进化计算中生物进化的概念被用来探索搜索空間。特定人群的个体是我们问题的候选解决方案并且它们根据不同的法则（例如突变，重组和选择）发展通过适应度函数来执行对给萣解决方案的质量的评估，这实际上是我们的目标函数这个想法是，在生成序列中生成具有更好和更好适应性的个体，从而产生良好嘚解决方案这些算法通常是随机的。如果是这种情况则可以根据参数空间中的多元正态分布对新的候选解进行采样。Lin等人使用遗传算法（2013）估计膝关节的 2D MRI实时切片和3D MRI体积之间的6-DOF变换。在几个切片到体积配准问题中应用的一种进化算法是协方差矩阵 自适应进化策略（CMA-ES）该方法通过估计类似于逆Hessian矩阵的近似的基础目标函数的二阶模型来更新前述分布的协方差矩阵。Gefen等人提出了另一种基于遗传算法来解决峩们感兴趣的问题的案例（2005） ; 2008）。根据参数空间也可以组合不同的优化策略。在Tadayyon等人（2010） ; 2011例如，应用CMA-ES来优化刚性变换模型的平移参數而使用标准梯度下降方法估计旋转和可变形的参数。在它们对前列腺MR图像的应用中CMA-ES无法优化6-DOF搜索空间，因为无论是否缩放它都在旋转时发散。

另一种流行的元启发式方法是众所周知的模拟退火（SA）方法它模仿金属原子在材料被加热然后缓慢冷却时所遭受的物理过程。为了避免局部最小值该算法探索降低目标函数的新方向，但也以一定的概率探索提高目标的那些方向这种概率随着迭代次数的增加而减少，因此它在早期迭代中远离局部最小值并且能够在全球范围内探索更好的解决方案。Birkfellner等人（2007）使用这种方法将fluroCT切片登记到CT体積，优化了几个标准的标志性匹配标准而Cifor等人。（2013） 将其应用于多切片到体积的配准情况其中优化了与鲁棒模态无关的相似性度量。

茬本次审查中我们包括单片和多片到体积的配准方法。而在第一种情况下估计的切片到体积映射函数仅考虑单个2D切片，而在第二种情況下几个切片被映射到3D体积。

通过简单地将算法独立地应用于每个输入切片可以实现对多切片情况的任何单个切片到体积配准方法的簡单扩展。它将允许并行化过程 - 因为每个注册可以并行执行 - 但同时由于不考虑输入切片之间的关系，因此将丢失上下文信息已经提出叻几种这种类型的方法。我们可以引用费等人的话（2003a）; 费兰特等人。（2015）; Osechinskiy和Kruggel（2011b）;

可以采用不同的策略来将多个切片注册到给定的体积茬这里，我们只审查对输入切片集执行一致转换的方法但仍然将该过程视为基于切片而不将其视为完整且唯一的卷。不考虑使用输入切爿重建新体积然后执行标准3D-3D 注册过程的方法请注意，在一些像布鲁克斯等人的作品中（2008） ; 严等人。（2012） ; 徐等人（2014a），已经进行了实驗以比较多切片与体积与体积与体积配准的性能在Xu等人。（2014A）在MR前列腺图像的背景下进行比较，以显示多切片到体积的配准足以在术Φ捕获前列腺运动结论是，多片到卷的注册能够产生足够接近体积到体积注册的结果考虑到仅使用几个切片而不是完整卷时实现的数據计算减少，这是一个令人鼓舞的结果布鲁克斯等人。（2008）和Yan等人（2012）在不同的医疗情景中得出了类似的结论。这一共识表明在可能嘚情况下使用稀疏切片而不是完整体积的可靠性该策略有几个优点：（i）由于要处理的数据量减少（只有几个切片与完整的体积），计算要求较低（ii）遗漏了潜在的复杂重建步骤，（iii）相似性度量的适应性更强以及（iv）更容易并行化（Brooks

在存在多个切片的情况下，多切爿到体积的过程 - 与单切片过程相反 - 极大地提高了匹配的质量从而导致更稳健的配准方法（Yu等人，2011）当切片之间的相对位置已知时，这甚至更有趣在钱德勒等人。（2006） ; 2008年）中例如，多切片与体积的配准来校正在短轴（SA）的图像未对准的心脏解剖结构通过注册两个平行嘚切片（假设它们之间要对齐）的堆叠到高分辨率3D MR轴心容量在其他情况下，不同的配置如正交切片，切片在任意位置对齐（使用跟踪系统获得）甚至是时间序列的切片（Miao et al，2014）已注册成卷。另一个案例是Yu等人（2008） ; 2011 ），其中提出了双重协议来重建细胞的微观体积双協议由对相同单元成像的两组多个切片组成，这两个切片用两种不同的几何形状捕获然后将两组切片相互配准，并使用简单的插值策略偅建最终体积

让我们回想一下，与3D-3D配准方法相比多切片到体积的配准涉及更低的计算复杂度。此外与单切片方法相比，多切片到体積的配准通过增加图像支持确实提高了配准过程的稳健性处理多个切片需要比单切片情况更多的计算能力 ; 然而，在像徒手美国扫描的情況下切片包含可以避免的冗余信息。从这个意义上说由于方案的复杂性与输入切片的数量成正比，Wein等人（2008a ）提出了一种策略，首先呮选择几个关键切片这些用于估计刚性或仿射变换模型，将美国切片映射到CT卷由于徒手US扫描的相邻帧包含重叠信息，因此仅选择几个關键切片他们通过选择具有最高图像熵的那些切片来选择信息量最大的切片。Olesch等（2011）将相同的关键切片选择技术应用于Heldmann和Papenberg（2009）提出的變分可变形配准框架。为此考虑了整个体积中分布均匀的切片，其包含关于熵的有意义的信息在另一部作品中， Olesch和Fischer（2011） 通过引入仅考慮在给定感兴趣区域（ROI）中的切片的聚焦注册策略来扩展该关键切片选择技术

在江等人。（2007b ）提出了一种多切片到体积的配准方法- 带囿体积重建（SVR）的快照磁共振成像- 用于处理MRI的重建移动主题 在重复地对感兴趣的目标对象进行成像（产生相同移动物体的多个重叠的切片堆叠）以保证足够的采样之后，选择其中一个堆叠然后，应用迭代mutli切片到卷注册策略其中堆栈随后（以刚性方式）注册到参考。一旦所有堆栈都被注册它们将被平均以产生新的引用。然后减少每个堆栈中的时间上连续的切片的数量，使得数据被分成在时间上连续的孓包尽管每个子包中的切片可能在空间上不相邻。然后重复该过程：将子包注册到平均图像再次更新，并且每个堆栈的切片数量再次減少; 重复该过程直到每个切片被单独处理（减少到单个切片到体积的情况）并且重建最终平均体积在江等人。（2007a）; 2009 ）这个想法被扩展到尣许在同一场景中重建扩散张量图像在同样的工作中，江等人（2007b）测试了使用前瞻性获取的数据和模拟病例同时使用平行和正交获取切片的益处。最近提出了一种快速的多GPU加速框架来执行SVR（Kainz等，2015 ）他们提出了一种完全并行的SVR方法，用于从运动损坏的图像堆栈重建高汾辨率体积数据并行化在两个级别执行：（i）在切片级别，多个切片被分别处理以用于大部分重建过程和（ii）由于基于像素/体素的操作彼此独立所以它们也可以并行执行。作者声称他们的方法比目前最快的多CPU框架快5到10倍

Rousseau和Glenn（2005）以及Rousseau等人。（2006）提出将多组正交2D MRI切片注册箌高分辨率MRI体积中江等人的工作。（2007b ）与他们有一些相似之处然而，不是在每个切片被单独处理之前减少每个子包的切片数量而是執行两步法。在该设置中低分辨率图像的全局对齐之后是将每个切片的低分辨率图像配准到重建的高分辨率体积。仅考虑正交的切片组鼡于重建

2010b）（建立在Rousseau，Glenn2005，RousseauGlenn，IordanovaRodriguez-Carranza，VigneronBarkovich，Studholme2006之上），提出了一种名为切片交叉运动校正（SIMC）的新方法它直接根据堆栈中每对切片的交叉点来考虑注册过程，从而避免了中间体积估计过程通过最小化由不相似度量之和定义的全局能量函数来估计独立的每切片刚性变换任哬两个正交切片之间的所有交叉轮廓。SIMC可以在这种情况下使用考虑交叉的体素线而不是标准补丁或基于全局的计算。Kim等人（2008b）; 2010b）将SIMC应鼡于重建移动的人胎脑的MR图像的问题。从那以后已经发表了对这项工作的一些扩展，例如Kim等人提出的工作（2010c）将该方法扩展到Diffusion Tensor Images和Kim等人嘚案例。（2010a）; 2011）修改它以便考虑胎儿脑MR图像的偏差场不一致性校正

在Nir和Tannenbaum（2011）和Nir等人的研究中，考虑了一种基于粒子滤波（PF）的方法（2014）处理组织学图像到MR或US卷的多切片到体积的配准。PF框架以贝叶斯方式推导出参数的最优估计解决了多模态配准中出现的两个主要问题，唎如初始化易感性和最优解在 Chen等人的基于EPI的fMRI运动校正的背景下，PF框架被应用于头部运动跟踪的问题（2016）。陈和他的同事使用这种策略茬注册过程中连续连续EPI切片与标准的体积 - 体积和单片 - 体积配准方法相比，可以提高性能

大量的临床设置和应用程序可以从切片到卷的紸册中受益。在本次审查中我们将它们分为两大类。

6.1. 图像融合和图像引导干预（IGI）

）属于这一类在这种情况下，切片到卷的注册将高汾辨率的注释数据带入手术室通常，术前3D图像如获取计算机断层扫描（CT）或磁共振图像（MRI）用于诊断并由专业医师手动注释在外科手術过程中，使用不同技术（例如fluoroCT，US或介入MRI切片）生成2D实时图像术中图像与术前体积的对齐增强了医生可以访问的信息，并允许他们在執行操作时导航体积注释（参见图4）这些术中图像比术前图像继承更低的分辨率和质量。此外在手术过程中，组织移位塌陷以及呼吸囷心脏运动图像中的弹性变形使得切片到体积的配准成为极具挑战性的任务。在将自动方法与手动（人）结果进行比较时已经证明了對齐的统计学显着改善，显示了在图像融合和IGI背景下自动切片到体积配准算法的重要性（ 图4需要切片到体积配准的主要应用之一是用于圖像引导程序的图像融合。在该图中我们可以观察到操作内的US切片被登记到术前CT图像的示例。然后并排显示图像提供补充信息（并排嘚US / CT图像是从Ewertsen等人（2013）中提取的）。

）在图像引导手术的背景下引入了图像融合的标志性切片到体积配准动机是低分辨率单光子发射计算機断层扫描（SPECT）可以通过预先注册高分辨率MRI体积来实现，后者可以随后与实时iMRI融合这就是通过将高分辨率MR图像与实时iMRI采集相结合，Fei及其哃事可以将功能数据和高分辨率解剖信息映射到实时iMRI图像以改善热消融期间的肿瘤靶向。

体积配准将2D荧光CT与体积CT融合这是用于介入放射学中的图像引导活组织检查的公知工具。在这种情况下使用具有造影剂的介入前诊断高分辨率CT来定位肝脏中的病变。然而在干预期間，病变不再可见因此，定位对应于术中荧光CT的CT切片允许医生在活组织检查期间找到病变这种方法只考虑严格的转换。但是介入程序像射频消融（RFA）或使用fluoroCT作为图像引导技术的图像引导活检一样，在患者连续呼吸时进行因此，在注册术前静态CT图像时也应考虑变形Micu等人讨论了这种变形的影响以及在这种情况下进行非刚性配准的可靠??性。（2006年）和Lasowski等人（2008年）。据称基于单一低质量荧光CT的2D-3D非刚性配准溶液不能像执行医疗程序那样精确。这主要是由于荧光CT切片提供的肝脏解剖学特征（主要是血管）支持不佳他们提出通过提供围繞最小估计姿势的体积区域的自适应可视化（Lasowski等人，2008 ）来克服该限制这种方法可以应对估计变形的不确定性，并且比单个注册切片带来哽多信息他们的方法执行严格的切片到体积配准，并包括沿平面外运动参数的平面方向确定的CT体积的视图 在最小姿势旁边

腹腔镜和内窺镜介入手术也利用切片到体积的配准。SanJoséEstépar等（2009），提出了一种实时记录内窥镜和腹腔镜US图像与术前计算机断层扫描体积的方法它基于一种新的相位相关技术，称为LEPART用于严格配准。在Heldmann等人的文献中可以找到在微创手术中应用切片到体积配准的其他方法（2010） ; 鲍等人。（2005年）

6.2. 运动校正和体积重建

第二类是运动校正和体积重建。这里目标是在重建特定模态的体积时校正未对准的切片（参见图5 ）。解決此任务的典型方法包括将体积内的各个切片映射到另一个参考体积上以便校正切片间未对准。流行的地图切片到体积（MSV）方法引入了這个想法（Kim等1999 ）和弥散张量成像（DTI）（Jiang等，2009）已经显示出有希望的结果在这些问题中，通常假设单个切片是相干的在空间不一致性僅发生在切片间级别的意义上。

图5在进行体积重建的运动校正时，切片到体积的配准是一项关键任务在该图中，我们可以观察到典型嘚情况其中患者在逐片采集3D图像的同时移动，导致切片堆积体积损坏通过切片与体积登记运动校正是改善重建的体积的质量的常用技術（该图是基于图1中从Chen等人（2016） ）。

在体积重建的上下文中的切片运动校正通常涉及切片到目标体积的迭代配准目标体积可以是解剖学參考，或者可以使用切片运动的当前估计在每次迭代时重建目标体积考虑对象的所有可能视图。

Kim等人（1999）引入了用于fMRI图像的时间序列Φ的切片间运动校正的地图切片到体积（MSV）方法。在这种情况下头部运动是测量fMRI时间序列中与给定刺激相关的强度变化的主要误差来源（ Yeo et al。2004））。MSV的目的是使用解剖学MRI体积作为参考回顾性地将通过头部运动移位的切片重新映射到其空间正确的位置。MSV方法通过使用Nelder-Mead下坡單纯形法进行优化通过最小化基于互信息的能量，为每个fMRI切片独立估计6-DOF刚性变换该方法被用作切片堆栈方法的替代方法。不考虑切片方式的配准而是假设切片的堆叠已经在它们之间进行了登记，并且忽略了多切片回波平面成像（EPI）采集序列固有的切片间运动（因为每個切片以连续的时间间隔被激发） MSV表现出比以前的音量更好的性能登记方法，但由于较小区域的信息支持有限（纹理区域较少背景较哆），端盖切片的估计位置参数的可靠性较低Park等。（2004）提出使用切片到体积的联合映射（JMSV）来克服这种限制JMSV是一种多切片配准方法，其联合估计每个切片的刚体变换同时惩罚对象的运动轨迹中的隐含加速度- 顺序获取的切片的运动参数的突然变化。标准MSV的其他扩展包括（i）可变形注册的计算（ Kim等2000）通过TPS 转换模型 ; （ii）通过并发迭代场校正重建来改善MSV的运动校正能力（Yeo，FesslerKim，2004Yeo，FesslerKim，2008 ）; （iii）广泛评估MSV的激活检测性能和运动参数估计的时间滤波效果（ Yeo等2006 ）和自旋饱和效应（Kim等，2008a ）; （iv ）通过结合关节改进低复杂性末端切片（头部扫描顶部或底部附近的切片呈现较差信息）中的MI 匹配标准估计在同一时间序列中从成功登记的中心切片估计的图像强度的概率密度函数。

在Kim等人的基础工作之后（1999）及其扩展（其中大多数与fMRI图像重建有关），另一个需要校正切片间运动的问题开始引起社区的注意：胎儿脑MR成像在這种情况下，没有可用作目标体积的解剖学参考; 因此在注册过程中使用切片的当前估计来计算参考体积。江等人（2007a）和Rousseau等。（2006）建立叻一系列新方法的基础这些方法依赖于切片到体积配准和散乱数据插值的迭代（SDI）执行移动物体的超分辨率重建 - 特别是胎儿脑MRI-。两种方法共享一个类似的迭代切片到体积注册方案但在SDI方法上有所不同：而Rousseau等人。（2006）使用基于高斯核的SDIJiang等。（2007a ）依靠一个控制点的规则网格作为一个立方B样条函数来执行SDI。在最近的一项工作中Gholipour和Warfield（2009）以及Gholipour等人。（2010）批评基于SDI的方法指出这些技术都不能保证重建的收敛，至少是局部最优解决方案因此，他们提出使用最大似然（ML）误差最小化方法其保证重建图像的收敛以通过最速下降误差最小化来匹配运动校正切片。Gholipour等人提出了这种方法的扩展（2011），使用基于实时传感器的跟踪（即基于非图像的方法）来估计每个切片的初始位置，然后通过基于ML误差最小化的回顾性切片到体积配准方法来细化

本研究中发现的一个主要问题是缺乏开放/公共基准，其中金标准注释专門用于验证切片到批量注册方法这种类型的数据集通常可用于大多数医学图像分析问题，1可以将新方法与最新技术进行比较从而产生哽具建设性的贡献。几个切片到体积登记研究中使用的少数公共数据集之一（ RivazKarimaghaloo，FonovCollins，2014c US和MRI脑图像，以解剖学标志的形式提供地面实况即使该数据集用于多个研究，也不是专门设计用于验证切片到体积的配准方法特别是在单切片方法的情况下。如Pardasani等人所述（2016），有一點需要注意的是这些地标是在重建的美国卷（不是独立的切片）中确定的，因此有不同的解决方法（参见第7.2.2节）必须使用它来使其适应單个切片到体积的配准验证（我们需要2D和3D图像中的同源注释）

专门设计用于评估切片到体积配准方法的新验证数据集应包括解剖标志形式的注释，感兴趣结构的手动分割以及在2D和3D图像中映射切片到体积的金标准转换用于基准测试的公共数据集被证明对围绕视觉问题构建社区至关重要（如用于对象类识别的Pascal VOC数据集（Everingham等，2010）或用于脑图像分割的IBSR数据集IBSR）它们肯定有助于切片到 - 体积登记是一个完善的问题。

茬下文中我们分析了用于验证本评论中考虑的方法的标准方法，讨论了切片到卷注册的优缺点

有两种主要类型的图像用于验证：幻像囷临床图像。模体是人造物体可以在受控条件下扫描以模拟患者真实图像的采集。它们通常设计用于模拟人体或动物组织的某些特性並用于校准医学成像设备的参数或用于基准测试目的。不仅是人工解剖结构（如乳房（Marami等2011），心脏（黄等人2009），腹部结构（杨丁，康朱，王杨，丁王，康朱， Shen2015， ）甚至菠萝（Gholipour等2011））被认为是在切片到体积配准的背景下成像的模型。此外数字模拟的模型（如Ghostipour等人（2010）中考虑的BrainWeb（Cocosco等，1997）或Kim等人采用的着名的分析型Shepp-Logan模型（Shepp和Logan1974）（ 2011））也被使用过。数字模拟模型的主要优点之一是由于我们詳细了解图像是如何生成的，因此我们可以为某些感兴趣的结构提供额外的信息如分割掩模或概率图，然后可以用于验证因为我们将見7.2节。可以考虑的其他类型的图像是临床研究这是最常见和最有价值的案例，其中捕获真实患者的图像并用于验证注册方法

本综述中栲虑的大多数方法都使用临床图像进行验证，因为它证明了该方法在实际临床环境中应用的潜力但是，必须指出的是临床数据集的主偠缺点之一是缺乏注释。寻找临床图像的注释比模型更难因为我们通常需要能够手动注释它们的专家。因此徐等人等几位作者采用了┅种共同的策略。（2008） ; 黄等人（2009） ; SanJoséEstépar等。（2009） ; Kim等人（2011） ; Gholipour等。（2011） ; 舒尔茨等人（2014） ; 凯恩斯等人。（2015） 将虚拟和临床数据集结合起来努力实现两全其美：基于幻像数据的精确测量，以及使用临床数据的实际验证

7.2. 测量切片到体积配准方法的性能

已经考虑了替代指标来量化切片到批量注册的性能。虽然其中一些测量全局属性（如刚性配准中的估计参数）但其他方法关注于局部方面（例如，特定解剖标誌中的误差或注册前后图像强度方面的局部差异）表3包括用于验证本调查所包含方法的最相关指标的摘要。在这里我们详细讨论它们

7.2.1. 轉换参数之间的距离

给予单一切片或多个切片和音量，如果变换Θ GT两个图像映射是已知的我们可以估算之间的距离Θ GT和估计的转换。该方法主要用于验证全局线性变换（参见例如Kim等人（1999） ; Park等人（2004） ; Dalvi和Abugharbieh（2008） ; Ferrante和Paragios（2013） ; Lin等人（2013） ））其中要估计的参数数量低每个参数的距离可以報??道。但是在Su等人。（2013）应用相同的策略来测量估计的变形场的准确性。在这种情况下他们只考虑每个像素中变形场组成部分仩欧氏距离的平均值，由下式给出： 哪里 是位置x中的地面实况和估计变形场的相应位移矢量N是像素的总数，Ω是图像域。

请注意这个筞略需要事先知道确切的转换（刚性或非刚性）Θ GT绘图片与体积。在幻像和临床情景中这种情况很少发生。为克服这一局限在一些工莋中应用了一种常见的策略（例如Kim等人（1999） ; Park等人（2004） ; Yeo等人（2004） ; SmolíkováWachowiak等人（2005） ; Yeo等人（2006） ; Birkfellner等人（2007） ; Porchetto等。（2016））包括通过从给定3D图像的已知变换Φ提取任意切片来生成合成地面实况然后扰动这些参数以初始化注册过程，并用作地面实况来计算关于估计变换的误差另一种方法是苼成青铜标准注释。在这种情况下想法是尽可能使用更可靠的配准方法（例如，当多个切片可用时进行体积到体积的配准或者在提供准确的解剖学界标时进行基于地标的配准）以获得变换，然后将其视为地面实况在 Fei等人的文章中可以找到制备用于切片到体积配准的青銅标准注释的替代方法。（2002） ; 2003a）; 2004）; 2003c）; Penney等人（2006） ; 江等人。（2009年）

7.2.2. 基于点的注册错误

文献中经常使用的另一种常见策略是基于地标。我们嘚想法是注释在切片和体积图像中都可见的兴趣点以便我们可以在注册前后测量相应点之间的距离。地面实况与登记的解剖标志之间的岼均距离通常称为目标登记误差（TRE）并计算如下：
哪里 是源域和目标域中的相应地标，M是地标的数量和 是注册参数化后的估计变换 该系数有时称为均方根误差（RMS）。如果使用基准标记而不是解剖学点那么该度量被称为基准配准误差（FRE）。这两个概念最初都是在 Fitzpatrick等人的開创性工作中引入的（1998）测量几何配准方法的性能，但已被注册社区采用作为一般验证度量已经使用TRE的不同变体来验证Bao等人的切片到體积配准方法。（2005） ; 卢梭和格伦（2005年） ; Penney等人（2006） ; Rousseau等。（2006） ; Hummel等人（2008年）; Leung等。（2008） ; 肖等人（2016），包括基准和解剖标志

基于地标的错误昰注册质量的可靠指标。然而必须注意的是，在切片到体积的配准情况下切片太稀疏，注释这些感兴趣的点可能是非常困难的并且有時是不可能的Pardasani等人采用了一种简单的解决方法。（2016）使MNI BITE数据集（在重建的美国体积和3D MRI图像中识别地标）适应切片到体积的配准情况：它們仅使用距专家0.3毫米范围内的美国切片 -确定了地标这减少了可用切片的数量，但允许他们计算TRE指标

即使没有地标，也可以采用基于点距离的替代测量在这种情况下，在注册之前和之后将感兴趣区域内的体素的位置与目标中的对应体素进行比较考虑到体素之间的距离嘚方法已经用于几种切片到体积的配准方法，如Fei等人（2002） ; 2004）; 2003c）; 2003a）; 钱德勒等人。（2006） ; Kim等人（2008b）; Tadayyon等。（2010） ; Kuklisova-Murgasova等（2012） ; Fogtmann等。（2014）然而，我们仍然需要一种方法来在两个图像中的体素之间建立对应关系这并不总是可用的。

当分割掩模可用于切片和体积图像中的某些感兴趣结构時在注册之前和之后计算的基于分段的统计可用于验证。理性的是在注册之前未对齐的结构应该在之后。因此通常的策略在于从初始位置的体积中提取切片，并在注册后进行相同的切片此时，问题减少到在两个2D图像之间计算基于分段的统计已经考虑了基于分段的替代系数来处理切片到卷的配准验证。

Dice系数（Dice1945）（DSC，也称为S?rensen-Dice系数或相似性指数SI）量化了两个给定的分段掩模A和B之后的重叠量其值范圍从0（表示无空间重叠）到1，表示完全重叠该系数已被广泛应用于几种切片 - 体积配准方法，其中肝肿瘤的分割掩模（Cifor等2013 Museyko等人。（2014））正如Yavariabdi等人所述。（2015）请注意，高骰子并不意味着良好的轮廓重叠这是在注册感兴趣的结构之后的期望属性。在这种情况下可以报??告诸如Hausdorff距离（轮廓之间的最大距离）和轮廓平均距离（CMD）的指标（在切片到体积配准的情况下的示例可以在Sun等人（2007）中找到）; 布鲁克斯等人。（2008）

使用分段掩码进行切片到体积注册验证的主要优点是它们的可用性：分割掩码形式的注释比地标或地面实况转换更频繁此外，如果我们的目标是评估非刚性配准估计的变形域可用于扭曲分割掩模，从而可以对可变形配准误差进行量化然而，正如Rohlfing（2012）所讨論的必须注意用于验证的感兴趣的结构。使用宽和非良好定位的结构分割（例如脑组织）计算的统计数据可能无法提供足够的证据来验證配准准确性根据作者的观点，只有较小的更局部化的感兴趣区域近似点标志，才能提供这样的证据因为它们的重叠近似于基于点嘚配准误差。结合区域重叠和基于轮廓距离的系数（其提供关于配准质量的补充信息）已被建议作为减轻这种不一致性的方式（

外观信息吔可用于验证当切片到体积配准方法是朝向执行运动校正/体积重建的中间步骤时，评估配准质量的间接方式是通过量化重建精度在这種情况下，重建误差通过的强度差（通常是测量的均方根差异或RMSD）或信噪比（SNR）估计并用于地面实况体积。在一些作品中考虑的另一种選择是衡量重建的锐度的直觉的是，当未校正的运动或误差残差之间输入图像采集都存在时平均图像将被成像的结构（的离焦运动模糊版本 Gholipour和沃菲尔德，2009年）这种测量的主要优点之一是它不需要地面实况重建图像，因为它是直接在估计的体积上计算的

可以使用估计囷目标切片之间的简单强度差异或相关度量的另一种情况是在执行单峰切片到体积配准时。在这种情况下SAD，SSD或CC可用于通过视觉误差量化來测量配准精度因为切片和体积强度倾向于线性相关（参见例如Marami等人（2011）和Porchetto等人（2016））。在多模式情况下也可以采用更复杂的度量（唎如MI或NMI）或甚至针对特定模态定义的临时相似性度量（如Wein等人（2008b）使用的LC

最后一种策略包括量化的视觉检查，其中要求一个或多个专家在視觉上评估根据给定比例分配分数的注册质量这种方法采用Birkfellner等人的方法。（2007） ; 波尔等人（2007） ; Frühwald等人。（2009） ; Kim等人（2010b）; 苏等人。（2013年）这种策略的主要缺点是它非常耗时并且需要人为干预。但是这种方法可以与本调查中列出的任何其他方法结合使用，因为它提供了从專家知识获得的补充信息这很难通过客观/数学指标进行量化。

在本次调查中我们回顾并讨论了与切片到卷注册相关的文献中的一些最偅要的工作。根据不同原理对这些论文进行分类包括匹配准则，转换模型优化方法，切片数量应用和验证策略。

（其中提供了该工莋的简要总结）时出现的结论之一是本调查中讨论的大多数方法都集中在刚性配准，使用标志性匹配标准和连续优化技术因此，值得┅提的是在处理切片到卷的注册时，为什么这种趋势如此清晰和明显大多数作品估计刚性变换的事实可能与两个主要原因有关。第一個问题与应用程序角度的简单要求有关如第3.1节所述这种基本的变换模型足以表达简单的切片到体积映射，因为它可以处理平面内和平面外的平移和旋转在不继承图像失真的临床场景中- 类似于切片间运动校正的基本情况 - 这种类型的模型可能就足够了。在更复杂的情况下洳图像引导手术事实上，由于在手术期间组织移位塌陷和呼吸/心脏运动术中图像相对于术前体积变形。此外不仅在术中病例中而且在非介入成像期间，许多身体器官（例如心脏肺或舌）具有自然弹性运动。即便如此刚性模型仍然在文献中占主导地位。这与我们发现嘚第二个原因有关：医生之间对非刚性转变的普遍不信任从医学的角度来看，有时候提供可靠但近似的线索比不切实际的解决方案更可取非刚性和弹性模型可能导致从几何角度来看是正确的解决方案，但它们在解剖学上没有意义现实的进一步研究反映物理组织特性的變形模型肯定会提高我们估计的准确性，并在医学界内对我们的方法建立信任

表1。比较表：它包括本调查中引用的那些论文的选择这些论文发表在与医学图像分析相关的最重要的期刊和会议上。它们根据本工作中使用的分类法进行分类即匹配标准（第2节），转换模型（第3节）优化方法（第4节）和切片数（第5节）。

标准匹配标准（基于替代相似性度量）被证明是描述解决方案质量的偏好选择如果我們认为缺少与切片到体积配准自然相关的图像支持，并且在操作中实时和低质量模态中经常出现的图像噪声（通常对应于输入的2D图像），这在某种程度上是出乎意料的这使得解释图像相似性变得困难完全基于强度信息。从这个意义上讲我们确定了两种有助于缓解这种局限的策略。第一个是使用（如果可能）多个切片而不是单个切片通过这种方式，可以通过增加图像支持来提高匹配质量同时与标准3D-3D 配准方法相比保持较低的计算复杂度（如第5节所述，此策略在处理运动校正时特别有用）影像重建）第二个是将标志性匹配标准与几何戓基于传感器的策略相结合（如第2.4节所述）。虽然最后一个对图像变化和不连续性更加稳健但前者有助于产生更多准确的方案。当与基於传感器的方法结合使用时（例如在传感器可以连接到成像设备或手术工具的图像引导干预中），标志性相似性测量显示有助于改进初始刚性估计并提供更精确的结果

在优化策略方面，即使计算机视觉和医学成像的社区在过去十年中开始大量采用离散方法但在片到体積注册的特定情况下也没有发生同样的情况。虽然大多数已发表的方法采用连续优化器（基于梯度和非梯度）但最近发表的一