使用基于图像的导航系统的增强现实仪器放置的方法

1.一种用于仪器导航的成像系统，包括：
至少一个摄像机，用于捕捉仪器和病人的图像；
显示器，用于显示所述图像；和
处理器，用于执行下列步骤：
接收所述图像和识别所述病人体内关心的目标；
显示经过所述目标中心的图像平面，所述图像平面具有可设置的方位；
使用所述图像平面来为仪器选择从所述病人皮肤上的位置到所述目标中心的路径；
观察从所述仪器的尖端到所述目标的中心的轨迹平面，所述轨迹平面反映所述仪器的方位；
选择代表所述仪器的理想方位的特定轨迹平面；和
冻结所述特定轨迹平面的图像。
2.如权利要求1所述的系统，其中所述成像系统是增强现实成像系统。
3.如权利要求1所述的系统，其中所述处理器还执行以下步骤：
使用虚拟导向来辅助所述仪器的导航；和
计算所述仪器尖端和所述轨迹平面之间的距离。
4.如权利要求3所述的系统，其中当所述距离达到零时，所述仪器到达所述目标的中心。
5.如权利要求3所述的系统，其中如果所述距离变为负值，所述仪器越过所述目标的中心。
6.如权利要求1所述的系统，其中使用所述图像平面选择路径的步骤还包括跟踪所述仪器的步骤。
7.如权利要求1所述的系统，其中所述系统还包括用于跟踪所述仪器的光学跟踪系统。
8.如权利要求1所述的系统，其中所述成像系统是二维成像系统。
9.如权利要求1所述的系统，其中所述成像系统是三维成像系统。
10.如权利要求2所述的系统，其中所述系统还包括安装于头部的显示器。
11.如权利要求1所述的系统，其中所述图像平面与仪器插入的方向垂直。
12.如权利要求1所述的系统，其中所述仪器是探针。

使用基于图像的导航系统的增强现实仪器放置的方法\n[0001] 相关申请的介绍\n[0002] 本申请要求2004年4月21日提交申请的U.S.临时专利申请No.60/564,146的权益，结合其全部内容作为参考。\n技术领域\n[0003] 本发明涉及使用基于图像的导航系统的增强现实仪器放置的方法，且更具体地，涉及用于确定与目标有关的探针放置的方法，以便医生能确定到目标的最佳路径。\n[0004] 技术背景\n[0005] 增强现实，通常也称作增强视觉或增强现实视觉，通过叠加计算机产生的图形信息来增强观察者对现实世界的观察。该信息可以像场景中附属到某物体上的文本标签一样简单，或像从MRI扫描中获得并对准人头部的真实图像的病人大脑的3D模型一样复杂。\n[0006] 观察者可以用他或她的眼睛直接观察实际场景，通过位于观察者和实际场景之间的半透明显示器将附加图形信息与其融合。例如，这样的显示装置可以是安装在头部的透明显示器。\n[0007] 该显示器也可以是不透明的，象计算机屏幕或安装在头部的非透明显示器。这样的显示器然后向观察者呈现完整的增强视觉，即现实世界图像和图形重叠的组合。摄像机代替现实世界的观察者来捕捉现实世界图像。对于立体视觉，需要两台摄像机。计算机被用来组合活动视频与图形增强。\n[0008] 为了与现实世界图像正确地对准，图形必需定位、定向、和缩放，或者甚至以透视的方式再现该图形。希望将图形“稳定”在现实世界物体上。要这样做，必须知道摄像机相对于物体的位置和方位，以及物体的方位。也就是说，必须知道两个坐标系之间的关系，一个坐标系对应于摄像机，并且另一个坐标系对应于物体。\n[0009] 跟踪表示记录前述关系的过程。基于光学、机械、磁性、惯性、和超声测量原理的商业跟踪系统是有用的。\n[0010] 增强现实可视化能引导处于人工机械任务中的用户。对于机器修理和维护情况，已经建议通过图形指针增强视觉，该图形指针显示，例如按压哪个按钮，或旋转哪个螺丝。\n也建议将增强现实可视化用于医学应用，例如活组织检查探针必须插入到目标肿块中而不伤害附近的神经，或螺钉在精确的位置处以精确的方向插入到骨头中。\n[0011] 如上所述，增强现实可视化将虚拟物体(计算机产生的图形)放置在实际场景中。\n相对于稳定在现实世界物体上的世界坐标系的，从那里可以观察实际场景的有利位置的跟踪允许虚拟物体出现在该世界坐标系中的理想位置处。然而，在实际和虚拟物体之间的正确的视觉相互作用通常需要关于实际物体的3D信息。不利地，该3D信息通常不可得，于是虚拟物体仅仅叠加在实际场景的图像上。因此，实际物体可被虚拟物体隐藏，尽管虚拟物体不可以被实际物体隐藏。\n[0012] 另外，在医学应用中存在一个问题，当在一个过程，诸如活组织检查中需要插入探针时，该探针采取到目标物体的直达路线，而不与纤细的结构，诸如动脉或不相关的器官交叉。为了医生能精确地引导探针，使医生知道在它的路径中存在什么潜在的障碍物将是有利的。因此，希望并且非常有利的提供一种增强现实仪器导航的方法，以便医生能在插入探针或其他医疗仪器之前确定最佳路径。\n发明内容\n[0013] 本发明涉及一种使用基于图像的导航系统的仪器放置的系统和方法。在病人的医疗图像中识别关心的目标。显示通过目标中心的图像平面。该图像平面具有可设置的方位。\n该图像平面用于选择仪器从病人皮肤上的位置到目标中心的路径。可以观察从仪器尖端到目标中心的轨迹平面。该轨迹平面反映仪器的方位。选择特定的轨迹平面，该轨迹平面代表仪器的理想方位。特定轨迹平面的图像被冻结。然后，利用虚拟导向可以插入该仪器，并且向着目标前进。\n附图说明\n[0014] 下面将参考附图更加详细描述本发明的优选实施例，其中相似的参考数字表示相似的元件：\n[0015] 图1是根据本发明的示意性实施例的增强现实仪器导航系统的框图；\n[0016] 图2A和2B是根据本发明示意增强现实仪器导航的方法流程图；\n[0017] 图3根据本发明示意了在探针插入期间描绘2D图像导航的典型显示；和[0018] 图4根据本发明示意了在探针插入期间描绘基于3D导航的典型显示。\n具体实施方式\n[0019] 本发明涉及一种使用基于图像的导航系统的增强现实仪器放置的系统和方法。应当理解可以各种形式的硬件、软件、固件、专用处理器，或其组合来实现本发明。优选地，本发明以硬件和软件的组合来实现。此外，优选地将软件实现为切实包含于程序存储装置上的应用程序。该应用程序可由包括任何合适结构的机器加载和执行。\n[0020] 优选地，在具有硬件的计算机平台上实现该机器，该硬件诸如一个和多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口。该计算机平台也包括操作系统和微指令代码。在此描述的各种过程和功能可以是通过操作系统执行的微指令代码的一部分或应用程序的一部分(或其组合)。另外，各种其他外围装置可以连接到计算机平台上，诸如附加的数据存储装置和打印装置。\n[0021] 应当进一步理解，由于在附图中描述的一些组成系统部件和方法步骤优选地以软件实现，在系统部件(或处理步骤)之间的实际连接可以不同，取决于本发明编程的方式。\n在此给出教导，本领域普通技术人员将能设想本发明的这些和类似的实施或结构。\n[0022] 图1根据本发明的示意性实施例示意了增强现实仪器导航系统100的框图。该系统100包括：两台摄像机110a-b；跟踪模块112；预处理2D/3D图形模块150；路径确定装置160；后处理2D/3D图形模块170；图形导向发生器180；图像处理模块116；姿态计算模块118；图形绘制模块120；视频和图形重叠模块122；以及立体显示器124。使用两台摄像机110a-b和立体显示器124来获得3D感觉。当然，也可以使用保持本发明的精神和范围的其他设备(例如，单台摄像机和非立体显示器)。在图1示意的实施例中，路径确定模块\n160和图形导向发生器180是系统100的独立元件。然而，这些元件可以集成进系统100的其他元件(例如，图形绘制模块120)中，这对本领域普通技术人员是显而易见的。在此给出了本发明的教导，本领域普通技术人员将设想图1的元件的这些和各种其他结构，而保持本发明的精神和范围。\n[0023] 下面将给出图1涉及增强现实仪器导航应用的元件的描述。两台摄像机110a-b提供对应于现实世界的有关图像的数据到系统100。跟踪模块112提供对应于用户坐标系统(即，涉及用户的有利位置或代替用户眼睛的摄像机的有利位置)、在其上应用该仪器的物体(例如病人)的坐标系统以及任选地，仪器坐标系统之间的关系对应的数据。由跟踪模块112提供的数据允许在上述坐标系统之间的关系被姿态计算模块118了解或最终由它计算。通过预处理2D/3D图形模块150提供的数据可以是为特殊仪器定位应用而预处理的，例如计算机断层检查(CT)扫描或磁共振(MR)图像。通过预处理2D/3D图形模块150提供的数据也可以包括关于仪器的几何信息。下面将更加详细地描述从预处理2D/3D图形模块\n150向路径确定模块160输出的信息中，可以确定用于仪器运动的一条或多条潜在路径和/或用于仪器接触/穿透的一个或多个潜在目标位置。该路径/目标数据以及来自预处理\n2D/3D图形模块150并经过路径确定模块160的一些数据被输入到后处理模块170，其将数据提供给图形导向发生器180，用于产生图形导向。应当理解，可将指定在仪器定位期间使用的一个或多个优选类型的图形导向的数据输入到预处理2D/3D图形模块150最终由图形导向发生器180在选择要产生的图形导向类型时使用。可以选择任何已知类型的图形导向来辅助医生沿着选择的路径引导仪器。\n[0024] 该图像处理模块116处理由两台摄像机110a-b提供的图像数据。将图像处理模块116处理的图像数据与由跟踪模块112提供的数据一起输入到姿态计算模块118。将来自于图形导向发生器180的对应于一个或多个图形导向的数据与从姿态计算模块118输出的数据一起输入到图形绘制模块120，以便根据摄像机姿态再现该图形，记录与视频图像中看见的物体(在该物体上使用仪器)有关的摄像机姿态。将再现的数据提供给视频和图形重叠模块122，用于随后在立体显示器124上显示。\n[0025] 本发明涉及具有导航图形的增强现实仪器导航。本发明可以使用在该情况下，当仪器必须以相当高的精确度放置时，并且可以选择目标或目标及路径，并且能在增强现实视觉中使用图形导向或轨迹平面向用户显示目标或目标和路径。该导航图形标记该目标。\n该导航图形也标记该最终仪器位置和/或方位。进一步，该导航图形标记到最终仪器姿态的路径。然后用户将仪器对准图形导向或轨迹平面以执行他或她的任务。应当理解，仪器向目标导航而不与要害器官或动脉交叉是一个问题，其对于使用仪器导航的增强现实存在严重障碍。\n[0026] 根据本发明，现在将参考图2A和2B描述增强现实仪器导航的方法。本领域技术人员应当理解下面描述的工作流程应用于多种使用不同可视化方案的导航系统。这些导航系统可以是二维(2D)或三维(3D)成像形式、监视器上的立体视觉或安装于头部的显示器。\n病人的医疗图像需要形成3D数据集(步骤202)。如上所示，可以使用多种形式，如可算式层析X射线摄影法(CT)、磁共振成像(MRI)或超声来获得图像。在病人数据集中识别和分段关心的目标(步骤204)。\n[0027] 在执行程序之前，向医生显示经过目标中心的图像平面(步骤206)。该图像平面具有可设置的方位，其允许医生更好的鉴别探针的插入点。典型地，该图像平面与探针插入的普通方向垂直。然后使用光学跟踪系统跟踪该探针(步骤208)。本领域技术人员应当理解在不脱离本发明的精神和范围的情况下可以使用其他类型的跟踪系统。\n[0028] 医生通过在病人皮肤上移动探针能够选择安全和有效的探针路径(步骤210)。在探针接触病人皮肤的每个点，医生能够在显示器上观察探针的虚拟延伸路径和它与目标图像平面的交叉点。该显示器可以是2D或3D并且可以呈现在监视器或安装于头部的装置上。\n一旦探针的延伸路径与目标的中心相交，选择该路径并在显示器上显示(步骤212)。\n[0029] 下面，医生将探针的尖端放在病人的皮肤上，并选择探针的方位(步骤214)。通过移动探针的尖端，医生能够观察连接探针尖端到目标并且与目标图像平面交叉的图像平面(步骤216)。该医生能观察在探针插入期间需要避开的任何纤细结构的位置。一旦选择了轨迹，该医生能冻结该轨迹平面(步骤218)。现在，医生能看到具有目标的目标平面和清楚地显示了从病人皮肤到目标中心的选择的探针路径的轨迹平面。\n[0030] 图3和4根据本发明示意了在探针插入期间2D和3D图像导航的典型显示。该3D显示是与看到HMD或立体视觉图像的显示相同类型的显示。如图所示，显示从探针尖端到目标中心的虚拟路径。该路径方向和方位是基于并实质上是探针方位的延伸。在3D显示中，也显示该图像平面。\n[0031] 下面，医生将探针插入到病人体内。由于插入探针，虚拟导向可用来帮助维持正确的轨迹(步骤220)。当插入探针时，该显示器显示探针尖端和轨迹平面之间的距离(步骤\n222)。虚拟导向一显示探针与轨迹平面对齐，并且显示的距离为零时，该医生就到达了目标中心。如果距离变为负值，探针越过了目标中心，医生能够容易地纠正探针的位置。一旦程序完成，为了避开纤细结构，医生能使用虚拟导向除去探针。\n[0032] 尽管本发明已经描述为增强现实仪器放置的方法，本发明的方法可用于简单的基于图像的或非增强现实系统中。可以结合大量的实施方式来应用该仪器导航。例如，可以在2D屏幕上显示3D增强现实场景或3D虚拟现实场景。可选地，在2D屏幕上可以显示规定的和相关的2D平面。在这种情况下，最低硬件需求是计算机、显示器、跟踪系统和类似于上述的软件。\n[0033] 对于使用基于图像的导航系统增强现实仪器放置的方法已经描述了其实施例，应当注意，本领域技术人员根据上述教导可以进行修改和变化。因此，应当理解，在公开的发明的特定实施例中可进行落在由所附权利要求所限定的本发明的精神和范围内的变化。在此用专利法所需要的细节和特殊性描述了本发明，受专利特许证保护的所要求的和期望的内容陈述在所附的权利要求中。