医学图像中对称器官的分割方法

1.一种医学图像中对称器官的分割方法，其特征是，包括如下步骤：
步骤一：确定图像的限定框Bounding Box
对于给出的初始图像，需要用户给出一个限定框，作为初始的输入；
步骤二：检测对称轴，计算对称映射矩阵
应用MIFT算法获取离散的匹配点，MIFT是Mirror Reflection Invariant Feature Descriptor的字头缩写，由得到的匹配点，使用RANSAC方法计算出2维的映射矩阵，用HT表示；
步骤三：获取对称相似矩阵
利用对称映射矩阵HT，得到像素u初始匹配像素u′，通过局部的优化过程，获取像素u的一个更准确的对称匹配，定义u′的邻近像素k的相似区分度m(k)为：
这里zu表示像素u的包括亮度、颜色的特征，||zu-zk||2表示像素k与像素u在特征空间上，dis(xu′,xk)表示像素u′和k的欧式距离,xu′、xk分别为像素u′、k的齐次坐标，像素u的最佳对称匹配点v通过最小化相似区分度m获得：
这里N(u′)是u的匹配像素u′的邻近像素点的集合，定义映射m＝{m(u)}代表图片的相似区分度集合，通过熵来描述全局的对称结构，设定平衡参数λ为：
Entropy(m)表示相似区分度集合的熵，上面的3表示三次方，1000为归一化参数，用于调节系数，根据图片的对称情况，获取不同的λ值，最后由得到的对称轴和映射矩阵，将图片用对称相似矩阵HS表示，对称相似矩阵HS＝[HS(u)]使用指数形式定义：
其中mean(m)是m的平均值，HS(u)表示对称相似度，HS(u)的值被参数λ限定在[1-λ,1+λ]之间；
步骤四：在图中引入对称约束模型
这里需要把对称相似矩阵引入马尔科夫随机场，来获得前景物体的对称属性：
传统的马尔科夫随机方程：
这里L＝{Lu|u∈Λ}表示图片Λ的二值标签，对于一般分割Lu∈{0,1}，0表示背景，1表示器官，对于像素v，Lv∈{0,1}；数据项Du称为数据惩罚函数，它的获取基于图像的前景和背景；Vu,v是平滑惩罚，它用来鼓励相似的像素分配同样的标签；N是包含临近像素对的集合，使用对称相似矩阵作为转换参数来加强对称前景的提取，修改数据惩罚函数为D′u：
其中Hs(u)表示对称相似度，s表示源点，t代表汇点，在数据惩罚函数D′u中，鼓励对称的像素为前景，不对称的部分标记为背景；
与数据惩罚函数相同，线性连接匹配的对称对和马尔科夫模型的平滑惩罚，表示为：
这里的u→v表示像素v是由方程(2)获得的像素u的对称点，平滑惩罚Vu,v与方程(5)中一样，后面一项上方的S表示u到v的边；
步骤五：通过图割方法求解能量方程，得到最终的分割结果
最后，能量方程定义为：
*
此时把分割看作全局最小化，即L＝argminEs(L)，因为在方程(8)中定义的能量方程Es(L)拥有子模性，所以能量方程最小化的问题通过图割算法解出。
2.如权利要求1所述的医学图像中对称器官的分割方法，其特征是，限定框为矩形边框。
3.如权利要求1所述的医学图像中对称器官的分割方法，其特征是，MIFT算法过程如下：
1)对于输入图片，用多尺度空间表示；
2)检测尺度空间极值点，从极值点中筛选特征点：所得到的极值点组成了特征点的备选集合，特征点将由此集合中的备选点中筛选出来，剔除掉此集合中低对比度和边缘响应的点；
3)精确定位特征点位置：经过以上操作确定的特征点，采用拟合三维二次曲线的方式进行信息的拟合和逼近，以得到更为精确的坐标和图像尺度信息；
4)确定方向参数：为了满足特征点具有旋转不变性，根据特征点辅助邻域像素上的梯度方向和大小的信息，为每一个特征点指定方向参数；
5)特征点描述符编码，根据方向参数动态调整原有SIFT编码顺序，以得到翻转不变的特征描述符MIFT；
由得到的匹配点，使用RANSAC方法计算出2维的映射矩阵HT，令Λ为输入图像所有像T
素的点阵，对于每一个像素u∈Λ，几何上的对称坐标为：xu′＝HTxu，这里xu＝(xu,yu,1)给出每一个像素u的齐次坐标，上标T表示转置，xu′是根据变换得到的几何对称位置的齐次坐标。

医学图像中对称器官的分割方法\n技术领域\n[0001] 本发明涉及到医学图像处理、计算机视觉技术领域，尤其涉及一种医学图像中对称器官的分割方法。\n背景技术\n[0002] 数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。随着图像处理技术的深入发展，数字图像处理取得的一个巨大成就是在医学图像上的应用。在一幅医学图像中，人们常常只对其中的部分器官感兴趣，这些器官通常占据一定的区域，并且在某些特性(如灰度、轮廓、颜色和纹理等)上和临近的图像有差别。这些特性差别可能非常明显，也可能很细微，以至肉眼察觉不出来。医学图像分割是其识别和理解的前提之一，图像分割质量的好坏直接影响后续图像处理的效果，甚至决定其成败。分割还是三维可视化、虚拟手术的基础。所以医学图像分割方法在医学图像处理领域有着举足轻重的作用。\n[0003] 传统的医学图像分割方法【1】包括阈值分割、区域生长分割【2】、交互式分割、Live Wire分割、Normalized Cut分割【3】、形变模型的分割、模糊连接度的分割、基于代理机模型的分割。一方面，由于医学图像组织器官的不均匀和蠕动导致像素灰度的不均匀和模糊，并且局部体效应和病变组织导致组织和病变边缘模糊、对比度低，这些问题对现有的分割方法提出了很大的挑战。另一方面，人体的组织和器官很多都具有对称性，而传统的医学图像分割方法利用的低层次特征，如区域和边缘，没有很好的利用图像的对称属性。\n[0004] 专利申请US2010081931A1提出了一种图像分割的方法，在一张至少由两部分组成的图片中，首先在物体周围手动标定几个点，用曲线去拟合待分割物体的边缘。根据检测到的边缘，将图片初步分成几个部分，然后获取每一部分灰度值的统计分布，根据统计分布获得每一部分灰度值所占的比重，由于统计分布有多个参数，应用期望值最大化(EM)算法进行参数估计。最后得到估计参数和权重，应用Exploration/Selection算法进行分割。专利US200913002490提出一种医学图像分割的方法，首先计算图片中每个体素的体积形状指数(SI)，连接SI特征、强度和空间位置，形成一个五维的特征向量集，最后引入期望值最大化算法，结合空间强度提供的信息进行病变或肿瘤图片的分割。该专利在轮廓清晰的医学图像中取得了较好效果，但是该专利没有考虑器官的对称属性。专利US7336809B2提出卷积分割方法，为解决速度和精度问题，分割分为两个阶段：预先分节和精细分割。在预先分节阶段，用图像的卷积标识图片背景，降低图片的分辨率。然后精细分割提炼和进一步分割在分节阶段得到的解剖结构标识，最终得到关心的组织区域。该专利在分割速度和精度方面有较好的表现，但是该专利没有考虑器官的对称属性。\n发明内容\n[0005] 本发明旨在克服现有技术的不足，提供一种考虑器官的对称属性、能解决速度和精度问题医学图像中对称器官的分割方法，为达到上述目的，本发明采取的技术方案是，医学图像中对称器官的分割方法，包括如下步骤：\n[0006] 步骤一：确定图像的限定框Bounding Box\n[0007] 对于给出的初始图像，需要用户给出一个限定框，作为初始的输入；\n[0008] 步骤二检测对称轴，计算对称映射矩阵\n[0009] 应用MIFT算法获取离散的匹配点，MIFT是Mirror Reflection Invariant Feature Descriptor的字头缩写，由得到的匹配点，使用RANSAC方法计算出2维的映射矩阵，用HT表示；\n[0010] 步骤三：获取对称相似矩阵\n[0011] 利用对称映射矩阵HT，得到像素u初始匹配像素u′，通过局部的优化过程，获取像素u的一个更准确的对称匹配，定义u′的邻近点k的相似区分度m(k)为：\n[0012] \n[0013] 这里zu表示像素u的包括亮度、颜色的特征，||zu-zk||2表示检测到的像素k与像素u在特征空间上，dis(xu′，xk)表示像素xu′和xk的欧式距离，像素u的最佳对称匹配点v和可以通过最小化相似区分度m获得：\n[0014] \n[0015] 这里N(u′)是u的对称点u′的邻近像素点的集合，定义映射m＝{m(u)}代表图片的相似区分度集合，通过熵来描述全局的对称结构，设定平衡参数λ为：\n[0016] \n[0017] Entropy(m)表示相似区分度集合的熵，上面的3表示三次方，1000为归一化参数，用于调节系数，根据图片的对称情况，获取不同的λ值，最后由得到的对称轴和映射矩阵，将图片用对称相似矩阵表示HS，对称相似矩阵HS＝[HS(u)]使用指数形式定义：\n[0018] \n[0019] 其中mean(m)是m的平均值，HS(u)表示对称相似度，HS(u)的值被参数λ限定在[1-λ，1+λ]之间；\n[0020] 步骤四：在图中引入对称约束模型\n[0021] 这里需要把对称相似矩阵引入马尔科夫随机场，来获得前景物体的对称属性：\n[0022] 传统的马尔科夫随机方程：\n[0023] \n[0024] 这里L＝{Lu|u∈Λ}表示图片Λ的二值标签，对于一般分割Lu∈{0，1}，0表示背景，1表示器官，对于像素v，Lv∈{0，1}；数据项Du称为数据惩罚函数，它的获取基于图像的前景和背景；Vu，v是平滑惩罚，它用来鼓励相似的像素分配同样的标签；N是包含临近像素对的集合，使用对称相似矩阵作为转换参数来加强对称前景的提取，修改数据惩罚函数为D′u：\n[0025] \n[0026] 其中Hs(u)表示对称相似度，s表示源点，t代表汇点，在数据惩罚函数D′u中，鼓励对称的像素为前景，不对称的部分标记为背景；\n[0027] 与数据惩罚函数相同，线性连接匹配的对称对和马尔科夫模型的平滑惩罚，表示为：\n[0028] \n[0029] 这里的u→v表示像素v是由方程(2)获得的像素u的对称点，其它变量如平滑惩罚Vu，v与方程(5)中一样，后面一项上方的S表示u到v的边；\n[0030] 步骤五：通过图割方法求解能量方程，得到最终的分割结果\n[0031] 最后，能量方程定义为：\n[0032] \n[0033] 此时可以把分割看作全局最小化，即L*＝argminEs(L)，因为在方程(8)中定义的能量方程Es(L)拥有子模性，所以能量方程最小化的问题可以通过图割算法解出。\n[0034] 限定框为矩形边框。\n[0035] MIFT算法过程如下：\n[0036] 1)对于输入图片，用多尺度空间表示；\n[0037] 2)检测尺度空间极值点，从极值点中筛选特征点：所得到的极值点组成了特征点的备选集合，特征点将由此集合中的备选点中筛选出来，剔除掉此集合中低对比度和边缘响应的点；\n[0038] 3)精确定位特征点位置：经过以上操作确定的特征点，采用拟合三维二次曲线的方式进行信息的拟合和逼近，以得到更为精确的坐标和图像尺度信息；\n[0039] 4)确定方向参数：为了满足特征点具有旋转不变性，根据特征点辅助邻域像素上的梯度方向和大小的信息，为每一个特征点指定方向参数；\n[0040] 5)特征点描述符编码。根据方向参数动态调整原有SIFT编码顺序，以得到翻转不变的特征描述符MIFT；\n[0041] 由得到的匹配对，使用RANSAC方法计算出2维的映射矩阵HT，令Λ为输入图像所有像素的点阵，对于每一个像素u∈Λ，几何上的对称坐标为：xu′＝HTxu，这里xu＝(xu，yu，\n1)T给出每一个像素u的齐次坐标，上标T表示转置，xu′是根据变换得到的几何对称位置的齐次坐标。\n[0042] 本发明的技术特点及效果：\n[0043] 在本发明提出的一种医学图像对称器官的分割方法中，通过给出限定框，检测图片的对称轴，利用对称轴计算图片中器官的映射矩阵，然后计算得到器官的对称矩阵，建立根据器官对称属性的约束模型，将器官分割出来，从而达到高效而准确的分割结果。本发明的方法考虑到人体器官、组织的对称性，在分割准确率上有很大程度的提高。本发明也可以适应于复杂背景的图片物体的分割，方法简单，直观，时间复杂度低，准确性高。\n附图说明\n[0044] 图1：本发明的整体框架。\n[0045] 图2：源点最佳匹配点示意图。\n[0046] 图3：数据惩罚函数、对称平滑惩罚示意图。(1)数据惩罚函数；(2)对称平滑惩罚。\n[0047] 图4：输入图片示意图。图中，(a)输入图片。(b)用户给出限定框后检测完对称轴的图片。\n[0048] 图5：将图片信息用对称矩阵的形式表示结果图。(a)经过对称匹配后的图片信息。(b)计算得到的对称相似矩阵信息。\n[0049] 图6：几张不同的具有对称性的医学图片。\n[0050] 图7：实验结果图：左边为输入图像，右边为输出。\n具体实施方式\n[0051] 本发明针对传统医学图像分割方法存在的问题，在基于低层次的图像分割方法中引入高层的对称约束。图1显示了本方法的框架：首先，用户对输入图片给出限定框；然后通过对称检测算法获得对称映射矩阵；接着引入对称相似矩阵来加强对称映射；最后在图中引入对称约束模型，并通过图割方法分割图片。\n[0052] 本发明主要贡献是利用器官的对称属性，提升器官的分割效果，本发明提出的对称约束模型拥有子模性【4】，通过图割方法能够在多项式时间内解出。\n[0053] 基于对称轴的图像分割方法共有五个步骤，如图(1)所示。下面是对这五个步骤的详细描述：\n[0054] 步骤一：确定图像的限定框(Bounding Box)\n[0055] 本发明对于给出的初始图像，需要用户给出一个限定框，作为初始的输入。因为对于图像的前背景分割，需要由用户提供一个初始输入来消除图片前景、背景的二义性(即指定前/背景初始范围)。由用户交互给出限定框的方法被广泛应用于图像前景、背景的分割【5】，本发明申请的输入为一个矩形边框。\n[0056] 步骤二检测对称轴，计算对称映射矩阵\n[0057] 对称是很多器官的固有属性，在二维几何图形中，平面的对称可以进行投影转换。\n在本发明中，应用MIFT【6】(A Mirror Reflection Invariant Feature Descriptor)算法获取离散的匹配点。MIFT算法过程如下：\n[0058] 1.对于输入图片，用多尺度空间表示。\n[0059] 2.检测尺度空间极值点，从极值点中筛选特征点。所得到的极值点组成了特征点的备选集合，特征点将由此集合中的备选点中筛选出来。因为并非所有的极值点都满足特征点的要求。在此集合中还存在着低对比度和边缘响应的点，作为图像的特征它们的独特性和稳定性不够突出，所以要将这两类点剔除掉。\n[0060] 3.精确定位特征点位置。经过了以上的操作，特征点已经确定，由于尺度上的变换和像素单位大小上的影响可能导致特征点坐标和尺度信息有些偏差，为了保证特征点的信息精确，采用拟合三维二次曲线的方式进行信息的拟合和逼近，以得到更为精确的坐标和图像尺度信息。\n[0061] 4.确定方向参数。为了满足特征点具有旋转不变性，根据特征点辅助邻域像素上的梯度方向和大小的信息，为每一个特征点指定方向参数。\n[0062] 5.特征点描述符编码。根据方向参数动态调整原有SIFT编码顺序，以得到翻转不变的特征描述符MIFT。\n[0063] 由得到的匹配对，使用RANSAC方法【7】计算出2维的映射矩阵，这里用HT表示。令Λ为输入图像所有像素的点阵，对于每一个像素u∈Λ，几何上的对称坐标为：xu′＝HTxu，T\n这里xu＝(xu，yu，1)给出每一个像素u的齐次坐标，上标T表示转置，xu′是根据变换得到的几何对称位置的齐次坐标。\n[0064] 步骤三：获取对称相似矩阵\n[0065] 利用映射矩阵HT，像素u可以得到其初始匹配像素u′。第三步骤通过局部的优化过程，获取像素u的一个更准确的对称匹配。这一匹配理论上应该与初始匹配像素u′相邻。我们定义u′的邻近点k的相似区分度m(k)为：\n[0066] \n[0067] 这里zu表示像素u的特征(如亮度、颜色)。如图2所示：||zu-zk||2表示检测到的像素k与源点u在特征空间上。dis(xu′，xk)表示像素xu′和xk的欧式距离，除以10是为了调节数量级。\n[0068] 图2：u为源点，u′为第二步骤检测到的初始对称点。因为u′点可能不是最佳匹配点，所以在dis(xu′，xk)距离内找一个与源点最佳匹配点k。\n[0069] L2范式被用于控制特征空间的距离，指数项dis(，)是空间距离的惩罚，使得对称点在空间几何位置上满足约束：靠近几何对称位置的点，值更大。最后，像素u的最佳对称匹配点v和可以通过最小化相似区分度m获得：\n[0070] \n[0071] 这里N(u′)是u的对称点u′的邻近像素点的集合。定义映射m＝{m(u)}代表图片的相似区分度集合。通过观测我们发现，相对于对称的前景区域，不对称的背景区域的相似区分度的直方图更加平滑。因此可以通过熵来描述全局的对称结构，我们设定平衡参数λ为：\n[0072] \n[0073] 这里面Entropy(m)表示相似区分度集合的熵，上面的3表示三次方。1000为归一化参数，用于调节系数。根据图片的对称情况，获取不同的λ值。最后由得到的对称轴和映射矩阵，将图片用对称矩阵(注：不同于前面的映射矩阵HT)表示，对称矩阵HS＝[HS(u)]使用指数形式定义：\n[0074] \n[0075] 其中mean(m)是m的平均值，对称相似矩阵HS(u)的值域被参数λ限定在[1-λ，\n1+λ]之间。\n[0076] 步骤四：在图中引入对称约束模型\n[0077] 这里需要把对称相似矩阵引入马尔科夫随机场，来获得前景物体的对称属性。如图3所示，本发明中的对称约束模型由两个部分组成：(1)数据惩罚函数；(2)对称平滑惩罚。\n[0078] 图3：s是源点，t是汇点。线的粗细表示这条边的惩罚大小，在图中，点u和点v对称。(a)没有考虑对称属性，其分割结构可能是错误的。(b)中的红色虚线表示对称轴，在(b)中引入的黄色的线是u对于v的对称平滑惩罚，我们的方法能对u，v给出正确的标签。\n[0079] 传统的马尔科夫随机方程：\n[0080] \n[0081] 这里L＝{Lu|u∈Λ}表示图片Λ的二值标签。对于一般分割Lu∈{0，1}，0表示背景，1表示器官，对于像素v，Lv∈{0，1}；数据项Du称为数据惩罚函数，它的获取基于图像的前景和背景；Vu，v是平滑惩罚，它用来鼓励相似的像素分配同样的标签；N是包含临近像素对的集合。在本发明中，我们使用对称相似矩阵作为转换参数来加强对称前景的提取，修改数据惩罚函数为D′u：\n[0082] \n[0083] 其中Hs(u)表示对称相似度，s表示源点，t代表汇点。在数据惩罚函数D′u中，鼓励对称的像素为前景，不对称的部分更倾向于标记为背景。\n[0084] 与数据惩罚函数相同，线性连接匹配的对称对和马尔科夫模型的平滑惩罚，表示为：\n[0085] \n[0086] 这里的u→v表示像素v是由方程(2)获得的像素u的对称点。其它变量如平滑惩罚Vu，v与方程(5)中一样，后面一项上方的S表示u到v的边。\n[0087] 步骤五：通过图割方法求解能量方程，得到最终的分割结果\n[0088] 最后，能量方程定义为：\n[0089] \n[0090] 此时可以把分割看作全局最小化，即L*＝arg min Es(L)。因为在方程(8)中定义的能量方程Es(L)拥有子模性，所以能量方程最小化的问题可以通过图割算法解出。\n[0091] 在本发明提出的一种医学图像对称器官的分割方法中，通过给出限定框，检测图片的对称轴，利用对称轴计算图片中器官的映射矩阵，然后计算得到器官的对称矩阵，建立根据器官对称属性的约束模型，将器官分割出来，从而达到高效而准确的分割结果。我们的方法考虑到人体器官、组织的对称性，在分割准确率上有很大程度的提高。本发明也可以适应于复杂背景的图片物体的分割，方法简单，直观，时间复杂度低，准确性高。\n[0092] 本发明的整体流程如下：\n[0093] 1、输入图片并由用户给出限定框\n[0094] 如图(4)(a)所示对输入图片，用户根据自己想要分割的前景给出限定框并计算对称轴，如图(4)(b)，分别给出图片为例：\n[0095] 2、进行对称匹配\n[0096] 根据已经建立的对称轴，计算对称映射矩阵HT。由公式(1)，得到邻近点的相似区分度，对左右两端的图像进行对称匹配，如图(5)(a)。\n[0097] 3、计算对称相似矩阵\n[0098] 这里以左右对称为例说明我们的方法，对于其它对称情况，通过应用不同的映射矩阵，本发明的方法依然适用。利用前面得到的对称轴和映射矩阵，应用公式(4)，将图片信息用对称矩阵的形式表示，结果如图(5)(b)所示：\n[0099] 4、图片分割\n[0100] 根据物体的对称属性建立约束模型，应用图割算法将物体分割出来。通过上述步骤，得到最终的分割结果，图(6)是几张不同的具有对称性的医学图片。分别是应用GrabCut算法【8】和我们的对称分割方法进行分割，图片给出GrabCut和本发明的方法的比较结果。\n[0101] 以下是更多的实验结果：\n[0102] 左边为输入图像，右边为输出。\n[0103] 结论：在分割对称前景时，本发明提出了一种对称约束模型。我们的对称约束模型与MRF模型很自然的结合起来，并且在对称情况强、弱甚至没有的情况下都能适用。另一个优点是本发明只是应用对称约束重建图像，并不影响分割优化。通过图割方法我们的约束模型能够在多项式时间内解出。我们的方法不只适用于镜面对称的图像，对于其他情况(例如：旋转)同样可以引入这个框架。\n[0104] 主要参考文献\n[0105] 【1】田捷，包尚联，周明全.《医学影像处理与分析》，电子工业出版社，2003[0106] 【2】Senthilkumar.，B.Umamaheswari，G.Karthik，J.《在乳癌检测上一种新的区域增长分割算法》，计算机智能和运算研究国际会议，2010，P1-4\n[0107] 【3】Jianbo Shi；Malik，J.《Normalized Cut和图像分割》，模式分析和机器智能期刊，2000，P888-905\n[0108] 【4】Iwata，S.；Nagano，K.《覆盖约束下的模函数最小化》，计算机科学基础科学会议，2009，P671-680\n[0109] 【5】V.Lempitsky，P.Kohli，C.Rother和T.Sharp.《基于限定框先验知识的图像分割方法》，国际计算机视觉会议，2009，P277-284\n[0110] 【6】X，Guo.，X，Cao.，J，Zhang.和X，Li.《MIFT：一种镜面反射不变性特征描述》，亚洲计算机视觉会议，2009，P536-544\n[0111] 【7】Richard Szeliski.《计算机视觉：算法和应用》，斯普林格出版社，2010[0112] 【8】C.Rother，V.Kolmogorov，A.Blake.《GrabCut：采用迭代图割的交互前景提取方法》，国际图形学大会，2004，23(3)