一种肿瘤病理图像自动快速分割方法

暂无

一种肿瘤病理图像自动快速分割方法\n技术领域\n[0001] 本发明属于图像处理技术领域，特别涉及一种肿瘤病理图像自动快速分割方法。\n背景技术\n[0002] 癌症在发达国家已经成为主要死亡原因之一，以结直肠癌为例，是目前世界第三大恶性肿瘤。目前的病理切片诊断由于具有全彩色、图像分辨率高的特点，已经成为肿瘤检测的重要手段之一。但是目前肿瘤诊断完全依靠病理学医生的人工操作，不但效率慢，而且准确性受医生主观判断影响大。因此，基于病理的计算机辅助诊断系统具有很大的意义，有研究表明，病理计算机辅助诊断系统的输出结果可以为医生在肿瘤检测、定征和诊断决策时提供一种参考。\n[0003] 图像分割是肿瘤病理计算机辅助系统的重要环节。近十几年来，国内外在医学图像分割方面已经提出了很多算法，包括阈值分割、区域生长、基于模型的方法(包括活动轮廓模型，水平集，马尔科夫随机场等)、基于图论的方法(包括图割，归一化割等)、基于机器学习的方法、基于聚类的方法(包括K均值，模糊C均值等)。这些方法存在一些主要缺点：(1)多数方法需要手工交互；(2)多数方法对噪声敏感，且由于超声图像对比度低，具有与组织相关的纹理，故准确分割较为困难；(3)多数方法算法复杂度高，处理时间长，难以满足临床要求。\n[0004] 准确、快速、自动化分割是图像分割的目标。但分割的准确性、效率以及自动化水平也是相互矛盾的。近些年来，也有一些多分辨率自动分割方法相继被提出，这些方法的一般思路为：(1)在低分辨率下，通过某种全局特征自动找到能够将肿瘤涵括在内的感兴趣区域；(2)在高分辨率下，通过某种局部特征进行进一步优化分割。但是这些方法存在以下问题：(1)多分辨率的值是固定的，往往鲁棒性不高，仅对部分图像有效，影响了自动分割的准确性；(2)目前自动分割的技术路线和病理学医生的人工思路有较大分歧，带来的结果有两种，一是算法不适应病理学图像，分割精度不高；二是算法复杂程度非常高，处理时间非常长，难以达到临床上对自动分割的速度要求。\n发明内容\n[0005] 发明目的：针对现有技术中存在的不足，本发明的目的在于提供一种肿瘤病理图像自动快速分割方法，具有准确、快速、自动化等特点。\n[0006] 技术方案：为了实现上述发明目的，本发明采用的技术方案如下：\n[0007] 一种肿瘤病理图像自动快速分割方法，其特征在于：首先采用高斯金字塔算法对肿瘤原始病理图像进行滤波，分别得到从1倍、2倍、4倍、8倍、16倍的病理学图像，通过RGB颜色直方图模型和形态学“闭操作”在1倍分辨率图像上确定包含肿瘤的初始感兴趣区域；同时应用巴氏距离从1倍分辨率到4倍分辨率进行初始肿瘤感兴趣区域的迭代优化，当巴氏距离达到设定阈值，判断RGB颜色直方图模型对肿瘤感兴趣区域贡献已经降低到0；再使用收敛指数滤波算法进行深度精确分割的自适应高分辨率选择，从而在最适合的高分辨率下进行进一步分割；最后使用基于随机投影的词袋模型将肿瘤感兴趣区域中的正常组织和肿瘤组织分割出来，实现最终肿瘤分割。\n[0008] 所述的肿瘤病理图像自动快速分割方法，包括如下步骤：\n[0009] 1)建立基于词袋BoW模型的肿瘤分类训练、测试数据库，构建texton字典，并训练出线性支持向量机LinearSVM模型(LinearSVM模型参考论文“LIBLINEAR:A library for large linear classification”的方法)；\n[0010] 2)将待分割的肿瘤病理图像，分别生成从1倍、2倍、4倍、8倍、16倍分辨率的病理图像；\n[0011] 3)从1倍分辨率图像开始使用RGB颜色直方图模型和形态学闭操作得到包含肿瘤的初始感兴趣区域；\n[0012] 4)在得到的初步分割结果基础上，重复步骤3)，得到更新后的感兴趣区域，并通过巴氏距离计算2个感兴趣区域的差异，如果差异大于阈值，继续重复步骤(3)，直到差异小于阈值跳转到高一倍分辨率图像，终止条件达到阈值或者达到4倍分辨率，得到优化后的感兴趣区域；\n[0013] 5)在优化后感兴趣区域中，在中心区域选择200×200像素框的图像；\n[0014] 6)用收敛指数滤波算法对步骤5)所选的区域进行细胞检测，如果细胞数量小于阈值，则跳转到高一层分辨率，继续重复步骤5)、6)；终止条件达到阈值，得到BoW分类最佳分辨率；\n[0015] 7)在步骤6)确定的最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片，用MR8滤波器对每一个块图片进行滤波，得到MR8特征；\n[0016] 8)在步骤7)基础上，用随机投影算法对图像进行降维，得到稀疏化的MR8特征；\n[0017] 9)用稀疏化后的MR8特征和步骤1)所得到的texton词典进行数据编码得到新的直方图特征；\n[0018] 10)用步骤1)得到的LinearSVM模型对所得到的直方图特征进行分类，筛选出在优化后的感兴趣区域中的肿瘤部分，最终分割出肿瘤。\n[0019] 步骤1)具体操作如下：\n[0020] 首先由临床医生对肿瘤病理学图像进行人工分割，确定哪些区域是肿瘤组织，哪些区域是正常组织，形成分类好的ground truth数据库；基于ground truth数据库，分别对从8倍和16倍分辨率，按照200×200像素对数据库进行分割；并按照50/50形成训练数据集和测试数据集；用MR8滤波器对每一个块图片进行滤波，得到40000维的MR8特征；用随机投影算法对MR8特征降维，得到稀疏化的MR8特征；用L1-norm范数对训练数据集进行texton词典聚类；Texton聚类模型公式表示如下\n[0021]\n[0022]\n[0023] 式中，Λ＝[α1,α2,...,αN]∈RL×N是编码矩阵，X＝[x1,x2,...,xN]∈RM×N是原始图像矩阵，D＝[d1,d2,...dL]∈RM×L是Texton聚类模型，αi,i＝1,2...,N是xi的L维编码向量；\n是αi的均值；参数λ和γ是正标量，用来控制texton的子词典dj是一个正交矩阵。\n[0024] 本模型较传统L1-norm范数模型增加了 一项和 的约束条件，\n目的是考虑到每个分类中的训练样本xi相似性较大，所以xi对应的编码向量也基本上相似，因此在公式中强制编码向量αi接近其均值μ。也就是求解 本质上增加这一\n项可以减少内部分类变化，提高最终的分类精确性。\n[0025] 每个子分类含texton数量为40个；用texton词典对稀疏化后的MR8特征进行编码得到新的直方图特征；用SVM针对训练集和测试集进行SVM建模，得到针对肿瘤的SVM模型。\n[0026] 步骤2)中，1倍到16倍分辨率通过高斯金字塔滤波算法获得，具体包括：对原始32倍分辨率图像分别进行高斯模糊和偶数行采样，分别得到16倍、8倍、4倍、2倍、1倍图像；公式表示如下：\n[0027]\n[0028] 式中，i是金字塔级数，a，b分别是图像长和宽；W(m,n)＝W(m)×W(n)是长度为5的高斯卷积核。\n[0029] 步骤3)中，初始ROI区域获得，具体为：对1倍图像分别采样R，B通道的颜色直方图信息，记作hisR，hisB；分别对hisR，hisB进行平滑处理，并用均值算法获得hisR，hisB的均值；\n以均值为中心点分别上下浮动15个单位，作为R通道和B通道的颜色分割阈值；对图像进行第一次处理；用形态学闭操作算法，闭操作参数选择为11；将图像中所有的点进行融合，并形成1个闭合模板；将图像映射到1倍图像中得到初始感兴趣区域。\n[0030] 步骤4)中，优化ROI区域获得，具体包括：在初始感兴趣区域循环执行步骤3)，每次得到新的感兴趣区域和上一步感兴趣区域进行巴氏距离比对，具体公式如下：\n[0031]\n[0032] 式中，h代表上一步感兴趣区域的直方图统计信息，h'代表新的感兴趣区域直方图统计信息，对每个相同的数据点数据i乘积开平方后相加得到图像相似度值，范围为0-1之间；\n[0033] 如果巴氏距离大于0.995，停止，得到优化后感兴趣区域；如果巴氏距离大于0.99跳转到高一层分辨率图像继续执行，最高4倍分辨率；如果巴氏距离小于0.99，循环执行步骤3)、4)。\n[0034] 步骤6)中，最佳BoW分类分辨率获得，具体包括：在优化感兴趣区域中在中心位置提取200×200像素大小的图像；对该图像进行梯度变换；对梯度图像进行收敛指数滤波(具体方法参考论文“Cancer cell detection and invasion depth estimation in brightfield images”进行细胞拟合)；如果细胞数量小于80个，跳转到高一层分辨率，循环执行步骤7)。\n[0035] 步骤10)中，BoW分类，具体为：在最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片(利用论文“A Statistical Approach to Texture Classification from Single Images”的方法)，对每个子图片提取MR8特征；分别对每个子图的MR8特征进行随机投影降维，具体公式为\n[0036]\n[0037] 式中，t是随机投影矩阵，m是降维的维度，取值为1600，n是原始维度，取值为\n40000；d为MR8的8个特征维度，R是原始MR8特征；\n[0038] 用步骤1)得到的texton词典对降维的MR8特征进行编码得到新的直方图特征；编码后的特征向量yi可以通过求解 得到；所有特征向量\n汇总成直方图特征，具体公式如下：\n[0039]\n[0040] 其中n是图像中像素点的个数；\n[0041] 用步骤1)训练出的LinearSVM模型对新的直方图特征进行分类，最终确定哪些子图是肿瘤组织，哪些子图是正常组织。\n[0042] 有益效果：与现有技术相比，本发明所提供的全自动肿瘤病理图像分割方法，模拟临床医生操作习惯，采用自适应多分辨率策略，在低分辨率情况下，通过RGB颜色直方图模型和形态学操作获得初始肿瘤感兴趣区域，再通过巴氏距离对初始感兴趣区域进行优化，目的是减少运算量，提高效率；再通过收敛指数滤波算法对不同分辨率的图像进行细胞检测，当大于阈值确定该分辨率为最佳词袋模型分类分辨率，将优化后的感兴趣区域反映到该高分辨率图像中，通过随机投影对词袋模型输入特征进行降维，再通过和词袋字典texton进行编码生成直方图特征，最后通过LinearSVM进行分类，达到对感兴趣区域中肿瘤组织的分割。本发明完全依靠计算机进行，能够大幅度减少医生手工勾画的工作量，同时避免手工勾画带来的误差。分割的结果将能够用于获得相关疾病诊断及手术规划所需的重要解剖及生理学参数，从而提高疾病诊断及治疗的效率及准确性。\n附图说明\n[0043] 图1是肿瘤病理图像自动快速分割方法的流程图；\n[0044] 图2是待分割的原始图；\n[0045] 图3是RGB颜色阈值分割图；\n[0046] 图4是形态学闭操作得到的初始感兴趣区域图；\n[0047] 图5是优化后的感兴趣区域在原始图像中的区域图；\n[0048] 图6是200×200区域图；\n[0049] 图7是梯度变换图；\n[0050] 图8是收敛指数滤波的能量分布，峰值为最有可能圆的圆心位置图；\n[0051] 图9是圆检测图；\n[0052] 图10是准确率ROC曲线分析对比图；\n[0053] 图11是基于20组病理肿瘤样本，采用本方法和临床医生人工分割的巴氏相似度分析图；\n[0054] 图12是三组本发明和人工分割对比图。\n具体实施方式\n[0055] 下面结合具体实施例对本发明做进一步的说明，但本发明不受以下实施例的限制。\n[0056] 实施例1\n[0057] 一种肿瘤病理图像的准确、快速、自动化分割方法，为将临床医生的经验知识与图像处理技术结合在一起的方法，首先采用高斯金字塔算法对肿瘤原始病理图像进行滤波，分别得到从1倍、2倍、4倍、8倍、16倍的病理学图像，通过RGB颜色直方图模型和形态学“闭操作”在1倍分辨率图像上确定包含肿瘤的初始感兴趣区域；同时应用巴氏距离从1倍分辨率到4倍分辨率进行初始肿瘤感兴趣区域的迭代优化，当巴氏距离达到一定阈值，判断RGB颜色直方图模型对肿瘤感兴趣区域贡献已经降低到0。再使用收敛指数滤波算法进行深度精确分割的自适应高分辨率选择，从而在最适合的高分辨率下进行进一步分割；最后使用基于随机投影的词袋模型将肿瘤感兴趣区域中的正常组织和肿瘤组织分割出来，实现最终肿瘤分割，流程图如图1；具体过程如下：\n[0058] 1)建立基于BoW模型的肿瘤分类训练、测试数据库，构建texton字典，并训练出SVM模型。具体如下：\n[0059] 首先由临床医生对肿瘤病理学图像进行人工分割，确定哪些区域是肿瘤组织，哪些区域是正常组织，形成分类好的ground truth数据库(本数据库包含乳腺癌、肺癌、结直肠癌三类，其中，乳腺癌图像共150幅来自于“Adigital  atlas  of  breast histopathology:an application of web based virtual microscopy”；肺癌共100幅图像来自于“Image microarrays (IMA):Digital pathology's missing tool”；结直肠癌共\n120幅图像来自于“A Stochastic Polygons Model for Glandular Structures in Colon Histology Images获得”)。基于ground truth数据库，分别对从8倍和16倍分辨率，按照200×200像素对数据库进行分割。并按照50/50形成训练数据集和测试数据集。用MR8滤波器对每一个块图片进行滤波，得到40000维的MR8特征。用随机投影算法对MR8特征降维，得到稀疏化的MR8特征。用L1norm范数对训练数据集进行texton词典聚类，texton聚类模型公式表示如下\n[0060]\n[0061]\n[0062] 式中，Λ＝[α1,α2,...,αN]∈RL×N是编码矩阵，X＝[x1,x2,...,xN]∈RM×N是原始图像矩阵，D＝[d1,d2,...dL]∈RM×L是texton聚类模型，αi,i＝1,2...,N是xi的L维编码向量。\n是αi的均值。参数λ和γ是正标量，用来控制texton的子词典dj是一个正交矩阵。\n[0063] 本模型较传统L1-norm范数模型增加了 一项和 的约束条件，\n目的是考虑到每个分类中的训练样本xi相似性较大，所以xi对应的编码向量也基本上相似，因此在公式中强制编码向量αi接近其均值μ。也就是求解 本质上增加这一\n项可以减少内部分类变化，提高最终的分类精确性。\n[0064] 每个子分类含texton数量为40个。用texton词典对稀疏化后的MR8特征进行编码得到新的直方图特征。用LinearSVM针对训练集和测试集进行LinearSVM建模，得到针对肿瘤的LinearSVM模型。\n[0065] 2)将待分割的肿瘤病理图像如图2所示，分别生成从1倍、2倍、4倍、8倍、16倍分辨率的病理图像。\n[0066] 其中，1倍到16倍分辨率通过高斯金字塔滤波算法获得，具体包括：对原始32倍分辨率图像分别进行高斯模糊和偶数行采样，分别得到16倍、8倍、4倍、2倍、1倍图像。公式表示如下：\n[0067]\n[0068] 式中，i是金字塔级数，a，b分别是图像长和宽。W(m,n)＝W(m)×W(n)是长度为5的高斯卷积核。\n[0069] 3)从1倍分辨率图像开始使用RGB颜色直方图模型和形态学闭操作得到包含肿瘤的初始感兴趣区域。\n[0070] 其中，初始ROI区域获得，具体为：对1倍图像分别采样R，B通道的颜色直方图信息，记作hisR，hisB。分别对hisR，hisB进行平滑处理，并用均值算法获得hisR，hisB的均值。以均值为中心点分别上下浮动15个单位，作为R通道和B通道的颜色分割阈值。对图像进行第一次处理，得到图3。在图3基础上，用形态学闭操作算法，闭操作参数选择为11。将图1中所有的点进行融合，并形成1个闭合模板。将图3映射到1倍图像中得到初始感兴趣区域，如图4。\n[0071] 4)在得到的初步分割结果基础上，重复步骤3)，得到更新后的感兴趣区域，并通过巴氏距离计算2个感兴趣区域的差异，如果差异大于0.99，继续重复步骤(3)，直到差异小于\n0.99跳转到高一倍分辨率图像，终止条件达到0.995或者达到4倍分辨率，得到优化后的感兴趣区域。\n[0072] 其中，优化ROI区域获得，具体包括：在初始感兴趣区域循环执行步骤3)，每次得到新的感兴趣区域和上一步感兴趣区域进行巴氏距离比对，具体公式如下：\n[0073]\n[0074] 式中，h代表上一步感兴趣区域的直方图统计信息，h'代表新的感兴趣区域直方图统计信息，对每个相同的数据点数据i乘积开平方后相加得到图像相似度值，范围为0-1之间。\n[0075] 如果巴氏距离大于0.995，停止，得到优化后感兴趣区域，如图5；如果巴氏距离大于0.99跳转到高一层分辨率图像继续执行，最高4倍分辨率；如果巴氏距离小于0.99，循环执行步骤3)、4)。\n[0076] 5)在优化后感兴趣区域中，在中心区域选择200×200像素框的图像。\n[0077] 6)用收敛指数滤波算法(具体参考论文“Cancer cell detection and invasion depth estimation in brightfield images”方法)对步骤5)所选的区域进行细胞检测，如果细胞数量小于80，则跳转到高一层分辨率，继续重复步骤5)、6)；终止条件达到阈值，得到BoW分类最佳分辨率。\n[0078] 其中，最佳BoW分类分辨率获得，具体包括：在优化感兴趣区域中在中心位置提取\n200×200像素大小的图像，如图6；对该图像进行梯度变换，如图7；对梯度图像进行收敛指数滤波，进行细胞定位，如图8，图9；如果细胞数量小于80个，跳转到高一层分辨率，循环执行步骤6)。\n[0079] 7)在步骤6)确定的最佳分辨率所映射的优化后感兴趣区域中，按照长宽200×200像素分割成若干块图片，用MR8滤波器对每一个块图片进行滤波，得到MR8特征。\n[0080] 8)在步骤7)基础上，用随机投影算法对图像进行降维，得到稀疏化的MR8特征。\n[0081] 9)用稀疏化后的MR8特征和步骤1)所得到的texton词典进行数据编码得到新的直方图特征。编码后的特征向量yi可以通过求解 得到。\n所有特征向量汇总成直方图特征，具体公式如下：\n[0082]\n[0083] 其中n是图像中像素点的个数。\n[0084] 10)用LinearSVM对所得到的直方图特征进行分类，筛选出在优化后的感兴趣区域中的肿瘤部分，最终分割出肿瘤。\n[0085] 其中，BoW分类，具体为：在最佳分辨率所映射的优化后感兴趣区域中，按照长宽\n200×200像素分割成若干块图片，对每个子图片提取MR8特征。(MR8特征利用论文“A Statistical Approach to Texture Classification from Single Images”的方法获得)分别对每个子图的MR8特征进行随机投影降维，具体公式为\n[0086]\n[0087] 式中，t是随机投影矩阵，m是降维的维度，本实施例为1600，n是原始维度，本实施例为40000。d为MR8的8个特征维度，R是原始MR8特征。\n[0088] 用步骤1)得到的texton词典对降维的MR8特征进行编码得到新的直方图特征。用步骤1)训练出的LinearSVM模型对新的直方图特征进行分类，最终确定哪些子图是肿瘤组织，哪些子图是正常组织。\n[0089] 实施例2\n[0090] 将实施例1的方法与VZ_MR8和TFISF方法，在编码时间上进行比较。(VZ_MR8和TFISF方法均参考论文“Effective texture classification by texton encoding induced statistical features”获得)KTH_TIPS是一个纹理图像的开源数据库(在www.nada.kth.se/cvap/databases/kth-tips/可以获得)，具体包括10类图像，每类图像包括81张图片每个图像大小是200×200像素。Medical block数据库是本发明根据120幅结直肠肿瘤病理切片图像根据临床医生手动识别，随机提取8倍和16倍patches各1000张，每个patch大小是200×200像素，其中8倍肿瘤patches500张，8倍正常组织patches500张，16倍肿瘤patches500张，16倍正常组织patches500张。实验结果是20次实验平均值，如表1所示。\n应用本发明提出的基于随机投影降维的编码时间要远远小于其他结果，验证了本发明提出的方法的有效性。\n[0091] 表1：编码时间比较\n[0092]\n  KTH_TIPS Medical block\nVZ MR8 6.4s 5.9s\nTEISF 11.7s 11.1s\n本发明 0.92s 0.87s\n[0093] 将实施例1的方法和ELBP方法、GLCM方法，在应用BoW模型时图像分类正确性进行比较。同样选用KTH_TIPS和Medical block数据库进行验证。(ELBP方法参考论文“Multi-resolution gray-scale and rotation invariant texture classification with local binary patterns”，GLCM方法参考论文“Texture segmentation using different orientations of GLCM features”。)实验结果为20次实验的统计平均，结果如表2所示。可以看出本方法和TEISF方法的分类正确性不相上下，并且远远高于其他三种方法。\n[0094] 表2：分类准确率对比\n[0095]\n  KTH_TIPS Medical block\nELBP 75.2％ 71.3％\nGLCM 71.5％ 69.3％\nVZ MR8 87.4％ 84.5％\nTEISF 96.7％ 91.5％\n本发明 95.8％ 91.9％\n[0096] ROC是一种评估模型性能的评价工具，曲线越陡越说明模型的性能佳。图10是对比的五种方法的ROC曲线对比，从图中可以直观看出本方法较其他四种方法有很大的性能提升。\n[0097] 图11是针对20幅全尺度结直肠肿瘤病理图像的自动分割和人工分割的误差对比，采用均平方根误差Root mean squared error(RMSE)作为评估模型。(具体参考论文“Face alignment via component-based discriminative search”)根据统计，平均误差为\n9.3％，最大误差为14.9％，最小误差为5.7％。\n[0098] 图12是人工分割和自动分割的具体区域对比，可以清晰看出，采用本方法已经可以拟合人工分割的区域，在一些边缘存在一些不匹配情况。核心肿瘤区域都完全覆盖，可以作为医生辅助自动化系统帮助医生自动筛选肿瘤区域。\n[0099] 本发明所提供的全自动肿瘤病理图像分割方法，模拟临床医生操作习惯，采用自适应多分辨率策略，在低分辨率情况下，通过RGB颜色直方图模型和形态学操作获得初始肿瘤感兴趣区域，再通过巴氏距离对初始感兴趣区域进行优化，目的是减少运算量，提高效率；再通过收敛指数滤波算法对不同分辨率的图像进行细胞检测，当大于阈值确定该分辨率为最佳词袋模型分类分辨率，将优化后的感兴趣区域反映到该高分辨率图像中，通过随机投影对词袋模型输入特征进行降维，再通过和词袋字典texton进行编码生成直方图特征，最后通过LinearSVM进行分类，达到对感兴趣区域中肿瘤组织的分割。本发明完全依靠计算机进行，能够大幅度减少医生手工勾画的工作量，同时避免手工勾画带来的误差。分割的结果将能够用于获得相关疾病诊断及手术规划所需的重要解剖及生理学参数，从而提高疾病诊断及治疗的效率及准确性。