著录项信息
专利名称 | 图像拼接的方法及装置 |
申请号 | CN201310643299.8 | 申请日期 | 2013-12-03 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2015-06-03 | 公开/公告号 | CN104680501A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06T3/40 | IPC分类号 | G;0;6;T;3;/;4;0;;;G;0;6;T;5;/;5;0查看分类表>
|
申请人 | 华为技术有限公司 | 申请人地址 | 广东省深圳市龙岗区坂田华为总部办公楼
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 华为技术有限公司 | 当前权利人 | 华为技术有限公司 |
发明人 | 张一帆;杜成;陈敏 |
代理机构 | 北京林达刘知识产权代理事务所(普通合伙) | 代理人 | 刘新宇 |
摘要
本发明涉及一种图像拼接的方法及装置,包括:获取第一图像和第二图像,第一图像和第二图像之间存在重叠区域;在重叠区域内确定待处理区域,重叠区域中除待处理区域以外的区域为剩余区域;获取剩余区域的每一个像素点的亮度分量或色度分量,得到剩余区域的每一个相邻像素点对的权值;在待处理区域设置相邻像素点对的权值,待处理区域的相邻像素点对的权值大于剩余区域相邻像素点对的权值;在重叠区域内的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,沿着最佳缝合线对所述第一图像和所述第二图像进行图像拼接。根据本发明的图像拼接方法及装置能够使缝合线避开待处理区域,保证待处理区域的拼接自然,提高用户浏览图像的主观感受。
1.一种图像拼接的方法,其特征在于,包括:
获取第一图像和第二图像,其中,所述第一图像和所述第二图像之间存在重叠区域;
在所述重叠区域内确定待处理区域,所述重叠区域中除所述待处理区域以外的区域为剩余区域;
获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值;
在所述待处理区域设置每一个相邻像素点对的权值,其中,所述待处理区域的任一个所述相邻像素点对的权值大于所述剩余区域任一个所述相邻像素点对的权值;
在所述重叠区域内的全部的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,其中,所述缝合线强度为拼接路径经过的全部的相邻像素点对的权值之和;
沿着所述最佳缝合线对所述第一图像和所述第二图像进行图像拼接;
其中,所述待处理区域为图像中的重点区域ROI;
其中,所述在所述待处理区域设置每一个相邻像素点对的权值,包括:
在所述剩余区域的全部所述相邻像素点对的权值中选择最大的权值;
将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。
2.根据权利要求1所述的图像拼接的方法,其特征在于,所述在所述待处理区域设置每一个相邻像素点对的权值,包括:
获取所述待处理区域的每一个像素点的亮度分量或色度分量,根据所述待处理区域内的全部所述像素点的亮度分量或色度分量得到所述待处理区域的每一个相邻像素点对的权值;
在所述剩余区域和所述待处理区域的全部所述相邻像素点对的权值中选择最大的权值;
将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。
3.根据权利要求1或2所述的图像拼接的方法,其特征在于,所述在所述重叠区域内确定待处理区域,包括:
在所述重叠区域内,根据预设尺寸确定所述待处理区域,其中,所述待处理区域的尺寸与所述预设尺寸相同。
4.根据权利要求1或2所述的图像拼接的方法,其特征在于,所述在所述重叠区域内确定待处理区域,包括:
确定所述第一图像的面部区域的位置和尺寸,确定所述第二图像的面部区域的位置和尺寸;
根据所述第一图像的面部区域的位置和尺寸,以及所述第二图像的面部区域的位置和尺寸,在所述重叠区域内确定所述待处理区域。
5.一种图像拼接装置,其特征在于,包括:
获取模块,用于获取第一图像和第二图像,其中,所述第一图像和所述第二图像之间存在重叠区域;
第一确定模块,与所述获取模块连接,用于在所述重叠区域内确定待处理区域,所述重叠区域中除所述待处理区域以外的区域为剩余区域;
计算模块,与所述第一确定模块连接,用于获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值;
设置模块,与所述计算模块连接,用于在所述待处理区域设置每一个相邻像素点对的权值,其中,所述待处理区域的任一个所述相邻像素点对的权值大于所述剩余区域任一个所述相邻像素点对的权值;
第二确定模块,与所述设置模块连接,用于在所述重叠区域内的全部的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,其中,所述缝合线强度为拼接路径经过的全部的相邻像素点对的权值之和;
拼接模块,与所述第二确定模块连接,用于沿着所述最佳缝合线对所述第一图像和所述第二图像进行图像拼接;
其中,所述待处理区域为图像中的重点区域ROI;
其中,所述设置模块被配置为:
在所述剩余区域的全部所述相邻像素点对的权值中选择最大的权值;
将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。
6.根据权利要求5所述的图像拼接装置,其特征在于,所述计算模块被配置为:
获取所述待处理区域的每一个像素点的亮度分量或色度分量,根据所述待处理区域内的全部所述像素点的亮度分量或色度分量得到所述待处理区域的每一个相邻像素点对的权值;以及
所述设置模块被配置为:
在所述剩余区域和所述待处理区域的全部所述相邻像素点对的权值中选择最大的权值;
将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。
7.根据权利要求5或6所述的图像拼接装置,其特征在于,所述第一确定模块被配置为:
在所述重叠区域内,根据预设尺寸确定所述待处理区域,其中,所述待处理区域的尺寸与所述预设尺寸相同。
8.根据权利要求5或6所述的图像拼接装置,其特征在于,所述第一确定模块被配置为:
确定所述第一图像的面部区域的位置和尺寸,确定所述第二图像的面部区域的位置和尺寸;
根据所述第一图像的面部区域的位置和尺寸,以及所述第二图像的面部区域的位置和尺寸,在所述重叠区域内确定所述待处理区域。
图像拼接的方法及装置\n技术领域\n[0001] 本发明涉及图像处理领域,尤其涉及一种图像拼接的方法及装置。\n背景技术\n[0002] 图像拼接技术包括图像配准和图像融合两个关键环节。图像配准的目标是找出存在重叠区域的两幅或多幅图像之间的变换关系,建立图像坐标变换的数学模型,通过求解该模型的参数将多幅图像变换到一个坐标系。图像融合技术是用来解决由于几何校正、动态场景或光照变化引起的配准不准确的问题,将相邻图像合并为一幅图像。\n[0003] 在图像融合过程中,现有技术采用最佳缝合线技术,在多幅图像的重叠区间找到一条最佳的缝合线,使得缝合线上的两幅图像间的能量差最小,这样在拼接图像时,缝合线两边分别取来自不同图像上的像素,有效的解决由配准不准确造成的亮度和色彩不连续或运动物体图像模糊的问题。\n[0004] 但是,当最佳缝合线出现在图像所要展现的重点区域(英文:Region of Important,缩写:ROI),例如面部区域内时,可能导致图像中的面部变形,拼接后得到的图像视觉效果差。\n发明内容\n[0005] 技术问题\n[0006] 有鉴于此,本发明要解决的技术问题是,最佳缝合线出现在重点区域导致图像中的重点区域变形视觉效果差的问题。\n[0007] 解决方案\n[0008] 为了解决上述技术问题,根据本发明一实施例,在第一方面提供一种图像拼接的方法,包括:\n[0009] 获取第一图像和第二图像,其中,所述第一图像和所述第二图像之间存在重叠区域;\n[0010] 在所述重叠区域内确定待处理区域,所述重叠区域中除所述待处理区域以外的区域为剩余区域;\n[0011] 获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值;\n[0012] 在所述待处理区域设置每一个相邻像素点对的权值,其中,所述待处理区域的任一个所述相邻像素点对的权值大于所述剩余区域任一个所述相邻像素点对的权值;\n[0013] 在所述重叠区域内的全部的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,其中,所述缝合线强度为拼接路径经过的全部的相邻像素点对的权值之和;\n[0014] 沿着所述最佳缝合线对所述第一图像和所述第二图像进行图像拼接。\n[0015] 在一种可能的实施方式中,所述在所述待处理区域设置每一个相邻像素点对的权值,包括:\n[0016] 在所述剩余区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0017] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0018] 在一种可能的实施方式中,所述在所述待处理区域设置每一个相邻像素点对的权值,包括:\n[0019] 获取所述待处理区域的每一个像素点的亮度分量或色度分量,根据所述待处理区域内的全部所述像素点的亮度分量或色度分量得到所述待处理区域的每一个相邻像素点对的权值;\n[0020] 在所述剩余区域和所述待处理区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0021] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0022] 在一种可能的实施方式中,所述在所述重叠区域内确定待处理区域,包括:\n[0023] 在所述重叠区域内,根据预设尺寸确定所述待处理区域,其中,所述待处理区域的尺寸与所述预设尺寸相同。\n[0024] 在一种可能的实施方式中,所述在所述重叠区域内确定待处理区域,包括:\n[0025] 确定所述第一图像的面部区域的位置和尺寸,确定所述第二图像的面部区域的位置和尺寸;\n[0026] 根据所述第一图像的面部区域的位置和尺寸,以及所述第二图像的面部区域的位置和尺寸,在所述重叠区域内确定所述待处理区域。\n[0027] 为了解决上述技术问题,根据本发明又一实施例,在第二方面提供一种图像拼接装置,包括:\n[0028] 获取模块,用于获取第一图像和第二图像,其中,所述第一图像和所述第二图像之间存在重叠区域;\n[0029] 第一确定模块,与所述获取模块连接,用于在所述重叠区域内确定待处理区域,所述重叠区域中除所述待处理区域以外的区域为剩余区域;\n[0030] 计算模块,与所述第一确定模块连接,用于获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值;\n[0031] 设置模块,与所述计算模块连接,用于在所述待处理区域设置每一个相邻像素点对的权值,其中,所述待处理区域的任一个所述相邻像素点对的权值大于所述剩余区域任一个所述相邻像素点对的权值;\n[0032] 第二确定模块,与所述设置模块连接,用于在所述重叠区域内的全部的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,其中,所述缝合线强度为拼接路径经过的全部的相邻像素点对的权值之和;\n[0033] 拼接模块,与所述第二确定模块连接,用于沿着所述最佳缝合线对所述第一图像和所述第二图像进行图像拼接。\n[0034] 在一种可能的实施方式中,所述设置模块被配置为:\n[0035] 在所述剩余区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0036] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0037] 在一种可能的实施方式中,所述计算模块被配置为:\n[0038] 获取所述待处理区域的每一个像素点的亮度分量或色度分量,根据所述待处理区域内的全部所述像素点的亮度分量或色度分量得到所述待处理区域的每一个相邻像素点对的权值;以及\n[0039] 所述设置模块被配置为:\n[0040] 在所述剩余区域和所述待处理区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0041] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0042] 在一种可能的实施方式中,所述第一确定模块被配置为:\n[0043] 在所述重叠区域内,根据预设尺寸确定所述待处理区域,其中,所述待处理区域的尺寸与所述预设尺寸相同。\n[0044] 在一种可能的实施方式中,所述第一确定模块被配置为:\n[0045] 确定所述第一图像的面部区域的位置和尺寸,确定所述第二图像的面部区域的位置和尺寸;\n[0046] 根据所述第一图像的面部区域的位置和尺寸,以及所述第二图像的面部区域的位置和尺寸,在所述重叠区域内确定所述待处理区域。\n[0047] 有益效果\n[0048] 通过在重叠区域内确定待处理区域,在待处理区域设置每一个相邻像素点对的权值,根据本发明实施例的图像拼接的方法及装置能够使拼接时的缝合线避开待处理区域,从而保证待处理区域的拼接更加自然,提高了用户浏览图像的主观感受。\n[0049] 根据下面参考附图对示例性实施例的详细说明,本发明的其它特征及方面将变得清楚。\n附图说明\n[0050] 包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。\n[0051] 图1为本发明一实施例的图像拼接的方法的流程图;\n[0052] 图2为本发明一实施例的图像拼接的方法中特征提取的示意图;\n[0053] 图3a~图3c为本发明一实施例的图像拼接的方法中面部区域的示意图;\n[0054] 图4为本发明一实施例的图像拼接的方法中相邻像素点对的示意图;\n[0055] 图5a~图5d为本发明一实施例的图像拼接的方法中部分相邻像素点对的权重图;\n[0056] 图6为本发明一实施例的图像拼接的方法中确定最佳缝合线的示意图;\n[0057] 图7为本发明一实施例的图像拼接的方法中两张图像拼接的示意图;\n[0058] 图8为本发明另一实施例的图像拼接的方法的流程图;\n[0059] 图9a~图9d示出采用现有技术进行全景摄影后合成的效果示意图;\n[0060] 图10a~图10d示出采用本发明实施例提供的图像拼接的方法的效果示意图;\n[0061] 图11为本发明一实施例的图像拼接的装置的结构示意图;\n[0062] 图12为本发明另一实施例的图像拼接的装置的结构框图。\n具体实施方式\n[0063] 以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。\n[0064] 在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。\n[0065] 另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。\n本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。\n[0066] 图1为本发明一实施例的图像拼接的方法的流程图。如图1所示,该方法主要包括:\n[0067] 步骤S101、获取第一图像和第二图像,其中,所述第一图像和所述第二图像之间存在重叠区域。\n[0068] 步骤S102、在所述重叠区域内确定待处理区域,所述重叠区域中除所述待处理区域以外的区域为剩余区域。\n[0069] 具体地,在所述重叠区域内确定待处理区域的方式可以采用以下任意一种:\n[0070] 方式一、在所述重叠区域内,根据预设尺寸确定所述待处理区域,其中,所述待处理区域的尺寸与所述预设尺寸相同。\n[0071] 例如,用户以3mm*3mm尺寸大小的窗口,在图像上选择某一ROI,如选择包括“花朵”、“山峰”、“动物”等景物的ROI作为待处理区域。\n[0072] 方式二、确定所述第一图像的面部区域的位置和尺寸,确定所述第二图像的面部区域的位置和尺寸;根据所述第一图像的面部区域的位置和尺寸,以及所述第二图像的面部区域的位置和尺寸,在所述重叠区域内确定所述待处理区域。\n[0073] 例如,在拍摄人物照片时,可以开启相机的面部检测功能,对拍摄的图像采用窗口进行多尺度遍历扫面。其中,多尺度遍历扫面可以有两种:\n[0074] (1)、扫面窗口大小固定,对待扫描的图像进行多尺度缩放;\n[0075] (2)、待扫描的图像的大小固定,对扫面窗口进行多尺度缩放。\n[0076] 以扫面窗口大小固定为例,假设扫描窗口为n*n的矩形区域。首先,在待扫描的图像的大小为某一尺度时,按照一定步长进行全图扫描。在每个扫面窗口内提取Haar特征,如图2所示,Haar特征通常是指白色矩形像素总和与黑色矩形像素总和的差值,将得到的Haar特征输入到级联的分类器中,每一层分类器都可以排除一些负样本(待扫描的图像中的非面部区域),最终得到的就是正样本(该图像在该尺度的面部区域)。若该扫面窗口为面部则记录;直至本尺度图像全部扫描完毕。由于待扫描的图像被缩放为多个不同的尺度,在每一个尺度都可以得到对应的正样本,得到的正样本可以按照原图像尺度进行还原。然后,可以扫描得到的多个正样本进行窗口合并,得到该图像最终的面部区域的位置和大小。\n[0077] 采用面部检测功能确定拍摄的图像的面部区域后,在两张图像的重叠区域,可以根据面部区域的位置和大小,在重叠区域进行转换得到待处理区域。通常只有图像中具有完整的人脸,采用面部识别功能才能在该图像中确定出面部区域,对于部分的人脸则无法确定出面部区域,如图3a~图3c所示,两张具有重叠区域的图像分别为图像A和图像B,其中在图像B中确定出面部区域F,在图像A中则没有面部区域,这种情况下,可以根据图像B的面部区域 F的位置和大小,在重叠区域C中确定待处理区域D。\n[0078] 步骤S103、获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值。\n[0079] 具体地,图4为本发明一实施例的图像拼接的方法中相邻像素点对的示意图,如图\n4所示,像素点a分别与其上、下、左、右位置的像素点b、c、d 及e构成相邻像素点对。其中,在重叠区域边界的相邻像素点对的权值可以参见公式(1):\n[0080] E(f)=Esmooth(f)+Edata(f) (1)\n[0081] 在公式(1)中E(f)表示重叠区域边界的相邻像素点对的权值。Edata(f)的大小一般为∞,可以保证缝合线不超过重叠区域的边界;Esmooth(f)的大小可以由相邻像素点对的颜色强度的差异决定,具体可以参见公式(2):\n[0082] Esmooth(f)=||A(s)-B(s)||+||A(t)-B(t)|| (2)\n[0083] 其中,s、t表示重叠区域相邻的像素点的编号;A(s)、B(s)表示重叠区域内像素点s的在两张图像内分别对应的像素值,A(t)、B(t)表示重叠区域内像素点t的在两张图像内分别对应的像素值;在本发明实施例中像素点在一张图像中的像素值可以由该像素点的R、G、B通道的像素值的差平方来表示,这里可以理解为颜色强度。因此,在重叠区域内(不包括重叠区域的边界的像素点)相邻的像素点对的权值可以参见公式(2)的Esmooth(f)的计算方法。\n[0084] 如图5a~图5d所示,为本发明一实施例的图像拼接的方法中部分相邻像素点对的权重图。根据本步骤中所得到的剩余区域的每一个相邻像素点对的权值生成权重图,相邻像素点对的权值的计算方法具体可以参见公式(2)。\n[0085] 步骤S104、在待处理区域设置每一个相邻像素点对的权值,其中,所述待处理区域的任一个所述相邻像素点对的权值大于所述剩余区域任一个所述相邻像素点对的权值。\n[0086] 在一种可能的实施方式中,设置待处理区域内的相邻像素点对的权值,具体可以包括以下任意一种方法:\n[0087] 方法一、在剩余区域选择最大的权值,设置待处理区域的每一个所述相邻像素点对的权值,具体可以包括:\n[0088] 获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值;\n[0089] 在所述剩余区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0090] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0091] 参见图5a,可以只计算剩余区域的权值,并从剩余区域中选出权值的最大值为“500”,如图5b所示,可以将待处理区域31内的相邻像素点对的权值设置为大于剩余区域最大的权值“500”,如可以设置为“600”。\n[0092] 方法二、在整个重叠区域(包括剩余区域和待处理区域)选择最大的权值,待处理区域的每一个所述相邻像素点对的权值,具体可以包括:\n[0093] 获取所述待处理区域的每一个像素点的亮度分量或色度分量,根据所述待处理区域内的全部所述像素点的亮度分量或色度分量得到所述待处理区域的每一个相邻像素点对的权值;\n[0094] 在所述剩余区域和所述待处理区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0095] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0096] 参见图5c,可以计算出整个重叠区域(包括剩余区域和待处理区域)的全部相邻像素点对的权值,并从重叠区域中选出最大值“700”,可以将待处理区域31内的相邻像素点对的权值设置为大于“700”,如图5d所示,可以设置为“800”。\n[0097] 方法三、也可以根据经验值将待处理区域内的相邻像素点对的权值设置为一个通常情况下无法超过的权值,例如“1000”。\n[0098] 步骤S105、在所述重叠区域内的全部的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,其中,所述缝合线强度为拼接路径经过的全部的相邻像素点对的权值之和。\n[0099] 图像的拼接可以基于最佳缝合线原理,最佳缝合线的实质是基于图切割算法。在计算机视觉里常常遇到如何对图像分段的问题,实际上也是最小化问题,具体地,缝合线是指对两张图像的重叠区域进行拼接时可以选择的拼接路径,最佳缝合线则是从多条缝合线中选取的缝合线强度最低的拼接路径。其中缝合线强度为所经过的相邻像素点对的权值之和。\n[0100] 确定最佳缝合线的方法有多种,举例而言,可以从重叠区域的第一行开始,建立以该行上每两个像素点对为起点的缝合线,最后从这些缝合线中寻找一个最佳的缝合线。如图6所示,为本发明一实施例的图像拼接的方法中确定最佳缝合线的示意图,将第一行的某两个相邻像素点对ab对应的权值作为缝合线强度的初始值,从第一行的像素点对向下扩展,直到最后一行为止。扩展的方法可以为:参见图6,该像素点对ab,向下扩展可能存在3个扩展方向:像素点对ad,像素点点对dc,像素点对bc。分别计算ab与ad、dc、bc对应的权值的和,可以得到三个缝合线强度,这三个缝合线强度分别对应于三种缝合线扩展方向。然后再基于这三条缝合线继续一行一行往下计算,就可以在计算到最后一行时,得出多条缝合线,从中可以选取缝合线强度最小的一条作为最佳缝合线。参见图6,如果L经过像素点对ab、dc、de、ge的缝合线强度最小,可以选择该L作为最佳缝合线。\n[0101] 步骤S106、沿着所述最佳缝合线对所述第一图像和所述第二图像进行图像拼接。\n[0102] 由于待处理区域内相邻像素点对的权值较大,经过待处理区域的缝合线强度较大,因此,选择最佳缝合线时,可以将经过待处理区域的缝合线避开。\n[0103] 如图7所示,为本发明一实施例的图像拼接的方法中两张图像拼接的示意图,左边是图像A,右边是图像B,重叠区域为C,待处理区域为D,沿着最佳缝合线L,可以选取图像A的重叠区域C中位于L左边的像素点,以及图像B的重叠区域C中位于L右边的像素点,将图像A和图像B拼接到一起。由于在步骤S104中,选择的最佳缝合线L不会出现在待处理区域D内,参见图7,两张图像A和图像B的拼接线也不会出现在待处理区域D内。\n[0104] 根据本发明实施例通过设置待处理区域内的相邻像素点对的权值,在对图像的重叠区域进行拼接时可以避开待处理区域,防止待处理区域如面部区域由于出现缝合线而产生变形,图像拼接更加自然,从而提高图像拼接的视觉效果。\n[0105] 图8为本发明另一实施例的图像拼接的方法的流程图。如图8所示,在上一实施例的基础上,该方法还可以包括:\n[0106] 步骤S201、打开设备的摄像头,启动全景拍照模式。\n[0107] 具体地,该摄像头可以为手机、平板电脑、笔记本电脑等的前置摄像头或后置摄像头,相机的摄像头等。通常,在全景模式下连续拍摄的两张照片具有重叠区域。\n[0108] 步骤S202、以同轴旋转的方式拍摄至少两张具有重叠区域的图像。\n[0109] 其中,在采用手机的后置摄像头或相机的摄像头拍摄风景或者开阔区域时,拍摄目标距离摄像头的镜头较远,拍摄人手持设备,可以对着景物进行弧形移动,拍摄多张具有重叠区域的图像。\n[0110] 在采用具有前置摄像头的终端设备进行拍摄时,如采用手机摄像头对拍摄人进行自拍,前置摄像头与面部的距离较近。这种情况下,前景和背景不能认为在同一平面,采用弧形移动拍摄图像可能受到视差的影响,每张照片前景和背景的相对位置发生变化比较明显,在拼接时更容易出现误差。因此,可以采用同轴旋转的方式拍摄图像。其中,同轴旋转可以是拍摄人以握持设备的手为轴缓慢旋转,在旋转过程中拍摄图像。\n[0111] 在拍摄时还可以启动设备的面部识别功能。以前置摄像头在同轴旋转过程中拍摄图像为例,在步骤S202具体可以包括:\n[0112] 步骤S2021、设备检测图像中是否存在面部特征,参见图3a到图3c及其相关描述。\n[0113] 步骤S2022、如果存在面部特征,则设备记录面部区域的坐标。\n[0114] 步骤S2023、在拍摄人手持设备进行同轴旋转的过程中,如果设备检测到面部处在较佳的位置,可以控制前置摄像头拍摄一张图像,然后,如果设备检测到面部处于较佳位置,且与上一张图像具有一定的重叠区域,可以再控制前置摄像头拍摄一张图像。一直到拍摄的图像的数量达到预设的拍摄上限(例如:最多只能拍摄5张)或用户确认拍摄完成时,结束拍摄,可以进入后续的图像拼接阶段。\n[0115] 具体地图像拼接过程可以参见上一实施例的相关描述。在拼接过程中如果通过面部区域的坐标确定待处理区域,步骤S101具体可以包括:\n[0116] 步骤S203、根据上述拍摄过程中确定的面部区域的坐标,确定待处理区域,所述重叠区域中除待处理区域以外的区域为剩余区域。\n[0117] 然后可以执行步骤S103到步骤S106对每两张具有重叠区域的图像分别进行拼接。\n最后,可以将拍摄的所有图像拼接到一起,得到完整的全景图像。\n[0118] 本实施例的图像拼接的方法,通过设置待处理区域内的相邻像素点对的权值,在对图像的重叠区域进行拼接时可以避开待处理区域,防止待处理区域如面部区域由于出现缝合线而产生变形,图像拼接更加自然,提高了图像拼接的视觉效果。进一步地,该图像拼接的方法如果运用到前置摄像头的全景摄影模式中,可以极大程度上扩大前置摄像头的视域;并且,通过同轴旋转的方式,可以减少由于视差而产生的图像拼接误差,提高图像拼接的质量。\n[0119] 图9a~图9d示出采用现有技术进行全景摄影后合成的效果示意图,如图 9a~图\n9d所示,将三张图片合成为一张全景照片时,由于选取的最佳缝合线L 的位置在面部区域,导致在面部区域(图9d中圆圈标记的部位)可能出现拼接错位、模糊等瑕疵,导致视觉效果较差。图10a~图10d示出采用本发明实施例提供的图像拼接的方法的效果示意图,如图10a~图10d所示,将三张图片合成为一张全景照片时,最佳缝合线L避开了面部区域,面部区域的拼接没有瑕疵,视觉效果更好。\n[0120] 图11为本发明一实施例的图像拼接的装置的结构示意图。如图11所示,该装置10可以包括:获取模块110、第一确定模块120、计算模块130、设置模块140、第二确定模块150、拼接模块160。\n[0121] 其中,获取模块110,用于获取第一图像和第二图像,其中,所述第一图像和所述第二图像之间存在重叠区域;\n[0122] 第一确定模块120,与获取模块110连接,用于在所述重叠区域内确定待处理区域,所述重叠区域中除所述待处理区域以外的区域为剩余区域;\n[0123] 计算模块130,与第一确定模块120连接,用于获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值;\n[0124] 设置模块140,与计算模块130连接,用于在所述待处理区域设置每一个相邻像素点对的权值,其中,所述待处理区域的任一个所述相邻像素点对的权值大于所述剩余区域任一个所述相邻像素点对的权值;\n[0125] 第二确定模块150,与设置模块140连接,用于在所述重叠区域内的全部的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,其中,所述缝合线强度为拼接路径经过的全部的相邻像素点对的权值之和;\n[0126] 拼接模块160,与第二确定模块150连接,用于沿着最佳缝合线对第一图像和第二图像进行图像拼接。\n[0127] 具体地,获取模块110获取第一图像和第二图像的一种示例,可以参见图8及其相关描述。第一确定模块120在重叠区域内确定待处理区域的具体过程,可以参见上述方法实施例中步骤S104的相关描述。计算模块130计算像素点对的权值的方法可以参见上述方法实施例中步骤S103的公式(1)、公式(2)及其相关描述。设置模块140在所述待处理区域设置每一个相邻像素点对的权值,具体可以参见上述方法实施例中步骤S104的方法一至方法三的相关描述。第二确定模块150确定最佳缝合线,以及拼接模块S160沿着最佳缝合线对第一图像和第二图像进行图像拼接的具体原理,可以参见上述方法实施例中图6、图7及其相关描述。\n[0128] 在一种可能的实施方式中,设置模块140被配置为:在所述剩余区域的全部所述相邻像素点对的权值中选择最大的权值;将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。具体可以参见上述方法实施例中步骤S104的方法一以及图\n5a、图5b的相关描述。\n[0129] 在一种可能的实施方式中,计算模块130被配置为:获取所述待处理区域的每一个像素点的亮度分量或色度分量,根据所述待处理区域内的全部所述像素点的亮度分量或色度分量得到所述待处理区域的每一个相邻像素点对的权值;以及设置模块140被配置为:在剩余区域和待处理区域的全部所述相邻像素点对的权值中选择最大的权值;将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。具体可以参见上述方法实施例中步骤S104的方法二以及图5c、图5d的相关描述。\n[0130] 在一种可能的实施方式中,第一确定模块120被配置为:在重叠区域内,根据预设尺寸确定所述待处理区域,其中,所述待处理区域的尺寸与所述预设尺寸相同。具体可以参见上述方法实施例中步骤S102的方式一的相关描述。\n[0131] 在一种可能的实施方式中,第一确定模块120被配置为:确定所述第一图像的面部区域的位置和尺寸,确定所述第二图像的面部区域的位置和尺寸;根据第一图像的面部区域的位置和尺寸,以及所述第二图像的面部区域的位置和尺寸,在所述重叠区域内确定所述待处理区域。具体可以参见上述方法实施例中步骤S102的方式二的相关描述。\n[0132] 通过在重叠区域内确定待处理区域,在待处理区域设置每一个相邻像素点对的权值,根据本发明实施例的图像拼接的装置能够使拼接时的缝合线避开待处理区域,从而保证待处理区域的拼接更加自然,提高了用户浏览图像的主观感受。\n[0133] 图12示出了本发明的再一个实施例的一种图像拼接的装置的结构框图。所述网络设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。\n[0134] 所述网络设备1100包括处理器(processor)1110、通信接口 (Communications Interface)1120、存储器(memory)1130和总线1140。其中,处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。\n[0135] 通信接口1120用于与网络设备通信,其中网络设备包括例如虚拟机管理中心、共享存储等。\n[0136] 处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU,或者是专用集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。\n[0137] 存储器1130用于存放文件。存储器1130可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块,并且所述块可按一定的规则组合成虚拟卷。\n[0138] 在一种可能的实施方式中,上述程序可为包括计算机操作指令的程序代码。该程序具体可用于:\n[0139] 获取第一图像和第二图像,其中,所述第一图像和所述第二图像之间存在重叠区域;\n[0140] 在所述重叠区域内确定待处理区域,所述重叠区域中除所述待处理区域以外的区域为剩余区域;\n[0141] 获取所述剩余区域的每一个像素点的亮度分量或色度分量,根据所述剩余区域的全部所述像素点的亮度分量或色度分量得到所述剩余区域的每一个相邻像素点对的权值;\n[0142] 在所述待处理区域设置每一个相邻像素点对的权值,其中,所述待处理区域的任一个所述相邻像素点对的权值大于所述剩余区域任一个所述相邻像素点对的权值;\n[0143] 在所述重叠区域内的全部的拼接路径中,将缝合线强度最小的拼接路径确定为最佳缝合线,其中,所述缝合线强度为拼接路径经过的全部的相邻像素点对的权值之和;\n[0144] 沿着所述最佳缝合线对所述第一图像和所述第二图像进行图像拼接。\n[0145] 在一种可能的实施方式中,所述在所述待处理区域设置每一个相邻像素点对的权值,该程序包括:\n[0146] 在所述剩余区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0147] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0148] 在一种可能的实施方式中,所述在所述待处理区域设置每一个相邻像素点对的权值,该程序包括:\n[0149] 获取所述待处理区域的每一个像素点的亮度分量或色度分量,根据所述待处理区域内的全部所述像素点的亮度分量或色度分量得到所述待处理区域的每一个相邻像素点对的权值;\n[0150] 在所述剩余区域和所述待处理区域的全部所述相邻像素点对的权值中选择最大的权值;\n[0151] 将所述待处理区域的每一个所述相邻像素点对的权值设置为大于所述最大的权值。\n[0152] 在一种可能的实施方式中,所述在所述重叠区域内确定待处理区域,该程序包括:\n[0153] 在所述重叠区域内,根据预设尺寸确定所述待处理区域,其中,所述待处理区域的尺寸与所述预设尺寸相同。\n[0154] 在一种可能的实施方式中,所述在所述重叠区域内确定待处理区域,该程序包括:\n[0155] 确定所述第一图像的面部区域的位置和尺寸,确定所述第二图像的面部区域的位置和尺寸;\n[0156] 根据所述第一图像的面部区域的位置和尺寸,以及所述第二图像的面部区域的位置和尺寸,在所述重叠区域内确定所述待处理区域。\n[0157] 本领域普通技术人员可以意识到,本文所描述的实施例中的各示例性单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现,取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。\n[0158] 如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时,则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中,包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。\n[0159] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
法律信息
- 2018-12-07
- 2015-07-01
实质审查的生效
IPC(主分类): G06T 5/50
专利申请号: 201310643299.8
申请日: 2013.12.03
- 2015-06-03
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2010-10-06
|
2010-05-13
| | |
2
| |
2013-11-13
|
2013-07-11
| | |
3
| |
2013-04-03
|
2012-12-14
| | |
4
| |
2008-11-19
|
2008-06-12
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |