著录项信息
专利名称 | 用于将照片转换为漫画图像的方法和设备 |
申请号 | CN200510078670.6 | 申请日期 | 2005-06-23 |
法律状态 | 权利终止 | 申报国家 | 中国 |
公开/公告日 | 2006-01-18 | 公开/公告号 | CN1722782 |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N5/262 | IPC分类号 | H;0;4;N;5;/;2;6;2查看分类表>
|
申请人 | 精工爱普生株式会社 | 申请人地址 | 日本东京都
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 精工爱普生株式会社 | 当前权利人 | 精工爱普生株式会社 |
发明人 | 黄锦成;A·K·布哈塔查亚 |
代理机构 | 中国专利代理(香港)有限公司 | 代理人 | 程天正;梁永 |
摘要
提供了一种用于从数字图像创建漫画图像的方法。所述方法开始于捕获数字图像数据。所述方法包括定位所捕获的图像数据内的面部区域。而后,选择与所述面部区域的面部特征相匹配的面部特征模板。其次,用所述面部特征模板替换所述面部特征。而后,将所述面部特征模板变换为漫画或非写实图像。还提供了能够从所捕获的图像创建漫画的计算机可读介质、图像捕获设备以及集成电路。
1.一种用于从数字图像创建漫画图像的方法,包括下述方法操作:
捕获数字图像数据;
定位所捕获的图像数据内的面部区域,包括:
确定所述面部区域的中心的坐标;
确定所述面部区域的垂直质心线和水平质心线二者的中心;以 及
会聚所述垂直质心线和水平质心线二者的中心与所述面部区 域的中心于一点;
选择与所述面部区域的面部特征相匹配的面部特征模板;
用所述面部特征模板替换所述面部特征;以及
变换所述面部特征模板。
2.根据权利要求1所述的方法,其中定位所捕获的图像数据内的 面部区域的方法操作包括:
将所述数字图像的像素标示为肤色像素或非肤色像素;以及
根据所述肤色像素定义肤色区域。
3.根据权利要求1所述的方法,其中选择与所述面部区域的面部 特征相匹配的面部特征模板的方法操作包括:
将所述面部特征与多个面部特征模板的对应像素进行比较;以及
选择与对应像素间的最小差值相关联的多个面部特征模板中的一 个。
4.根据权利要求1所述的方法,其中变换所述面部特征模板的方 法操作包括:
对所述面部特征模板应用几何变换技术。
5.根据权利要求1所述的方法,其中会聚所述垂直质心线和水平 质心线二者的中心与所述面部区域的中心于一点的方法操作包括:
计算所述面部区域的中心的坐标与所述垂直质心线和水平质心线 的中心的对应坐标之间的差值;
确定所述差值是否大于阈值;并且
如果所述差值大于所述阈值:
用所述垂直质心线和水平质心线的中心的对应坐标替换所述 面部区域的中心的坐标;以及
重复所述计算和所述确定。
6.一种能够从所捕获的图像创建漫画的图像捕获设备,包括:
图像捕获电路,用于捕获数字图像数据;
漫画生成单元,被配置成用于变换所述图像数据的面部区域,所 述漫画生成单元包括:
面部特征定位单元,被配置成用于识别面部区域,其中,所 述面部特征定位单元还被配置成用于确定所述面部区域的中心的坐 标,所述面部特征定位单元还被配置成用于识别所述面部区域内的搜 索区域,其中通过由所述面部特征定位单元生成的梯度图像来识别所 述搜索区域内的面部特征,其中所述面部特征定位单元还被配置成用 于确定所述面部区域的垂直质心线和水平质心线二者的中心,其中所 述面部特征定位单元还被配置成用于会聚所述垂直质心线和水平质心 线二者的中心与所述面部区域的中心于一点;
模板匹配单元,被配置成用于将所述面部特征与模板相匹配, 所述模板被替换到所述图像数据中以替换所述面部特征;以及
图像渐变单元,被配置成用于变换所替换的模板以生成所述 漫画。
7.根据权利要求6所述的图像捕获设备,其中所述面部特征定位 单元包括被配置成用于识别垂直梯度在所述搜索区域内的最大和数的 梯度图像生成单元,所述最大和数表示所述面部特征的位置。
8.根据权利要求6所述的图像捕获设备,还包括:
存储在所述图像捕获设备的存储器内的模板库,所述模板库以一 组边界点的形式存储所述模板。
9.根据权利要求6所述的图像捕获设备,其中所述面部特征定位 单元还被配置成用于首先定位所述面部区域内的眼睛,而后定位所述 面部区域内的嘴。
10.一种被配置成用于识别图像数据内的面部特征的集成电路, 包括:
面部特征定位电路,被配置成用于识别所述图像数据的面部区域, 所述面部特征定位电路还被配置成用于确定所述面部区域的中心的坐 标,所述面部特征定位电路还被配置成用于创建窗口,在所述窗口中 定位所述面部区域内的面部特征,其中所述面部特征定位电路还被配 置成用于确定所述面部区域的垂直质心线和水平质心线二者的中心, 其中所述面部特征定位电路还被配置成用于会聚所述垂直质心线和水 平质心线二者的中心与所述面部区域的中心于一点;
模板匹配单元,被配置成用于将所述面部特征与模板相匹配以用 所述模板替换所述面部特征;以及
图像渐变单元,被配置成用于变换所替换的模板的图像数据以生 成所述漫画。
11.根据权利要求10所述的集成电路,其中所述面部特征定位电 路包括:
梯度图像生成电路,被配置成用于生成搜索区域的梯度图像,其 中所述梯度图像的垂直分量被用于定位所述搜索区域内的所述面部特 征。
12.根据权利要求10所述的集成电路,其中所述窗口是通过与设 备相关联的接目镜所查看到的模块而定义的,该设备中并入有所述集 成电路。
13.根据权利要求10所述的集成电路,其中所述模板匹配单元被 配置成用于比较所述面部特征与所述模板之间的对应像素差值。
14.根据权利要求10所述的集成电路,其中所述图像渐变单元被 配置成用于通过几何变换来变换所述图像数据,所述几何变换选自包 括平移、拉伸以及旋转的组。
技术领域\n本发明总体而言涉及绘制系统,具体而言涉及用于生成数字图像 的漫画的方法和设备。\n背景技术\n现在,如果消费者想要由从数字照相机或手机照相机所获取的照 片生成漫画图像,那么用户必须将所述图像转送至桌上型计算机以进 行处理。展开漫画图像所需的计算资源对当前的手持式电子设备而言 是不可能的。结果,用户没有任何选择来即刻从用手持式设备捕获的 数字图像来创建漫画图像。随着手机照相机和其他具有照相机功能的 手持式设备的迅速普及,以及共享用这种设备所捕获图像的便利性, 用户经常在寻求着具有增强功能的设备。因此,如果用户具有从手持 式设备创建图像的能力,那么用户将能够例如利用手机照相机应用将 所述漫画图像电邮至收件人,或仅浏览带有照片对象的图像。\n结果,就需要一种能够解决现有技术的问题并且能够实现采用与 手持式电子图像捕获设备的有限计算资源相兼容的方式来自动地生成 数字图像的漫画图像。\n发明内容\n一般而言,本发明通过提供能够以一种有效的方式生成图像数据 的漫画或非写实变换的方法和系统来满足这些需求。应当理解的是: 本发明能够以众多的方式-包括以方法、系统、计算机可读介质或设备 的方式来实现。下面描述了本发明的几个发明实施方式。\n在一个实施方式中,提供了一种用于从数字图像创建漫画图像的 方法。所述方法开始于捕获数字图像数据。所述方法包括定位所捕获 的图像数据内的面部区域。而后,选择与所述面部区域的面部特征相 匹配的面部特征模板。其次,用所述面部特征模板替换所述面部特征。 而后,将所述面部特征模板变换为漫画或非照片写实图像。\n在另一个实施方式中,提供了一种用于定位图像内的面部区域以 供后续变换的方法。所述方法开始于生成所述图像的肤色图。所述方 法包括识别所述肤色图内的肤色区域。而后,识别所述肤色区域内的 水平质心线和垂直质心线。其次,会聚所述水平质心线的水平中心点 和所述垂直质心线的垂直中心点于一点。而后,在所会聚的中心点的 周围定义所述面部区域。\n在又一个实施方式中,提供了一种具有用于从数字图像创建漫画 图像的程序指令的计算机可读介质。所述计算机可读介质包括用于捕 获数字图像数据的程序指令和用于定位所捕获的图像数据内的面部区 域的程序指令。包括用于选择与所述面部区域的面部特征相匹配的面 部特征模板的程序指令。提供了用于用所述面部特征模板替换所述面 部特征的程序指令和用于变换所述面部特征模板的程序指令。\n在又一个实施方式中,提供了一种具有用于定位图像内的面部区 域以供后续变换的程序指令的计算机可读介质。所述计算机可读介质 包括用于生成所述图像的肤色图的程序指令和用于识别所述肤色图内 的肤色区域的程序指令。包括用于识别所述肤色区域内的水平质心线 和垂直质心线的程序指令。提供了用于会聚所述水平质心线的水平中 心点和所述垂直质心线的垂直中心点于一点的程序指令和用于在所会 聚的中心点的周围定义所述面部区域的程序指令。\n在另一个实施方式中,提供了一种能够从数字图像创建漫画图像 的图像捕获设备。所述图像捕获设备包括图像捕获电路和漫画生成逻 辑,其中图像捕获电路用于捕获数字图像数据,漫画生成逻辑被配置 成用于变换所述图像数据的面部区域。所述漫画生成逻辑包括被配置 成用于识别面部区域的面部特征定位逻辑。所述面部特征定位逻辑还 被配置成用于识别所述面部区域内的搜索区域。通过由所述面部特征 定位逻辑生成的梯度图像来识别所述搜索区域内的面部特征。所述漫 画生成逻辑包括被配置成用于将所述面部特征与模板相匹配的模板匹 配逻辑。所述模板被替换到所述图像数据中以替换所述面部特征。在 所述漫画生成逻辑中包括图像渐变逻辑。所述图像渐变逻辑被配置成 用于利用所替换的模板变换所述图像数据以生成所述漫画。\n在又一个实施方式中,提供了一种被配置成用于定位图像数据内 的面部特征的集成电路。所述集成电路包括被配置成用于识别面部区 域的面部特征定位电路。所述面部特征定位电路被配置成用于识别所 述面部区域内的搜索区域。所述面部特征定位电路包括被配置成用于 生成所述搜索区域的梯度图像的梯度图像生成电路,其中所述梯度图 像的垂直分量被用于定位所述搜索区域内的面部特征。包括被配置成 用于将所述面部特征与模板相匹配以用所述模板替换所述面部特征的 模板匹配逻辑。在所述集成电路中提供了被配置成用于利用所述所替 换的模板变换所述图像数据以生成所述漫画的图像渐变逻辑。\n从结合附图的、以举例的方式说明本发明的原理的下述详细描述 中,本发明的其他方面和优点将变得显而易见。\n附图说明\n通过结合所述附图的下述详细描述,本发明将十分容易理解,并 且相同的附图标记表示相同的结构部件。\n图1是举例说明用于将图像转换为漫画的下述实施方式结果的高 层示意图。\n图2是举例说明根据本发明一个实施方式的实现将数字图像转换 为漫画图像的关键模块的高层示意图。\n图3是举例说明根据本发明一个实施方式的定位图像对象面部区 域的技术的简化示意图。\n图4是举例说明根据本发明一个实施方式的所述面部区域内的搜 索窗口和对应的面部特征定位区域的简化示意图。\n图5是举例说明根据本发明一个实施方式的模板匹配方案的简化 示意图。\n图6是根据本发明一个实施方式的被配置成用于给用户提供从所 捕获图像创建漫画图像功能的设备的简化示意图。\n图7是举例说明根据本发明一个实施方式的用于从数字图像创建 漫画图像的方法操作的流程图。\n图8是举例说明根据本发明一个实施方式的用于定位图像内的面 部区域以供后续变换的方法操作的流程图。\n具体实施方式\n本发明描述了用于从图像数据生成漫画的系统和方法。然而,对 本领域的技术人员而言显而易见的是:在没有这些具体细节的一些或 全部的情况下也可以实现本发明。在其它情况下,不需要详细描述公 知的处理操作以避免不必要地搞混本发明。\n在此描述的实施方式提供了一种将数字图像-也就是照片转换为 漫画的方法和系统。通过使用肤色算法和面部特征定位逻辑,定位面 部的关键特征以生成漫画。而后将数字图像中的所定位的特征与存储 在库中的模板相匹配以识别最接近的相似模板。而后用最佳匹配模板 替换数字图像中的特征。在一个实施方式中,所替换的模板是失真的 特征。作为选择地,可以通过下述的图像渐变(morphing)技术来使 所述模板失真。在另一个实施方式中,面部区域的关键特征是在拍摄 图像时加以定义的。例如,用户可以在捕获所述图像数据之前通过取 景器将图像对象的面部特征置于所定义的模板中。\n图1是举例说明用于将图像转换为漫画的下述实施方式的结果的 高层示意图。在此,图像100是通过图像捕获设备捕获的数字图像的 表示,所述图像捕获设备诸如是数字照相机、手机照相机或其他具有 照相机功能的适合的手持式电子设备。通过下述的技术,将图像100 变换为漫画图像102。通过所述图像捕获设备的逻辑和电路来执行所述 变换,从而使得用户能够即刻对所捕获的图像进行变换。当然,也可 以将众多的背景特征或者任何其他的适合特征与面部图像失真一起结 合到所述漫画图像中。例如,图像102在其中结合了一个阿拉伯神灯。\n图2是举例说明根据本发明一个实施方式的实现将数字图像转换 为漫画图像的关键模块的高层示意图。在模块104a中通过手持式设备 捕获数字图像,也就是拍摄照片。用于捕获所述图像的手持式设备可 以是数字照相机、手机照相机、具有照相机功能的个人数字助理等。 例如,图像104b是一张这种能够用图像捕获设备所捕获的图像。模块 106a表示用于定位所捕获图像的面部特征的功能。在此,分析图像 104b的图像数据,以便首先定义面部区域而后定位面部区域内的面部 特征。在一个实施方式中,使用肤色算法来定位面部区域。一旦确定 了面部区域,而后就识别所述面部区域内的面部特征。例如,区域 106b-1、106b-2、106b-3和106b-4表示面部特征被识别的位置。也 就是说,眉毛位于区域106b-1内,眼睛位于区域106b-2内,鼻子位 于区域106b-3内,嘴位于区域106b-4内。通过模板匹配模块108a, 将所定位的面部特征与模板相匹配。模板存储在合适的库中,该库可 以位于所述图像捕获设备的内部或图像捕获设备的外部。也就是说, 可以将所述模板存储在该设备的非易失性存储器中。\n在一个实施方式中,通过比较所述模板和所调整的捕获图像之间 的像素来确定匹配,此处把生成最小误差的比较视为最佳匹配。应当 理解的是:所定位的面部特征可以使其大小被调整以便在与所定位的 面部特征相关联的相似大小区域与模板库中的相应模板之间提供类似 的比较。图像108b举例说明了用匹配的模板替换106b的数字图像的 结果。在此,已经将眉毛、眼睛、鼻子和嘴的面部特征替换到所述图 像中。图像渐变模块110a提供了一种机制,利用所述机制将所述模板 替换的图像108b变换为漫画图像或非相片写实图像。图像110b举例 说明了图像渐变的结果,其中所替换的模板可以被变换以显示漫画。 除所定位的面部特征外其他原始的图像数据也都可以被变换以获得漫 画图像。基本上任意的图像数据可以通过拉伸、旋转、收缩、平移或 其他的合适的几何变换技术来进行变换。此外,可以将物体合并到所 述图像数据中。例如,在图110b中,所述图像对象在其头上放置了一 个皇冠。本领域的技术人员应该理解:可以向所述图像数据提供众多 其他的项目、物体或替代物,以获取用户想要的结果。\n图3是举例说明根据本发明一个实施方式的定位图像对象面部区 域的技术的简化示意图。应该理解的是:在肤色区域上简单放置矩形 框就面部特征的大小而言往往会产生不可接受的误差。图3的阴影部 分表示肤色图,其中所述阴影部分表示肤色像素,而其余部分或白色 部分表示非肤色像素。起初,定位由区域112所表示的可能的面部区 域。将肤色区域的质心定义为面部区域的初始中心点112a,坐标为 (Cx,Cy)。而后通过肤色区域的分析将可能的面部区域细化而定义为真 正的面部区域114。下面的等式表示所述中心点的计算:\n 其中所有M(x,y)=Skintone,\n此处M(x,y)表示图像的肤色(skinstone)图,N是所述区域中肤色 像素的总数量。\n通过在垂直和水平方向上从所述中心点扩展到肤色区域的边界来 定义面部区域的边界框。令x1和xr表示沿水平质心线上的两个最外肤 色点,即:\nM(xl,Cy)=Skintone,并且M(x,Cy)≠Skintone,其中x<x1;\nM(xr,Cy)=Skintone,并且M(x,Cy)≠Skintone,其中x<xr。\n类似地,yt和yb表示沿垂直质心线上的两个最外肤色点,其满足:\nM(Cx,yi)=Skintone,并且M(Cx,y)≠Skintone,其中y<yt;\nM(Cx,yb)=Skintone,并且M(Cx,y)≠Skintone,其中y<yb。\n如果 或 那么将面部区域的新中心 点(Cx,Cy)定义为\n\n确定(x1,xr,yt,yb)和(Cx,Cy)的过程重复进行着,直至这两 组数据会聚于一点,即\n 和 其中T表示阈值。\n在图3中,区域112的框线是初始区域,而后通过上述等式中所 描述的一次反复迭代,而将所述面部区域调整为由框线114所定义的 矩形区域。因此,最初时,中心点是点112a,而最后根据上面所列的 等式通过两组数据的会聚来将中心点移动到点114a。当然,任意数量 的反复迭代可以用于定义面部区域。\n图4是举例说明根据本发明一个实施方式的面部区域内的搜索窗 口和对应的面部特征定位区域的简化示意图。在此,面部区域114具 有起始坐标(x1,yt)和终止点(xr,yb)。在面部区域114内,包括 左眼区域、右眼区域和嘴区域的搜索区域。例如,左眼区域120是精 确定位左眼的窗口120a的搜索区域。类似地,右眼区域122和嘴区域 124分别提供了用于精确定位右眼窗口122a和嘴窗口124a的搜索区 域。因此,将所述面部区域装入到参照图3所述的矩形框中,并且而 后将面部区域内的面部特征装入到模板中。应当理解的是:可以根据 梯度图像来定位所述面部特征。\n面部的两个关键特征是眼睛和嘴。覆盖眼睛和嘴区域的梯度图像 的垂直分量通常较大,并且能够用于定位眼睛和嘴。所述垂直分量被 定义为:\nGy(x,y)=|((F(x,y-1)-F(x,y+1))*2+F(x-1,y-1)-F(x-1,y+1) +F(x+1,y-1)-F(x+1,y+1)|\n其中F(x,y)是强度图像。本领域的技术人员将理解:垂直梯度的其他 定义是可能的。\n在一个实施方式中,通过在搜索区域的窗口中寻找垂直梯度的最 大量来确定眼睛和嘴的位置。所述位置的准确性取决于窗口和搜索区 域的大小。对其他面部特征-诸如鼻子和眉毛的搜索取决于脸的几何约 束,诸如眉毛在眼睛的上方,鼻子在嘴和眼睛之间。因此,一旦通过 垂直分量的最大量定位了眼睛和嘴,那么就可以通过几何约束的知识 来定位其他的面部特征。\n应当理解的是:眼睛及嘴的位置和大小取决于所述面部区域的位 置和大小,所述面部区域由起始点(x1,yt)和终止点(xr,yb)来限 定边界。面部区域具有这样的大小:Fx=xr-xl和Fy=yb-yt。\n眼睛区域的窗口的大小由下述公式给定:\n\n\n使用范围从3.5到5.0的P是合理的。在一个示范性的实施方式 中,P=4.0。左眼窗口的中心是(Lx,Ly),右眼窗口的中心是(Rx,Ry)。 左眼的搜索范围是从 到 右眼的范围与 左眼相关,是从(Lx+2*Xeye,Ly-2*Yeye)到(xr-2*Xeye,Ly+2*Yeye)。\n嘴窗口的大小由下述公式确定:\nXmouth=Fx*0.4,\n\n所述窗口的中心是(Mx,My)。搜索范围从 到 其中 如上所述,其他的面部特征与 眼睛和嘴的位置相关。因此,在一个实施方式中,一旦找到了眼睛和 嘴,那么就能够在眼睛上方的区域内搜索到眉毛,并且在眼睛和嘴之 间搜索到鼻子。\n在另一个实施方式中,模板辅助方法可以被用于在此描述的实施 方式中作为通过肤色算法定位面部特征的可选方案。在此,可以将模 板结合到取景器中以便用户可以将对象的面部特征装入到对应的模板 区域中。例如,用户可以通过图像捕获设备在取景器中定出图4的窗 口120a,122a和124a的轮廓,或者定出正在观看的场景。因此,用 户而后能够聚焦、缩放或执行必要的调整以便对象的面部特征落入到 区域120a,122a和124a中。更特别地,将对象的眼睛置于窗口120a 和122a中,而将用户的嘴包含在窗口124a中。一旦所述面部特征在 这些窗口内,那么用户就能够启动图像数据的捕获,例如拍摄场景图 片。通过在此描述的模板匹配方案和图像渐变方案,就可以生成所捕 获的图像的漫画。\n图5是举例说明根据本发明一个实施方式的模板匹配方案的简化 示意图。一旦如参照图4所述的方式识别了所述面部特征,那么每一 个面部特征都要经历对准过程,在所述对准过程中,确定对应的面部 特征和模板之间的最小误差。在此,所述面部特征与众多对应的模板 之间的比较将导致与每次比较相关联的多个误差。把在所有这些比较 中具有最小误差的指定为最佳匹配。在此,将在图130中识别的面部 特征与模板库132中的对应的特征进行比较。也就是说,将眉毛同模 板库132中的对应的眉毛进行比较,将图130中的眼睛与模板库132 中的对应的眼睛进行比较等等。可以将模板库配置成用于存储任何合 适数量的模板。此外,模板库中可以存储预先变换的模板,所述预先 变换的模板可以替换所匹配的模板。在一个实施方式中,由于对于不 同照片而言,所述面部特征具有不同的大小和不同的取向,因此可以 将面部特征的大小调整到模板的大小,以便对相似大小的区域进行比 较。在另一个实施方式中,将几何变换定义为:\nU=AX+B,\n或\n\n令F(x,y)表示特征,用T(u,v)表示模板,而后将在具有一组给 定的变换系数的模板和所述特征之间的均方差定义为:\n\n其中a=[a1a2…a6]T,M是该特征中像素的数量。从优化理论而言, a的最优解必须满足:\n i=1,…,6.\n上述等式是ai的非线性函数,因此难以获得封闭解。诸如最速下 降算法(steepest descent method)、牛顿-拉斐尔算法(Newton- Raphson method)或戴维森-弗莱彻-鲍威尔算法(Davidon- Fletcher-Powell method)之类的多种迭代算法能够产生一个解。在 最速下降算法中,我们有:\n\n其中 \n应当理解的是:选择初始的α0。如果误差E(a)在下降着,那么在 下一次迭代中就使用相同的α。否则,恢复先前的a,并减小α。\n一旦在对应的面部特征和模板之间发现了最佳匹配,那么一致性 和重新映射模块134确保在将所述模块替换到原始图像130之时把面 部特征放置到了正确的区域中。例如,一致性和重新映射模块134确 保眼睛去往正确的位置。此外,在此利用几何约束以确保鼻子位于两 眼下方以及嘴位于鼻子下方。通过重新映射,相应的模块被“缝合” 到图像136中,从而用所述模板替换面部特征。当然,可以按照如上 所述那样来替换预先变换的模块。\n图6是根据本发明一个实施方式的被配置成用于给用户提供从所 捕获的图像创建漫画图像功能的设备的简化示意图。在此,设备140 包括电荷耦合器件(CCD)142、中央处理单元(CPU)144、存储器146、 总线158和漫画转换逻辑150。CCD142被置于设备140的镜头的后方, 所述设备可以是图像捕获设备,例如具有照相机功能的设备。设备140 中的每一个模块能够通过总线158彼此通信。存储器146包括模板库 148。在一个实施方式中,可以由设备140存取模板库148,例如模板 库可以在设备140的外部。也就是说,模板库148可以存储在外部服 务器中,并由设备140以无线或有线连接的方式存取。应当理解的是: 为了对在模板库中存储多个模板的存储器需求最小化,可以以一组边 界点(endpoint)的方式存储所述模板,而不是在存储器中存储整个 图像。显示屏160同设备140通信,并且应该理解的是:可以将显示 屏160并入到设备140中以作为一个整体不可分割的单元。应当理解 的是:可以通过独立的图形处理单元(未示出)-例如液晶显示器控制 器来驱动显示屏160。\n图6中的漫画转换逻辑包括面部特征定位逻辑152、模板匹配逻辑 154和图像渐变逻辑156。面部特征定位逻辑152包括用于如参照图 2-4所描述的确定面部区域以及进一步确定面部区域内的面部特征的 逻辑。模板匹配逻辑154包括用于能够实现通过面部特征定位逻辑152 定位的面部特征与模板库148中的模板的匹配的逻辑。在此,模板匹 配逻辑154包括实现参照图5所述的功能的逻辑。图像渐变逻辑156 包括能够实现图像数据的变换以便定义漫画或非照片写实图像的逻 辑。在此,可以应用几何变换。例如,可以应用拉伸变换、旋转变换、 收缩变换以及平移变换以实现图像的变换。实际上,在此可以应用对 特征或图像进行失真的任何变换。\n图7是举例说明根据本发明一个实施方式的用于从数字图像创建 漫画图像的方法操作的流程图。所述方法开始于操作170,在所述操作 170中捕获数字图像数据。可以通过诸如数字照相机或手机照相机的任 何合适的图像捕获设备来捕获所述数字图像数据。所述方法而后前进 至操作172,在所述操作172中定位所捕获的图像数据内的面部区域。 在此,如上所述,面部特征定位逻辑定义面部区域,而后,定位搜索 区域以识别面部区域内的面部特征。在一个实施方式中,如参照图3 所述,对图像数据应用肤色算法以定位面部区域。在另一个实施方式 中,分析梯度数据以便确定面部区域内的面部特征的位置。\n而后所述方法前进至操作174,在所述操作174中选择匹配于面部 区域的面部特征的面部特征模板。在此,执行在操作172中识别的面 部特征与所存储的模板之间的比较以确定面部特征和多个模板之间的 最佳匹配。在一个实施方式中,比较面部特征和模板之间的对应的像 素值以识别匹配。所述方法而后移至操作176,在所述操作176中用面 部特征模板替换在图像数据内的面部特征。如参照图5所描述的那样, 在此可以执行对准、一致性以及重新映射功能。所述方法而后前进至 操作178,在所述操作178中变换面部特征模板。在一个实施方式中, 通过图像渐变来变换面部特征模板。此外,除面部特征模板之外的数 据-例如背景数据或其他物体可以被变换或并入以呈现原始所捕获的 图像数据的漫画图像。\n图8是举例说明根据本发明一个实施方式的用于定位图像内的面 部区域以供后续变换的方法操作的流程图。所述方法开始于操作180, 在所述操作180中生成图像的肤色图。在此,被应用到图像数据的每 一个像素的肤色算法将生成肤色图,所述肤色图将像素标示为肤色像 素或非肤色像素。所述方法而后前进至操作182,在所述操作182中识 别肤色图内的肤色区域。在此,可以丢弃隔离开的或肤色之外的区域。 所述方法而后移至操作184,在所述操作184中识别肤色区域内的水平 质心线和垂直质心线。将水平质心线和垂直质心线的交点定义为面部 区域的初始中心。\n图8的所述方法而后前进至操作186,在所述操作186中通过反复 迭代的过程来会聚水平质心线的水平中心点和垂直质心线的垂直中心 点于一点。在一个实施方式中,该反复迭代过程将水平质心线的中心 和先前的质心坐标进行比较。如果这两个分量之间的比较大于阈值, 那么定义新的中心点并继续所述过程,直至相继中心点之间的比较小 于阈值为止。相对于垂直质心线进行同样的处理。例如,在此可以应 用参照图3的上述等式以会聚所述中心点于一点。所述方法而后前进 至操作188,在所述操作188中在所会聚的中心点周围定义面部区域。 应该理解的是:如参照操作186的上述描述那样反复迭代地确定所会 聚的中心点。在一个实施方式中,假定在计算真正的面部区域时脸部 是对称的。\n总之,上述的发明提供了用于从所捕获的图像创建漫画图像的方 法和设备。在一个实施方式中,所述方案包括面部特征定位技术,所 述面部特征定位技术其后是模板匹配和图像渐变。可以通过图像分析- 例如肤色算法来实现面部特征定位技术以定义面部区域。在面部区域 内,如参照图4所描述的那样通过寻找搜索区域的窗口内的垂直梯度 的最大和数的方式来确定所捕获图像对象的眼睛和嘴的位置。作为选 择地,如上所述,在模板辅助方法中,将脸部放置于定义了面部区域 的矩形框内,或者将面部特征放置于预置的模板内。通过模板匹配技 术和图像渐变技术即刻生成漫画图像,以便用户可以立即查看捕获图 像的手持式设备的图像。应当理解的是:尽管已经就人类面部特征讨 论了捕获的面部特征,但是在此描述的实施方式也可以应用到动物面 部特征。基本上,可以按照如上所述的方式操作具有脸部(无论是人 类的脸部还是非人类的脸部)的任何图像。\n通过上述的实施方式,应该明了的是:本发明可以采用不同的计 算机可实现的操作,所述操作涉及存储在计算机系统中的数据。这些 操作包括需要物理量的物理处理的操作。通常,尽管不是必需的,这 些量可以采用能够存储、转送、组合、比较或其他操纵的电或磁的方 式。另外,所执行的这些操纵就术语而言通常指的是诸如产生、识别、 确定或比较之类。\n上述的本发明可以由其他的计算机系统结构来实现,所述计算机 系统结构包括手持式设备、微处理器系统、基于微处理器或可编程的 消费者电子设备、微机、大型机等等。本发明还可以在分布式计算环 境中实现,在所述分布式计算环境中任务可以由通过通信网络连接的 远程处理设备来执行。\n本发明还可以具体化为计算机可读介质上的计算机可读代码。所 述计算机可读介质是能够存储数据的任何数据存储设备,所述数据之 后能够由计算机系统读取。所述计算机可读介质还包含其中包括有计 算机代码的电磁载波。计算机可读介质的实例包括硬盘驱动器、网络 附属存储(NAS),只读存储器,随机存取存储器、CD-ROM,CD-R,CD-RW、 磁带、以及其他的光学和非光学的存储设备。所述计算机可读介质也 能够在网络耦合的计算机系统上分发,以便以分布式的方式存储和执 行所述计算机可读代码。\n尽管出于清楚理解的目的详细地描述了前述的发明,但是显而易 见的是在所述权利要求的范围内可以做出某些改变和修改。因此,当 前的实施方式应当视为举例说明性的而非限制性的,并且本发明不限 于在此给出的细节,而可以在所述权利要求的范围和等价物内做出修 改。在权利要求书中,部件和/或操作不意味着操作的任何特定次序, 除非权利要求书中有明确说明。
法律信息
- 2017-08-11
未缴年费专利权终止
IPC(主分类): H04N 5/262
专利号: ZL 200510078670.6
申请日: 2005.06.23
授权公告日: 2008.11.26
- 2008-11-26
- 2006-03-08
- 2006-01-18
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| | 暂无 |
1999-08-04
| | |
2
| | 暂无 |
1996-06-14
| | |
3
| |
2003-11-12
|
2003-05-03
| | |
4
| | 暂无 |
2002-04-09
| | |
5
| | 暂无 |
1996-09-05
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |