著录项信息
专利名称 | 通过注视方向选择对焦区域 |
申请号 | CN200780036838.4 | 申请日期 | 2007-06-25 |
法律状态 | 权利终止 | 申报国家 | 中国 |
公开/公告日 | 2009-09-02 | 公开/公告号 | CN101523895 |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N5/232 | IPC分类号 | H;0;4;N;5;/;2;3;2查看分类表>
|
申请人 | 索尼爱立信移动通讯有限公司 | 申请人地址 | 瑞典隆德
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 索尼爱立信移动通讯有限公司 | 当前权利人 | 索尼爱立信移动通讯有限公司 |
发明人 | 马丁·格雷普;奥拉·特恩 |
代理机构 | 北京三友知识产权代理有限公司 | 代理人 | 李辉 |
摘要
本发明公开了一种设备(10)中的图像对焦方法和便携式设备,该设备(10)包括:第一图像记录装置(24a),用于记录设备(10)的用户(50)的图像或视频序列;第二图像记录装置(24b),包括用于记录设备(10)的周围环境的图像或视频序列的自动对焦装置;显示装置(22),用于再现所记录的设备(10)的周围环境的图像或者视频序列,该方法包括以下步骤:由第二图像记录装置(24b)记录环境的图像或者视频序列;根据第一图像记录装置(24a)记录的图像或视频序列获得用户(50)的注视方向;根据获得的注视方向在由显示器(22)再现的图像或者视频序列中选择对焦区域;通过自动对焦装置对所记录的设备(10)的周围环境的图像或者视频序列进行对焦,使对焦区域内的一个或多个对象变得清晰。
1.一种用于对便携式设备(10)中的图像或者视频序列进行对焦的方法,该设备(10)包括:
-第一摄像机装置(24a),其用于记录所述设备(10)的用户(50)的面部的图像或者视频序列;
-第二摄像机装置(24b),其包括用于记录所述设备(10)的周围环境的图像或者视频序列的自动对焦装置;以及
-显示装置(22),其用于再现所记录的所述设备(10)的周围环境的图像或者视频序列,
该方法包括下述步骤:
-通过所述第二摄像机装置(24b)记录所述环境的图像或者视频序列;
-根据由所述第一摄像机装置(24a)记录的图像或者视频序列而获得所述用户(50)的注视方向;
-根据所获得的注视方向在由所述显示器(22)再现的图像或者视频序列中选择对焦区域;
-通过所述自动对焦装置对所记录的所述设备(10)的周围环境的图像或者视频序列进行对焦,使得所述对焦区域内的一个或多个对象变得清晰。
2.根据权利要求1所述的方法,其特征在于:获得朝向所述设备(10)的周围环境和/或朝向所述显示装置(22)的注视方向。
3.根据权利要求1所述的方法,其特征在于:获得所述用户(50)的面部的注视方向和/或所述用户(50)的至少一个眼睛的注视方向。
4.根据权利要求3所述的方法,其特征在于:根据所获得的所述用户(50)的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
5.根据权利要求1所述的方法,其特征在于:根据所获得的注视方向,在对焦区域的对焦栅格(700)中选择对焦区域或者对可移动对焦框(400)进行移动,以选择对焦区域。
6.根据权利要求5所述的方法,其特征在于:按照所述用户(50)的命令来改变所述对焦栅格(700)的形状或者所述对焦框(400)的形状。
7.根据权利要求5或6所述的方法,其中:所述对焦栅格(700)或者所述对焦框(400)对所述用户(50)可见。
8.根据权利要求1所述的方法,其中:所述便携式设备(10)是便携式通信设备。
9.根据权利要求1所述的方法,其中:所述第一摄像机装置(24a)在第一工作模式下记录所述用户(50)的图像或者视频序列以获得所述用户(50)的注视方向,并在第二工作模式下记录所述用户(50)的图像或者视频序列以在视频通话期间提供所述用户(50)的图像或者视频序列。
10.根据权利要求8所述的方法,其中:所述便携式通信设备是蜂窝电话(10)。
11.一种便携式设备(10),其包括:
-第一摄像机装置(24a),其用于记录所述设备(10)的用户(50)的面部的图像或者视频序列;
-第二摄像机装置(24b),其包括用于记录所述设备(10)的周围环境的图像或者视频序列的自动对焦装置;
-显示装置(22),其用于再现所记录的所述设备(10)的周围环境的图像或者视频序列;以及
-自动对焦控制器(40),其用于对所述设备(10)中的图像或者视频序列进行对焦,其特征在于所述自动对焦控制器(40)被设置为进行如下操作:
-根据由所述第一摄像机装置(24a)记录的图像或者视频序列而获得所述用户(50)的注视方向;
-根据所获得的注视方向在由所述显示器(22)再现的所述图像或者视频序列中选择对焦区域;
-通过所述自动对焦装置对所记录的所述设备(10)的周围环境的图像或者视频序列进行对焦,使得所述对焦区域内的一个或多个对象变得清晰。
12.根据权利要求11所述的便携式设备(10),其特征在于所述自动对焦控制器(40)被设置为获得朝向所述设备(10)的周围环境的注视方向和/或朝向所述显示装置(22)的注视方向。
13.根据权利要求11所述的便携式设备(10),其特征在于所述自动对焦控制器(40)被设置为获得所述用户(50)的面部的注视方向和/或所述用户(50)的至少一个眼睛的注视方向。
14.根据权利要求13所述的便携式设备(10),其特征在于所述自动对焦控制器(40)被设置为根据所获得的所述用户(50)的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。
15.根据权利要求11所述的便携式设备(10),其特征在于所述自动对焦控制器(40)被设置为:根据所获得的注视方向,在对焦区域的栅格中选择对焦区域或者对可移动对焦框(400)进行移动,以标识对焦区域。
16.根据权利要求15所述的便携式设备(10),其特征在于所述自动对焦控制器(40)被设置为按照所述用户(50)的命令而改变所述对焦栅格(700)的形状或者所述对焦框(400)的形状。
17.根据权利要求15或16所述的便携式设备(10),其特征在于所述对焦栅格(700)或者所述对焦框(400)对所述用户(50)可见。
18.根据权利要求11所述的便携式设备(10),其特征在于所述便携式设备(10)是便携式通信设备。
19.根据权利要求11所述的便携式设备(10),其特征在于所述第一摄像机装置(24a)被设置为在第一工作模式下记录所述用户(50)的图像或者视频序列以获得所述用户(50)的注视方向,并且被设置为在第二模式下记录所述用户(50)的图像或者视频序列以在视频通话期间提供所述用户(50)的图像或者视频序列。
20.根据权利要求18所述的便携式设备(10),其特征在于所述便携式通信设备是蜂窝电话。
通过注视方向选择对焦区域\n技术领域\n[0001] 本发明涉及包括成像系统的便携式设备领域。具体地说,本发明涉及一种用于在成像系统中选择图像中的对焦区域的方法和装置。\n背景技术\n[0002] 对于便携式成像设备领域的技术人员来说公知的是,可以通过所谓的自动对焦装置来得到图像的正确对焦。对于大多数数字静态摄像机(DSC:Digital Still Camera)来说,自动对焦装置的速度和准确度优于图像对焦的手动调节。\n[0003] 自动对焦装置通常基于主动系统或被动系统。主动系统通常分两个步骤来工作。\n在第一步骤中执行与光学系统分离的距离测量(例如,基于超声波或红外光等)。在第二步骤中基于测得的距离执行光学系统的调焦。相比较而言,被动系统不依赖于从摄像机向待记录对象的(例如,电磁射线或声波等形式的)发射等。相反,这种系统利用由对象自然地反射的光。被动自动对焦可以通过例如相位检测或对比度测量来实现,这在本领域是公知的。\n[0004] 然而,由于整个图像不能同时对焦,所以必须确定图像中待对焦的部分。为此,已有的自动对焦系统利用取景器,该取景器具有必须瞄准图像要对焦的对象的对焦框等。如果对焦框瞄准别处,就不能保证期望对象在所记录的图像中对准了焦点。然而,由于对焦框通常设置在取景器的中央,因此难以使图像对焦于位于图像中央外部(即位于图像的外围)的对象上。\n[0005] 为了弥补这一点,一些取景器具有供选择的多个对焦框。图像对焦点例如可以设置在中间、右侧、左侧、上部或者下部等。然而,只能选择一种设置。该设置通常自动选择,并且对焦点通常设置在对焦区域中离摄像机最近的对象上。\n[0006] 鉴于以上情况,有益的是向便携式成像设备的用户提供一种以期望的景深对图像进行对焦的更为有效且灵活的方式。具体地说,有益的是提供一种简单、灵活且直观的对焦。更具体地说,有益的是提供这种改进的对焦方式而不必添加用来实现这一改进的辅助硬件。\n发明内容\n[0007] 本发明旨在解决的问题是向便携式成像设备的用户提供一种将图像对焦在期望对焦区域上的有效且灵活的方式。具体地说,本发明想要解决的问题是提供一种简单、灵活且直观的对焦方式。\n[0008] 根据本发明的第一方面解决了上述问题中的至少一个,本发明的第一方面提供了一种用于对便携式设备中的图像或者视频序列进行对焦的方法,该设备包括:第一图像记录装置,其用于记录所述设备的用户的图像或者视频序列;第二图像记录装置,其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置;以及显示装置,其用于再现所记录的所述设备的周围环境的图像或者视频序列。\n[0009] 所述方法包括下述步骤:\n[0010] -通过所述第二图像记录装置记录所述环境的图像或者视频序列;\n[0011] -根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向;\n[0012] -根据所获得的注视方向在由所述显示器再现的图像或者视频序列中选择对焦区域;\n[0013] -通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦,使得所述对焦区域内的一个或多个对象变得清晰。\n[0014] 本发明的第二方面旨在提供一种包括第一方面的特征的方法,其特征在于获得朝向所述设备的周围环境和/或朝向所述设备的所述显示装置的注视方向。\n[0015] 本发明的第三方面旨在提供一种包括第一方面的特征的方法,其特征在于获得所述用户的面部的注视方向和/或所述用户的至少一个眼睛的注视方向。\n[0016] 本发明的第四方面旨在提供一种包括第三方面的特征的方法,其特征在于根据所获得的所述用户的面部的注视方向和所述至少一个眼睛的注视方向二者来选择对焦区域。\n[0017] 本发明的第五方面旨在提供一种包括第一方面的特征的方法,其特征在于根据所获得的注视方向,在对焦区域的对焦栅格中选择对焦区域或者对可移动对焦框进行移动,以选择对焦区域。\n[0018] 本发明的第六方面旨在提供一种包括第五方面的特征的方法,其特征在于按照所述用户的命令来改变所述对焦栅格的形状或者所述对焦框的形状。\n[0019] 本发明的第七方面旨在提供一种包括第五方面或者第六方面的特征的方法,其中,所述对焦栅格或者对焦框对所述用户可见。\n[0020] 本发明的第八方面旨在提供一种包括第一方面的特征的方法,其中,所述便携式设备是便携式通信设备。\n[0021] 本发明的第九方面旨在提供一种包括第一方面的特征的方法,其中,所述第一成像装置在第一工作模式下记录所述用户的图像或者视频序列以获得所述用户的注视方向,并在第二工作模式下记录所述用户的图像或者视频序列以在视频通话期间提供所述用户的图像或者视频序列。\n[0022] 本发明的第十方面旨在提供一种包括第九方面的特征的方法,其中,所述便携式通信设备是蜂窝电话。\n[0023] 此外,根据本发明的第十一方面解决了上述问题中的至少一个,本发明的第十一方面提供了一种便携式设备,该便携式设备包括:第一图像记录装置,其用于记录所述设备的用户的图像或者视频序列;第二图像记录装置,其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置;显示装置,其用于再现所记录的所述设备的周围环境的图像或者视频序列;以及自动对焦控制器,其用于对所述设备中的图像或者视频序列进行对焦。\n[0024] 所述便携式设备的特征在于所述自动对焦控制器被设置为进行如下操作:根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向;根据所获得的注视方向在由所述显示器再现的所述图像或者视频序列中选择对焦区域;通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦,使得所述对焦区域内的一个或多个对象变得清晰。\n[0025] 本发明的第十二方面旨在提供一种包括第十一方面的特征的设备,其特征在于所述自动对焦控制器被设置为获得朝向所述设备的周围环境的注视方向。\n[0026] 本发明的第十三方面旨在提供一种包括第十一方面的特征的设备,其特征在于所述自动对焦控制器被设置为获得所述用户的面部的注视方向和/或所述用户的至少一个眼睛的注视方向。\n[0027] 本发明的第十四方面旨在提供一种包括第十三方面的特征的设备,其特征在于所述自动对焦控制器被设置为根据所获得的所述用户的面部的注视方向和所述用户的所述至少一个眼睛的注视方向二者来选择对焦区域。\n[0028] 本发明的第十五方面旨在提供一种包括第十一方面的特征的设备,其特征在于所述自动对焦控制器被设置为:根据所获得的注视方向,在对焦区域栅格中选择对焦区域或者对可移动对焦框进行移动,以标识对焦区域。\n[0029] 本发明的第十六方面旨在提供一种包括第十五方面的特征的设备,其特征在于所述自动对焦控制器被设置为按照所述用户的命令而改变所述对焦栅格的形状或者所述对焦框的形状。\n[0030] 本发明的第十七方面旨在提供一种包括第十五方面或者第十六方面的特征的设备,其特征在于所述对焦栅格或者对焦框对所述用户可见。\n[0031] 本发明的第十八方面旨在提供一种包括第十一方面的特征的设备,其特征在于所述便携式设备是便携式通信设备。\n[0032] 本发明的第十九方面旨在提供一种包括第十一方面的特征的设备,其特征在于所述第一成像装置被设置为在第一工作模式下记录所述用户的图像或者视频序列以获得所述用户的注视方向,并且被设置为在第二模式下记录所述用户的图像或者视频序列以在视频通话期间提供所述用户的图像或者视频序列。\n[0033] 本发明的第二十方面旨在提供一种包括第十九方面的特征的设备,其特征在于所述便携式通信设备是蜂窝电话。\n[0034] 本发明的第二十一方面旨在提供一种存储在计算机可用介质上并包括可读程序单元的计算机程序产品,该可读程序单元用于在所述程序单元被加载到便携式设备中时使得所述便携式设备执行多个步骤,所述便携式设备包括:第一图像记录装置,其用于记录所述设备的用户的图像或者视频序列;第二图像记录装置,其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置;显示装置,其用于再现所记录的所述设备的周围环境的图像或者视频序列;以及自动对焦控制器,其用于对所述设备中的图像或者视频序列进行对焦,\n[0035] 所述步骤包括:\n[0036] -通过所述第二图像记录装置记录所述环境的图像;\n[0037] -根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向;\n[0038] -根据所获得的注视方向在由所述显示器再现的所述图像或者视频序列中选择对焦区域;\n[0039] -通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦,使得所述对焦区域内的一个或多个对象变得清晰。\n[0040] 本发明的第二十二方面旨在提供一种记录有程序的计算机程序元件,其中所述程序用于在所述程序单元被加载到便携式设备中时使得所述便携式设备执行多个步骤,所述便携式设备包括:第一图像记录装置,其用于记录所述设备的用户的图像或者视频序列;\n第二图像记录装置,其包括用于记录所述设备的周围环境的图像或者视频序列的自动对焦装置;显示装置,其用于再现所记录的所述设备的周围环境的图像或者视频序列;以及自动对焦控制器,其用于对所述设备中的图像或者视频序列进行对焦,\n[0041] 所述步骤包括:\n[0042] -通过所述第二图像记录装置记录所述环境的图像;\n[0043] -根据由所述第一图像记录装置记录的图像或者视频序列而获得所述用户的注视方向;\n[0044] -根据所获得的注视方向在由所述显示器再现的所述图像或者视频序列中选择对焦区域;\n[0045] -通过所述自动对焦装置对所记录的所述设备的周围环境的图像或者视频序列进行对焦,使得所述对焦区域内的一个或多个对象变得清晰。\n[0046] 本发明及其实施方式的更多优点将通过本发明的以下详细说明而显现。\n[0047] 应当强调的是,说明书中使用的术语“包括”用来指明存在所述特征、整体、步骤或部件,但并不排除存在或添加一个或更多个其它特征、整体、步骤、部件或它们的组。\n[0048] 还应当强调的是在不偏离本发明的情况下,所附权利要求所限定的方法可以按照与这些方法在权利要求中出现的顺序不同的另一顺序来执行。\n附图说明\n[0049] 现在将结合附图更详细地描述本发明,在附图中:\n[0050] 图1示出了蜂窝电话形式的便携式通信设备的第一侧;\n[0051] 图2示出了图1中的便携式通信设备的第二侧;\n[0052] 图3示出了连接到蜂窝网络的图1至图2中的蜂窝电话;\n[0053] 图4示出了图1至图3中的蜂窝电话的相关部件的示意性框图;\n[0054] 图5示出了使用图1至图3中的蜂窝电话的用户;\n[0055] 图6a示出了转向大致正前方的用户50的头部;\n[0056] 图6b示出了转向用户50左侧的该用户的头部;\n[0057] 图6c示出了转向用户50右侧的该用户的头部;\n[0058] 图7a示出了显示器22上的对焦栅格,其中对焦点在该栅格的中央;\n[0059] 图7b示出了对焦点在栅格中的左边的情况下图7a中的对焦栅格;\n[0060] 图7c示出了对焦点在栅格中的右边的情况下图7a中的对焦栅格;\n[0061] 图8a示出了再现示例性和示意性图像的图1至图3中的蜂窝电话的显示器;\n[0062] 图8b示出了再现示例性和示意性图像的图1至图3中的蜂窝电话的显示器;\n[0063] 图9示出了执行根据本发明的一个优选实施方式的方法的方法流程图;\n[0064] 图10示出了其上具有用于执行根据本发明的方法的程序代码的CD-ROM。\n具体实施方式\n[0065] 本发明涉及包括成像系统的便携式设备。具体地说,本发明涉及包括成像系统的便携式通信设备。然而,本发明绝不限于通信设备。而是可应用于包括合适的成像系统的任何合适的便携式设备。\n[0066] 图1至图2中示出了根据本发明一个优选实施方式的示例性便携式通信设备。优选地,该设备为适于根据3G技术(例如W-CDMA或者CDMA2000)或者可能根据2.5G技术(例如GPRS)或者类似技术工作的移动蜂窝电话10。例如在第3代合作伙伴计划(3GPP)的规范中可以找到关于3G技术和2.5G技术的信息,例如参见网站www.3gpp.org。\n[0067] 然而,应当强调的是,图1至图2中的蜂窝电话10仅仅是能够实现本发明的便携式设备的一个示例。此外,本发明例如能够用在PDA(个人数字助理)、掌上计算机、膝上计算机或智能电话,或者任何其他合适的便携式设备中。\n[0068] 图1示出了省略表示(i.a.)的包括键盘12、扬声器14和麦克风16的蜂窝电话\n10的第一侧。键盘12用于输入诸如功能选择之类的信息并对提示进行响应。键盘12可以具有任何适当的类型,包括但不限于带有适当的按键按钮或触摸按钮等和/或不同的适当按钮装置的组合的键盘。扬声器14用于向用户呈现声音,而麦克风16用于感测来自用户的语音。另外,蜂窝电话10包括用于经由网络与其他用户进行通信的天线。该天线内置在电话10中,因而在图1中没有示出。\n[0069] 另外,图1中所示的蜂窝电话10的第一侧包括用于向蜂窝电话10的用户显示功能和提示的显示器22。显示器22还用于呈现图像和/或视频序列。这里,应当强调的是,优选地将显示器22设置为呈现先前记录的图像和/或视频序列以及当前记录的图像。换句话说,优选的是,显示器22既能够充当取景器又能够充当先记录图像和/或视频序列的呈现装置。\n[0070] 此外,图1中所示的蜂窝电话10的第一侧包括第一摄像机装置24a,该装置使得蜂窝电话10能够以数字方式记录图像。优选地,第一摄像机24a包括透镜和/或透镜系统以及图像传感器,该图像传感器例如是构建在包含链接式或耦合式光敏电容器阵列等的集成电路上的CCD(电荷耦合器件)图像传感器。当然,可以设想采用其他图像传感器,例如构建在包含像素阵列的集成电路上的APS(有源像素传感器),其中每个像素都包含光电检测器以及三个或更多个晶体管。APS能够通过普通的CMOS工艺来制造,并且其功耗小于传统CCD。第一摄像机24a通常是用于在视频通话期间记录蜂窝电话10的用户的图像和/或视频序列的视频通话摄像机,这对于本领域的技术人员而言是公知的。例如在索尼爱立信移动蜂窝电话P990i、W850i、K610i和Z610i中提供了视频通话摄像机功能等。\n[0071] 图2示出了包括第二摄像机装置24b的蜂窝电话10的第二侧。通常,第二摄像机\n24b包括与第一摄像机装置24a相同或者类似的基本结构和功能。然而,第二摄像机24b优选地为蜂窝电话10的主摄像机,因此优选的是,与第一摄像机24a相比,第二摄像机24b具有增强的性能,例如更高的分辨率。具体地说,第二摄像机24b具有用于获得待记录图像的正确对焦的自动对焦装置等。例如在索尼爱立信移动蜂窝电话P990i、W900i、K800i和W810i中提供了自动对焦功能。各种合适的自动对焦装置的基本结构和功能对于本领域的技术人员而言是公知的,因此无需赘述。\n[0072] 图3示出了经由基站32连接到蜂窝网络30的蜂窝电话10。网络30优选地为3G网络(例如WCDMA网络),但它也可以是GPRS网络或者其他2.5G或2.75G网络。但是,该网络不一定是蜂窝网络,而可以是某种其他类型的网络,例如互联网、企业内部网络、LAN或无线LAN。\n[0073] 图4示出了蜂窝电话10内部的与本发明相关的部件。如前所述,优选的是,蜂窝电话10包括键盘12、扬声器14、麦克风16、显示器22、第一摄像机装置24a和第二摄像机装置24b。此外,蜂窝电话10优选地具有存储器装置18,用于存储例如系统文件和数据文件,特别是用于存储包括由第二摄像机装置24b生成的图像的文件。存储器18可以是便携式设备中所使用的任何适当的存储器或者存储器的组合。\n[0074] 此外,蜂窝电话10包括连接到射频电路36的天线34,使得能够与图3中的网络\n30进行无线电通信。射频电路36进而连接到事件处理单元19,该事件处理单元19用于处理例如是经由网络30发往和来自外部单元的出局及入局通信之类的事件,例如呼叫以及消息(例如SMS(短消息服务)和MMS(多媒体消息传送服务))。\n[0075] 此外,蜂窝电话10具有对蜂窝电话10的工作进行控制和监视的控制单元20。控制单元20可以通过硬件和/或软件来实现,并且它可以包括一个或几个硬件单元和/或软件模块,例如,具有或有权访问由蜂窝电话10执行的功能所需要的合适软件和硬件的一个或几个处理器单元,这是本领域技术人员所公知的。从图4中可以看出,优选的是,控制单元20连接到键盘12、扬声器14、麦克风16、事件处理单元19、显示器22、摄像机24a和24b、射频单元36和存储器18。这使得控制单元20能够控制这些单元并与它们进行通信,从而例如与这些单元交换信息和指令。\n[0076] 控制单元20所包括的自动对焦控制器40与本发明特别相关。作为控制单元20的一部分意味着自动对焦控制器40可以通过硬件和/或软件来实现,并且它可以包括一个或几个硬件单元和/或软件模块,例如,具有或者有权访问适于所需功能的软件和硬件的一个或几个处理器单元。自动对焦控制器40被设置为通过第一摄像机24a对用户50的面部进行记录来控制第二摄像机24b的自动对焦装置,这将在下面更详细地描述。\n[0077] 图5示出了使用根据本发明的一个实施方式的蜂窝电话10的用户50的头部。从图5可以看出,蜂窝电话10优选地保持位于用户50前方的操作位置。将操作位置选择为使得第一摄像机24a能够记录位于显示器22前方的用户50的头部的图像,显示器22在操作时再现由第二摄像机24b当前记录的场景。\n[0078] 自动对焦控制器40被设置为处理第一摄像机24a所记录的用户50的面部的图像,以获得用户50的面部的注视方向和/或用户50的眼睛的注视方向。这里,假设面部和/或眼睛朝向要由第二摄像机24b记录的对象。然而,应当补充的是,用户50的面部和/或眼睛也可以朝向蜂窝电话10的摄像机24a和显示器22。所获得的面部的注视方向和眼睛的注视方向可以相互补充,例如,如果所获得的面部方向或眼睛方向不确定,或者在用户斜视待记录的对象的情况下,即眼睛朝向待记录的对象而面部朝向其他方向,或者相反。\n[0079] 例如通过合适的面部识别方法等以及合适的眼睛追踪算法等可以获得面部方向和眼睛方向。为此,存在各种各样的公知的面部识别技术,用于检测所记录的图像中或者所记录的图像序列中用户的面部方向,参见公布的专利申请US 2001/0019620(Nagai等人)。\n类似地,存在各种各样的公知的眼睛追踪技术,用于检测用户的眼睛的注视方向,参见专利US 6,152,563(Hutchinson等人)和公布的专利申请US 2006/0110008 A1(Vertegaal等人)和US 2006/0007396 A1(Clement等人)。受益于本公开的本领域技术人员会认识到存在适于通过第一摄像机24a的记录来追踪用户50的面部方向和眼睛的注视方向的类似或者等同方法。例如,可以通过被眼睛的外部和/或内部反射然后由第一摄像机装置24a记录的红外照明来执行用户50的眼睛的视线追踪。红外光从眼睛反射并被摄像机装置24a感测到。然后由自动对焦控制器40对信息进行分析,以根据反射的变化提取眼睛的转动。\n通常,角膜反射(第一浦肯雅(Purkinje)图像)和瞳孔中心可以用作随时间进行追踪的特征。更灵敏型的眼睛追踪器(双浦肯雅眼睛追踪器)利用了来自角膜前面的反射(第一浦肯雅图像)和晶状体背面的反射(第四浦肯雅图像)作为特征进行追踪。另一个更灵敏的追踪方法是对来自眼睛内部的特征(例如视网膜血管)进行成像,并随着眼睛转动而跟踪这些特征。\n[0080] 自动对焦控制器40进一步适于对第二摄像机24b的自动对焦装置进行控制,以便根据通过第一摄像机24a所记录的图像获得的用户50的面部方向和/或眼睛方向来改变将由第二摄像机24b记录的图像的对焦点。\n[0081] 如图6a至图6c中所示意性示出的,优选的是,自动对焦控制器40被设置为检测当用户50的面部转到大致正前方(如图6a中所示意性示出的)、转到左方(如图6b中所示意性示出的)和转到右方(如图6c中所示意性示出的)时用户50的至少一个面部方向。\n[0082] 如图7a至图7c中所示意性示出,电话10的显示器22可以划分为对焦栅格700,例如包括九个方形区域的栅格。对用户50而言栅格可以是可见的或者不可见的,并且,与图7a至图7c中示意性示出的相比,它可以包括更多或者更少的方块或其他适当限定的对焦区域。例如,栅格中的对焦区域还可以是矩形或者某种其他多边形,或者圆形或椭圆形或具有圆角或斜角的多边形。\n[0083] 栅格700与例如可以通过如上所述的公知的面部识别方法或者眼睛追踪算法等而获得的用户50的面部方向和/或用户50的眼睛方向相关。然而,当用户50的面部转向大致正前方时(如图6a中所示),自动对焦控制器40将对显示器22上呈现的图像进行对焦,使得它在栅格700的中央方块中变得清晰,如图7a中圆圈示意性指示的。类似地,当用户50的面部转向左侧时(如图6b中所示),自动对焦控制器40将对显示器22上呈现的图像进行对焦,使得它在栅格700的左边方块中变得清晰,如图7b中圆圈示意性指示的。当用户50的面部转向右侧时(如图6c中所示),自动对焦控制器40将对显示器22上呈现的图像进行对焦,使得它在栅格700的右边方块中变得清晰,如图7c中圆圈示意性指示的。\n此外,自动对焦控制器40可以设置为检测用户50正在向上看还是向下看。在这种情况下,当用户50向下看时,经适当修正后(mutatis mutandis),可以使用位于上述中间行下方的一行中的方块之一,而当用户50向上看时,经适当修正后,可以使用位于中间行上方的一行中的方块。对于用户50的眼睛方向,经适当修正后,以上方法同样适用。当用户已经注视一个方向达预定时段时可以选择并冻结对焦框。该预定时段例如可以是小于三秒、小于两秒、小于一秒、小于0.5秒、小于0.4秒、小于0.3秒、小于0.2秒或者小于0.1秒。\n[0084] 作为对焦栅格700中对焦区域的替代,蜂窝电话10可以利用如图8a至图8b中所指示的可移动对焦框400形式的可移动对焦区域而工作。则优选的是,可移动框400是可见的,使得用户50能够看到图像要对焦的对象。这给用户提供了对于对焦处理的改进的控制。对焦框400可以是方形或者矩形或者某种其他多边形。然而,显然可以设想到其他形状,例如圆形或椭圆形或具有圆角或斜角的多边形。进一步优选的是,对焦框400覆盖了显示图像的少于一半的面积,更优选的是覆盖了少于显示图像的25%的面积,还更优选的是覆盖了显示图像的少于10%的面积。\n[0085] 在可移动对焦框400的情况下,优选的是,自动对焦控制器40被设置为根据用户\n50的当前面部的注视方向和/或根据用户50的眼睛的注视方向将对焦框400等移到显示器22中的不同位置。如上所述,可以通过包括了用于对第一摄像机24a所生成的图像中的用户面部和眼睛进行分析的适当面部识别技术和眼睛追踪技术等的自动对焦控制器40而获得用户的面部方向和用户50的眼睛的注视方向。一旦对焦框400被定位,就可以通过由自动对焦控制器40控制的第二摄像机24b的自动对焦装置对显示器22上呈现的图像进行对焦,自动对焦控制器40以公知方式处理对焦框400内的一个或多个对象。\n[0086] 参照图8a和8b可以更清楚地描述可移动对焦框400,图8a和8b例示了呈现出示例性和示意性图像的图1中的蜂窝电话10的显示器22。该图像包括示意性示出的位于前景中较近位置处的人物P和示意性示出的位于背景中较远位置处的树木T。图8a示出了定位成覆盖人物P的面部的对焦框400,这意味着根据本发明的图像将被对焦成使人物P的面部清晰而背景中的树木T模糊。图8b示出了被移动从而覆盖了树木T的树冠的对焦框\n400,这意味着根据本发明的图像将被对焦成使树木T的树冠清晰而前景中的人物P模糊。\n因此,通过将覆盖了在显示器22上呈现的图像的一部分的框400移动到所呈现图像的不同位置,可以大致按期望对图像进行对焦。当然,如果将显示器22划分为如上所述的对焦栅格,经过适当修正后上述方法同样适用,即,图像将会对焦于根据用户50的面部的注视方向和/或用户50的眼睛的注视方向而选择的栅格的区域中。\n[0087] 本发明所提供的一个优点在于,便携式通信设备的用户感受到了改进的图像对焦控制。因此,用户不会受到传统自动对焦系统通常所需要的瞄准和操作的困扰,并且用户不一定限于从少量固定对焦框中进行手动选择。而是,根据上面讨论的实施方式,用户仅需要瞄准蜂窝手机10的主摄像机24b来拍摄待记录的图像。然后根据用户50的面部的注视方向和/或根据用户的眼睛的注视方向以简单、方便且有效的方式对所拍摄的图像进行对焦。\n[0088] 应当补充的是,可以通过来自用户50的命令(例如通过来自蜂窝电话10的键盘\n12上的按钮等的命令)来改变对焦栅格700的形状。例如,可以改变对焦区域的数量;可以改变对焦区域的形状;对焦区域的构成可以改变为代表不同图案,例如可以改变成彼此相邻地排列或者在空间上分离,改变成排列为圆形图案、或者三角形图案或者某种其他多边形图案等。这使得能够利用小的对焦区域而对焦于小的对象上,并且能够利用较大的对焦区域而对焦于大的对象或者几个小的对象上。简言之,这使得能够调节对焦区域的形式和大小,以适合于要对焦的一个或几个对象。\n[0089] 同样,可以通过来自用户50的命令(例如通过来自蜂窝电话10的键盘12上的按钮等的命令)来改变可移动对焦框400的形状。这使得能够利用小框而对焦于小的对象上,并且能够利用较大的框而对焦于大的对象或者几个小的对象上。简言之,这使得能够调节对焦框的大小,以适合于要对焦的一个或多个对象。简言之,这使得能够调节对焦框400的形式和大小,以便适合于要对焦的一个或多个对象。\n[0090] 在我们继续说明之前,应当强调的是,除了图3中所示的部件和单元之外,在蜂窝电话10中可以有其他部件和单元等。图3中所示的部件和单元还可以连接到比所例示的更多的部件和单元。\n[0091] 现在将注意力转向本发明的一个示例性实施方式的功能,将参照图1至图8b和图\n9对此进行描述,其中图9示出了根据本发明的方法的一个优选实施方式的流程图。\n[0092] 如前所述,根据本发明的一个实施方式的蜂窝电话10包括主要被设置用于对视频通话期间用户50的图像和/或视频序列进行记录的第一摄像机24a。此外,蜂窝电话10包括用于记录蜂窝电话10的周围环境的高质量图像的第二摄像机装置24b。具体地说,如下面将更详细地描述的,第二摄像机装置24b具有自动对焦装置,该自动对焦装置被设置为由对第一摄像机24a所作的用户50的面部和/或眼睛的记录进行操作的自动对焦控制器40进行控制。\n[0093] 本发明的有利实施方式使用具有两个摄像机的通信设备,例如,对于支持视频通话的蜂窝电话而言这是典型配置。\n[0094] 主要优点在于,通过两个摄像机在支持视频通话的通信设备中实现本发明不需要任何辅助硬件(至少不需要辅助摄像机),即已经有了所需要的硬件。\n[0095] 现在参照图9中的示例性流程图来描述借助于第二摄像机24b的自动对焦装置对所拍摄的图像进行对焦的示例性方法的步骤,该自动对焦装置利用由第一摄像机24a对用户50的面部和/或眼睛所作的记录对可移动对焦框进行定位以覆盖显示器22上再现的拍摄图像的一部分。该方法优选地通过如图4中示意性例示的自动对焦控制器40来实现。\n[0096] 在根据本发明的一个实施方式的示例性方法的第一步骤S1中,对自动对焦控制器40所执行的对焦功能进行初始化。该初始化可以包括这样的动作:利用第一摄像机24a记录用户50的图像,利用第二摄像机24b记录蜂窝手机10的周围环境的图像,并通过显示器22再现所记录的周围环境的图像。此外,优选的是,该初始化包括对显示器22上的对焦栅格(通常对用户50不可见)进行分配,或者将可移动对焦框400置于显示器22中的起始位置处。\n[0097] 在该示例性方法的第二步骤S2中,通过被设置为对第一摄像机24a所记录的用户50的面部图像进行处理的自动对焦控制器40而获得用户50的面部方向和/或眼睛方向。优选地通过利用了先前所述的合适面部识别技术等和可能的合适眼睛追踪技术等的自动对焦控制器40对所记录的用户50的面部图像进行处理。这里,假设用户50使面部和眼睛朝向要由第二摄像机24b记录的对象。如果以图8a为例,用户50可以在人物P和树木T出现在蜂窝电话10的周围环境中时使面部和眼睛朝向人物P或者树木T。在任何情况下,已知的面部或眼睛追踪算法等至少能够检测用户50的面部可能还有眼睛是朝正前、朝左还是朝右,是朝上还是朝下。此外,已知的面部或眼睛追踪算法能够用于检测用户50的面部和/或眼睛是否朝向蜂窝电话10的摄像机24a和显示器22,还能够用于检测显示器22中用户50所注视的区域。因此,能够检测当人物P和树木T出现在蜂窝电话10的显示装置22上时用户50是注视人物P还是树木T。\n[0098] 在该示例性方法的第三步骤S3中,根据在上一步骤S2中获得的用户50的面部的注视方向和/或眼睛的注视方向来选择对焦区域。例如,如前所述参照示例性的图6a至图\n6c以及图7a至图7c相应地选择对焦栅格中的区域。类似地,如图8a和8b中所示,可以相应地移动对焦框400。\n[0099] 优选的是,通过自动对焦控制器40来选择对焦区域。然而,自动对焦控制器40还可以为另一硬件和/或软件单元提供所获得的用户50的面部方向和/或眼睛方向,该单元进而在显示器22所再现的图像内选择对焦区域。\n[0100] 在该示例性方法的第四步骤S4中,例如在用户按下了键盘12等上的按钮等的情况下,或者在用户仅仅是在短时间内停止移动面部和/或眼睛的情况下,选择由对焦区域所标识的关注对象。自动对焦控制器40利用图像中由对焦区域所限定的部分对图像进行对焦,使得该对焦区域内的一个或多个对象变得清晰。通常通过选择使得在对焦区域内呈现最佳清晰度的对焦设定来执行该操作,在具有传统自动对焦的几乎所有数码摄像机中都要例行地进行这项工作。为此,例如可以通过边缘检测算法来分析对焦区域内的图像,根据该算法,选择在对焦框内示出最多边缘的自动对焦设定对图像进行对焦,因为它代表最清晰的图像,参见例如已公布的专利申请US 2006/0062484 A1(Aas等人)。\n[0101] 通常,如前所述,优选的是,以一个或更多个处理器的形式来提供被设置为执行上述示例性方法的自动对焦控制器40,该一个或更多个处理器具有包含程序代码形式的适当软件的相应存储器。但是,该程序代码也可以设置在数据载体(如图8中所示的CD ROM盘\n46或可插入式记忆棒)上,该数据载体在被加载到计算机中或具有适当处理能力的电话中时将执行本发明。也可以从蜂窝网络外部的或内部的服务器远程下载该程序代码,或者经由与电话临时连接的类似PC的计算机来下载该程序代码。\n[0102] 作为一般说明,应当补充的是,上面所用的“图像”这一表述可以包括视频序列(如果这在本发明的一些实施方式中更恰当的话)。\n[0103] 至此已经参照示例性实施方式描述了本发明。然而,本发明并不限于这里描述的实施方式。相反,本发明的全部范围仅由所附权利要求的范围决定。
法律信息
- 2020-06-23
未缴年费专利权终止
IPC(主分类): H04N 5/232
专利号: ZL 200780036838.4
申请日: 2007.06.25
授权公告日: 2012.06.27
- 2012-06-27
- 2009-10-28
- 2009-09-02
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |