著录项信息
专利名称 | 显示系统和方法 |
申请号 | CN201310182182.4 | 申请日期 | 2013-05-16 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2014-06-18 | 公开/公告号 | CN103871045A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06T7/292 | IPC分类号 | G;0;6;T;7;/;2;9;2;;;H;0;4;N;5;/;2;3;2查看分类表>
|
申请人 | 现代自动车株式会社 | 申请人地址 | 韩国首尔
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 现代自动车株式会社 | 当前权利人 | 现代自动车株式会社 |
发明人 | 卢熙真;李奭范;石东熙;朴晟珉 |
代理机构 | 北京尚诚知识产权代理有限公司 | 代理人 | 龙淳 |
摘要
显示系统包括:用于检测驾驶者的眼球的视线跟踪摄像机、第一和第二立体摄像机、控制单元以及存储单元。第一和第二立体摄像机根据基于立体摄像机的视线信息拍摄与视野相应的范围,并提供拍摄的图像,其中该基于立体摄像机的视线信息根据基于预存的视线跟踪摄像机的视线信息而改变。控制单元基于跟踪摄像机以及第一和第二立体摄像机的位置和旋转信息将基于视线跟踪摄像机的视线信息转换为基于第一和第二立体摄像机的视线信息,并且将转换后的信息投射到第一和第二立体摄像机上,从而计算三维视线坐标。存储单元存储与系统有关的信息以及跟踪摄像机以及第一和第二立体摄像机的位置和旋转信息。
1.一种显示系统,包括:
视线跟踪摄像机,配置成检测驾驶者的眼球;
第一和第二立体摄像机,配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围,并提供拍摄的图像,其中所述基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变;
控制单元,配置成基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息来将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息,并将转换后的信息投射到所述第一和第二立体摄像机上,从而计算驾驶者视线的三维坐标;以及
存储单元,配置成存储与所述显示系统有关的信息以及所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息,
所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量,并且
所述控制单元配置成将所述基于视线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机的视线跟踪矢量单眼点。
2.根据权利要求1所述的显示系统,其中所述控制单元配置成通过下式将所述基于视线跟踪摄像机的视线跟踪矢量单眼点 转换为基于立体摄像机
的视线跟踪矢量单眼点
其中 和 表示位置信息,且Θx,Θy,Θz表示旋转信息。
3.一种显示系统,包括:
视线跟踪摄像机,配置成检测驾驶者的眼球;
第一和第二立体摄像机,配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围,并提供拍摄的图像,其中所述基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变;
控制单元,配置成基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息来将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息,并将转换后的信息投射到所述第一和第二立体摄像机上,从而计算驾驶者视线的三维坐标;以及
存储单元,配置成存储与所述显示系统有关的信息以及所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息,
所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量,并且
所述控制单元配置成将所述基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量。
4.根据权利要求3所述的显示系统,其中所述控制单元配置成通过下式将所述基于视线跟踪摄像机的视线跟踪矢量 转换为基于立体摄像机的视线跟踪矢量其中Θx,Θy,Θz表示旋转信息。
5.一种显示系统,包括:
视线跟踪摄像机,配置成检测驾驶者的眼球;
第一和第二立体摄像机,配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围,并提供拍摄的图像,其中所述基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变;
控制单元,配置成基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息来将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息,并将转换后的信息投射到所述第一和第二立体摄像机上,从而计算驾驶者视线的三维坐标;以及
存储单元,配置成存储与所述显示系统有关的信息以及所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息,
所述控制单元配置成根据投射到所述第一和第二立体摄像机上的基于立体摄像机的视线跟踪矢量计算驾驶者视线注视点,并基于计算出的驾驶者视线注视点计算所述驾驶者视线的三维坐标。
6.根据权利要求5所述的显示系统,其中所述控制单元配置成在投射到所述第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口,根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点,执行模板匹配使得被移动的窗口与所述第二立体摄像机的视线跟踪矢量相应,并且作为执行所述模板匹配的结果将模板匹配位置中的最高模板匹配位置识别为驾驶者视线注视点。
7.根据权利要求5所述的显示系统,其中所述驾驶者视线的三维坐标为P(Xp,Yp,Zp),且
其中P1(x1,y1)为P投射到所述第一立体摄像机的成像表面上的点,Pr(xr,yr)为P投射到所述第二立体摄像机的成像表面上的点,f为所述摄像机的焦距,T为所述第一和第二立体摄像机之间的距离,且d为坐标测量点的距离除以所述摄像机的焦距所获得的值。
8.一种在包括视线跟踪摄像机以及第一和第二立体摄像机的显示系统中提供三维驾驶者视线的显示方法,所述显示方法包括:
通过所述视线跟踪摄像机检测驾驶者的眼球,以识别基于视线跟踪摄像机的驾驶者视线信息;
基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息,将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息;
根据所述基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者视线注视点;以及将所述驾驶者视线注视点转换为驾驶者视线的三维坐标,
所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量,并且
将所述基于视线跟踪摄像机的驾驶者视线信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括将所述基于视线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机的视线跟踪矢量单眼点。
9.根据权利要求8所述的显示方法,其中将所述基于视线跟踪摄像机的驾驶者视线信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括通过下式将所述基于视线跟踪摄像机的视线跟踪矢量单眼点 转换为基于立体
摄像机的视线跟踪矢量单眼点
其中 和 表示位置信息,且Θx,Θy,Θz表示旋转信息。
10.一种在包括视线跟踪摄像机以及第一和第二立体摄像机的显示系统中提供三维驾驶者视线的显示方法,所述显示方法包括:
通过所述视线跟踪摄像机检测驾驶者的眼球,以识别基于视线跟踪摄像机的驾驶者视线信息;
基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息,将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息;
根据所述基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者视线注视点;以及将所述驾驶者视线注视点转换为驾驶者视线的三维坐标,所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量,并且
将所述基于视线跟踪摄像机的驾驶者视线信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括将所述基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量。
11.根据权利要求10所述的显示方法,其中将所述基于视线跟踪摄像机的驾驶者视线信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括通过下式将所述基于视线跟踪摄像机的视线跟踪矢量 转换为基于立体摄像机的视线跟踪矢量
其中Θx,Θy,Θz表示旋转信息。
12.一种在包括视线跟踪摄像机以及第一和第二立体摄像机的显示系统中提供三维驾驶者视线的显示方法,所述显示方法包括:
通过所述视线跟踪摄像机检测驾驶者的眼球,以识别基于视线跟踪摄像机的驾驶者视线信息;
基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息,将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息;
根据所述基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者视线注视点;以及将所述驾驶者视线注视点转换为驾驶者视线的三维坐标,其中
识别所述驾驶者视线注视点的步骤包括:
将所述基于第一和第二立体摄像机的驾驶者视线信息投射到所述第一和第二立体摄像机上;以及
基于投射到所述第一和第二立体摄像机上的所述信息识别所述驾驶者视线注视点。
13.根据权利要求12所述的显示方法,其中基于投射到所述第一和第二立体摄像机上的所述信息识别所述驾驶者视线注视点的步骤包括:
在投射到所述第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口;
根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点;
执行模板匹配使得被移动的窗口与所述第二立体摄像机的视线跟踪矢量相应;以及作为所述执行步骤的结果将模板匹配位置中的最高模板匹配位置识别为驾驶者视线注视点。
14.根据权利要求12所述的显示方法,其中所述驾驶者视线的三维坐标为P(Xp,Yp,Zp), 且
其中P1(x1,y1)为P投射到所述第一立体摄像机的成像表面上的点,Pr(xr,yr)为P投射到所述第二立体摄像机的成像表面上的点,f为所述摄像机的焦距,T为所述第一和第二立体摄像机之间的距离,且d为坐标测量点的距离除以所述摄像机的焦距所获得的值。
显示系统和方法\n技术领域\n[0001] 本发明概念涉及一种显示系统和方法。\n背景技术\n[0002] 目前,如专利文件1中所公开的,已开发了用于车辆驾驶者的方便和安全的各种车辆安全装置。\n[0003] 更具体地,提供了一种获得车辆内驾驶者的视线并使用获得的视线来提供车辆所驾驶的道路的实时前景、警报服务等的视线跟踪技术。\n[0004] 然而,主要在仅检测视线方向的二维(2D)环境例如广告效率的验证、利用显示器的界面等中优化上述视线跟踪技术。\n[0005] 同时,由于驾驶者在驾驶车辆时使用肉眼观看实际环境例如3D环境,仅使用2D环境中检测到的视线矢量来准确检测视线方向存在限制。\n[0006] [相关技术文件]\n[0007] [专利文件]\n[0008] (专利文件1)KR10-2011-0139474A\n发明内容\n[0009] 因此,制作本发明概念以解决现有技术中出现的上述问题,同时完整保持现有技术所实现的优点。\n[0010] 本发明概念的一个方面涉及一种用于检测基于三维的驾驶者视线坐标的显示系统和方法。显示系统包括配置成检测驾驶者眼球的视线跟踪摄像机。第一和第二立体摄像机配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围,并提供所拍摄的图像,其中该基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变。控制单元配置成基于预存的视线跟踪摄像机以及第一和第二立体摄像机的位置信息和旋转信息来将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者 视线信息,并且将转换后的信息投射到第一和第二立体摄像机上,从而计算驾驶者视线的三维坐标。存储单元配置成存储与显示系统有关的信息以及视线跟踪摄像机以及第一和第二立体摄像机的位置信息和旋转信息。\n[0011] 基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量。控制单元可配置成将基于视线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机的视线跟踪矢量单眼点。\n[0012] 控制单元可配置成通过下式1将基于视线跟踪摄像机的视线跟踪矢量单眼点(位置)转换为基于立体摄像机的视线跟踪矢量单眼点\n[0013]\n[0014] 其中 和 表示位置信息,且Θx,Θy,Θz表示旋转信息。\n[0015] 基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量,且控制单元可将基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量。\n[0016] 控制单元可配置成通过下式2将基于视线跟踪摄像机的视线跟踪矢量\n转换为基于立体摄像机的视线跟踪矢量(旋转)\n[0017]\n[0018]\n[0019] 其中Θx,Θy,Θz表示旋转信息。\n[0020] 控制单元可配置成根据投射到第一和第二立体摄像机上的基于立体摄像机的视线跟踪矢量来计算驾驶者的视线注视点,并基于计算出的驾驶者的视线注视点计算驾驶者视线的三维坐标。\n[0021] 控制单元可配置成在投射到第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口,根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点,执行模板匹配使得被移动的窗口与第二立体摄像机的视线跟踪矢量相应,并且作为模板匹配的执行结果将最高位置识别为驾驶者的视线注视点。\n[0022] 驾驶者视线的三维坐标可为P(Xp,Yp,Zp), 和 其\n中P(1 x1,y1)为P投射到第一立体摄像机和成像表面上的点,P(r xr,yr)为P投射到第二立体摄像机的成像表面上的点,f为摄像机的焦距,T为第一与第二立体摄像机之间的距离,且d为坐标测量点的距离除以摄像机的焦距所获得的值。\n[0023] 本发明概念的另一方面包括一种显示方法,其在包括视线跟踪摄像机以及第一和第二立体摄像机的显示系统中提供三维驾驶者视线。显示方法包括通过视线跟踪摄像机检测驾驶者的眼球,以识别基于视线跟踪摄像机的驾驶者视线信息。基于预存的视线跟踪摄像机以及第一和第二立体摄像机的位置信息和旋转信息,基于视线跟踪摄像机的驾驶者视线信息被转换为基于第一和第二立体摄像机的驾驶者视线信息。可根据基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者的视线注视点。驾驶者的视线注视点被转换为驾驶者视线的三维坐标。\n[0024] 基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量。在将基于视线跟踪摄像机的驾驶者视线信息转换 为基于第一和第二立体摄像机的驾驶者视线信息的过程中,基于视线跟踪摄像机的视线跟踪矢量单眼点可被转换为基于立体摄像机的视线跟踪矢量单眼点。\n[0025] 在将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息的过程中,基于视线跟踪摄像机的视线矢量单眼点(位置)\n可通过下式1被转换为基于立体摄像机的视线跟踪矢量单眼点\n[0026]\n[0027]\n[0028] 其中 和 表示位置信息,且Θx,Θy,ΘZ表示旋转信息。\n[0029] 基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量,并且在将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息的过程中,基于视线跟踪摄像机的视线跟踪矢量可被转换为基于立体摄像机的视线跟踪矢量。\n[0030] 在将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息的过程中,基于视线跟踪摄像机的视线跟踪矢量 可通\n过下式2被转换为基于立体摄像机的视线跟踪矢量(旋转)\n[0031]\n[0032] 其中,Θx,Θy,Θz表示旋转信息。\n[0033] 在识别驾驶者的视线注视点的过程中,基于第一和第二立体摄像机的驾驶者视线信息可被投射到第一和第二立体摄像机上。可基于投射到第一和第二立体摄像机上的信息来识别驾驶者的视线注视点。\n[0034] 在基于投射到第一和第二立体摄像机上的信息来识别驾驶者的视线注视点的过程中,可在投射到第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口。生成窗口的单眼点可根据基于第一立体摄像机的视线跟踪矢量而移动。可执行模板匹配使得被移动的窗口与第二立体摄像机的视线跟踪矢量相应。作为执行步骤的结果,最高位置可被识别为驾驶者的视线注视点。\n[0035] 驾驶者视线的三维坐标可为P(Xp,Yp,Zp), 且 其\n中P(1 x1,y1)为P投射到第一立体摄像机的成像表面上的点,P(r xr,yr)为P投射到第二立体摄像机的成像表面上的点,f为摄像机的焦距,T为第一与第二立体摄像机之间的距离,且d为坐标测量点的距离除以摄像机的焦距所获得的值。\n[0036] 本发明概念的各种特征和优点将在下面参照附图的说明书中更为明显。\n[0037] 本说明书和权利要求中使用的术语和词语不应被理解为被限制于典型的含义和词典的定义,而应被理解为基于发明人能够适当地定义术语的概念的规则,具有与本发明概念的技术范围相关的含义和概念,从而最适当地描述他或她知道的用于执行本发明概念的最好的方法。\n附图说明\n[0038] 本发明概念的上述和其它特征将根据如附图中示出的本发明概念 的实施方式的更具体的说明而更明显,在附图中,相同附图标记可以在不同的视图中指代相同或相似的部分。附图并非必然是按比例的,而是将重点放在示例说明本发明概念实施方式的原理。\n[0039] 图1是示出根据本发明概念的示例性实施方式的显示系统的配置的视图。\n[0040] 图2是用于描述根据本发明概念的示例性实施方式的显示方法的流程图。\n[0041] 图3至6是示出用于描述根据本发明概念的示例性实施方式的显示方法的实施例的视图。\n[0042] 附图中各元件的附图标记\n[0043] 100:显示系统100\n[0044] 110:视线跟踪摄像机\n[0045] 120:第一立体摄像机\n[0046] 130:第二立体摄像机\n[0047] 140:控制单元\n[0048] 150:存储单元\n具体实施方式\n[0049] 根据结合附图的以下具体实施方式将更清楚地理解本发明概念的上述和其它目的、特征和优点。在说明书中,在将附图标记添加到贯穿附图的部件时,应注意的是,即使在不同的附图中示出部件,相同的附图标记也表示相同的部件。另外,当确定与本发明概念相关的现有技术的详细描述可能使本发明概念的要点模糊时,其详细描述将被省略。在下文中,将参考附图来详细描述本发明概念的示例性实施方式。\n[0050] 图1是示出根据本发明概念的示例性实施方式的显示系统的配置的视图。将参照示出用于描述显示方法的实施例的图3至6来描述显示系统。\n[0051] 如图1所示,显示系统100可配置成包括视线跟踪摄像机110、第一立体摄像机120、第二立体摄像机130、控制单元140以及存储单元 150。\n[0052] 更具体地,视线跟踪摄像机110可检测车辆内驾驶者的眼球。\n[0053] 如图3所示,视线跟踪摄像机110可布置在视线跟踪摄像机110可检测车辆内驾驶者的脸部的位置以检测驾驶者的眼球。\n[0054] 第一和第二立体摄像机120和130可根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围并提供拍摄的图像。基于立体摄像机的驾驶者视线信息可根据基于视线跟踪摄像机的驾驶者视线信息而改变。\n[0055] 如图3所示,可布置第一和第二立体摄像机120和130,使得第一和第二立体摄像机\n120和130彼此隔开,从而在关于驾驶者的各侧彼此相应。\n[0056] 此外,第一和第二立体摄像机120和130可相互共享内部参数(焦距、主点、倾斜(skew)和扭曲(distortion))和/或外部参数(旋转和平移),使得可以将单个位置恢复为三维位置。\n[0057] 控制单元140可基于预存的视线跟踪摄像机110以及第一和第二立体摄像机120和\n130的位置信息和旋转信息来将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息。控制单元140可将转换后的信息投射到第一和第二立体摄像机120和130上,从而计算驾驶者视线的三维坐标。\n[0058] 此处,基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点E-1(参见图3)和视线跟踪矢量E-2(参见图3)。\n[0059] 更具体地,控制单元140可通过下式1将基于视线跟踪摄像机的视线跟踪矢量单眼点(位置) 转换为基于立体摄像机的视线跟踪矢量单眼点\n[0060] 【式1】\n[0061]\n[0062] 在式1中, 和 表示位置信息,而Θx,Θy,Θz可表示旋转信息。\n[0063] 另外,在式1中,第一至第四矩阵组分别表示位置移动、x轴旋转、y轴旋转和z轴旋转。\n[0064] 此外,控制单元140可通过下式2将基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量(旋转)\n[0065] 【式2】\n[0066]\n[0067] Θx,Θy,Θz可表示旋转信息。\n[0068] 另外,在式2中,第一至第三矩阵组分别表示x轴旋转、y轴旋转和z轴旋转。\n[0069] 此外,控制单元140可根据投射到第一和第二立体摄像机120和130的基于立体摄像机的视线跟踪矢量计算驾驶者的视线注视点,并基于计算出的驾驶者视线注视点计算驾驶者视线的三维坐标。\n[0070] 更具体地,控制单元140可在投射到第一立体摄像机120的图像上生成与预设的人视线主要注视范围(例如,约±3到±5度)相应的窗口,并根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点。\n[0071] 也就是说,与投射到第一和第二立体摄像机120和130的基于立体摄像机的视线跟踪矢量最相似的图像可被识别为视线的焦点。\n[0072] 尽管上面已经描述了基于立体摄像机的视线跟踪矢量被投射到第一立体摄像机\n120的情况,本发明概念并不限制于此。也就是说,基于立体摄像机的视线跟踪矢量也可被投射到第二立体摄像机130上。\n[0073] 例如,图4A示出投射到第一立体摄像机120上的基于立体摄像机的视线跟踪矢量。\n图4B示出投射到第二立体摄像机130上的基于立体摄像机的视线跟踪矢量。\n[0074] 此处,控制单元140可根据基于第一立体摄像机的视线跟踪矢量将投射到第一立体摄像机120上的窗口的单眼点从①经由②移动到③。\n[0075] 此外,控制单元140可执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应并且作为执行步骤的结果将最高位置识别为驾驶者的视线注视点。\n[0076] 此处,模板匹配表示通过图形识别工艺从图像(image)中提取与模板一致的给定图形(figure)的过程,从而在互相关方案(cross-correlation scheme)中找到最高峰值点。\n[0077] 例如,如图4B所示,控制单元140可执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应。\n[0078] 而且,控制单元140可以计算驾驶者视线的三维坐标。在这种情况下,驾驶者视线的三维坐标可以是P(Xp,Yp,Zp)。\n[0079] 参照图5,驾驶者视线的三维坐标可以为(P(Xp,Yp,Zp)), 且\n[0080] 此处,P1(x1,y1)可为P投射到第一立体摄像机的成像表面上的点。Pr(xr,yr)可为P投射到第二立体摄像机的成像表面上的点。f可为摄像机的焦距。T可为第一与第二立体摄像机之间的距离。d可为坐标测量点的距离除以摄像机的焦距所获得的值(d=Zp/f)。\n[0081] 另外,在图5中,Ileft表示第一立体摄像机(左摄像机)120的成像表面。Iright表示第二立体摄像机(右摄像机)130的成像表面。Cl表示第一立体摄像机的图像单眼点。Cr表示第二立体摄像机的图像单眼点。Ol表示第一立体摄像机的焦点。Or表示第二立体摄像机的焦点。\n[0082] 同时,驾驶者视线的三维坐标可用作车辆的用户界面。\n[0083] 例如,如图6所示,驾驶者视线的三维坐标可用于开启或关闭平视显示(HUD)的服务。可以以如下方式使用驾驶者视线的三维坐标,即当HUD区域中存在焦距时驱动服务以在前方车辆突然制动时根据视线距离改变警报强度。\n[0084] 存储单元150可存储与系统有关的信息以及视线跟踪摄像机110以及第一和第二立体摄像机120和130的位置信息和旋转信息。\n[0085] 此处,可以识别视线跟踪摄像机110以及第一和第二立体摄像机120和130的位置信息和旋转信息并通过之前的物理测量或来自软件的信息诸如摄像机标定等将其存储。\n[0086] 图2是用于描述根据本发明概念的示例性实施方式的显示方法的流程图。\n[0087] 首先,显示系统100可通过视线跟踪摄像机110检测驾驶者的眼球,以识别基于视线跟踪摄像机的架驶者视线信息(S101)。\n[0088] 此处,基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量。\n[0089] 然后,基于预存的视线跟踪摄像机110以及第一和第二立体摄像机120和130位置信息和旋转信息,显示系统可将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息(S103).\n[0090] 在这种情况下,显示系统100可通过上述式1将基于视线跟踪摄像机的视线跟踪矢量单眼点(位置) 转换为基于立体摄像机的视线跟踪矢量单眼\n点\n[0091] 此外,显示系统100可通过上述式2将基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量(旋转)\n[0092] 接着,显示系统100可根据基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者的视线注视点(S105)。\n[0093] 更具体地,显示系统100可将基于第一和第二立体摄像机的驾驶者视线信息投射到第一和第二立体摄像机120和130上。\n[0094] 接着,显示系统100可基于第一和第二立体摄像机120和130上的投射信息识别驾驶者的视线注视点。\n[0095] 这可能通过以下步骤来完成,在投射到第一立体摄像机120上的图像上生成与预设的人视线主要注视范围相应的窗口的步骤,根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点的步骤,执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应的步骤,以及作为执行模板匹配步骤的结果将最高位置识别为驾驶者的视线注视点的步骤。\n[0096] 例如,图4A示出投射到第一立体摄像机120上的基于立体摄像机的视线跟踪矢量。\n图4B示出投射到第二立体摄像机130上的基于立体摄像机的视线跟踪矢量。\n[0097] 此处,显示系统100可根据基于第一立体摄像机的视线跟踪矢量来将投射到第一立体摄像机120上的窗口的单眼点从①经由②移动到③。\n[0098] 此外,如图4B所示,显示系统100可执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应。\n[0099] 接着,显示系统100可将驾驶者的视线注视点转换为驾驶者视线的三维坐标(S107)。\n[0100] 驾驶者视线的三维坐标可为P(Xp,Yp,Zp),其中 且\n[0101] 此外,P(1 x1,y1)可为P投射到第一立体摄像机的成像表面上的点。P(r xr,yr)可为P投射到第二立体摄像机的成像表面上的点。f可为摄像机的焦距。T可为第一与第二立体摄像机之间的距离。d可为坐标测量点的距离除以摄像机的焦距所获得的值。\n[0102] 使用根据本发明概念的示例性实施方式的显示系统和方法,由于基于二维的驾驶者视线信息被转换为基于三维的驾驶者视线信息,因此可以检测与相关技术相比具有更精确的三维深度的驾驶者视线方向。\n[0103] 此外,使用根据本发明概念的示例性实施方式的显示系统和方法,由于可以识别驾驶者的三维视线焦距,因此可以容易且精确地判断外部环境中的物体,且可以广泛地利用用于识别驾驶者意图等的信息。\n[0104] 尽管出于示例说明的目的公开本发明概念的示例性实施方式,但应该理解的是本发明概念不应该局限于此,且本领域技术人员应理解,可以在不脱离本发明概念的范围和精神的情况下进行各种修改、添加和替换。\n[0105] 因此,任何和所有的修改、变化或等效布置应被认为在本发明概念的范围内,且由权利要求公开本发明概念的详细范围。
法律信息
- 2018-09-04
- 2015-12-02
实质审查的生效
IPC(主分类): G06T 7/00
专利申请号: 201310182182.4
申请日: 2013.05.16
- 2014-06-18
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2011-08-31
|
2010-02-26
| | |
2
| | 暂无 |
2003-02-26
| | |
3
| |
2009-10-07
|
2008-11-07
| | |
4
| |
2005-08-24
|
2003-04-21
| | |
5
| | 暂无 |
2004-03-30
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |