用于警告驾驶员存在目标物体的警报系统

1.一种车辆警报系统，包括：
(a)视线方向检测部，其通过分析使用配备在所述车辆中的照相机所拍摄的车辆驾驶员的面部图像来确定车辆驾驶员的视野；
(b)障碍物检测装置，其使用配备在所述车辆中的雷达检测在驾驶员未观察的方向上存在的障碍物，所述雷达的方向根据由视线监视器检测的数据设定在驾驶员未注意的方向上；和
(c)警报控制部，其在通过所述障碍物检测装置检测到障碍物的情况下确定是否发出警报；
其中所述警报控制部在所述警报控制部确定要发出的警报的情况下，通过将选自下列数据的至少两个数据输入到程序中来计算由所述障碍物产生的危险程度，响应于所计算的危险程度设定要发出的警报的类型，并发出所述警报：(i)驾驶员无前视目标意识的驾驶时间，(ii)所述车辆与所述障碍物碰撞的预计时间，(iii)所述障碍物距所述车辆的距离和相对于所述车辆的方向，及(iv)所述车辆和所述障碍物的速度和移动方向；
所述危险程度按照从最高程度至最低程度的顺序被指定为程度3、程度2和程度1，其中对于程度3，点亮对无前视目标意识的驾驶状态的警告闪光，同时发出喇叭声，喇叭声的声压为60～100dBSPL，对于程度2，点亮对无前视目标意识的驾驶状态的警告闪光，同时发出喇叭声，喇叭声的声压为30～70dBSPL，对于程度1，点亮对无前视目标意识的驾驶状态的警告闪光，或者发出喇叭声，喇叭声的声压为30～70dBSPL；并且
在所述雷达中检测到的障碍物从离开车辆达x米的距离以速度y米/秒接近所述车辆、并且驾驶员没有观察到所述障碍物达时间z秒的情况下，所述危险程度按照从最高程度至最低程度的顺序被指定为程度3、程度2和程度1：(i)如果x、y和z满足x/y≤z，则将警报程度指定为程度3，(ii)如果x、y和z满足x/y＞z，则将警报程度指定为程度2，并且(iii)如果所述障碍物距离所述车辆渐远或者尽管所述雷达没有检测到任何障碍物，然而所述驾驶员的有效视野已从车辆移动的方向移开了预定时间期限，则将警报程度指定为程度1。
2.根据权利要求1所述的车辆警报系统，其中所述视线方向检测部包括：
照相机；
根据所述驾驶员的面部图像数据检测驾驶员的视线方向的装置；
根据已检测到的多个驾驶员的视线方向检测驾驶员的稳定视线方向的装置；和从检测到的驾驶员的稳定视线方向判断驾驶员的有效视野的装置。
3.根据权利要求2所述的车辆警报系统，其中所述障碍物检测装置包括：
雷达；
雷达检测方向控制装置，其确定在所述有效视野之内驾驶员未观察的方向并将该方向设定为所述雷达的检测方向；和
障碍物检测单元，其在检测到障碍物的情况下，根据所述车辆和障碍物的速度和移动方向计算所述障碍物相对于所述车辆的相对速度，随后根据所获得的所述障碍物的相对速度和所述车辆与所述障碍物之间的距离，计算所述障碍物到达所述车辆的预计时间。
4.根据权利要求1所述的车辆警报系统，其中所述警报控制部包括：
(a)警报确定装置，其在所述障碍物检测装置检测到障碍物的情况下，考虑到在配备于所述视线方向检测部中的、用于按时间顺序记录视线方向的装置中所记录的视线方向的按时间顺序记录的历史，在尚无驾驶员观察到障碍物的先前记录的情况下，计算从检测到障碍物的时间到当前时间的时间间隔，或者在已有检测到障碍物的先前记录的情况下，计算从上次检测到障碍物的时间到当前时间的时间间隔，并将其指定为驾驶员无前视目标意识的驾驶时间，且将选自下列数据的至少两个数据输入到用于确定驾驶员无前视目标意识的驾驶状态的程序中：(i)驾驶员无前视目标意识的驾驶时间，(ii)所述车辆与所述障碍物碰撞的预计时间，(iii)所述障碍物距所述车辆的距离和相对于所述车辆的方向，及(iv)所述车辆和所述障碍物的速度和移动方向；
(b)警报控制装置，其设定要发出的警报的类型；和
(c)警报发出装置，其响应于所述警报控制装置的指示发出所述警报。

用于警告驾驶员存在目标物体的警报系统\n技术领域\n[0001] 本发明涉及一种配备在车辆上的警报系统，其可检测车辆驾驶员在观察前方视野目标物体时的疏忽，并发出警报以警告驾驶员避免任何可能的危险。\n背景技术\n[0002] 已经提出了许多配备有照相机以监视驾驶员的视线方向并在驾驶员未能观察到其前方视野中的目标物体的情况下向其发出警报的车辆报警装置。\n[0003] 例如，日本专利No.3232873公开了一种装置，其向驾驶员的眼睛发射不可见射线，并根据反射光检测驾驶员的视线的方向。\n[0004] 日本专利No.4032994公开了一种通过分别获得驾驶员眼球的白色部分的中心和黑色部分(瞳孔)的中心来检测驾驶员的视线的方向的方法。\n[0005] 日本专利申请公开No.2002-331850公开了一种装置，其通过根据利用用于驾驶员视线的频率分布的隐马尔科夫模型(HMM)计算的参数分析驾驶员的车辆操作模式来确定驾驶员的车辆操作行为的意图，由此检测驾驶员的目标意识，其中检测驾驶员的视线方向作为确定驾驶员的车辆操作方向的方法。\n[0006] 日本专利申请公开No.H11-304428公开了一种协助车辆驾驶员操作的系统，该系统在根据一段时间内没有检测到驾驶员眨眼或者没有检测到示出驾驶员眼球面向前方的图像的情况，判断驾驶员在观察其前方视野时没有完全注意其驾驶时，向驾驶员发出警报。\n[0007] 日本专利申请公开No.H7-69139公开了一种装置，其根据基于从面向驾驶员的一侧拍摄的图像所计算的驾驶员双眼之间的距离，来确定驾驶员的目标意识。\n[0008] 如上述参考文献中所公开的，检测驾驶员无目标意识的常规方法包括：利用照相机观察在车辆运行过程中驾驶员的驾驶行为；和在驾驶员的视线未能观察前视目标达一段时间的情况下判断驾驶员未能观察前视目标，从而发出对驾驶员忽视察觉前视目标的报警信号。\n[0009] 然而，通过常规方法并不容易精确地判断驾驶员关于前视目标意识的状态，因为驾驶员的车辆操作行为是非常不同的，并且很可能会产生许多错误报警。\n[0010] 此外，驾驶员未能观察前视目标达一段时间并不必然意味着驾驶员处于危险状态。因此对驾驶员反复发出不必要的警报，有时会成为一种妨害并且甚至会使驾驶员对警报信号产生免疫。\n[0011] 因此，本发明的目的在于提供一种配备在车辆上的警报系统，其被设计成仅在由于驾驶员没有观察前视目标，而在车辆运行过程中检测到驾驶员的真实危险的必要时才发出报警。\n[0012] 在此背景技术部分中所公开的上述信息只是用于增强对本发明背景的了解，因此其可能包含不形成本国内的本领域普通技术人员已公知的现有技术。\n发明内容\n[0013] 在一方面，本发明提供了一种警报系统，其包括视线方向检测部、障碍物检测装置和警报控制部。视线方向检测部通过分析利用配备在车辆中的照相机所拍摄的车辆驾驶员的面部图像来确定车辆驾驶员的视野。障碍物检测装置利用配备在车辆中的雷达检测在驾驶员未观察的方向上存在的障碍物，该雷达的方向根据视线监视器检测到的数据设定在驾驶员未注意的方向上。警报控制部在障碍物检测装置检测到障碍物的情况下确定是否发出警报。\n[0014] 在一优选实施例中，视线方向检测部可包括：照相机；根据驾驶员的面部图像数据检测驾驶员的视线方向的装置；根据已检测到的多个驾驶员的视线方向检测驾驶员的稳定视线方向的装置；和从检测到的驾驶员的稳定视线方向判断驾驶员的有效视野的装置。\n[0015] 在另一优选实施例中，障碍物检测装置可包括雷达、雷达检测方向控制装置和障碍物检测装置。\n[0016] 雷达检测方向控制装置确定在有效视野之内驾驶员未观察到的方向并将该方向设定为雷达的检测方向。障碍物检测装置在检测到障碍物的情况下，根据车辆和障碍物的速度和移动方向计算障碍物相对于车辆的相对速度，随后根据所获得的障碍物的相对速度和车辆与障碍物之间的距离，计算障碍物到达车辆的预计时间。\n[0017] 在又一优选实施例中，警报控制部可包括警报确定装置、警报控制装置和警报发出装置。\n[0018] 警报确定装置在障碍物检测装置检测到障碍物的情况下，考虑到在配备于视线方向检测部中的、用于按时间顺序记录视线方向的装置中所记录的视线方向的按时间顺序记录的历史，在尚无驾驶员观察到障碍物的先前记录的情况下，计算从检测到障碍物的时间到当前时间的时间间隔，或者在已有检测到障碍物的先前记录的情况下，计算从上次检测到障碍物的时间到当前时间的时间间隔，并将其指定为驾驶员无前视目标意识的驾驶时间，且将选自下列数据的至少两个数据输入到用于确定驾驶员无前视目标意识的驾驶状态的程序中：(i)驾驶员无前视目标意识的驾驶时间，(ii)车辆与障碍物碰撞的预计时间，(iii)障碍物距车辆的距离和相对于车辆的方向，以及(iv)车辆和障碍物的速度和移动方向。\n[0019] 警报控制装置设定要发出的警报的类型，并且警报发出装置响应于警报控制装置的指示发出警报。\n[0020] 在再一优选实施例中，警报控制装置在警报确定装置确定要发出的警报的情况下，通过将选自下列数据的至少两个数据输入到上述程序中来计算障碍物产生的危险程度，响应于所计算的危险程度设定要发出的警报的类型，并发出警报：(i)驾驶员无前视目标意识的驾驶时间，(ii)车辆与障碍物碰撞的预计时间，(iii)障碍物距车辆的距离和相对于车辆的方向，以及(iv)车辆和障碍物的速度和移动方向。\n[0021] 上述警报系统通过检测驾驶员的视线来确定驾驶员的注视。在配备于车辆中的雷达检测到在驾驶员未观察的方向上存在障碍物的情况下，警报系统确定驾驶员的障碍物意识。根据该警报系统，可仅在确定驾驶员未意识到障碍物时才发出警报，从而避免了不必要的警报。此外，可以提高驾驶安全性。\n[0022] 应当理解的是，这里所使用的术语“车辆”或“车辆的”或者其它类似术语包括通常的机动车辆，例如包括运动型多功能车(SUV)、公共汽车、卡车、各种商用车在内的客运车辆，包括各种艇和船只在内的水运工具，以及飞行器，等等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆及其它代用燃料车辆(例如从石油以外的资源获取的燃料)。如在这里所提到的，混合动力车辆是具有两种或多种动力源的车辆，例如既有汽油动力又有电动力的车辆。\n[0023] 本发明的上述及其他特征将在下文中进行论述。\n附图说明\n[0024] 现在将参考附图中示出的一些示例性实施例来详细说明本发明的上述及其它特征，附图在下文中仅以示例的方式给出，因此并非对本发明进行限制，并且其中：\n[0025] 图1示出了根据本发明的实施例的警报系统的系统框图；\n[0026] 图2A至2C示出了根据本发明的实施例的设定雷达搜索方向的方法；并且[0027] 图3是示出根据本发明的实施例用于警告驾驶员的方法的流程图。\n具体实施方式\n[0028] 现在将详细参考本发明的优选实施例，其实例在下文的附图中示出，其中相同的附图标记始终表示相同的元件。下文通过参考附图说明实施例以便阐明本发明。\n[0029] 图1示出了根据本发明的实施例的警报系统的系统框图。\n[0030] 根据图1，警报系统包括视线方向检测部110、障碍物检测装置120和警报控制部\n130，将在下文中进一步说明。\n[0031] 视线方向检测部110可优选包括照相机2、视线(eye gaze)方向检测装置111、稳定视线方向检测装置112、用于确定有效视野的装置113和用于记录注视(steady gaze)方向的历史的装置114。\n[0032] 通过利用配备在车辆1中的照相机2来拍摄驾驶员6的面部图像，由此捕捉的图像数据通过视线方向检测装置111进行处理，从而检测驾驶员6的视线8。组合照相机2与视线方向检测装置111的装置是已知的所谓视线检测装置。照相机2和视线方向检测装置\n111可以是可安装在车辆1中并可从其获取数据的任何一种装置。\n[0033] 稳定视线方向检测装置112在累加由视线方向检测装置111发出的驾驶员6的视线方向13的所有数据之后计算平均值，以检测并发出驾驶员6的稳定视线方向16。累加上述数据所需的时间优选为0.01-1秒，更优选地为0.02-0.5秒，最优选地为0.1秒。\n[0034] 用于确定有效视野的装置113根据驾驶员6的稳定视线方向16和视角确定视野\n9。已知在车辆运行过程中驾驶员6的视角的一般值，且通过使用该值可计算视野。这里所获得的视野9是在车辆运行过程中移动的视野。优选地，用于确定有效视野的装置113通过对视野9增加包括安全率的因素来确定有效视野15，并将其发出。\n[0035] 可通过首先计算对应于稳定视线方向16的有效视野15，并将其输入到用于确定驾驶员无前视目标意识的驾驶状态的程序20中，来确定有效视野15。\n[0036] 用于记录注视方向的历史的装置114记录驾驶员的稳定视线方向的按时间顺序记录的历史，并将其发出作为警报控制装置131。\n[0037] 障碍物检测装置120可优选包括雷达3、用于设定搜索方向的装置121和障碍物检测装置122。用于设定搜索方向的装置121和用于检测障碍物的装置122可适当地形成整体用于雷达的控制，且通过处理障碍物12的检测数据而发出关于障碍物的信息。\n[0038] 雷达3的实例可包括，例如，(毫米波)雷达，红外雷达，超声波检测器，立体照相机，等等。在本发明中所使用的雷达可不限于以上例示的雷达，而可以是可安装在车辆中并可协助计算车辆和障碍物之间的距离的任何一种雷达。\n[0039] 用于设定搜索方向的装置121确定在视野的有效范围内没有被驾驶员6观察的方向，并为雷达3设定搜索方向以检测障碍物。\n[0040] 图2示出了根据本发明的实施例的设定雷达搜索方向的方法。图2A示出了驾驶员的注视方向10为正前方的前方视野，且雷达搜索方向11为驾驶员的左右两侧的视野的情形。图2B示出了驾驶员的注视方向10为驾驶员的左侧，且雷达搜索方向11为正前方的前方视野和驾驶员右侧的视野的情形。图2C示出了驾驶员的注视方向10为驾驶员的后侧(即，驾驶员未观察前方视野)，且雷达搜索方向11为前方视野和驾驶员的左右两侧的视野的情形。\n[0041] 雷达搜索方向11不限于前方视野和驾驶员的左右两侧的视野，而是可以覆盖任何方向，和根据需要设定的任何数目的方向。\n[0042] 用于检测障碍物的装置122在其检测到障碍物12的情况下，根据车辆和障碍物的速度和移动方向，计算障碍物相对于车辆的相对速度。随后，用于检测障碍物的装置根据所获得的障碍物的相对速度和车辆与障碍物之间的距离，计算障碍物到达车辆的预计时间。\n更加优选地，障碍物到达车辆的预计时间是障碍物抵达车辆的危险距离的时间。\n[0043] 这里，危险距离18是车辆1和障碍物12之间的最小容许距离，两者之间更接近将被视为碰撞。危险距离18是对应于各种行驶状况的变量，其是考虑到例如障碍物12的方向和距离、车辆1和障碍物12之间的相对速度、车辆1和障碍物12的相对移动方向、以及制动力等因素而设定的。例如，在车辆1以高速运行或者障碍物12处于与车辆1相同的移动方向的情况下，危险距离18可设定得相对大一些，而在障碍物12在不同的车道上平行行驶或从后面跟随车辆的情况下，危险距离18可设定得相对小一些。危险距离18的条件可以输入设定用于确定驾驶员无前视目标意识的驾驶状态的程序20。可通过利用上述用于确定驾驶员无前视目标意识的驾驶状态的程序20来计算预计的到达时间17。\n[0044] 警报控制部130可优选地包括警报确定装置131、警报控制装置132和报警装置\n4。\n[0045] 警报确定装置131在障碍物检测装置122检测到障碍物12的情况下，考虑到在配备于视线方向检测部110中的、用于按时间顺序记录视线方向的装置114中所记录的视线方向的按时间顺序记录的历史，在尚无驾驶员6观察到障碍物12的先前记录的情况下，计算从检测到障碍物12的时间到当前时间的时间间隔，或者在已有检测到障碍物12的先前记录情况下，计算从上次检测到障碍物12的时间到当前时间的时间间隔，并将其指定为驾驶员无前视目标意识的驾驶时间19。\n[0046] 警报确定装置131考虑驾驶员无前视目标意识的驾驶时间19确定是否发出警报。\n如果无前视目标意识的驾驶时间19的间隔超过预定时间期限，则可确定发出警报。更加优选地，警报确定装置131根据在将选自下列数据的至少两个数据输入到上述程序中之后所获得的计算结果来确定是否发出警报：(i)驾驶员无前视目标意识的驾驶时间，(ii)车辆与障碍物碰撞的预计时间，(iii)障碍物距车辆的距离和相对于车辆的方向，及(iv)车辆和障碍物的速度和移动方向。\n[0047] 用于确定驾驶员无前视目标意识的驾驶状态的程序20是利用车辆1的多种假定运行状况，根据将关于障碍物12距车辆1的距离和相对于车辆1的方向、车辆1和障碍物\n12之间的相对速度及其移动方向的输入的实测数据与对应的行驶条件及其它相关参数相加而得到的最优化计算方法，或者是将其预期状况的计算结果加载在计算机中，使得能够通过根据在每个步骤中获得的输入数据的计算来获得最佳结果的程序。程序20也可用于计算下文提到的危险度21以及有效视野15、预计到达时间17和危险距离18。\n[0048] 警报确定装置131在其判断行驶状态为无前视目标意识的驾驶状态22的情况下，确定对无前视目标意识的驾驶状态22发出警报5，并将其发出。\n[0049] 警报控制装置132在警报确定装置131确定对无前视目标意识的驾驶状态22发出警报5的情况下，对由于障碍物12产生的危险度21进行计算，并设定响应于未观察到前视目标物体的驾驶状况而发出的警报5的类型且将其发出。\n[0050] 危险度21如下计算。例如，在障碍物12以高于预定相对速度的速度接近车辆1的情况下，其可被指定为程度3；在上述障碍物12的相对速度低于预定相对速度或者处于停止状态的情况下，其可被指定为程度2；以及在障碍物12远离车辆1或距离车辆1渐远，或者尽管没有检测到障碍物12，但是驾驶员6无前视目标意识的驾驶时间超过预定时间期限的情况下，其可被指定为程度1。\n[0051] 优选地，警报控制装置132根据在将选自下列数据的至少两个数据输入到上述程序中之后所获得的计算结果来确定由于障碍物12产生的危险度21的特定程度：(i)驾驶员无前视目标意识的驾驶时间，(ii)车辆与障碍物碰撞的预计时间，(iii)障碍物距车辆的距离和相对于车辆的方向，及(iv)车辆和障碍物的速度和移动方向。\n[0052] 警报控制装置132响应于危险度21设定发出警报的类型并将其发出。\n[0053] 设计用于警告无前视目标意识的驾驶状态22的所发出警报5的类型可以如下设定。\n[0054] 将危险度21按照从最高程度至最低程度的顺序指定为程度3、程度2和程度1。对于程度3，点亮对无前视目标意识的驾驶状态的警告闪光，同时发出喇叭声，喇叭声的声压为60～100dBSPL，优选为65～90dBSPL，更优选为75～85dBSPL。对于程度2，点亮对无前视目标意识的驾驶状态的警告闪光，同时发出喇叭声，喇叭声的声压为30～70dBSPL，优选为40～65dBSPL，更优选为55～65dBSPL。对于程度1，点亮对无前视目标意识的驾驶状态的警告闪光，或者发出喇叭声，喇叭声的声压为30～70dBSPL，优选为40～65dBSPL，更优选为55～65dBSPL。\n[0055] 报警装置4根据警报控制装置132产生的警报类型发出对无前视目标意识的驾驶状态的警报。\n[0056] 图3是示出根据本发明的实施例的警报系统的操作实例的流程图。\n[0057] 视线方向检测装置111根据由配备在驾驶员的车辆1中的照相机2获得的信息和面部图像数据7检测驾驶员的注视方向(S201)，随后，稳定视线方向检测装置112根据输入的多个视线方向13检测驾驶员6的稳定视线方向16(S202)。\n[0058] 用于确定有效视野的装置113根据驾驶员6的稳定视线方向16确定有效视野(S203)。\n[0059] 用于设定搜索方向的装置121确定在有效视野15内驾驶员未观察到的方向并将雷达搜索方向设定为那些方向(S204)。\n[0060] 用于检测障碍物的装置122检测在车辆附近存在的任何障碍物(S205)。当其检测到障碍物12时(S206)，其根据车辆1与障碍物12之间的距离和相对速度计算障碍物到达车辆1的预计时间17(S207)。\n[0061] 警报确定装置131考虑在用于按时间顺序记录驾驶员视线方向的历史的装置114中所记录的驾驶员视线方向14的按时间顺序记录的历史视，计算无前视目标意识的驾驶时间(S208)。警报确定装置131还通过将选自下列数据的至少两个数据输入到程序20中来确定驾驶员的驾驶状态是否为无前视目标意识的驾驶状态：(i)驾驶员无前视目标意识的驾驶时间，(ii)车辆与障碍物碰撞的预计时间，(iii)障碍物距车辆的距离和相对于车辆的方向，及(iv)车辆和障碍物的速度和移动方向。\n[0062] 在驾驶员的驾驶状态被确定为无前视目标意识的驾驶状态的情况下，警报确定装置131确定发出对无前视目标意识的驾驶状态的警报5，并将其发出(S209)。\n[0063] 警报控制装置132在警报确定装置131确定发出对无前视目标意识的驾驶状态的警报5的情况下，根据用于检测障碍物的装置122中的数据计算由于障碍物12产生的危险度21(S210)，响应于上述危险度21确定对无前视目标意识的驾驶状态发出的警报5的类型，并将其发出(S211)。报警装置4以通过警报控制装置132确定的警报类型发出对无前视目标意识的驾驶状态的警报5(S212)。\n[0064] 实例\n[0065] 如上所述，用于确定无前视目标意识的驾驶状态的程序用于计算危险度，以及用于判断驾驶状态是否属于无前视目标意识的驾驶状态。为了进一步说明本发明，以下将说明不使用程序的用于确定驾驶状态和计算危险度的方法。然而，应当注意的是，下文给出的实例是为了更好地说明本发明的目的而不是意在限制本发明。\n[0066] 通过使用照相机2捕捉车辆1中的驾驶员6的面部图像，并处理捕捉的图像以检测驾驶员6的稳定视线方向。并且通过使用雷达3搜索驾驶员未注意的方向。\n[0067] 在雷达3中检测到的障碍物12从离开车辆1达x[m]的距离以速度y[m/sec]接近车辆1，而且驾驶员6没有观察到障碍物12达时间z[sec]的情况下；(i)如果x、y和z满足x/y≤z，则将警报程度指定为程度3，(ii)如果它们满足x/y＞z，则将警报程度指定为程度2，以及(iii)如果障碍物12距离车辆1渐远或者尽管雷达3没有检测到任何障碍物，然而驾驶员6的有效视野15已从车辆移动的方向移开了预定时间期限，则将警报程度指定为程度1。\n[0068] 在警报程度3的情况下，点亮对无前视目标意识的驾驶状态的警告闪光，同时发出声压为80dBSPL的警告声。对于程度2，点亮对无前视目标意识的驾驶状态的警告闪光，同时发出60dBSPL的警告声。对于程度1，点亮对无前视目标意识的驾驶状态的警告闪光或者发出60dBSPL的警告声。\n[0069] 已参考其优选实施例对本发明进行了详细说明。然而，本领域技术人员将会理解的是，可在这些实施例中进行变化而不背离本发明的原理和实质，本发明的范围限定在所附权利要求及其等效形式中。