交通工具移动图像辅助导引方法与系统

暂无

交通工具移动图像辅助导引方法与系统\n技术领域\n[0001] 本发明有关一种交通工具移动辅助方法，尤其是指一种利用图像辨识来判断车辆移动状态并且辨识障碍物与车道标志以作为导引辅助信息的一种交通工具移动图像辅助导引方法与系统。\n背景技术\n[0002] 大部分的驾驶者都曾为驾驶交通工具时无法兼顾各方位的避障操作感到困扰，而交通工具驾驶于盲点区域的移动(如停车或狭窄路段行驶)通常是造成困扰的重要原因。\n目前的电子技术发展至以传感器来辅助行车安全，最常见的为距离传感器(超声波、红外线、毫米波及激光等)及图像传感器(CCD/CMOS)。距离传感器主要辅助于单方向的避障被动警示(如：适应性巡航系统、倒车雷达等)，而图像传感器则应用于广域的视觉辅助，需要人眼观察判断的驾驶辅助行为(如：车道/车辆辨识、倒车摄影及盲点检测等)。倘若在驾驶行为发生同时，能够有效地协助驾驶者掌握交通工具移动动态及与障碍物的相对距离，驾驶者便可轻易完成驾驶导引并减少碰撞意外的发生。\n[0003] 而在现有技术中，例如中国发明专利CN179378号所公开的一种停车辅助装置，其停车目标位置的设定精度优良，设定速度快，可减轻使用者的停车目标位置的设定操作的劳苦。该停车辅助装置利用后方摄像机拍摄进行停车的停车空间，检测出该后方摄像机拍摄的图像中包括的停车空间中的表示停车区的区标线并设定停车目标位置，辅助车辆行驶到停车目标位置，其具有：检测出车辆的移动的车辆检测装置；存储车辆检测装置所检测出的车辆行驶移动经历的存储装置；基于存储装置中存储的车辆行驶移动经历的变化来推定假定停车目标位置的假定停车目标位置推定装置；基于利用假定停车目标位置推定装置推定的假定停车目标位置来设定搜索区标线的停车区标线搜索区域的停车区标线搜索区域设定装置。\n[0004] 又如，美国专利US.Pat.No.7,006,127所公开的一种驾驶辅助系统，其具有 显示单元 图像获取装置以及 图像处理单元 该显示单元，设置在可被前座驾驶可以看见的区域。该图像获取装置可获取车辆后方的图像。而该图像处理单元可经由图像处理以转换坐标系统使得该显示单元显示转换后的合成图像。在本技术中，在显示单元内可以同时显示自己以及前方车辆以及前方车辆的连接组件的图像，以利驾驶者判断而使连接作业得以顺利进行。\n发明内容\n[0005] 本发明提供一种交通工具移动图像辅助导引方法与系统，用于对随时间变化的图像进行辨识，以根据交通工具的移动状态而得到交通工具移动轨迹。此外，该方法还可以辨识图像中的特征物与交通工具的距离，进而辅助交通工具的移动。本发明的方法可以应用于各种不同形式的交通工具，尤其对于大型运输工具的实时移动检测与辅助方法，以解决大型交通工具的具有大范围盲点的行车安全顾虑，提高本身车辆及其它用路人或交通工具的安全。\n[0006] 本发明提供一种交通工具移动图像辅助导引系统，通过单一摄影机便可达成以一般图像以及俯瞰图像来进行导引辅助，并同时检测与障碍物或者是道路标记的距离提供驾驶防碰撞警示或者是停放交通工具的功能，使得判断后方距离更直观更明确，提供完整地辅助停车解决方案，解决大部分驾驶人的困扰。\n[0007] 本发明提供一种交通工具移动图像辅助导引系统，可以免除过去完成驾驶导引功能预估所需要的至少一个摄影机及一个方向盘转角传感器。本发明的系统仅利用单一的摄影机配合算法即可达成功能，安装方法与一般车用摄影系统相同，可免除需要连接其它车用传感器的安装门坎，因此具有低价格、安装容易、高弹性的特性。\n[0008] 在一实施例中，本发明提供一种交通工具移动图像辅助导引方法，包括下列步骤：\n于一第一时间点获取关于一交通工具的外部环境的一第一图像；于该第一图像中选取一基准区域；于一第二时间点获取关于该交通工具的外部环境的一第二图像；于该第二图像中寻找对应该基准区域的一对应区域并获取该对应区域与该基准区域的一移动向量；以及根据该移动向量决定该交通工具的移动轨迹。\n[0009] 在另一实施例中，本发明还提供一种交通工具移动图像辅助导引方法，包括下列步骤：(a)于不同时间点检测关于一交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态；(b)根据该移动状态决定一移动轨迹；(c)于该图像中检测至少一特征物；以及(d)辨识该至少一特征物，并根据该至少一特征物的形式进行对应的一辅助程序。\n[0010] 在另一实施例中，本发明还提供一种交通工具移动图像铺助导引系统，包括：一图像获取装置，获取一交通工具外部环境的图像；一控制单元，与该图像获取装置相连接，该控制单元根据于不同时间点该图像获取装置所获取的关于该交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态，并根据该移动状态决定该交通工具的移动轨迹；以及一显示单元，与该控制单元相连接，该显示单元提供显示该图像以及该控制单元所产生的关于该交通工具的移动轨迹。此外，当该特征物与该交通工具间的距离小于一预设距离时，则控制单元将该图像获取装置所获取道的图像转换为俯视图像，并提供该显示单元一俯视图像信号。\n附图说明\n[0011] 图1为本发明的交通工具移动图像辅助导引方法实施例流程示意图；\n[0012] 图2A为第一图像示意图；\n[0013] 图2B为第二图像示意图；\n[0014] 图2C为本发明的影相移动向量示意图；\n[0015] 图3为本发明的交通工具移动图像辅助导引方法另一实施例流程示意图；\n[0016] 图4A与图四B为本发明图像空间与实际空间距离估测示意图；\n[0017] 图5A至图五C为本发明图像空间与实际空间距离估测示意图；\n[0018] 图6为本发明的交通工具移动图像辅助导引系统实施例方块示意图。\n[0019] 其中，附图标记：\n[0020] 2-交通工具移动图像辅助导引方法 20~24步骤\n[0021] 3-交通工具移动图像辅助导引方法 30~38步骤\n[0022] 360~362步骤 370~372步骤\n[0023] 4-交通工具移动图像辅助导引系统 40-图像获取装置\n[0024] 41-单元 410-中央处理器\n[0025] 411-内存模块 4110-内存\n[0026] 4111-闪存 412-图像输出接口\n[0027] 413图像输入接口 414-车体信号通信接口[0028] 415-电源接口 42-显示单元\n[0029] 43-警报模块 9a~9e-图像\n[0030] 90、91-图像处理区域 901-基准区域\n[0031] 911-图像检测区块 912、913-区域\n具体实施方式\n[0032] 为清楚完整的公开本发明的特征、目的及功能，以下对本发明的装置的相关内部结构以及设计要点进行说明，详细说明如下：\n[0033] 请参阅图1所示，该图为本发明的交通工具移动图像辅助导引方法实施例流程示意图。在本实施例中，主要是对不同时间点的图像进行辨识寻找出移动的特征，并从该特征中计算出特征在图像空间中的移动方向，如此即可得到车辆的移动状态，例如：转向。再从移动状态去预估车辆行动的轨迹而在画面中显示出来以提供驾驶者参考。接下来说明该方法的运作流程，首先进行步骤20，于一第一时间点获取关于一交通工具的外部环境的一第一图像。在本实施例中，该第一图像为该交通工具后方环境的图像，但不以此为限。获取图像的方式可利用现有技术的图像获取装置，例如：CCD或CMOS传感组件，将其设置于交通工具后方，以获取交通工具后方环境的图像。该交通工具可为轮型车辆，例如：小型轮形车辆(轿车)或者是大型轮形车辆(客货车、长型连结货柜车)、航空器具或者是船舶等，但不以此为限。\n[0034] 接下来进行步骤21，于该第一图像中选取一基准区域。请参阅图2A所示，该图为第一图像示意图。以图2A来说明步骤21，首先在第一图像9a中决定一图像处理区域90，其大小与范围可根据需要而定，并无一定限制。然后在该图像处理区域90(Detection Area)中选取一特定区块作为基准区域901，该基准区域901的大小亦可根据需要而定，并无一定限制。接者，进行步骤22，为了判断交通工具的移动状态，在第二时间点时，获取交通工具的外部环境的图像以形成第二图像，如图2B所示。如果交通工具正在移动状态时，例如：倒退移动，则该第二图像的画面会与该第一图像的画面有所差异，根据这样的差异可以利用图像处理的方式找出交通工具的移动状态。\n[0035] 步骤22之后，接着进行步骤23，于该第二图像中寻找对应该基准区域901的一对应区域并计算该对应区域与该基准区域901的一移动向量，在本步骤中，同样地，在图2B的第二图像9b中，决定图像处理区域91。决定之后，根据在步骤21中决定的基准区域901大小，在该第二图像9b中形成一图像检测区块911，然后在第二图像9b中的图像处理区域91内，由上至下、由左至右逐一的变更该图像检测区块911的位置。每当移动一次时，便进行一次辨识运算，以在该第二图像9b中寻找出对应图2A中的基准区域901的图像检测区块。\n如图2B所示，在第一次的辨识运算中，该图像检测区块911位于左上角的区域，在本实施例中，图像检测区块的大小为3(pixel)x3(pixel)的大小，但不以此为限，因为图像检测区块的大小需根据图2A中的基准区域的大小而定，如果基准区域的大小改变，则辨识框大小也会跟着改变。在图2B的情况下，图像检测区块911所涵盖到的区域所具有的图像特征可以根据式(1)与式(2)来进行运算：\n[0036] \n[0037] imvi＝minp,qSADi(p，q)………………………………………(2)[0038] 其中，I(t-1，X，Y)表示在第一时间点(t-1)时所取样的第一图像9a中的图像空间坐标(X，Y)(亦即基准区域901的中心位置坐标)于图像中的一特征值。在本实施例中，该特征值为灰阶强度。而I(t,X,Y)表示在第二时间点(t)时所取样的第二图像9b中的图像空间坐标(X，Y)(亦即图像检测区块911的中心位置坐标)于图像中的灰阶强度。Ai为第i个图像检测区块范围。SADi(p，q)是第二图像中第i个图像检测区块911与第一图像中对应于第i个基准区域901的相对位移为(p，q)的点(本实施例为图像检测区块的中心位置，但不以此为限)之间的绝对误差和(sum of absolute defference，SAD)。既然minp,qSADi(p，q)是图像检测区块901移动最小的SAD值，产生最小值的位移向量imvi则代表第i个图像检测区块移动的局部性移动向量(Local Motion Vector，LMV)。\n[0039] 如图2B所示，图像检测区块911内的中心与基准区域之间会有一个SAD值。若图像检测区块911向右移动—单位像素的距离，如图2B中的标号912所示的区域。此时，再套入公式(1)又可得到对应图像检测区块911移动至区域912时与图2A的基准区域901间的一个SAD值。当重复多次上述动作，每当改变该图像检测区块911的位置，可以得到多个SAD值，此时再根据公式(2)，由该多个SAD值中寻找出最小的SAD值。如图2C所示，对应该最小的SAD值的图像检测区块911所在的区域913则可视为该基准区域901在第二时间点(t)的位置。因此可以根据图像检测区块911与基准区域901之间的图像空间距离(p，q)，该图像空间距离(p，q)即为在第二时间点(t)与该第一时间点(t-1)间该基准区域901的移动向量。\n[0040] 再回到图1所示，得到该移动向量时，再进行步骤24，根据该移动向量决定该交通工具的移动轨迹。在本步骤中，利用步骤24根据两个不同时间点的图像变化，所得到的移动向量可代表交通工具本身的移动状态，例如：转向状态。举例而言，当交通工具在后退的时候，如果方向盘有转动的情况下(亦即转向角度已知的情况下)，在单位时间内，交通工具后退的距离以及交通工具本身转动的角度是可以预先估算出来的。因此，为了重建移动轨迹，基本上可以事先建立交通工具移动状态与轨迹关系数据库，也就是将转向、车速以及获取图像的图像获取装置的参数(例如：高度、视角范围以及获取图像俯角)等信息与移动轨迹建立起对应关系的数据库。由于根据步骤23所到的移动向量，可以了解交通工具现在的移动状态，亦即转向的角度，因此根据转向角度，车速以及获取图像的图像获取装置的参数(例如：高度、视角范围以及获取图像俯角)等信息，由数据库的数据中寻找出对应的轨迹，然后在显示器中显示出来。由于现有技术中，在显示器中通常只会单纯显示所获取的图像，虽然操控方向的改变也会造成显示器内所显示的图像跟着改变，但是并无任何辅助的移动轨迹会显示在画面中，以提供驾驶者辅助识别。因此驾驶者并无法直接从图像中快速了解可能发生擦撞的可能性。透过步骤24，驾驶者可以根据显示器所显示的轨迹，快速直接的判断现在的操控情况下，是否会撞倒障碍物或者是压到路面标记等情况发生。\n[0041] 请参阅图3所示，该图为本发明的交通工具移动图像辅助导引方法另一实施例流程示意图。在本实施例中，该交通工具移动图像辅助导引方法整合了前述的实施例、图像特征物识别、距离计算、视角改变以及警示的功能以形成一个整合型的交通工具导引方法。该方法3包括有下列步骤首先，步骤30为判断是否开始，其中，在步骤300时处于待机状态，一直到步骤301检测系统是否启动的步骤以判别是否开始判断的流程。在步骤301中，启动与否的判断方法可以根据交通工具的档位或者是通过按钮启动或者是 启动来进行判断但不以此为限。在本实施例中，以后退档为例，如果在步骤301中发现了启动后退档，则代表启动判断机制。\n[0042] 当系统启动时，则进行步骤31，进行图像动量估测，本步骤主要是于不同时间点检测关于一交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态。接着进行步骤32，根据该移动状态决定一移动轨迹。步骤31与步骤32的方式如同图1所示的实施例以及相关的交字所述，在此不作赘述。接着进行步骤33的图像特征物检测，亦即于该图像中检测至少一特征物。本实施例所谓的特征物为障碍物或者是路面标记等，但不以此为限。至于如何在图像中检测特征物，属于公知技术，在此不作赘述。接着进行步骤34，如有图像中有特征物的话，则进行步骤35，辨识该至少一特征物，并根据该至少一特征物的形式进行对应的一辅助程序。\n[0043] 在本实施例中，该辅助程序包括有两个部分，第一部份主要是针对障碍物的辅助导引程序36。第二部分则是针对路面标记的辅助导引程序37。首先说明障碍物的辅助导引程序36，如果在步骤35中辨识出的特征物为障碍物的话，则进行步骤360，估测交通工具与该障碍物的距离。在步骤360中估测距离的方式为根据特征物在获取的图像中所形成的图像空间中的坐标位置，配合预先估测的图像空间坐标与实际距离的对应关系，可得出特征在实际空间中的距离。请参阅图4A与图4B所示，该图为本发明图像空间与实际空间距离估测示意图。其中图像9c为获取到关于交通工具外部环境的图像。由于获取图像的图像获取装置所装设的位置、高度、视角、获取图像的俯角或仰角为已知，因此可以事先建立图像空间与实际空间距离的对应关系，以利后续搜寻对照使用。所谓图像空间是指在图像\n9c中每一个像素所在的位置，而实际空间则指交通工具所存在的环境空间。从图4A可以知道，图像9c中的每一个像素所呈现的图像对应到实际空间坐标时的位置，可以通过实际的测量得知。此外，虽然在本实施例中以一个像素为单位，但是实际上也可以根据分辨率的需要，以多个像素为一个单位来建立图像空间与实际空间的对照表。\n[0044] 在图4A中，在图像9c所形成的图像空间(x，y)位置上的每一个像素(x1，y1)、(x1，y2)以及(x1，y3)经过量测之后可以对应到图4B所示的实际空间中的(X1，Y1)、(X1，Y2)以及(X1，Y3)的位置。在图4A的图像空间中的坐标位置所对应至图4B的实际空间的距离可由预先得知的关系计算得知 再回到图3所示，在步骤360中可以根据步骤35所辨识出的障碍物在图像空间中的位置，经过事先所建立的图像空间与实际空间对应的关系，找出该障碍物在实际空间中的位置。利用图像估测出距离之后，进行步骤361判断该距离的大小，如果该距离小于一特定距离(例如：车身的L倍长度的距离时)则通过步骤362发出警报。然后，在进行步骤38，将步骤32所产生的轨迹显示出来。\n[0045] 另一方面，如果步骤35所辨识出来的为路面标记，例如车道线或者是停车网格线，则进行程序37。首先，以步骤370估测交通工具与该路面标记的距离，其估测方式如前所述，在此不作赘述。接着进行步骤371，如果该距离小于一特定距离，则进行步骤372切换视角，即从正视视角切换至俯瞰视角。在本实施例中，该特定距离为交通工具长度的K倍，但不以此为限。另外，步骤372的切换视角的目的，是要让驾驶者可以更轻易的从显示器中看出与路面标记之间的距离关系。如图5A所示，视角俯瞰转换为利用图像几何转换的方式，通过逆透视投影算法结合图像扭曲校正技术将原本以水平正视角度成像的图像9d转换为由上方往下看的图像9e效果。例如，在图五中，图像9d为正视视角，经过步骤372转换之后会形成图像9e由上往下看的状态。\n[0046] 视见角转换技术主要是基于路面为平坦的假设，如此可除去透视投影的影响所造成的距离失真。其转换示意图如图5B与图5C所示：其数学转换原理为假设车辆行驶在世界空间Z＝0的平面上，且摄影机(其坐标为(X，Y，Z)＝(0，0，h))光学轴与此平面的夹角为θ且与X轴的夹角为γ(在此应用例中，γ＝0，但不以此为限)。假设摄影机的视φ\n角为2 ，且图像的分辨率为n×m。若于实际空间中存在坐标(x，y，0)的点，其图像空间中的坐标(α，β)可由下列式(3)与式(4)表示(1<α