一种多传感器多通道视频数据输入方法和装置

1.一种多传感器多通道视频数据输入装置，其特征在于：包括缓存同步模块、同步调整模块和n组沿数据传输方向依次连接的异步采样模块、视频接口模块、定义分辨率模块和复用模块，所述n个复用模块均与缓存同步模块连接，n个定义分辨率模块均与同步调整模块连接，n≥2；
所述缓存同步模块用于将各异步数据放入DDR缓存单元或RAM缓存单元后，完成同步时序的调整；
所述同步调整模块用于调整传感器的时序，以保证整个装置能够准确正常地工作；
还包括n个高速时分采样模块，每个高速时分采样模块的数据输出端对应与一个异步采样模块的数据输入端连接；
或者还包括n个合路装置，每个合路装置的数据输入端连接若干个传感器，每个合路装置的数据输出端与一个所述异步采样模块连接；
多个传感器的RAW或YUV422数据经过异步采样模块的异步采样后，由视频接口模块转化成内部需要的数据格式，再由定义分辨率模块对数据的分辨率进行定义，输出需要的分辨率数据；经过复用模块的复用排序后保存至RAM缓存单元或DDR缓存单元，生成多传感器同步数据输出；同步调整模块是负责调整多个传感器的数据以达到复用模块的要求；所述异步采样模块采用的采样方法是：先通过传感器数据同步时钟将数据缓存，再使用数据同步产生一个指示信号，这个信号比数据延时一个时钟节拍，然后所述高速时分采样模块根据指示信号去采样过来的数据，以避免装置在不同时钟域上采样到数据的亚稳态，造成数据不稳定。
2.根据权利要求1所述的多传感器多通道视频数据输入装置，其特征在于：还包括m个传感器，每个传感器连接一个开关装置，至少两个开关装置与一个所述高速时分采样模块连接，所述传感器的数据经过所述开关装置进入所述高速时分采样模块，所述高速时分采样模块对所述开关装置输出控制信号，m＞n。
3.根据权利要求1所述的多传感器多通道视频数据输入装置，其特征在于：还包括m个传感器，每个所述异步采样模块的数据输入端与一个传感器连接，所述传感器的数据经过所述异步采样模块的采样，转换成所述多传感器多通道视频数据输入装置的内部处理时钟域，m＝n。
4.根据权利要求1-3任一项所述的多传感器多通道视频数据输入装置，其特征在于：还包括视频处理模块，所述视频处理模块的数据输入端与所述缓存同步模块的数据输出端连接。
5.根据权利要求4所述的多传感器多通道视频数据输入装置，其特征在于：所述视频处理模块包括图像信号处理器。
6.根据权利要求1所述的多传感器多通道视频数据输入装置，其特征在于：所述缓存同步模块为DDR缓存单元或RAM缓存单元。
7.一种采用如权利要求1中多传感器多通道视频数据输入方法，其特征在于，包括以下步骤：
步骤一、提供m个传感器和n个合路装置，将m个传感器形成若干传感器组，每个传感器组包括至少两个传感器，同一传感器组的传感器数据通过一个合路装置合成到一条通道，m＞n；
步骤二、提供异步采样模块、视频接口模块和定义分辨率模块，异步采样模块将每一条通道的数据转换成内部处理时钟域，视频接口模块再将数据转换成所要求的时序，定义分辨率模块将数据转换成所需要的分辨率；
步骤三、提供复用模块、缓存同步模块和同步调整模块，复用模块将同一通道的数据排序之后，缓存同步模块将不同通道的数据行场对齐，生成一个合成的图像数据；同步调整模块调整所有传感器的行场信号，以达到复用模块的要求；
所述异步采样模块采用的采样方法是：先通过传感器数据同步时钟将数据缓存，再使用数据同步产生一个指示信号，这个信号比数据延时一个时钟节拍，然后所述高速时分采样模块根据指示信号去采样过来的数据，以避免装置在不同时钟域上采样到数据的亚稳态，造成数据不稳定。

一种多传感器多通道视频数据输入方法和装置\n技术领域\n[0001] 本发明涉及图像通信技术领域，尤其涉及多传感器多通道视频数据处理方法和装置。\n背景技术\n[0002] 目前一个图像传感器需要一个图像信号处理器(ISP)将光学镜头采集的信息变换成可用的RGB(或YUV)图像数据输出。如果同时采集多路图像传感器数据，则图像信号处理器(ISP)芯片必须大量增加管脚数量，导致电路板上需要搭建的辅助器件数量过多，而不能将产品做的小巧和灵活，增加产品总成本，并影响产品的灵活设计。\n[0003] CN202309907U公开了包含MIPI接口的多图像传感器图像处理装置，其特点是包括主图像传感器芯片、一个或多个从图像传感器芯片和主控芯片，所述一个或多个从图像传感器芯片的图像数据输出端与所述主图像传感器芯片的图像数据输入端连接，所述图像传感器芯片的MIPI接口与所述主控芯片的MIPI接口连接。该专利申请虽然采用MIPI接口使多图像传感器图像处理装置的芯片体积有所减小，但是由于电路板上需要搭建主图像传感器芯片、一个或多个从图像传感器芯片和主控芯片，因此产品不能真正做到小巧、灵活。\n发明内容\n[0004] 本发明旨在克服上述现有技术的不足，提供一种多传感器多通道视频数据输入装置，通过该多传感器多通道视频数据输入装置生成一个合成的图像数据送入图像信号处理器处理，达到减少集成电路管脚，使芯片小型化，从而节约芯片成本的目的。\n[0005] 为达到上述目的，本发明采用的技术方案如下：\n[0006] 一种多传感器多通道视频数据输入装置，包括缓存同步模块、同步调整模块和n组沿数据传输方向依次连接的异步采样模块、视频接口模块、定义分辨率模块和复用模块。所述n个复用模块均与缓存同步模块连接，n个定义分辨率模块均与同步调整模块连接，n≥2。\n[0007] 在本发明的一个实施例中，所述多传感器多通道视频数据输入装置，还包括n个高速时分采样模块，每个高速时分采样模块的数据输出端对应与一个异步采样模块的数据输入端连接。\n[0008] 在本发明的一个实施例中，所述多传感器多通道视频数据输入装置，还包括m个传感器，每个传感器连接一个开关装置，至少两个开关装置与一个所述高速时分采样模块连接，所述传感器的数据经过所述开关装置进入所述高速时分采样模块，所述高速时分采样模块对所述开关装置输出控制信号，m＞n。\n[0009] 在本发明的一个实施例中，所述多传感器多通道视频数据输入装置，还包括m个传感器，每个所述异步采样模块的数据输入端与一个传感器连接，所述传感器的数据经过所述异步采样模块的采样，转换成所述多传感器多通道视频数据输入装置的内部处理时钟域，m＝n。\n[0010] 在本发明的一个实施例中，所述多传感器多通道视频数据输入装置，还包括n个合路装置，每个合路装置的数据输入端连接若干个传感器，每个合路装置的数据输出端与一个所述异步采样模块连接。\n[0011] 在本发明的一个实施例中，所述多传感器多通道视频数据输入装置，还包括视频处理模块，所述视频处理模块的数据输入端与所述缓存同步模块的数据输出端连接。\n[0012] 在本发明的一个实施例中，所述视频处理模块包括图像信号处理器(ISP)。\n[0013] 在本发明的一个实施例中，所述缓存同步模块为DDR缓存单元或RAM缓存单元。\n[0014] 本发明还提供了一种多传感器多通道视频数据输入方法，包括以下步骤：\n[0015] 步骤一、提供m个传感器和n个合路装置，将m个传感器形成若干传感器组，每个传感器组包括至少两个传感器，同一传感器组的传感器数据通过一个合路装置合成到一条通道，m＞n；\n[0016] 步骤二、提供异步采样模块、视屏接口模块和定义分辨率模块，异步采样模块将每一条通道的数据转换成内部处理时钟域，视屏接口模块再将数据转换成所要求的时序，定义分辨率模块将数据转换成所需要的分辨率；\n[0017] 步骤三、提供复用模块、缓存同步模块和同步调整模块，复用模块将同一通道的数据排序之后，缓存同步模块将不同通道的数据行场对齐，生成一个合成的图像数据；同步调整模块调整所有传感器的行场信号，以达到复用模块的要求。\n[0018] 以上技术方案中的m、n为小于1000的整数。\n[0019] 有益效果：本发明提供的多传感器多通道视频数据输入装置，包括异步采样模块、视频接口模块、定义分辨率模块、复用模块、缓存同步模块和同步调整模块。多个传感器的数据经过异步采样模块的异步采样后，由视频接口模块转化成内部需要的数据格式，再由定义分辨率模块对数据的分辨率进行定义，输出需要的分辨率数据；经过复用模块的复用排序后保存至RAM缓存单元或DDR缓存单元，生成多传感器同步数据输出；同步调整模块是负责调整多个传感器的数据以达到复用模块的要求。本发明通过该多传感器多通道视频数据输入装置生成一个合成的图像数据送入图像信号处理器处理，达到减少电路管脚，使芯片小型化，从而节约芯片成本的目的。\n[0020] 本发明提供的多传感器多通道视频数据输入方法，由于采用了上述传感器多通道视频数据输入装置，实现了通过简单小巧的装置，快速有效地完成多镜头多传感器的视频数据处理。\n附图说明\n[0021] 图1是多传感器多通道视频数据输入装置的实施例一的框架结构示意图；\n[0022] 图2是多传感器多通道视频数据输入装置的实施例一与传感器模块连接的框架结构示意图；\n[0023] 图3a是复用模块输入的数据示意图；\n[0024] 图3b是经过复用模块处理后从输出端输出的数据示意图；\n[0025] 图4a是数据进入RAM缓存单元之前的数据状态；\n[0026] 图4b是数据经过RAM缓存单元同步处理之后的数据状态；\n[0027] 图5是多传感器多通道视频数据输入装置的实施例二的框架结构示意图；\n[0028] 图6是多传感器多通道视频数据输入装置的实施例二与传感器模块连接的框架结构示意图；\n[0029] 图7是高速时分采样模块的整体设计架构示意图；\n[0030] 图8是传感器的数据流程图。\n具体实施方式\n[0031] 本发明提供了一种多传感器多通道视频数据输入方法，将多个传感器所采集的数据通过合路装置排序后，通过多传感器多通道视频数据输入装置生成一个合成的图像数据送入图像信号处理器处理，从而达到减少电路管脚，使芯片小型化，节约芯片成本的目的。\n多传感器多通道视频数据输入装置包括异步采样模块、视频接口模块、定义分辨率模块、复用模块、缓存同步模块和同步调整模块。多个传感器的RAW或YUV422数据经过异步采样模块的异步采样后，由视频接口模块转化成内部需要的数据格式，再由定义分辨率模块对数据的分辨率进行定义，输出需要的分辨率数据；经过复用模块的复用排序后保存至RAM缓存单元或DDR缓存单元，生成多传感器同步数据输出；同步调整模块是负责调整多个传感器的数据以达到复用模块的要求。\n[0032] 下面结合附图和具体实施例对本发明的技术方案作进一步说明。\n[0033] 实施例一：\n[0034] 请参照图1，本实施例提供了一种多传感器多通道视频数据输入装置，它包括n(n≥2)组沿数据传输方向依次连接的异步采样模块111、视频接口模块112、定义分辨率模块\n113和复用模块121，还包括缓存同步模块131和同步调整模块141，n个复用模块121的数据输出端与一个缓存同步模块131的数据输入端连接，同步调整模块141包括信号输入端和信号输出端，同步调整模块141的信号输入端与定义分辨率模块113连接。多个传感器的RAW或YUV422数据经过异步采样模块111的异步采样后，由视频接口模块112转化成内部需要的数据格式，再由定义分辨率模块113对数据的分辨率进行定义，输出需要的分辨率数据。当定义分辨率模块113输出的数据符合复用模块121的要求时，复用模块121将数据排列起来，再使用缓存同步模块131来完成将所有传感器的数据同步对齐，同步的原理如图4a和图4b所示，图4a为数据进入RAM缓存单元之前的数据状态；图4b为数据经过RAM缓存单元同步处理之后的数据状态。\n[0035] DDR缓存单元将所有传感器的数据同步对齐的原理与RAM缓存单元将所有传感器的数据同步对齐的原理一样。\n[0036] RAM缓存单元因为缓存空间有限，只有1行数据的缓存空间，因此只能处理偏差(sensor)不超过1行的对齐；DDR缓存单元的空间比较充足，但是需要用到外部的DDR芯片，它能处理1帧数据的缓存空间，这样它就只能处理偏差(sensor)不超过1帧的对齐，当定义分辨率模块113输出的数据不符合复用模块121的要求时，通过同步调整模块141调整每个传感器的数据，以达到复用模块121的要求，再由复用模块121将数据输出至缓存同步模块\n131，缓存同步模块131的数据输出端与视频处理模块20的数据输入端连接。\n[0037] 所有传感器的数据间复用排序和缓存同步都是在一定条件下才可以完成，如果没有同步调整模块去调整传感器的时序，就无法保证整个装置准确正常地工作。本发明只要选其中一个传感器为参考传感器，调整其他所有的传感器与参考传感器行场信号对齐，就能完成整个装置的同步需求。\n[0038] 请参照图2，传感器模块10包括m个传感器101和至少一个合路装置102，其中至少两个传感器101形成为一个传感器组。本实施例中多传感器多通道视频数据输入装置设有五条通道，每条通道包括沿数据传输方向依次连接的异步采样模块111、视频接口模块112和定义分辨率模块113，每条通道的数据来源于三个传感器，三个传感器组成一个传感器组，每个传感器组的数据通过合路装置102合到一条通道，每个合路装置102的数据输出端与一个异步采样模块111的数据输入端连接。从而减少了电路管脚，达到使芯片小型化，节约芯片成本的目的。需要说明的是，在其它实施例中，可根据需要设置一条或多条通道，通道数量与传感器组的数量配合设置，每个传感器组可设置两个、三个、四个甚至更多的传感器。\n[0039] 为了更好地理解本发明，对本发明提供的多传感器多通道视频数据输入装置的工作原理说明如下：\n[0040] 异步采样模块111采用的方法是：先通过传感器数据同步时钟将数据缓存，再使用数据同步产生一个指示信号，这个信号比数据延时一个时钟节拍，然后多传感器多通道视频数据输入装置使用一个更高速的时钟，更高速的时钟比数据同步时钟快，根据指示信号去采样过来的数据，以避免装置在不同时钟域上采样到数据的亚稳态，造成数据不稳定。异步采样模块111支持单沿采样或双沿采样。\n[0041] 视频接口模块112支持BT656格式、BT601格式或其它现有数据格式。\n[0042] 定义分辨率模块113用于统一所有的传感器的分辨率，方便于后续模块的相关处理。\n[0043] 复用模块121输入的数据是时分排列的，不利于视频处理模块20处理，复用模块\n121用于将各个传感器的数据排列起来，图3a所示为复用模块121输入的数据，图3b所示为经过复用模块121处理后从输出端输出的数据。复用模块121先发送第一传感器sensor0的数据，接着再发送第二传感器sensor1的数据，最后再发送第三传感器sensor2的数据，这3个传感器sensor的数据排序复用合成了1行的数据，视频处理模块20为图像信号处理器(ISP)，视频处理模块20处理一个传感器组输出的数据时可以当成1个传感器sensor输出完成视频处理模块20处理。比如3个640x480的传感器的数据，将它们按行拼接起来，先发送第一传感器的640个像素，再发送第二传感器的640个像素，接着再发送第三传感器的640个像素，这样这3个传感器的数据就可以复用成1920x480的数据，该数据通过复用模块121排序复用，实现只需要一个后续的视频处理模块处理多个传感器的数据。\n[0044] 缓存同步模块131将各异步数据放入DDR缓存单元或RAM缓存单元后，完成同步时序的调整。由于传感器101之间的工作启动是独立的，因此传感器101的进入多传感器多通道视频数据输入装置的数据是无法同步、无法对齐的；为了能够将所有传感器101的数据同步对齐起来，需要使用缓存同步模块131来完成同步，同步的原理如图4a和图4b所示，图4a为数据进入RAM缓存单元之前的数据状态；图4b为数据经过RAM缓存单元同步处理之后的数据状态。\n[0045] RAM缓存单元因为缓存空间有限，只有1行数据的缓存空间，因此只能处理偏差(sensor)不超过1行的对齐；DDR缓存单元的空间比较充足，但是需要用到外部的DDR芯片，它能处理1帧数据的缓存空间，这样它就只能处理偏差(sensor)不超过1帧的对齐。\n[0046] 同步调整模块141用于调整传感器的时序，以保证整个装置能够准确正常地工作，其原理是：所有传感器的源时钟都是本多传感器多通道视频数据输入装置供给的，如果在一段时间间隔，以保证传感器内部的锁相环不会出现失锁的情况，本多传感器多通道视频数据输入装置供给传感器的时钟出现某个时钟节拍无效一直为零，这样该传感器就会比参考传感器少了一个时钟节拍，该传感器输出的数据就会延时一个时钟节拍。控制这些延时累计，就能调整该传感器的行场信号和参考传感器行场信号对齐，从而同步了该传感器和参考传感器。即，在本多传感器多通道视频数据输入装置中，只要选其中一个传感器为参考传感器，调整其他所有的传感器与参考传感器的行场信号对齐，就能完成同步需求。\n[0047] 实施例二：\n[0048] 请参照图5，本发明还提供了多传感器多通道视频数据输入装置的另一实施例，它包括若干组沿数据传输方向依次连接的高速时分采样模块114、异步采样模块111、视频接口模块112和定义分辨率模块113，还包括复用模块121、缓存同步模块131和同步调整模块\n141，其中每个定义分辨率模块113与复用模块121的数据输入端和同步调整模块141的数据输入端连接，复用模块121的数据输出端与缓存同步模块131的数据输入端连接，同步调整模块141的数据输出端与传感器模块10a连接，缓存同步模块131的数据输出端与视频处理模块20的数据输入端连接。本实施例与实施例一的区别是：在异步采样模块111之前设置了高速时分采样模块114，传感器模块10的数据先经过高速时分采样模块114，再进入异步采样模块111。如图6所示，本实施例中，传感器模块10包括多个传感器101，其中每三个传感器\n101形成为一个传感器组，每个传感器101的数据输出端与一开关装置103连接，每组开关装置103与高速时分采样模块114分别连接，高速时分采样模块114用于控制开关装置103时分采样各个传感器的数据。\n[0049] 图7所示为高速时分采样模块114的整体设计架构，以三个传感器101形成的一个传感器组为例，开关装置103在片选信号sel有效时，数据能够选通；高速时分采样模块114通过时分有效各个开关装置的片选信号sel，使得各个开关装置时分轮流选通，然后各个传感器的数据data时分轮流传输到高速时分采样模块。\n[0050] 为了准确地采样到各个传感器101的输入的数据，高速时分采样模块114还要控制各个传感器101的工作时钟clk，通过调整各个传感器101的工作时钟的相位，使得各个传感器101的数据能对应到各自的采样时刻。实现通过多传感器多通道视频数据输入装置内部的高速时分采样模块114准确地采样各个传感器101的数据。\n[0051] 本发明提供的一种多传感器多通道视频数据输入方法，包括以下步骤：\n[0052] 步骤一、提供m个传感器和n个合路装置，将m个传感器形成若干传感器组，每个传感器组包括至少两个传感器，同一传感器组的传感器数据通过一个合路装置合成到一条通道，m＞n；\n[0053] 步骤二、提供异步采样模块、视屏接口模块和定义分辨率模块，异步采样模块将每一条通道的数据转换成内部处理时钟域，视屏接口模块再将数据转换成所要求的时序，定义分辨率模块将数据转换成所需要的分辨率；\n[0054] 步骤三、提供复用模块、缓存同步模块和同步调整模块，复用模块将同一通道的数据排序之后，缓存同步模块将不同通道的数据行场对齐，生成一个合成的图像数据；同步调整模块调整所有传感器的行场信号，以达到复用模块的要求。\n[0055] 图8所示为传感器的数据处理流程图，进入多传感器多通道视屏数据输入装置的传感器的数据，经过高速时分采样模块时分去采样各个传感器的数据，经过异步采样模块的采样，转换成装置内部处理时钟域，再经过视频接口模块的处理，转换成装置内部所要求的时序，再经过定义分辨率模块的处理，转换成装置内部所需要的分辨率(长宽)。\n[0056] 这时出来的数据，是符合装置内部需求格式的数据，为了后续模块能够简单方便地处理所有传感器的数据，需要将同一通道上的数据按照要求复用起来，不同通道之间的数据同步起来，因此就是经过复用模块和缓存同步模块的处理。\n[0057] 为了能达到准确无误地将所有传感器的数据复用同步起来，还需要使用同步调整模块，去调整所有传感器的数据，使得它们能够达到复用模块的要求。\n[0058] 在本装置中，所有传感器之间复用、同步都是在一定条件下才可以完成的，因此就需要同步调整模块去调整传感器的时序，以保证整个装置能够准确正常地工作。\n[0059] 本发明提供的多传感器多通道视频数据输入方法，由于采用了上述传感器多通道视频数据输入装置，实现了通过简单小巧的装置，快速有效地完成多镜头的视频数据处理。\n[0060] 根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。