基于双摄像头的数字视频智能监控设备及数据处理方法

1.一种数字视频智能监控设备的实时数据处理方法，包括，
两个分别具有普通分辨率和高分辨率的摄像头单元：上下或左右排列，设置参数使其监控区域基本相同，其中高分辨摄像头具有一定倍数的图像放大缩小功能，其主光轴可微调，使其能对另一摄像头的部分监控区域进行放大；
一个摄像头微调控制单元：其输出端与高分辨率摄像头单元输入端连接，根据实时数据处理单元的命令对摄像头的主光轴进行微调以及控制摄像头图像的放大和缩小；
两个视频数据采集单元：分别与上述两个摄像头单元连接，将两个摄像头的模拟或数字视频数据转换为内部统一的数字视频格式；
一个实时数据处理单元：将低分辨摄像头的视频数据发送给数据存储单元实现存储，并发送给显示单元进行显示；对低分辨视频进行智能处理，检测出需要抓拍高分辨视频的时机和画面位置，发送控制指令给摄像头位置微调控制单元，并根据刚才给出的时机抓拍高分辨视频，发送给存储单元进行保存，发送给显示单元进行显示；
一个数据存储单元：与上述两个视频采集单元连接，保存实时视频、图像，根据参数获取保存的视频和图像；
一个显示单元：与上述两个视频采集单元连接，同时与数据存储单元连接，对实时视频、实时抓拍图像，回放视频和回放图像进行显示；
一个回放数据处理单元：给出保存的视频和图像信息，根据指令对存储的视频进行检索、读取、回放显示、格式转换，在回放的过程中可以显示是否有抓拍图像的信息，抓拍图像位置的信息；
其特征是：按以下步骤进行：
通过对低分辨摄像头视频数据的连续监视，得到监控区域的背景图像；通过当前图像与背景图像的比较，得到监控视频的场景变化信息；当场景变化信息超过预先设定的阈值时，则认为此时是场景的保存时机，此时首先直接保存一帧高分辨图像，然后根据场景变化信息确定本次抓拍区域，并根据上次抓拍的时间与当前时间的差值、上次抓拍区域与当前抓拍区域的比较，对本次抓拍区域进行修正，给出控制高分辨摄像头微调的控制信息，并根据微调控制单元的反馈，再次读取高分辨摄像头的图像并进行保存显示处理，从而完成一次高分辨图像的记录；对于按上述检测算法需要连续记录的情形，本算法每秒最多给出2次触发时机；
上述场景变化信息的判定方法如下：
第一步：将输入的普通分辨率摄像头的连续视频，直接记录到存储单元；
第二步，确定场景的变化值；
第三步，判断场景变化值是否超过预设的阈值d1，其计算如下；若未超过，本次处理结束，否则转第四步；
d1＝图像总像素数*r，r＝5％-10％；
第四步，直接保存当前的高分辨摄像头的视频；
第五步，确定计算抓拍区域；
第六步，根据抓拍区域，控制高分辨摄像头的位置微调和缩放；
第七步，等待微调控制单元已控制到位反馈信号；
第八步，抓拍并保存高分辨摄像头一帧图像，作为前景的变化值，本次处理结束；
上述第二步中场景变化值的计算步骤如下：
1)：在输入的连续视频中获取当前图像，按以下公式计算背景图像，并保存：
其中，f(i，j)为当前时刻位置(i，j)的像素值，fb′(i，j)为保存的背景图像，n为用于背景计算的图像个数，小于等于预设的最大值2400，fb(i，j)为计算出的背景图；
在只有第一帧视频图像时，计算出的背景就等于当前视频图像；
2)：用当前图像减去背景图像，作为前景图像，如以下公式所示：
ff(i，j)＝f(i，j)-fb(i，j)
其中，ff(i，j)、f(i，j)、fb(i，j)分别为前景图像、当前图像、背景图像中位置为(i，j)的像素值；
3)：二值化处理，按以下公式计算动态阈值d2：d2＝(yf+yb)/2，其中，yf为前景图像平均灰度值，yb为背景图像平均灰度值；
再按以下公式处理：
y(i，j)＝0.299R(i，j)+0.587G(i，j)+0.114B(i，j)
其中，R(i，j)、G(i，j)、B(i，j)为前景图中位置为(i，j)像素的红、绿、蓝分量值，y(i，j)为计算出的灰度值以及二值化后的灰度值；
4)：将二值化后图像中黑色像数的个数进行统计，作为场景的变化值；
上述第五步中抓拍区域的确定步骤如下：
a)分别确定矩形四角和中心点，再从四角和中心的5个矩形范围内，按原始图像比例扩大方式进行搜索：首先给定二值化后前景图像；再按原始图像10％大小比例不变确定初始矩形；固定该矩形起始点，并计算矩形内黑色像素个数，若该黑点像素个数超过前景图像中黑色像素的80％，则确定为该方向最佳矩形；否则，按纵向像素+1的比例来扩大矩形，并返回上述计数矩形内黑色像素个数的步骤；
b)比较5个矩形的大小，取最小值作为抓拍区域。

基于双摄像头的数字视频智能监控设备及数据处理方法\n技术领域\n[0001] 本发明涉及数字视频智能监控设备，具体来说是具有双摄像头的监控设备，通过对低分辨监控视频的实时处理，得到高分辨视频图像抓拍时机指示，并根据该指示抓拍高清晰数字视频图像的具有一定智能的数字视频监控设备及其数据处理方法。\n背景技术\n[0002] 数字视频监控设备的使用目前已经非常普及，广泛使用于楼宇监控和路口及道路监控中，但是这些视频的分辨率普遍偏低(通常为VCD分辨率)，这就导致了目前在应用中普遍存在的一个问题，即在需要察看相关视频的细节时发现，因为视频的分辨率较低，许多细节非常模糊，即使使用肉眼也无法分辨。\n[0003] 制约监控视频分辨率的原因，已经不是高分辨率摄像头的价格问题，而是视频数据的容量问题。因为监控视频需要进行实时的记录和存储，若使用高分辨率的视频记录，将占用非常庞大的存储空间和处理开销；同时必要性也不大，因而通常情况一般情况下都只能使用较低分辨率进行保存。\n[0004] 如果数字视频监控设备具有一定的智能性，即在平时按较低分辨率格式保存，在发现异常等可能需要分辨细节的时机，保存相应的高分辨图像，则将极大地增强数字视频监控设备的智能程度，增强系统的实用性。\n[0005] 在国内到目前为止，尚未检索到类似技术或相关专利。\n发明内容\n[0006] 本发明的目的是提供一种数字视频智能监控设备，旨在将持续的低分辨率的视频监控记录和间断的高分辨的视频图像记录相结合，达到以较小代价达到提高数字视频监控效能的目的。\n[0007] 本发明的目的是这样实现的：一种数字视频智能监控设备，包括，\n[0008] 两个分别具有普通分辨率和高分辨率的摄像头单元：上下或左右排列，设置参数使其监控区域基本相同，其中高分辨摄像头具有一定倍数的图像放大缩小功能，其主光轴可微调，使其能对另一摄像头的部分监控区域进行放大；\n[0009] 一个摄像头微调控制单元：其输出端与高分辨率摄像头单元输入端连接，根据实时数据处理单元的命令对摄像头的主光轴进行微调以及控制摄像头图像的放大和缩小；\n[0010] 两个视频数据采集单元：分别与上述两个摄像头单元连接，将两个摄像头的模拟或数字视频数据转换为内部统一的数字视频格式；\n[0011] 一个实时数据处理单元：将低分辨摄像头的视频数据发送给数据存储单元实现存储，并发送给显示单元进行显示；对低分辨视频进行智能处理，检测出需要抓拍高分辨视频的时机和画面位置，发送控制指令给摄像头位置微调控制单元，并根据刚才给出的时机抓拍高分辨视频，发送给存储单元进行保存，发送给显示单元进行显示；\n[0012] 一个数据存储单元：与上述两个视频采集单元连接，保存实时视频、图像，根据参数获取保存的视频和图像；\n[0013] 一个显示单元：与上述两个视频采集单元连接，同时与数据存储单元连接，对实时视频、实时抓拍图像，回放视频和回放图像进行显示；\n[0014] 一个回放数据处理单元：给出保存的视频和图像信息，根据指令对存储的视频进行检索、读取、回放显示、格式转换，在回放的过程中可以显示是否有抓拍图像的信息，抓拍图像位置的信息。\n[0015] 本发明的另一个目的是提供上述数字视频智能监控设备的实时数据处理方法。\n[0016] 本发明的另一目的是这样实现的：一种所述设备的实时数据处理方法，按以下步骤进行：\n[0017] 通过对低分辨摄像头视频数据的连续监视，得到监控区域的背景图像；通过当前图像与背景图像的比较，得到监控视频的场景变化信息；当场景变化信息超过预先设定的阈值时，则认为此时是场景的保存时机，此时首先直接保存一帧高分辨图像，然后根据场景变化信息确定本次抓拍区域，并根据上次抓拍的时间与当前时间的差值、上次抓拍区域与当前抓拍区域的比较，对本次抓拍区域进行修正，给出控制高分辨摄像头微调的控制信息，并根据微调控制单元的反馈，再次读取高分辨摄像头的图像并进行保存显示处理，从而完成一次高分辨图像的记录；对于按上述检测算法需要连续记录的情形，本算法每秒最多给出2次触发时机；\n[0018] 上述场景变化信息的判定方法如下：\n[0019] 第一步：将输入的普通分辨率摄像头的连续视频，直接记录到存储单元；\n[0020] 第二步，确定场景的变化值；\n[0021] 第三步，判断场景变化值是否超过预设的阈值d1，其计算如下；若未超过，本次处理结束，否则转第四步；\n[0022] d1＝图像总像素数*r，r＝5％-10％；\n[0023] 第四步，直接保存当前的高分辨摄像头的视频；\n[0024] 第五步，确定计算抓拍区域；\n[0025] 第六步，根据抓拍区域，控制高分辨摄像头的位置微调和缩放；\n[0026] 第七步，等待微调控制单元已控制到位反馈信号；\n[0027] 第八步，抓拍并保存高分辨摄像头一帧图像，作为前景的变化值，本次处理结束；\n[0028] 上述第二步中场景变化值的计算步骤如下：\n[0029] 第一步：在输入的连续视频中获取当前图像，按以下公式计算背景图像，并保存。\n[0030] \n[0031] 其中，f(i，j)为当前时刻位置(i，j)的像素值，fb′(i，j)为保存的背景图像，n为用于背景计算的图像个数，小于等于预设的最大值nmax(一般设为2400)，fb(i，j)为计算出的背景图；\n[0032] 在只有第一帧视频图像时，计算出的背景就等于当前视频图像；\n[0033] 第二步：用当前图像减去背景图像，作为前景图像，如以下公式所示：\n[0034] ff(i，j)＝f(i，j)-fb(i，j)\n[0035] 其中，ff(i，j)、f(i，j)、fb(i，j)分别为前景图像、当前图像、背景图像中位置为(i，j)的像素值；\n[0036] 第三步：二值化处理，按以下公式计算动态阈值d2：d2＝(yf+yb)/2，其中，yf为前景图像平均灰度值，yb为背景图像平均灰度值；\n[0037] 再按以下公式处理：\n[0038] y(i，j)＝0.299R(i，j)+0.587G(i，j)+0.114B(i，j)\n[0039] \n[0040] 其中，R(i，j)、G(i，j)、B(i，j)为前景图中位置为(i，j)像素的红、绿、蓝分量值，y(i，j)为计算出的灰度值以及二值化后的灰度值；\n[0041] 第四步：将二值化后图像中黑色像数的个数进行统计，作为场景的变化值；\n[0042] 上述第五步中抓拍区域的确定步骤如下：\n[0043] a)分别确定矩形四角和中心点，再从四角和中心的5个矩形范围内，按原始图像比例扩大方式进行搜索：首先给定二值化后前景图像；再按原始图像10％大小比例不变确定初始矩形；固定该矩形起始点，并计算矩形内黑色像素个数，若该黑点像素个数超过前景图像中黑色像素的80％，则确定为该方向最佳矩形；否则，按纵向像素+1的比例来扩大矩形，并返回上述计数矩形内黑色像素个数的步骤；\n[0044] b)比较5个矩形的大小，取最小值作为抓拍区域。\n[0045] 本发明通过增加高分辨率摄像头和控制高分辨率摄像头的方式，通过对监控区域图像的实时智能监控，以最多每秒2帧的数据率保存监控区域内变化较大的图像，最大限度地减少了增加高分辨率监控图像带来的数据量增加问题，同时也保证了对监控区域进行高分辨图像细节分辨的需求，极大地提高了监控效能。\n[0046] 本发明的有益效果是：\n[0047] 1、增加了一个高分辨率摄像头，可实现对视频图像以高分辨率方式保存和细节分辨的目的。\n[0048] 2、增加了高分辨率摄像头微调控制单元，可实现对局部监控区域的监视和放大，进一步增加了对监控区域的细节记录能力。\n[0049] 3、增加了视频图像实时检测功能，可实现对高分辨率图像记录时机的确定，并可实现确定局部重点监控区域的能力。\n[0050] 4、增加了普通视频数据和高分辨视频图像进行同步保存的能力。\n[0051] 5、增加了普通视频数据和高分辨视频图像联合检索、回放和显示的能力。\n附图说明\n[0052] 图1是本发明的结构框图；\n[0053] 图2是图1所示本发明实时数据处理程序流程图；\n[0054] 图3是本发明场景变化的计算流程图；\n[0055] 图4是本发明动态阈值调整计算流程图；\n[0056] 图5是本发明抓拍区域计算示意图；\n[0057] 图6是本发明抓拍区域搜索算法示意图；\n[0058] 图7是本发明双摄像头抓拍区域示意图；\n[0059] 图8是本发明高分辨检索/回放示意图。\n具体实施方式\n[0060] 图1说明：本发明由包括两个分别具有普通分辨率和高分辨率的摄像头组成的摄像头单元，一个摄像头微调控制单元，两个视频数据采集单元，一个实时数据处理单元，一个数据存储单元，一个显示单元，一个回放数据处理单元。\n[0061] 图2说明：第一步：将输入的普通分辨率摄像头的连续视频，直接记录到存储单元；\n[0062] 第二步，根据图3所示算法，确定场景的变化值。\n[0063] 第三步，判断场景变化值是否超过预设的阈值d1，其计算如下。若未超过，本次处理结束，否则转第四步。\n[0064] d1＝图像总像素数*r\n[0065] r＝5％-10％，可手动调整。\n[0066] 第四步，直接保存当前的高分辨摄像头的视频。\n[0067] 第五步，根据图5所示算法，计算抓拍区域。\n[0068] 第六步，根据抓拍区域，控制高分辨摄像头的位置微调和缩放。\n[0069] 第七步，等待微调控制单元已控制到位反馈信号。\n[0070] 第八步，抓拍并保存高分辨摄像头一帧图像。本次处理结束。\n[0071] 图3说明：第一步：在输入的连续视频中获取当前图像，按以下公式计算背景图像，并保存。\n[0072] \n[0073] 其中，f(i，j)为当前时刻位置(i，j)的像素值，fb′(i，j)为保存的背景图像，n为用于背景计算的图像个数，小于等于预设的最大值nmax(一般设为2400)，fb(i，j)为计算出的背景图。\n[0074] 在只有第一帧视频图像时，计算出的背景就等于当前视频图像。\n[0075] 第二步：用当前图像减去背景图像，作为前景图像，如以下公式所示。\n[0076] ff(i，j)＝f(i，j)-fb(i，j)\n[0077] 其中，ff(i，j)、f(i，j)、fb(i，j)分别为前景图像、当前图像、背景图像中位置为(i，j)的像素值。\n[0078] 第三步：二值化处理，即按照图4所示算法中确定的阈值d2，按以下公式处理：\n[0079] y(i，j)＝0.299R(i，j)+0.587G(i，j)+0.114B(i，j)\n[0080] \n[0081] 其中，R(i，j)、G(i，j)、B(i，j)为前景图中位置为(i，j)像素的红、绿、蓝分量值，y(i，j)为计算出的灰度值以及二值化后的灰度值。\n[0082] 第四步：将二值化后图像中黑色像数的个数进行统计，作为前景的变化值。\n[0083] 图4说明：第一步：计算背景图像平均灰度值yb。\n[0084] 第二步：计算前景图像平均灰度值yf。\n[0085] 第三步：按以下公式计算动态阈值d2：\n[0086] d2＝(yf+yb)/2\n[0087] 图5说明：第一步：从四角和中心开始搜索(分别固定四角和中心点)，按原始图像比例扩大，按图6所示搜索算法进行搜索。\n[0088] 第二步：比较5个矩形的大小，取最小值作为抓拍区域。\n[0089] 抓拍区域为普通视频监控摄像头监控范围内高分辨摄像头监控区域。\n[0090] 第一步，读取低分辨视频信息，包括时间信息；\n[0091] 第二步，读取高分辨图像数据，得到包含时间的列表信息；\n[0092] 第三步，在列表中或视频进度条中显示高分辨图像数据位置信息；\n[0093] 第四步，可以进行高分辨图像检索，以及低分辨视频和高分辨图像联合回放。