1.一种多画面视频图像处理方法,其特征在于,包括
接收多路子画面视频图像的数据码流;
获取当前子画面视频图像的图像特征;
根据控制参数和所述当前子画面视频图像的图像特征计算调整系数;
使用控制参数和所述调整系数均衡所述当前子画面视频图像的效果;
将经过均衡的多路子画面视频图像合成多画面视频图像;
其中,所述获取当前子画面视频图像的图像特征包括:
统计所述当前子画面视频图像中亮度值在区间[Alum,Blum]上的像素点,所述Alum大于或等于0,所述Blum小于或等于Lm,所述Lm为描述亮度标准时所使用的最大值;
由所述区间[Alum,Blum]上的像素点和所述像素点对应的亮度值构造像素点-亮度值统计图;
从所述像素点-亮度值统计图确定所述当前子画面视频图像的亮度特征;
其中,所述控制参数为将所述当前子画面视频图像均衡到目标亮度值时使用的基准值Lo,根据控制参数和所述当前子画面视频图像的图像特征计算调整系数为根据所述当前子画面视频图像的图像特征计算当前子画面视频图像的第一亮度调整系数CL1和第二亮度调整系数CL2,包括:
对所述像素点-亮度值统计图中像素值在区间[Apix,Bpix]上的像素点从像素值为Apix的像素点开始计数,当计数到第K个像素点时,得到第K个像素点的像素值P0,所述Apix、Bpix在数值上分别与所述Alum、Blum相等;
由所述Apix、Bpix、P0和Lo,计算得到所述第一亮度调整系数CL1和所述第二亮度调整系数CL2,其中,所述第一亮度调整系数CL1和所述第二亮度调整系数CL2均与Lo呈线性关系;
其中,所述使用控制参数和所述调整系数均衡所述当前子画面视频图像的效果包括:
使用所述基准值Lo和所述第一亮度调整系数CL1对像素值在区间[Apix,P0]上的像素点的亮度值进行线性修正,得到[Apix,P0]区间上的当前子画面视频图像的亮度值L1;
使用所述基准值Lo和所述第二亮度调整系数CL2对像素值在[P0,Bpix]区间上的像素点的亮度值进行线性修正,得到[P0,Bpix]区间上的当前子画面视频图像的亮度值L2。
2.一种多画面视频图像处理方法,其特征在于,包括:
接收多路子画面视频图像的数据码流;
获取当前子画面视频图像的图像特征;
根据控制参数和所述当前子画面视频图像的图像特征计算调整系数;
使用控制参数和所述调整系数均衡所述当前子画面视频图像的效果;
将经过均衡的多路子画面视频图像合成多画面视频图像;
其中,所述获取当前子画面视频图像的图像特征包括:
统计所述当前子画面视频图像中色度值与白色区域色度值接近的像素点;
由所述与白色区域色度值接近的像素点和其对应的色度值构造像素点-色度值统计图;
从所述像素点-色度值统计图确定所述当前子画面视频图像的色度特征;
其中,所述控制参数为将所述当前子画面视频图像均衡到目标色度值时使用的基准值Co,根据控制参数和所述当前子画面视频图像的图像特征计算调整系数为根据所述当前子画面视频图像的图像特征计算当前子画面视频图像的第一色度调整系数CC1和第二色度调整系数CC2,包括:
对所述像素点-色度值统计图中像素值在区间[Jpix,Kpix]上的像素点从像素值为Jpix的像素点开始计数,当计数到第J个像素点时,得到第J个像素点的像素值P1,所述Jpix大于或等于0,所述Kpix小于或等于Y,所述Y为描述像素值标准时所使用的最大值;
由所述Jpix、Kpix、P1和Co,计算得到所述第一色度调整系数CC1和所述第二色度调整系数CC2,其中,所述第一色度调整系数CC1和所述第二色度调整系数CC2均与Co呈线性关系;
其中,所述使用控制参数和调整系数均衡所述当前子画面视频图像的效果包括:
使用所述基准值Co和所述第一色度调整系数CC1对像素值在区间[Jpix,P1]上的像素点的色度值进行线性修正,得到[Jpix,P1]区间上的当前子画面视频图像的色度值C1;
使用所述基准值Co和所述第二色度调整系数CC2对像素值在区间[P1,Kpix]上的像素点的色度值进行线性修正,得到[P1,Kpix]区间上的当前子画面视频图像的色度值C2。
3.一种多画面视频图像处理装置,其特征在于,包括:
均衡模块,用于接收多路子画面视频图像的数据码流;
合成模块,用于将所述经过均衡模块均衡的子画面视频图像合成多画面视频图像;
所述均衡模块还包括第一图像特征获取子模块、第一计算子模块和第一均衡子模块;
所述第一图像特征获取子模块,用于获取当前子画面视频图像的图像特征;
所述第一计算子模块,用于根据控制参数和所述第一图像特征获取子模块获取的当前子画面视频图像的图像特征计算调整系数;
所述第一均衡子模块,用于使用控制参数和所述第一计算子模块计算所得调整系数均衡所述当前子画面视频图像的效果;
其中,所述第一图像特征获取子模块包括:
第一统计单元,用于统计所述当前子画面视频图像中亮度值在区间[Alum,Blum]上的像素点,所述Alum大于或等于0,所述Blum小于或等于Lm,所述Lm为描述亮度标准时所使用的最大值;
第一统计图构造单元,用于由所述区间[Alum,Blum]上的像素点和所述像素点对应的亮度值构造像素点-亮度值统计图;
亮度特征确定单元,用于从所述像素点-亮度值统计图确定所述当前子画面视频图像的亮度特征;
其中,所述控制参数为将所述当前子画面视频图像均衡到目标亮度值时使用的基准值Lo,所述第一计算子模块包括:
第一计数单元,用于对所述像素点-亮度值统计图中像素值在区间[Apix,Bpix]上的像素点从像素值为Apix的像素点开始计数,当计数到第K个像素点时,得到第K个像素点的像素值P0,所述Apix、Bpix在数值上分别与所述Alum、Blum相等;
亮度调整系数计算单元,用于由所述基准值Lo、Apix、Bpix和P0,计算得到第一亮度调整系数CL1和第二亮度调整系数CL2,其中,所述第一亮度调整系数CL1和所述第二亮度调整系数CL2均与所述基准值Lo呈线性关系;
其中,所述第一均衡子模块包括:
第一亮度均衡子单元,使用所述基准值Lo和所述第一亮度调整系数CL1对像素值在区间[Apix,P0]上的像素点的亮度值进行线性修正,得到[Apix,P0]区间上的当前子画面视频图像的亮度值L1;
第二亮度均衡子单元,使用所述基准值Lo和所述第二亮度调整系数CL2对像素值在[P0,Bpix]区间上的像素点的亮度值进行线性修正,得到[P0,Bpix]区间上的当前子画面视频图像的亮度值L2。
4.一种多画面视频图像处理装置,其特征在于,包括:
均衡模块,用于接收多路子画面视频图像的数据码流;
合成模块,用于将所述经过均衡模块均衡的子画面视频图像合成多画面视频图像;
所述均衡模块还包括第一图像特征获取子模块、第一计算子模块和第一均衡子模块;
所述第一图像特征获取子模块,用于获取当前子画面视频图像的图像特征;
所述第一计算子模块,用于根据控制参数和所述第一图像特征获取子模块获取的当前子画面视频图像的图像特征计算调整系数;
所述第一均衡子模块,用于使用控制参数和所述第一计算子模块计算所得调整系数均衡所述当前子画面视频图像的效果;
其中,所述第一图像特征获取子模块包括:
第二统计单元,用于统计所述当前子画面视频图像中色度值与白色区域色度值接近的像素点;
第二统计图构造单元,用于由所述与白色区域色度值接近的像素点和其对应的色度值构造像素点-色度值统计图;
色度特征确定单元,用于从所述像素点-色度值统计图确定所述当前子画面视频图像的色度特征。
其中,所述控制参数为将所述当前子画面视频图像均衡到目标色度值时使用的基准值Co,所述第一计算子模块包括:
第二计数单元,用于对所述像素点-色度值统计图中像素值在区间[Jpix,Kpix]上的像素点从像素值为Jpix的像素点开始计数,当计数到第J个像素点时,得到第J个像素点的像素值P1,所述Jpix大于或等于0,所述Kpix小于或等于Y,所述Y为描述像素值标准时所使用的最大值;
色度调整系数计算单元,用于根据所述基准值Co、所述Jpix、Kpix和P1,计算得到第一色度调整系数CC1和第二色度调整系数CC2,所述第一色度调整系数CC1和所述第二色度调整系数CC2均与所述基准值Co呈线性关系。
其中,所述第一均衡子模块包括:
第一色度均衡子单元,使用所述基准值Co和所述第一色度调整系数CC1对像素值在区间[Jpix,P1]上的像素点的色度值进行线性修正,得到[Jpix,P1]区间上的当前子画面视频图像的色度值C1;
第二色度均衡子单元,使用所述基准值Co和所述第二色度调整系数CC2对像素值在区间[P1,Kpix]上的像素点的色度值进行线性修正,得到[P1,Kpix]区间上的当前子画面视频图像的色度值C2。
多画面视频图像处理方法和装置\n技术领域\n[0001] 本发明涉及视频图像处理领域,具体涉及多画面视频图像处理方法和装置。\n背景技术\n[0002] 随着编码和信息压缩技术的发展以及数字网络的高速发展,视频会议系统开始步入市场。基于H.323视频会议标准的视频会议系统,正在随着IP网络的迅速发展,得到日益广泛的应用。政府、军队、企业等部门基本都部署了自己的视频会议系统,以提高开会效率,降低开会成本。\n[0003] 视频会议的模式从单一的点对点通话、单屏幕显示对方视频的模式,发展为目前的多个会场同时开展会议、同时多画面显示或者同时多个屏幕显示的会议模式。当来自不同的会场画面组成一个多画面显示,或者同时输出多个会场到多个显示设备显示时,由于不同的会场,受现场环境及灯光、摄像头等会场设备的影响,会导致视频的氛围不尽相同,特别是色度、亮度等都会表现出一定的差异,此时,如果将不同的会场画面组成一个多画面,或者通过多个显示设备输出显示时,就会给与会者一种不统一、不协调的感觉,造成视觉体验的降低。\n[0004] 为了减小上述影响,提升与会者的视觉体验,现有技术提供了如下两种解决方案。\n[0005] 方案一:\n[0006] 源端画面调整,即,在会场的画面输出到目的会场之前调整会场输入端的效果。例如,对于会场A、B、C和D,每个会场独自调整各自视频采集设备的参数,比如调整摄像头的颜色、亮度参数,或者,通过摄像头支持的自动调整功能,对各自会场画面的效果进行改善,以确保各自会场的效果达到最佳后再输出到目的会场拼接成多画面。\n[0007] 由于各个会场在视频采集装置上存在一定的差别,并且,受光线强弱和灯光色彩等影响,会场环境也不尽相同,例如,有的会场为冷色调的灯光,整个会场的光线都呈冷色调;有的会场为暖色调的灯光,整个会场的光线都呈暖色调。按照上述方案一提供的技术手段,将造成各个会场在独自调整画面效果时,并不能够充分考虑到与其他会场的环境差异,如此,当各个会场的画面汇总到一起拼接成多画面时,就会出现多画面中各个子画面的亮度和色彩特性有明显的差别,使得视觉体验变差。\n[0008] 方案二:\n[0009] 输出画面调整,即,调整会场输出端的效果。例如,在一个多画面会议中,当接收到一个多画面的时候,通过调整显示设备的输出模式(例如,色彩、亮度等参数),使各个子画面同时变化,统一调整整个多画面的输出效果。\n[0010] 由于多画面输出的各个子画面的图像特点都已经固定,上述通过调整显示设备的输出模式统一调整整个多画面的输出效果不是一种差异调节,往往在满足了其中一个子画面的效果时会影响其他子画面的效果,无法做到所有的子画面都同时能够获得良好的视觉体验。\n发明内容\n[0011] 本发明实施例提供涉及多画面视频图像处理方法和装置,解决现有技术方案在调整多画面时由于不能同时满足各个子画面的特性而造成与会者视觉体验变差的问题。\n[0012] 一种多画面视频图像处理方法,包括:接收多路子画面视频图像的数据码流,获取当前子画面视频图像的图像特征,所述图像特征包括亮度特征或色度特征;根据控制参数和所述当前子画面视频图像的图像特征计算调整系数;使用控制参数和所述调整系数均衡当前子画面视频图像的效果;将经过均衡的多路子画面视频图像合成多画面视频图。\n[0013] 一种多画面视频图像处理装置,包括:均衡模块,用于接收多路子画面视频图像的数据码流;合成模块,用于将所述经过均衡模块均衡的子画面视频图像合成多画面视频图像;所述均衡模块还包括第一图像特征获取子模块、第一计算子模块和第一均衡子模块;\n所述第一图像特征获取子模块,用于获取当前子画面视频图像的图像特征,所述图像特征包括亮度特征或色度特征;所述第一计算子模块,用于根据控制参数和所述第一图像特征获取子模块获取的当前子画面视频图像的图像特征计算调整系数;所述第一均衡子模块,用于使用控制参数和所述第一计算子模块计算所得调整系数均衡所述当前子画面视频图像的效果。\n[0014] 本发明实施例通过获取多路子画面视频图像的图像特征,根据获取的子画面视频图像的图像特征独立计算调整系数,采用相同的控制参数和独立计算出来的调整系数对来自各单个会场的子画面视频图像在形成多画面视频图像之前进行均衡。由于本发明是根据相同的控制参数,针对各个独立的子画面视频图像单独计算调整系数,因此,经过调整系数和同一控制参数均衡后,能够将各个子画面视频图像统一调整到具有相同图像特征的效果,使子画面视频图像在显示时表现出相同的画面特点,从而使得由子画面视频图像构成的多画面视频图像的显示达到整体风格和谐并提升与会者的视觉体验。\n附图说明\n[0015] 图1是本发明实施例一提供的一种多画面视频图像处理方法基本流程示意图;\n[0016] 图2是本发明实施例二提供的使用控制参数分别均衡多路子画面视频图像的效果方法基本流程示意图;\n[0017] 图3是本发明实施例三提供的一种多画面视频图像处理方法基本流程示意图;\n[0018] 图4是本发明实施例四提供的使用控制参数分别均衡多路子画面视频图像的效果方法基本流程示意图;\n[0019] 图5是本发明实施例五提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0020] 图6是本发明实施例六提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0021] 图7是本发明实施例七提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0022] 图8是本发明实施例八提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0023] 图9是本发明实施例九提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0024] 图10是本发明实施例十提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0025] 图11是本发明实施例十一提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0026] 图12是本发明实施例十二提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0027] 图13是本发明实施例十三提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0028] 图14是本发明实施例十四提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0029] 图15是本发明实施例十五提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0030] 图16是本发明实施例十六提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0031] 图17是本发明实施例十七提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0032] 图18是本发明实施例十八提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0033] 图19是本发明实施例十九提供的一种多画面视频图像处理装置基本逻辑结构示意图;\n[0034] 图20是本发明实施例二十提供的一种多画面视频图像处理装置基本逻辑结构示意图。\n具体实施方式\n[0035] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。\n[0036] 与现有技术不同,在本发明实施例中,对来自各单个会场的子画面视频图像在形多画面视频图像之前,采用相同的控制参数和独立计算出来的调整系数进行均衡,使最终形成的多画面视频图像的效果都能够体现相同的特征。\n[0037] 请参考图1,本发明实施例一提供的一种多画面视频图像处理方法基本流程示意图,主要包括步骤:\n[0038] S101,接收多路子画面视频图像的数据码流,根据子画面视频图像的图像特征,使用控制参数分别均衡该多路子画面视频图像的效果;\n[0039] 在本实施例中,多路子画面视频图像指在视频会议中来自单个会场(或会场单元)的各路子画面视频图像的集合。\n[0040] S102,将经过均衡的多路子画面视频图像合成多画面视频图像。\n[0041] 以下以针对一路子画面视频图像,使用控制参数进行均衡为例对本发明实施以进行说明。\n[0042] 请参阅图2,本发明实施例二提供的使用控制参数分别均衡多路子画面视频图像的效果方法基本流程示意图,主要包括步骤:\n[0043] S201,获取当前子画面视频图像的图像特征。\n[0044] 在本发明实施例中,虽然子画面视频图像的整体效果是子画面中所有像素点(pixel)共同作用的结果,但获取子画面视频图像的图像特征并不需要所有像素点的参数,即,对于一帧子画面视频图像,只需要统计有限个像素点即可确定该图像的图像特征。\n[0045] 从简单且容易实现的角度考虑,在本发明实施例中,可以采用直方图统计方法统计一帧子画面视频图像中亮度(Luminance)值在区间[Alum,Blum]上的像素点,这里,Alum大于或等于0,Blum小于或等于Lm,而Lm为描述亮度标准时所使用的最大值。例如,对于通常采用8比特(Bit)对应的十进制来描述亮度值的表示方法,Lm可以取255,与描述亮度标准时所使用的最大值对应;若是16比特对应的十进制来描述亮度值的表示方法,Lm取65535,与描述亮度标准时所使用的最大值对应,本发明对此并不加限制。\n[0046] 之后,可以由亮度值在区间[Alum,Blum]上的像素点和该范围像素点对应的亮度值构造当前子画面视频图像的像素点使用控制参数和所述调整系数均衡所述当前子画面视频图像的效果-亮度值统计图,由像素点-亮度值统计图就可以确定当前子画面视频图像的亮度特征。例如,假设在像素点-亮度值统计图中大量的像素点(例如,超过80%的像素点)的亮度值都小于一帧图像具有正常亮度时的亮度值(例如,亮度值为100),则可以确定当前子画面视频图像的亮度特征是“图像偏暗”,需要通过某种手段适当增大当前子画面视频图像的亮度;反之,若在像素点-亮度值统计图中大量的像素点(例如,超过80%的像素点)的亮度值都大于一帧图像具有正常亮度时的亮度值(例如,亮度值为100),则可以确定当前子画面视频图像的亮度特征是“图像偏亮”,需要通过某种手段适当减小当前子画面视频图像的亮度。\n[0047] 同样地,也可以采用直方图统计方法统计一帧子画面视频图像中色度(Chroma)值在一定范围内的像素点以判断子画面视频图像的色度特征,例如,通过统计一帧子画面视频图像中红色度(CR,Chroma Red)值或蓝色度(CB,Chroma Blue)值在一定范围内的像素点以判断子画面视频图像的色度特征。由于白色是基础颜色,且亮度值较大,例如,通常达到200(采用8比特对应的十进制表示色度值时的值)以上,因此,与图像亮度值的统计不同,在本发明实施例中,对于CR值或CB值的统计,通过统计当前子画面视频图像中色度值与白色区域色度值接近的像素点,由与白色区域色度值接近的像素点和其对应的色度值构造像素点-色度值统计图,再由该像素点-色度值统计图确定当前子画面视频图像的色度特征。\n[0048] 例如,对于白色区域,CR值或CB值都接近于128(采用8比特对应的十进制表示色度值时的值),鉴于此,在本发明实施例中,可以将色度值在[128-T2,128+T2]内的像素点统计出来。由于T2是一个较小值(例如,小于或等于10),色度值在[128-T2,128+T2]内的像素点就是与白色区域色度值接近的像素点,因此,若通过统计当前子画面视频图像中色度值与白色区域色度值接近的像素点构造出的像素点-色度值统计图中,大部分像素点的色度值(CR值或CB值)都比128小或者比128大,则可以确定当前子画面视频图像的色度特征是有色度偏移,比如偏蓝色、绿色或者偏红色等,需要通过某种手段适当调整当前子画面视频图像的色度。\n[0049] S202,根据控制参数和当前子画面视频图像的图像特征计算调整系数。\n[0050] 如前所述,接收的子画面视频图像可能有亮度偏移或亮度偏移。\n[0051] 在本发明实施例中,可以根据控制参数和当前子画面视频图像的图像特征计算一个调整系数,利用该调整系数以及控制参数来修正子画面视频图像的色度偏移或亮度偏移,以均衡子画面视频图像的效果。\n[0052] 例如,对于当前子画面视频图像的亮度,可以根据该当前子画面视频图像的图像特征以及预定或设定的一个控制参数计算当前子画面视频图像的第一亮度调整系数CL1和第二亮度调整系数CL2,其中,该控制参数可以是将当前子画面视频图像均衡到目标亮度值时使用的基准值,在本实施例中,用Lo表示。使用基准值Lo,可以保证当前子画面视频图像经过修正后既不偏亮也不偏暗。计算当前子画面视频图像的第一亮度调整系数CL1和第二亮度调整系数CL2具体可以是:\n[0053] S2021,对像素点-亮度值统计图中像素值在区间[Apix,Bpix]上的像素点从像素值为Apix的像素点开始计数,当计数到第K个像素点时,得到第K个像素点的像素值P0,其中,Apix、Bpix在数值上分别与Alum、Blum相等;\n[0054] 优选地,对于区间[Apix,Bpix]上的像素点,可以通过计数到像素点-亮度值统计图中像素点的一半时,即,当计数到第N/2个(当N/2不为整数时,可以将N/2取一个与之最接近的整数)像素点时,得到第N/2个像素点的像素值P0,其中,N为当前子画面视频图像的像素点-亮度值统计图中像素点个数,即像素点-亮度值统计图中统计出来的像素点样点个数。\n[0055] S2022,由Apix、Bpix、P0和Lo,计算得到第一亮度调整系数CL1和第二亮度调整系数CL2,其中,第一亮度调整系数CL1和第二亮度调整系数CL2均与Lo呈线性关系。\n[0056] 例如,可以由Apix、Bpix、P0和Lo,得到第一亮度调整系数CL1为Lo/(P0-Apix)和第二亮度调整系数CL2为Lo/(Bpix-P0),显然CL1和CL2均是与Lo呈线性关系的。以下举一个更为具体的例子:\n[0057] 例如,若将当前子画面视频图像均衡到目标亮度值时使用的基准值Lo为128,该当前子画面视频图像的像素点-亮度值统计图中有N个像素点,其像素值在[0,255]内(255为采用8比特对应的十进制表示像素值时的最大像素值),从像素值为0的像素点开始计数。当计数到第N/2个像素点时,得到第N/2个像素点的像素值P0,此处,像素值P0在区间[0,255]上。分别计算128/P0的值得到当前子画面视频图像的第一亮度调整系数CL1=128/P0,计算128/(255-P0)的值得到当前子画面视频图像的第二亮度调整系数CL2=128/(255-P0)。\n[0058] 对于当前子画面视频图像的色度,也可以根据该当前子画面视频图像的图像特征以及一个预定或设定的控制参数计算当前子画面视频图像的第一色度调整系数CC1和第二色度调整系数CC2,其中,该控制参数可以是将当前子画面视频图像均衡到目标色度值时使用的基准值,在本实施例中,用Co表示。使用基准值Co,可以保证当前子画面视频图像经过修正后色彩不偏移。计算当前子画面视频图像的第一色度调整系数CC1和第二色度调整系数CC2具体可以是:\n[0059] S’2021,对像素点-色度值统计图中像素值在区间[Jpix,Kpix]上的像素点从像素值为Jpix的像素点开始计数,当计数到第J个像素点时,得到第J个像素点的像素值P1,其中,Jpix大于或等于0,Kpix小于或等于Y,而Y为描述像素值标准时所使用的最大值,例如,\n255或65535等;\n[0060] 优选地,对于区间[Jpix,Kpix]上的像素点,可以通过计数到像素点-色度值统计图中像素点的一半时,即,当计数到第M/2个(当M/2不为整数时,可以将M/2取一个与之最接近的整数)像素点时,得到第M/2个像素点的像素值P1,其中,M为当前子画面视频图像的像素点-色度值统计图中像素点个数,即像素点-色度值统计图中统计出来的像素点样点个数。\n[0061] S’2022,由Jpix、Kpix、P1和Co,计算得到第一色度调整系数CC1和第二色度调整系数CC2,此处,第一色度调整系数CC1和第二色度调整系数CC2均与基准值Co呈线性关系。\n[0062] 例如,可以由Jpix、Kpix、P1和Co,得到第一亮度调整系数CC1为Co/(P1-Jpix)和第二亮度调整系数CC2为Co/(Kpix-P1),显然CC1和CC2均是与Co呈线性关系的。\n[0063] 以下举一个具体的例子加以说明:\n[0064] 若当前子画面视频图像均衡到目标色度值时使用的基准值Co为128,该当前子画面视频图像的像素点-色度值统计图中有N个像素点,其像素值在[0,255]内(255为采用\n8比特对应的十进制表示像素值时的最大像素值),从像素值为0的像素点开始计数。当计数到第N/2个像素点时,得到第N/2个像素点的像素值P1,此处,像素值P1在[0,255]内。\n分别计算128/P1的值得到当前子画面视频图像的第一亮度调整系数CL1=128/P1,计算128/(255-P1)的值得到当前子画面视频图像的第二亮度调整系数CL2=128/(255-P1)。\n[0065] 由于对于每一帧子画面视频图像,都是根据图像特征计算出不同亮度调整系数或色度调整系数和采用相同控制参数均衡每一帧子画面视频图像,因此,与现有技术相比,本实施例的调整方式能够使子画面视频图像在显示时表现出相同的画面特点。\n[0066] S203,使用控制参数和调整系数均衡当前子画面视频图像的效果。\n[0067] 对于当前子画面视频图像亮度效果的均衡,可以使用基准值Lo和S202中计算出的第一亮度调整系数CL1对像素值在区间[Apix,P0]上的像素点的亮度值进行线性修正,得到[Apix,P0]区间上的当前子画面视频图像的亮度值L1;使用基准值Lo和第二亮度调整系数CL2对像素值在[P0,Bpix]区间上的像素点的亮度值进行线性修正,得到[P0,Bpix]区间上的当前子画面视频图像的亮度值L2。所谓线性修正,是指对区间[Apix,P0]上的像素点的亮度值按照同一比例进行增大或减小,由于每个像素点都是根据同一个比例进行增大或减小的,所以,整个子画面图像经过线性修正的视觉效果就是协调的,不会出现一部分偏暗,一部分偏亮。\n[0068] 例如,对于前述实施例中,若计算得到的第一亮度调整系数CL1为Lo/(P0-Apix),在对当前子画面视频图像的亮度效果进行均衡时,可以将当前子画面视频图像中像素点在区间[Apix,P0]上的亮度值修正为CL1×(P-Apix)后输出,将当前子画面视频图像中像素点在区间[P0,Bpix]上的亮度值修正为Blum-(CL2×(Bpix-P))后输出,此处,P为当前子画面视频图像中像素点在被均衡之前的像素值。\n[0069] 对于当前子画面视频图像色度(包括CB或CR)效果的均衡,可以使用基准值Co和在S202中计算出的第一色度调整系数CC1对像素值在区间[Jpix,P1]上的像素点的色度值进行线性修正,得到[Jpix,P1]区间上的当前子画面视频图像的色度值C1;使用基准值Co和在S202中计算出的第二色度调整系数CC2对像素值在区间[P1,Kpix]上的像素点的色度值进行线性修正,得到[P1,Kpix]区间上的当前子画面视频图像的色度值C2。\n[0070] 例如,对于前述实施例中,若计算得到的第一亮度调整系数CC1为Co/(P1-Jpix)和第二亮度调整系数CC2为Co/(Kpix-P1),在对当前子画面视频图像的色度效果进行均衡时,可以将当前子画面视频图像中像素点在区间[Jpix,P1]上的色度值修正为CC1×(P-Jpix)后输出,将当前子画面视频图像中像素点在区间[P1,Kpix]上的色度值修正为Kchr-(CC2×(Kpix-P))后输出,此处,P为当前子画面视频图像中像素点在被均衡之前的像素值,Kchr为像素值在区间[Jpix,Kpix]上的像素点的色度值,其在数值上与Kpix相等。\n[0071] 需要说明的是,对于控制参数(即基准值Lo或基准值Co)并非总是固定不变。如果控制参数固定不变,则表明在一段较长时间内对子画面视频图像处理过程中,控制参数都固定。例如,在本发明实施例中,可以将当前子画面视频图像均衡到目标色度值时使用的基准值Lo或Co都固定在128。如果修正本实施例处理流程,即,如图3所示本发明实施例三,在使用控制参数和调整系数均衡当前子画面视频图像的效果后,执行更新控制参数的操作,则表明在一段较长时间内对子画面视频图像处理过程中,控制参数可以通过检测子画面视频图像的整体特征得到,比如可以将控制参数控制在和多个子画面视频图像相接近的范围,即,如果输入的子画面视频图像都表现相似的Lum/CB/CR特征(例如多个输入的子画面视频图像都表现为偏暗),长时间的都处于100左右,那么可以统一将控制参数中的基准值Lo控制在100左右,从而达到保持多数风格类似的子画面视频图像的图像特征,只将少数风格不一致的子画面视频图像的图像特征统一适配到整体画面特征之中。\n[0072] 从上述本发明实施例可以得知,由于本发明是根据相同的控制参数,针对各个独立的子画面视频图像单独计算调整系数,因此,经过调整系数和同一控制参数均衡后,能够将各个子画面视频图像统一调整到具有相同图像特征的效果,使子画面视频图像在显示时表现出相同的画面特点,从而使得由子画面视频图像构成的多画面视频图像的显示达到整体风格和谐并提升与会者的视觉体验。\n[0073] 请参阅图4,本发明实施例四提供的使用控制参数分别均衡多路子画面视频图像的效果方法基本流程示意图,主要包括步骤:\n[0074] S401,接收当前子画面视频图像Fn,使用控制参数和当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数均衡接收的当前子画面视频图像Fn的效果并同时获取所述当前子画面视频图像Fn的图像特征。\n[0075] 由于视频图像在时间上往往呈现一种时间相似性,特别是对于视频会议,输入的视频图像的环境基本上是固定的,时间上的相似性非常高,即,当前帧子画面视频图像的图像特征与紧跟其后一帧子画面视频图像的图像特征非常相似。因此,与本发明实施例二提供的使用控制参数均衡当前子画面视频图像不同,在本实施例中,可以使用控制参数和当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数均衡所述接收的当前子画面视频图像Fn的效果并同时获取所述当前子画面视频图像Fn的图像特征。\n[0076] 当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数计算时,需要每一帧子画面视频图像的图像特征作为基础,对Fn之前m(m是大于或等于1的自然数)帧子画面视频图像的每一帧子画面视频图像的调整系数进行加权。当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数的获取步骤包括:\n[0077] S4011,获取当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征;\n[0078] 在本实施例中,获取当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征与本发明实施例一获取当前子画面视频图像Fn的图像特征类似,例如,从简单且容易实现的角度考虑,也可以采用直方图统计方法统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像亮度值在区间[Slum,Tlum]上的像素点,期中,Slum大于或等于0,Tlum小于或等于Lm,而Lm的定义与前述实施例相同,为描述亮度标准时所使用的最大值。例如,对于通常采用8比特(Bit)对应的十进制来描述亮度值的表示方法,Lm取255,与描述亮度标准时所使用的最大值对应;若是16比特对应的十进制来描述亮度值的表示方法,Lm取,65535与描述亮度标准时所使用的最大值对应,本发明对此并不加限制。\n[0079] 之后,可以由亮度值在区间[Slum,Tlum]上的像素点和像素点对应的亮度值构造当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的像素点-亮度值统计图,由该像素点-亮度值统计图就可以确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的亮度特征。例如,假设在像素点-亮度值统计图中大量的像素点(例如,超过80%的像素点)的亮度值都小于一帧视频图像具有正常亮度时的亮度值(例如,亮度值为100),则可以确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的亮度特征是“图像偏暗”,需要通过某种手段适当增大子画面视频图像的亮度;反之,若在像素点-亮度值统计图中大量的像素点(例如,超过80%的像素点)的亮度值都大于一帧视频图像具有正常亮度时的亮度值(例如,亮度值为100),则可以确定子画面视频图像的亮度特征是“图像偏亮”,需要通过某种手段适当减小子画面视频图像的亮度。\n[0080] 同样地,也可以采用直方图统计方法统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像中色度(Chroma)值在一定范围内的像素点以判断当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度特征,例如,通过统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像中红色度(CR,Chroma Red)值或蓝色度(CB,Chroma Blue)值在一定范围内的像素点以判断子画面视频图像的色度特征。由于白色是基础颜色,且亮度值较大,例如,通常达到200(采用\n8比特对应的十进制表示色度值时的值)以上,因此,与图像亮度值的统计不同,在本发明实施例中,对于CR值或CB值的统计,通过统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像中色度值与白色区域色度值接近的像素点,由与白色区域色度值接近的像素点和其对应的色度值构造像素点-色度值统计图,再由该像素点-色度值统计图确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度特征。\n[0081] 例如,对于白色区域,CR值或CB值都接近于128(采用8比特对应的十进制表示色度值时的值),鉴于此,在本发明实施例中,可以将色度值在区间[128-T2,128+T2]上的像素点统计出来。由于T2是一个较小值(例如,小于或等于10),色度值在区间[128-T2,128+T2]上的像素点就是与白色区域色度值接近的像素点,因此,若通过统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像中色度值与白色区域色度值接近的像素点构造出的像素点/色度值统计图中,大部分像素点的色度值(CR值或CB值)都比128小或者比128大,则可以确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度特征是有色度偏移,比如偏蓝色、绿色或者偏红色等,需要通过某种手段适当调整当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度。\n[0082] S4012,根据控制参数和当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征,计算当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数。\n[0083] 在本实施例中,计算当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数是通过对当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的调整系数进行加权后得到。\n[0084] 例如,可以根据控制参数和当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征计算当前子画面视频图像Fn之前m帧子画面视频图像的第一亮度加权调整系数C’L1和第二亮度加权调整系数C’L2,其中,控制参数可以将当前子画面视频图像Fn前m帧中每一帧子画面视频图像均衡到目标亮度值时使用的基准值L’o,用于保证当前子画面视频图像Fn经过修正后既不偏亮也不偏暗。计算当前子画面视频图像Fn之前m帧子画面视频图像的第一亮度加权调整系数C’L1和第二亮度加权调整系数C’L2包括:\n[0085] S40121,对当前子画面视频图像Fn前m帧中每一帧子画面视频图像的像素点-亮度值统计图中像素值在区间[Spix,Tpix]上的像素点从像素值为Spix的像素点开始计数,Spix、Tpix在数值上分别与前述Slum、Tlum相等;\n[0086] S40122,对于该m帧子画面视频图像中第j帧子画面视频图像,当计数到第Q个像素点时,得到第Q个像素点的像素值P′0j,所述j取1、2、…、m;\n[0087] 优选地,对于该m帧子画面视频图像中第j帧子画面视频图像,可以通过计数到第j帧子画面视频图像像素点-亮度值统计图中像素点的一半时,即,当计数到第Nj/2个(当Nj/2不为整数时,可以将Nj/2取一个与之最接近的整数)像素点时,得到第Nj/2个像素点的像素值P′0j,其中,Nj为第j帧子画面视频图像的像素点-亮度值统计图中像素点个数,即像素点-亮度值统计图中统计出来的像素点样点个数。\n[0088] S40123,对P′0j求和,得到\n[0089] S40124,由所述Spix、Tpix、P’0和L’o,计算得到第一亮度加权调整系数C’L1和第二亮度加权调整系数C’L2,其中,第一亮度加权调整系数C’L2和第二亮度加权调整系数C’L2均与L’o呈线性关系。\n[0090] 例如,可以由Spix、Tpix、P’0和L’o,计算得到第一亮度加权调整系数C’L1为L’o/(P’0-Spix)其中,\n[0091] 计算得到第二亮度加权调整系数C’L2为L’o/(Tpix-P’0),同样地,显然,C’L1和C’L2均是与L’o呈线性关系的。\n[0092] 例如,若将当前子画面视频图像Fn前m帧中每一帧子画面视频图像均衡到目标亮度值时使用的基准值L’o为128,当前子画面视频图像Fn之前m帧子画面视频图像中第j帧子画面视频图像的像素点-亮度值统计图中有Nj’个像素点,其像素值在区间[0,255]上(255为采用8比特对应的十进制表示像素值时的最大像素值),对于第j帧子画面视频图像,从像素值为0的像素点开始计数。当计数到第Nj’/2个像素点(即,第j帧子画面视频图像的像素点-亮度值统计图中像素点的一半)时,得到第Nj’/2个像素点的像素值P′0j,此处,像素值P′0j在区间[0,255]上。\n[0093] 计算 得 计算128/P’0,得到当前子画面视频图像Fn\n之前m帧子画面视频图像的第一亮度加权调整系数 计算128/\n(255-P’0)的值得到当前子画面视频图像Fn之前m帧子画面视频图像的第二亮度加权调整系数\n[0094] 同样地,对于当前子画面视频图像Fn的色度,也可以根据当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征以及一个预定或设定的控制参数计算当前子画面视频图像Fn的第一色度加权调整系数C’C1和第二色度加权调整系数C’C2,其中,控制参数可以是将所述当前子画面视频图像均衡到目标色度值时使用的基准值C’o,用于保证当前子画面视频图像Fn经过修正后色彩不偏移。计算当前子画面视频图像Fn之前m帧子画面视频图像的第一色度加权调整系数C’C1和第二色度加权调整系数C’C2包括:\n[0095] S’40121,对m帧子画面视频图像中每一帧子画面视频图像像素点-色度值统计图中像素值在区间[Upix,Vpix]上的像素点从像素值为Upix的像素点开始计数,此处,Upix大于或等于0,Vpix小于或等于Y,Y为描述像素值标准时所使用的最大值;\n[0096] S’40122,对于m帧子画面视频图像中第k帧子画面视频图像,当计数到第W个像素点时,得到第W个像素点的像素值P′1k,所述k取1、2、…、m;\n[0097] 优选地,对于该m帧子画面视频图像中第k帧子画面视频图像,可以通过计数到第k帧子画面视频图像像素点-亮度值统计图中像素点的一半时,即,当计数到第Nk/2个(当Nk/2不为整数时,可以将Nk/2取一个与之最接近的整数)像素点时,得到第Nk/2个像素点的像素值P′1k,其中,Nk为第k帧子画面视频图像的像素点-亮度值统计图中像素点个数,即像素点-亮度值统计图中统计出来的像素点样点个数。\n[0098] S’40123,对P′1k求和,得到\n[0099] S’40124,由Upix、Vpix、P’1和C’o,计算得到第一色度加权调整系数C’C1和第二色度加权调整系数C’C2,其中,第一色度加权调整系数C’C1和第二色度加权调整系数C’C2均与C’o呈线性关系。\n[0100] 例如,对于S’40122中采用优选实施方式时,可以由Upix、Vpix、P’1和C’o计算得到第一色度加权调整系数C’C1为C’o/(P’1-Upix),其中,\n[0101] 计算得到第二色度加权调整系数C’C2为C’o/(Vpix-P’1),同样地,显然,C’C1和C’C2均是与C’o呈线性关系的。\n[0102] 例如,若将当前子画面视频图像Fn前m帧中每一帧子画面视频图像均衡到目标色度值时使用的基准值C’o为128,当前子画面视频图像Fn之前m帧子画面视频图像中第k帧子画面视频图像的像素点-色度值统计图中有Nk’个像素点,其像素值在[0,255]内(255为采用8比特对应的十进制表示像素值时的最大像素值)。对于第k帧子画面视频图像,从像素值为0的像素点开始计数。当计数到第Nk’/2个像素点时,得到第Nk’/2个像素点的像素值P′1k,此处,像素值P′1k在[0,255]内。计算 得 计算\n128/P’1,得到当前子画面视频图像Fn的第一色度加权调整系数\n计算128/(255-P’0)的值得到当前子画面视频图像Fn之前m帧子画面视频图像的第二亮度加权调整系数\n[0103] 与本发明实施例二采用当前子画面视频图像Fn的调整系数均衡当前子画面视频图像Fn的效果不同,本实施例是采用当前子画面视频图像Fn前m帧子画面视频图像Fn-1的调整系数均衡当前子画面视频图像Fn的效果,例如,对于均衡当前子画面视频图像Fn的亮度,包括如下步骤:\n[0104] S11,统计当前子画面视频图像Fn中亮度值在区间[Mlum,Nlum]上的像素点,其中,Mlum大于或等于0,Nlum小于或等于Lm,Lm为描述亮度标准时所使用的最大值;\n[0105] S12,由区间[Mlum,Nlum]上的像素点和像素点对应的亮度值构造当前子画面视频图像Fn像素点-亮度值统计图;\n[0106] S13,对当前子画面视频图像Fn像素点-亮度值统计图中像素值在区间[Mpix,Npix]上的像素点从像素值为Mpix的像素点开始计数,当计数到第P个像素点时,得到第P个像素点的像素值P2,Mpix、Npix在数值上分别与上述Mlum、Nlum相等;\n[0107] 优选地,对于区间[Mpix,Npix]上的像素点,可以通过计数到像素点-亮度值统计图中像素点的一半时,即,当计数到第N/2个(当N/2不为整数时,可以将N/2取一个与之最接近的整数)像素点时,得到第N/2个像素点的像素值P2,其中,N为当前子画面视频图像的像素点-亮度值统计图中像素点个数,即像素点-亮度值统计图中统计出来的像素点样点个数。\n[0108] S14,使用基准值Lo和第一亮度加权调整系数C’L1对像素值在[Mpix,P2]内的像素点的亮度值进行线性修正,得到[Mpix,P2]区间上的当前子画面视频图像的亮度值L’1;使用基准值Lo和第二亮度加权调整系数C’L2对像素值在[P2,Npix]内的像素点的亮度值进行线性修正,得到[P2,Npix]区间上的当前子画面视频图像的亮度值L’2。\n[0109] 例如,对于前述实施例中,若计算得到的第一亮度加权调整系数C’L1为L’o/(P’0-Spix),在对当前子画面视频图像的亮度效果进行均衡时,可以将当前子画面视频图像中像素点在区间[Mpix,P2]上的亮度值修正为C’L1×(P-Mpix)后输出,将当前子画面视频图像中像素点在区间[P2,Npix]上的亮度值修正为Nlum-(C’L2×(Npix-P))后输出,此处,P为当前子画面视频图像中像素点在被均衡之前的像素值。\n[0110] 对于均衡当前子画面视频图像Fn的色度,包括如下步骤:\n[0111] S’11,统计当前子画面视频图像Fn中色度值与白色区域色度值接近的像素点;\n[0112] S’12,由与白色区域色度值接近的像素点和其对应的色度值构造当前子画面视频图像Fn像素点-色度值统计图;\n[0113] S’13,对当前子画面视频图像Fn像素点-色度值统计图中像素值在区间[Xpix,Ypix]上的像素点从像素值为Xpix的像素点开始计数,当计数到第T个像素点时,得到第T个像素点的像素值P3,此处,Xpix大于或等于0,Ypix小于或等于Y,Y为描述像素值标准时所使用的最大值;\n[0114] 优选地,对于区间[Xpix,Ypix]上的像素点,可以通过计数到像素点-色度值统计图中像素点的一半时,即,当计数到第M/2个(当M/2不为整数时,可以将M/2取一个与之最接近的整数)像素点时,得到第M/2个像素点的像素值P3,其中,M为当前子画面视频图像的像素点-色度值统计图中像素点个数,即像素点-色度值统计图中统计出来的像素点样点个数。\n[0115] S’14,使用基准值C’o和第一色度加权调整系数C’C1对像素值在[Xpix,P3]内的像素点的色度值进行线性修正,得到[Xpix,P3]区间上的当前子画面视频图像的色度值C’1;\n使用基准值C’o和第二色度加权调整系数C’C2对像素值在[P3,Ypix]内的像素点的色度值进行线性修正,得到[P3,Ypix]区间上的当前子画面视频图像的色度值C’2。\n[0116] 例如,对于前述实施例中,若计算得到的第一色度加权调整系数C’C1为C’o/(P’1-Upix)和第二亮度调整系数CC2为C’o/(Vpix-P’1),在对当前子画面视频图像的色度效果进行均衡时,可以将当前子画面视频图像中像素点在区间[Xpix,P3]上的色度值修正为C’C1×(P-Xpix)后输出,将当前子画面视频图像中像素点在区间[P3,Ypix]上的色度值修正为Ychr-(C’C2×(Ypix-P))后输出,此处,P为当前子画面视频图像中像素点在被均衡之前的像素值,Ychr为像素值在区间[Xpix,Ypix]上的像素点的色度值,其在数值上与Ypix相等。\n[0117] 需要说明的是,在本实施例中,获取当前子画面视频图像Fn的图像特征与本发明实施例一获取当前子画面视频图像Fn的图像特征是类似的,例如,对于获取当前子画面视频图像Fn的亮度特征包括:\n[0118] 统计当前子画面视频图像Fn中亮度值在区间[Alum,Blum]上的像素点,Alum大于或等于0,此处,Blum小于或等于Lm,Lm为描述亮度标准时所使用的最大值;\n[0119] 由区间[Alum,Blum]上的像素点和像素点对应的亮度值构造Fn的像素点-亮度值统计图;\n[0120] 从像素点-亮度值统计图确定当前子画面视频图像Fn的亮度特征。\n[0121] 对于获取当前子画面视频图像Fn的色度特征包括:\n[0122] 统计当前子画面视频图像Fn中色度值与白色区域色度值接近的像素点;\n[0123] 由与白色区域色度值接近的像素点和其对应的色度值构造Fn的像素点-色度值统计图;\n[0124] 从像素点-色度值统计图确定当前子画面视频图像Fn的色度特征。\n[0125] S402,根据当前子画面视频图像Fn被均衡之前的图像特征计算当前子画面视频图像Fn被均衡之前的调整系数。\n[0126] 计算当前子画面视频图像Fn被均衡之前的调整系数是为了将该调整系数和当前子画面视频图像Fn之前子画面视频图像的调整系数进行加权后用于当前子画面视频图像Fn的下一帧子画面视频图像Fn+1,从而使得步骤S401和步骤S402能够得以循环执行下去。\n[0127] 计算当前子画面视频图像Fn被均衡之前的亮度调整系数和色度调整系数与本发明实施例二完全相同,请参阅前述实施例,此处不再赘述。\n[0128] 从上述本发明实施例四提供的使用控制参数分别均衡多路子画面视频图像的效果可以得知,由于本发明是根据相同的控制参数,针对各个独立的子画面视频图像单独计算调整系数,因此,经过调整系数和同一控制参数均衡后,能够将各个子画面视频图像统一调整到具有相同图像特征的效果,使子画面视频图像在显示时表现出相同的画面特点,从而使得由子画面视频图像构成的多画面视频图像的显示达到整体风格和谐并提升与会者的视觉体验。\n[0129] 需要说明的是,虽然上述各实施例都是针对一路子画面视频图像,说明如何使用控制参数均衡其效果,但本领域技术人员可以理解:在不做任何创造性劳动的前提下,本发明每一实施例提供的方法可以单独用于均衡多路子画面视频图像,也可以将各个实施例提供的方法结合起来用于均衡多路子画面视频图像。\n[0130] 请参阅图5,本发明实施例五提供的一种多画面视频图像处理装置基本逻辑结构示意图。为了便于说明,仅示出了与本发明实施例相关部分。该装置包含的功能模块可以为软件模块、硬件模块或软硬件结合模块。\n[0131] 均衡模块51,用于接收多路子画面视频图像的数据码流,根据子画面视频图像的图像特征,使用控制参数分别均衡该多路子画面视频图像的效果;\n[0132] 合成模块52,用于将经过均衡模块51均衡的子画面视频图像合成多画面视频图像。\n[0133] 均衡模块51可以进一步包括第一图像特征获取子模块61、第一计算子模块62和第一均衡子模块63,如图6所示,本发明实施例六提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0134] 第一图像特征获取子模块61,用于获取当前子画面视频图像的图像特征;\n[0135] 第一计算子模块62,用于根据控制参数和第一图像特征获取子模块61获取的当前子画面视频图像的图像特征计算调整系数;\n[0136] 第一均衡子模块63,用于使用控制参数和第一计算子模块62计算所得调整系数均衡当前子画面视频图像的效果。\n[0137] 第一图像特征获取子模块61可以进一步包括第一统计单元71、第一统计图构造单元72和亮度特征确定单元73,如图7所示,本发明实施例七提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0138] 第一统计单元71,用于统计当前子画面视频图像中亮度值在区间[Alum,Blum]上的像素点,此处,Alum大于或等于0,Blum小于或等于Lm,Lm与描述亮度标准时所使用的最大值对应;\n[0139] 第一统计图构造单元72,用于由区间[Alum,Blum]内的像素点和像素点对应的亮度值构造像素点-亮度值统计图;\n[0140] 亮度特征确定单元73,用于从像素点-亮度值统计图确定当前子画面视频图像的亮度特征。\n[0141] 第一计算子模块62可以进一步包括第一计数单元81和亮度调整系数计算单元\n82,如图8所示,本发明实施例八提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0142] 第一计数单元81,用于对像素点-亮度值统计图中像素值在区间[Apix,Bpix]上的像素点从像素值为Apix的像素点开始计数,当计数到第K个像素点时,得到第K个像素点的像素值P0,其中,Apix、Bpix在数值上分别与Alum、Blum相等;\n[0143] 亮度调整系数计算单元82,用于由Apix、Bpix、P0和Lo,计算得到第一亮度调整系数CL1和第二亮度调整系数CL2,其中,第一亮度调整系数CL1和第二亮度调整系数CL2均与Lo呈线性关系。\n[0144] 第一均衡子模块63可以进一步包括第一亮度均衡子单元91和第二亮度均衡子单元92,如图9所示,本发明实施例九提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0145] 第一亮度均衡子单元91,使用基准值Lo和第一亮度调整系数CL1对像素值在区间[Apix,P0]上的像素点的亮度值进行线性修正,得到[Apix,P0]区间上的当前子画面视频图像的亮度值L1;\n[0146] 第二亮度均衡子单元92,使用所述基准值Lo和第二亮度调整系数CL2对像素值在[P0,Bpix]区间上的像素点的亮度值进行线性修正,得到[P0,Bpix]区间上的当前子画面视频图像的亮度值L2。\n[0147] 第一图像特征获取子模块61可以进一步包括第二统计单元101、第二统计图构造单元102和色度特征确定单元103,如图10所示,本发明实施例十提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0148] 第二统计单元101,用于统计当前子画面视频图像中色度值与白色区域色度值接近的像素点;\n[0149] 第二统计图构造单元102,用于由与白色区域色度值接近的像素点和其对应的色度值构造像素点-色度值统计图;\n[0150] 色度特征确定单元103,用于从像素点-色度值统计图确定当前子画面视频图像的色度特征。\n[0151] 第一计算子模块62可以进一步包括第二计数单元111和色度调整系数计算单元\n112,如图11所示,本发明实施例十一提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0152] 第二计数单元111,用于对像素点-色度值统计图中像素值在区间[Jpix,Kpix]上的像素点从像素值为Jpix的像素点开始计数,当计数到第J个像素点时,得到第J个像素点的像素值P1,其中,Jpix大于或等于0,Kpix小于或等于Y,Y为描述像素值标准时所使用的最大值;\n[0153] 色度调整系数计算单元112,用于根据Jpix、Kpix、P1和Co,计算得到第一色度调整系数CC1和第二色度调整系数CC2,其中,第一色度调整系数CC1和所述第二色度调整系数CC2均与Co呈线性关系。\n[0154] 第一均衡子模块63可以进一步包括第一色度均衡子单元121和第二色度均衡子单元122,如图12所示,本发明实施例十二提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0155] 第一色度均衡子单元121,使用所述基准值Co和所述第一色度调整系数CC1对像素值在区间[Jpix,P1]上的像素点的色度值进行线性修正,得到[Jpix,P1]区间上的当前子画面视频图像的色度值C1;\n[0156] 第二色度均衡子单元122,使用所述基准值Co和所述第二色度调整系数CC2对像素值在区间[P1,Kpix]上的像素点的色度值进行线性修正,得到[P1,Kpix]区间上的当前子画面视频图像的色度值C2。\n[0157] 均衡模块51可以进一步包括第二图像特征获取子模块131和第二计算子模块\n132,如图13所示,本发明实施例十三提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0158] 第二图像特征获取子模块131,用于接收当前子画面视频图像Fn时使用控制参数和当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数均衡接收的当前子画面视频图像Fn的效果并同时获取当前子画面视频图像Fn的图像特征;\n[0159] 第二计算子模块132,用于根据第二图像特征获取子模块131获取的当前子画面视频图像Fn被均衡之前的图像特征计算当前子画面视频图像Fn被均衡之前的调整系数,m为大于或等于1的自然数。\n[0160] 第二图像特征获取子模块131可以进一步包括前m帧图像特征获取子模块141和前m帧加权调整系数计算子模块142,如图14所示,本发明实施例十四提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0161] 前m帧图像特征获取子模块141,用于获取当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征;\n[0162] 前m帧加权调整系数计算子模块142,用于根据控制参数和当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征计算Fn之前m帧子画面视频图像的加权调整系数。\n[0163] 前m帧图像特征获取子模块141可以进一步包括前m帧第一统计单元151、前m帧第一统计图构造单元152和前m帧亮度特征确定单元153,如图15所示,本发明实施例十五提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0164] 前m帧第一统计单元151,用于统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像亮度值在区间[Slum,Tlum]上的像素点,所述Slum大于或等于\n0,其中,Tlum小于或等于Lm,Lm为描述亮度标准时所使用的最大值;\n[0165] 前m帧第一统计图构造单元152,用于由亮度值在区间[Slum,Tlum]上的像素点和像素点对应的亮度值构造当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的像素点-亮度值统计图;\n[0166] 前m帧亮度特征确定单元153,用于从像素点-亮度值统计图确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的亮度特征。\n[0167] 前m帧加权调整系数计算子模块142可以进一步包括前m帧第一计数子单元161、前m帧第一求和子单元162和前m帧亮度加权调整系数计算单元163,如图16所示,本发明实施例十六提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0168] 前m帧第一计数子单元161,用于对当前子画面视频图像之前m帧中每一帧子画面视频图像的像素点-亮度值统计图中像素值在区间[Spix,Tpix]上的像素点从像素值为Spix的像素点开始计数,对于当前子画面视频图像之前m帧子画面视频图像中第j帧子画面视频图像,当计数到第Q个像素点时,得到第Q个像素点的像素值P′0j,其中,j取1、2、…、m,Spix、Tpix在数值上分别与Slum、Tlum相等;\n[0169] 前m帧第一求和子单元162,用于对P′0j求和,得到\n[0170] 前m帧亮度加权调整系数计算单元163,用于根据Spix、Tpix、P’0和L’o,计算得到第一亮度加权调整系数C’L1和第二亮度加权调整系数C’L2,其中,第一亮度加权调整系数C’L2和第二亮度加权调整系数C’L2均与L’o呈线性关系。\n[0171] 第二图像特征获取子模块131可以包括当前子画面视频图像第一统计单元171、当前子画面视频图像第一统计图构造单元172、当前子画面视频图像第一计数单元173、前m帧第一亮度均衡子单元174和前m帧第二亮度均衡子单元175,如图17所示,本发明实施例十七提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0172] 当前子画面视频图像第一统计单元171,用于统计当前子画面视频图像Fn中亮度值在区间[Mlum,Nlum]上的像素点,其中,Mlum大于或等于0,Nlum小于或等于Lm,Lm为描述亮度标准时所使用的最大值;\n[0173] 当前子画面视频图像第一统计图构造单元172,用于根据区间[Mlum,Nlum]上的像素点和像素点对应的亮度值构造当前子画面视频图像Fn像素点-亮度值统计图;\n[0174] 当前子画面视频图像第一计数单元173,用于对当前子画面视频图像Fn像素点-亮度值统计图中像素值在区间[Mpix,Npix]上的像素点从像素值为Mpix的像素点开始计数,当计数到第P个像素点时,得到第P个像素点的像素值P2,其中,Mpix、Npix在数值上分别与Mlum、Nlum相等;\n[0175] 前m帧第一亮度均衡子单元174,使用基准值Lo和第一亮度加权调整系数C’L1对像素值在区间[Mpix,P2]上的像素点的亮度值进行线性修正,得到[Mpix,P2]区间上的当前子画面视频图像的亮度值L’1;\n[0176] 前m帧第二亮度均衡子单元175,使用基准值Lo和第二亮度加权调整系数C’L2对像素值在区间[P2,Npix]上的像素点的亮度值进行线性修正,得到[P2,Npix]区间上的当前子画面视频图像的亮度值L’2。\n[0177] 前m帧图像特征获取子模块141可以包括前m帧第二统计单元181、前m帧第二统计图构造单元182和前m帧色度特征确定单元183,如图18所示,本发明实施例十八提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0178] 前m帧第二统计单元181,用于统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度值与白色区域色度值接近的像素点;\n[0179] 前m帧第二统计图构造单元182,用于根据与白色区域色度值接近的像素点和其对应的色度值构造当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的像素点-色度值统计图;\n[0180] 前m帧色度特征确定单元183,用于从当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的像素点-色度值统计图确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度特征。\n[0181] 前m帧加权调整系数计算子模块142可以进一步包括前m帧第二计数子单元191、前m帧第二求和子单元192和前m帧色度加权调整系数计算单元193,如图19所示,本发明实施例十九提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0182] 前m帧第二计数子单元191,用于对当前子画面视频图像之前m帧子画面视频图像中每一帧子画面视频图像像素点-色度值统计图中像素值在区间[Upix,Vpix]上的像素点从像素值为Upix的像素点开始计数,对于前m帧子画面视频图像中第k帧子画面视频图像,当计数到第W个像素点时,得到第W个像素点的像素值P′1k,其中,k取1、2、…、m,Upix大于或等于0,Vpix小于或等于Y,Y为描述像素值标准时所使用的最大值;\n[0183] 前m帧第二求和子单元192,用于对P′1k求和,得到\n[0184] 前m帧色度加权调整系数计算单元193,用于根据Upix、Vpix、P’1和C’o,计算得到第一色度加权调整系数C’C1和第二色度加权调整系数C’C2,其中,第二色度加权调整系数C’C2和第二色度加权调整系数C’C2均与C’o呈线性关系。\n[0185] 第二图像特征获取子模块131可以包括当前子画面视频图像第二统计单元201、当前子画面视频图像第二统计图构造单元202、当前子画面视频图像第二计数单元203、前m帧第一色度均衡子单元204和前m帧第二色度均衡子单元205,如图20所示,本发明实施例二十提供的一种多画面视频图像处理装置基本逻辑结构示意图,其中:\n[0186] 当前子画面视频图像第二统计单元201,用于统计当前子画面视频图像Fn中色度值与白色区域色度值接近的像素点;\n[0187] 当前子画面视频图像第二统计图构造单元202,用于根据与白色区域色度值接近的像素点和其对应的色度值构造当前子画面视频图像Fn像素点-色度值统计图;\n[0188] 当前子画面视频图像第二计数单元203,用于对当前子画面视频图像Fn像素点-色度值统计图中像素值在区间[Xpix,Ypix]上的像素点从像素值为Xpix的像素点开始计数,当计数到第T个像素点时,得到第T个像素点的像素值P3,其中,Xpix大于或等于0,Ypix小于或等于Y,Y为描述像素值标准时所使用的最大值;\n[0189] 前m帧第一色度均衡子单元204,使用基准值C’o和第一色度加权调整系数C’C1对像素值在[Xpix,P3]内的像素点的色度值进行线性修正,得到[Xpix,P3]区间上的当前子画面视频图像的色度值C’1;\n[0190] 前m帧第二色度均衡子单元205,使用基准值C’o和第二色度加权调整系数C’C2对像素值在区间[P3,Ypix]上的像素点的色度值进行线性修正,得到[P3,Ypix]区间上的当前子画面视频图像的色度值C’2。\n[0191] 需要说明的是,上述设备各模块/单元之间的信息交互、执行过程以及技术效果等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的说明,此处不再赘述。\n[0192] 为了更加清楚地说明上述本发明实施例,以下给出本发明实施例多画面视频图像处理装置的应用场景。\n[0193] 应用场景一:在一次视频会议的召开过程中,同时有多个终端会场入会,如图中的会场A、B、C和D,每个终端会场都会将本会场的视频图像使用一种视频压缩协议进行压缩,并将压缩后的视频码流通过网络传递给多点控制单元(MCU,Multipoint Controlling Unit)。多点控制单元在接收到各个会场终端的视频压缩码流之后,解码模块使用对应的视频压缩协议对各个码流进行解码,得到重建多画面视频图像所需的子画面视频图像(相对于重组形成的多画面视频图像而言)。子画面视频图像输入多画面视频图像处理装置。经过多画面视频图像处理装置处理后,多点控制单元再对多画面视频图像处理装置输出的各子画面视频图像重新进行多画面的组合,合成一个多画面视频图像。该多画面视频图像的每个子画面视频图像对应一个会场画面。编码模块对该多画面视频图像进行重新编码,将编码后的码流发给接收端,由接收端完成解码并输出到显示设备上,实现多画面的会议过程。\n[0194] 应用场景二:在一次视频会议的召开过程中,同时有多个终端会场入会,如图中的会场A、B、C和D,每个终端会场都会将本会场的视频图像使用一种视频压缩协议进行压缩,并将压缩后的视频码流通过网络传递给多点控制单元。多点控制单元在接收到各个会场终端的视频压缩码流之后,解码模块使用对应的视频压缩协议对各个视频压缩码流进行解码,得到重建多画面视频图像所需的子画面视频图像(相对于重组形成的多画面视频图像而言)。子画面视频图像输入多画面视频图像处理装置,经过多画面视频图像处理装置处理后,编码模块再使用视频压缩协议对各个子画面视频图像进行编码,将编码后的码流发给不同的接收端,由接收端完成解码并输出到显示设备上,实现一次多点的会议过程。\n[0195] 应用场景三:在一次视频会议的召开过程中,同时有多个终端会场入会,如图中的会场A、B、C和D,每个终端会场都会将本会场的视频图像使用一种视频压缩协议进行压缩,并将压缩后的视频码流通过网络传递给多点控制单元。MCU在接收到各个会场终端的视频压缩码流之后,根据会议的格式,解码模块使用对应的视频压缩协议对各个视频压缩码流进行解码,得到重建多画面视频图像所需的子画面视频图像(相对于重组形成的多画面视频图像而言),然后,编码模块再对各个子画面视频图像重新使用视频压缩协议进行编码,将编码后的码流发送至接收端,接收端包含多画面视频图像处理装置。子画面视频图像经过多画面视频图像处理装置处理和接收端的解码后,输出到不同的显示设备上,实现一次多点的会议过程。对于本应用场景,也可以不需要编码模块,在解码模块解码后直接转发给接收端,由接收端在接收到多路码流后,经过解码和其中多画面视频图像处理装置处理后输出到不同的显示设备上,实现一次多点的会议过程。\n[0196] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。\n[0197] 以上对本发明实施例所提供的多画面视频图像处理方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
法律信息
- 2019-01-04
专利权的转移
登记生效日: 2018.12.18
专利权人由华为终端(深圳)有限公司变更为华为终端有限公司
地址由518129 广东省深圳市龙岗区坂田华为基地B区2号楼变更为523808 广东省东莞市松山湖高新技术产业开发区新城大道2号南方工厂厂房(一期)项目B2区生产厂房-5
- 2019-01-04
专利权人的姓名或者名称、地址的变更
专利权人由华为终端有限公司变更为华为终端(深圳)有限公司
地址由518129 广东省深圳市龙岗区坂田华为基地B区2号楼变更为518129 广东省深圳市龙岗区坂田华为基地B区2号楼
- 2014-04-02
- 2010-09-15
实质审查的生效
IPC(主分类): H04N 7/15
专利申请号: 201010104939.4
申请日: 2010.01.29
- 2010-07-14
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2006-10-25
|
2005-11-28
| | |
2
| | 暂无 |
1994-12-07
| | |
3
| | 暂无 |
2004-08-31
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |