著录项信息
专利名称 | 处理运动视频的方法和装置 |
申请号 | CN201410461173.3 | 申请日期 | 2014-09-11 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2015-03-18 | 公开/公告号 | CN104427284A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N5/76 | IPC分类号 | H;0;4;N;5;/;7;6;;;H;0;4;N;5;/;9;3查看分类表>
|
申请人 | 安讯士有限公司 | 申请人地址 | 瑞典隆德
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 安讯士有限公司 | 当前权利人 | 安讯士有限公司 |
发明人 | P·温特兹尔;Z·恩克森;O·古斯塔夫松 |
代理机构 | 隆天知识产权代理有限公司 | 代理人 | 石海霞;郑特强 |
摘要
本发明涉及一种准备呈现所记录运动视频的方法。该方法准备和发送对于记录的视频的请求,该记录的视频来自一特定视频源;接收视频信息消息,其包括与由该视频源拍摄的多个运动视频记录的特性相关的数据,其中所接收的每个运动视频记录的特性包括记录标识、视频质量值、介质地址、记录的开始时间和结束时间的指示;以及对于每个运动视频记录,至少基于所述视频质量值、所述开始时间的指示和所述结束时间的指示,来产生运动视频播放方案。采用本申请的方案,可将传输运动视频记录造成的网络负载保持得较低。
1.一种准备呈现所记录运动视频的方法,其中所述方法包括:
准备和发送对于记录的视频的请求(900),该记录的视频来自一特定监控视频摄像机(10,12,14,28);
响应于所述请求,接收视频信息消息(904),其包括与由该监控视频摄像机(10,12,
14,28)拍摄的多个运动视频记录的特性相关的数据,其中所接收的每个运动视频记录的特性包括记录标识、视频质量值、介质地址、记录的开始时间和结束时间的指示;以及对于在所述视频信息消息中接收到的每个运动视频记录,至少基于所述视频质量值、所述开始时间的指示和所述结束时间的指示,来产生运动视频播放方案,其中产生所述运动视频播放方案包括选择一个运动视频记录来代表来自特定监控视频摄像机的多个重叠的运动视频记录已经得到识别的那一个特定时间段,并且其中所述选择包括选择来自所述特定监控视频摄像机的具有最接近于预定视频选择值的视频选择值的运动视频记录,所述视频选择值是基于一个或多个视频质量值。
2.如权利要求1所述的方法,其中所述视频质量值包括视频分辨率值,并且其中附加地产生运动视频播放方案的动作是基于预计呈现装置处用于呈现的预计视频分辨率。
3.如权利要求1到2中任一权利要求所述的方法,其中所述视频质量值包括视频分辨率值,并且其中产生运动视频播放方案包括选择一个运动视频记录来代表多个运动视频记录已经得到识别的那一个特定时间段,所述选择包括选择该特定时间段中具有比具有最高视频分辨率值的运动视频记录低的视频分辨率值的运动视频记录。
4.如权利要求1到2中任一权利要求所述的方法,其中所述视频质量值包括视频分辨率值,并且其中产生运动视频播放方案包括选择一个运动视频记录来代表多个运动视频记录已经得到识别的那一个特定时间段,所述选择包括对于代表该时间段的每个运动视频记录计算视频选择值,然后选择具有最接近于预定目标视频选择值的视频选择值的运动视频记录,对于该特定时间段中每个运动视频记录的视频选择值是基于预计视频分辨率与该运动视频记录的视频分辨率之间的关系计算的。
5.如权利要求4所述的方法,其中所述视频质量值还包括视频高宽比,并且其中对于每个运动视频记录的视频选择值进一步是基于预计视频高宽比和该运动视频记录的视频高宽比计算的。
6.如权利要求1到2中任一权利要求所述的方法,其中将对于来自特定监控视频摄像机(10,12,14,28)的视频的所述请求(900)发送至视频管理服务器(28)。
7.如权利要求1到2中任一权利要求所述的方法,其中经由计算机网络(22)发送对于来自特定监控视频摄像机(10,12,14,28)的视频的所述请求(900),并且其中经由计算机网络(22)接收所述视频信息消息(904)。
8.如权利要求1到2中任一权利要求所述的方法,其中所述视频质量值包括视频帧速值,并且其中产生运动视频播放方案包括选择一个运动视频记录来代表多个运动视频记录已经得到识别的那一个特定时间段,所述选择包括选择该特定时间段中具有比具有最高视频帧速值的运动视频记录低的视频帧速值的运动视频记录。
9.如权利要求1到2中任一权利要求所述的方法,其中所产生的运动视频播放方案包括多个记录标识、关于所述记录标识的介质地址、以及关于所述记录标识的开始时间,其中所述开始时间指示相关运动视频记录中的时间位置。
10.一种呈现所记录运动视频的方法,其中所述方法包括权利要求9的步骤,并且其中所述方法还包括如下步骤:
对于所产生的运动视频播放方案中的每个开始时间,取回相关的记录标识和相关的介质地址;
基于取回的介质地址,请求(906,914)具有与每个介质地址相关的取回的记录标识的运动视频记录;以及
以所述运动视频播放方案限定的次序,呈现取回的运动视频记录(912,920)。
处理运动视频的方法和装置\n技术领域\n[0001] 本发明涉及视频技术,更具体地涉及准备呈现所记录运动视频的方法和呈现所记录运动视频的方法。\n背景技术\n[0002] 通常由外部触发器、场景中的事件、环境变化、按时间表安排的记录等来启动场景的不同质量的运动视频记录,这在包括运动视频摄像机的监视和监控系统中已变得越来越普及。至少鉴于已知运动视频记录需要大量存储空间,差别化视频质量的一个原因是节省存储空间(存储空间在系统中可能是稀缺品)。在具有多个用户的系统中,差别化视频质量可能是不同用户或不同显示设备之间的不同需求及不同主要关注点所导致的结果。\n[0003] 例如,监控商店的视频摄像机可能被布置为恒定地记录低分辨率运动视频,当在场景的特定部分检测到运动时记录较高分辨率的运动视频,并且当外部传感器触发警报时记录更高分辨率的运动视频。因此,存储了重叠的时间段期间对于同一场景的多个运动视频记录。\n[0004] 此类监视或监控系统的操作者偶尔会关注于播放开始于特定时间点的所记录运动视频。则操作者必须从包括该时间点的时间段中选择最可能包括视频的视频记录。例如,如果操作者想要研究在运动检测或警报之前某些时间开始的时间段,则操作者将必须显示低分辨率运动视频,然后,如果当播放到达存在较高分辨率运动视频的时间点时,则操作者必须手动切换至较高分辨率运动视频,或者继续观看低分辨率运动视频流。\n[0005] 在英国专利申请GB2427521中,提供了一种图像显示方法,其包括图像再现功能,能够有效地再现存储装置中以各种形式记录的图像数据。该申请描述了一种系统,其中来自一个摄像机的连续图片被存储在图像存储和递送服务器上。在该图像存储和递送服务器中实现有两条通道,分别用于来自同一摄像机但以不同速率存储的图像,例如,正常通道(低帧速)和警报通道(高帧速)。该申请中所述的方法描述了根据一种称为“进行无缝再现”的方法、考虑来自每条通道的图像,在客户端装置的监视器上再现图像。该方法通过以下方式进行操作:在警报通道中存在图像的时间段期间从警报通道再现图像,然后,对于在警报通道中不再存在任何图像但是在正常通道中存在图像的时间段,该方法从正常通道再现图像。对于在任何通道中都没有图像的时间段,可以略过再现直到在任何通道中再次存在有图像数据为止。给警报通道中图像数据的再现提供优先级的原因在于,通过再现警报通道中的图像数据(警报通道使图像数据以高帧速被记录),能够更详细地确定内容。所描述的系统使客户端装置检查该图像存储和递送服务器中的图像的时间戳,然后以计算出的帧数来请求图像,该图像可能来自于正常通道和警报通道二者,然后客户端选择将被再现的图像。\n[0006] 以上讨论的方法和系统的其中一个问题在于非常复杂、存储需求大且处理强度高。\n发明内容\n[0007] 本发明的一个目的在于提供一种准备呈现所记录运动视频的方法。\n[0008] 至少一个目的是通过如权利要求1所述的准备呈现所记录运动视频的方法并且通过如权利要求12所述的准备呈现所记录运动视频的方法实现的。本发明的其它实施例呈现在从属权利要求中。\n[0009] 更具体而言,根据本发明的一个实施例,一种准备呈现所记录运动视频的方法包括:准备和发送对于记录的视频的请求,该记录的视频来自一特定视频源;接收视频信息消息,其包括与由该视频源拍摄的多个运动视频记录的特性相关的数据,其中所接收的每个运动视频记录的特性包括记录标识、视频质量值、介质地址、记录的开始时间和结束时间的指示;以及对于每个运动视频记录,至少基于所述视频质量值、所述开始时间的指示和所述结束时间的指示,来产生运动视频播放方案。该实施例的一个优点在于,可将传输运动视频记录造成的网络负载保持得较低。能够具有该优点一个原因在于,播放列表涉及可能存储在不同位置的运动视频记录,使得能够产生播放列表而不下载所有的运动视频记录。另一个原因在于,该方法使得能够播放包括重叠的运动视频记录的场景,而不需下载所有的重叠运动视频数据或运动视频记录。\n[0010] 在另一实施例中,所述视频质量值包括视频分辨率值,并且其中附加地产生运动视频播放方案的动作是基于预计呈现装置处用于呈现的预计视频分辨率。\n[0011] 在又一实施例中,所述视频质量值包括视频分辨率值,并且其中产生运动视频播放方案包括选择一个运动视频记录来代表多个运动视频记录已经得到识别的那一个特定时间段,所述选择包括选择该特定时间段中具有比具有最高视频分辨率值的运动视频记录低的视频分辨率值的运动视频记录。不基于其具有最高视频质量值来选择运动视频的一个优点在于,在系统不需要较高视频质量的情况下,在客户端接收的运动视频可需要较小的传输带宽。另一个优点在于,在客户端接收的运动视频将需要较少的处理能力以适于呈现。\n这种情形例如可能发生在以下情况时:当存储的一些运动视频记录具有比客户端处当前需要的呈现格式高的分辨率时,如果显示器是低分辨率显示器时,如果多个运动视频将被同时呈现时,等等。\n[0012] 根据另一实施例,产生所述运动视频播放方案包括选择一个运动视频记录来代表多个运动视频记录已经得到识别的那一个特定时间段,所述选择包括选择需要最少调整以用于呈现的运动视频记录。该特征的一个优点也在于,接收的运动视频需要较少的处理能力以适于呈现。\n[0013] 根据又一实施例,所述视频质量值包括视频分辨率值,并且其中产生运动视频播放方案包括选择一个运动视频记录来代表多个运动视频记录已经得到识别的那一个特定时间段,所述选择包括对于代表该时间段的每个运动视频记录计算视频选择值,然后选择具有最接近于预定目标视频选择值的视频选择值的运动视频记录,对于该特定时间段中每个运动视频记录的视频选择值是基于预计视频分辨率与该运动视频记录的视频分辨率之间的关系计算的。类似于上述实施例,该特定实施例的一个优点在于,作为特定选择处理的结果,在客户端处接收的运动视频可需要较小的传输带宽。另一个优点可以是,在客户端处接收的运动视频从客户端处需要较少的处理能力以适于呈现。\n[0014] 在一个实施例中,所述视频质量值还包括视频高宽比,并且其中对于每个运动视频记录的视频选择值进一步是基于预计视频高宽比和该运动视频记录的视频高宽比计算的。再一次声明,优点在于,选择记录的质量最接近于客户端能够呈现的视频质量的运动视频记录。考虑高宽比的另一个优点在于,能够匹配所允许的呈现区域的高宽比,以便将不用于呈现所请求运动视频的区域最小化。\n[0015] 在另一实施例中,将对于来自特定视频源的视频的所述请求发送至视频管理服务器。\n[0016] 在又一实施例中,经由计算机网络发送对于来自特定视频源的视频的所述请求,并且其中经由计算机网络接收所述视频信息消息。\n[0017] 根据另一实施例,所述视频质量值包括视频帧速值,并且其中产生运动视频播放方案包括选择一个运动视频记录来代表多个运动视频记录已经得到识别的那一个特定时间段,所述选择包括选择该特定时间段中具有比具有最高视频帧速值的运动视频记录低的视频帧速值的运动视频记录。该特征的一个优点在于,不需要经由网络传输多于必需的数据。\n[0018] 在一个实施例中,所产生的运动视频播放方案包括多个记录标识、关于所述记录标识的介质地址、以及关于所述记录标识的开始时间,其中所述开始时间指示相关运动视频记录中的时间位置。\n[0019] 根据本发明的另一方案,一种呈现所记录运动视频的方法,包括上述准备呈现所记录运动视频的方法之一。该方法还包括如下步骤:对于所产生的运动视频播放方案中的每个开始时间,取回相关的记录标识和相关的介质地址;基于取回的介质地址,请求具有与每个介质地址相关的取回的记录标识的运动视频记录;以及以所述运动视频播放方案限定的次序,呈现取回的运动视频记录。本发明该方案的优点至少与以上讨论的准备呈现的方法的优点相同。\n[0020] 根据本发明的再一方案,一种准备呈现所记录运动视频的方法包括:从客户端接收对于源自视频源的视频的请求;基于视频源记录的多个运动视频记录的特性相关的存储数据,组成视频信息消息;发送视频信息消息至客户端;以及接收对于所述视频信息消息中标识的视频记录的一部分的至少一个请求。通过发送视频信息消息,能够避免发送永远不会被用到的大量视频数据,因此网络能够避免由于视频数据传输引起的大网络负载。\n[0021] 在一个实施例中,在视频管理服务器处接收对于源自视频源的视频的请求,并且其中通过视频管理服务器进行视频信息消息的组合。\n[0022] 在另一实施例中,从视频管理服务器管理的数据库中组合多个运动视频记录的特性相关的数据。\n[0023] 在本发明的又一实施例中,视频信息消息中包括的运动视频记录的特性包括记录标识、视频分辨率值、介质地址、运动视频记录的开始时间的指示、及运动视频记录的结束时间的指示。\n[0024] 通过下面给出的详细描述,本发明的应用的进一步范围将变得明显。然而,应理解的是,指示出本发明优选实施例的详细描述和具体示例是仅以例示方式给出的,因为通过该详细描述,本发明范围内的各种改变和修改对本领域技术人员将变得明显。因此,应理解的是,本发明不限于所描述装置的具体组成部件或所描述方法的具体步骤,因为该装置和方法可以改变。还应理解的是,本文使用的术语仅是为了描述特定实施例,并不意图构成限制。必须注意,如说明书和所附权利要求书中所使用的,冠词“一”、“一个”、“该”和“所述”意图表示存在一个或多个元件,除非上下文另有明确说明。因此,例如,当提到“一传感器”或“该传感器”时可以包括几个传感器,等等。此外,词语“包括”并不排除其它元件或步骤。\n附图说明\n[0025] 通过以下参照附图对当前优选实施例的详细说明,本发明的其它特征和优点将变得明显,在附图中:\n[0026] 图1为系统的框图,该系统中可以实施本发明的一个实施例;\n[0027] 图2为另一系统的框图,该另一系统中可以实施本发明的一个实施例;\n[0028] 图3示意性地示出不同视频质量的视频记录与时间之间的关系;\n[0029] 图4示出在准备呈现运动视频的客户端处的处理的流程图;\n[0030] 图5示意性地示出根据本发明一个实施例基于播放列表产生方案产生的播放列表,以及针对该播放列表而考虑的运动视频记录;\n[0031] 图6示意性地示出根据本发明另一实施例基于播放列表产生方案产生的播放列表,以及针对该播放列表而考虑的运动视频记录;\n[0032] 图7a和图7b是示出根据本发明一个实施例产生播放列表的处理的流程图;\n[0033] 图8a示出根据本发明一个实施例在基于播放列表呈现运动视频的客户端处的处理的流程图;\n[0034] 图8b示出根据本发明另一实施例在基于播放列表呈现运动视频的客户端处的处理的流程图;\n[0035] 图9示出在准备呈现运动视频的视频管理服务器处的处理的流程图;\n[0036] 图10示出根据本发明一个实施例在客户端、视频管理服务器与各种存储装置之间的通信的时序图;\n[0037] 图11示出根据本发明一个实施例的客户端的框图;以及\n[0038] 图12示出根据本发明一个实施例的视频管理服务器的框图。\n[0039] 此外,在所有的这些图中,图中类似的附图标号表示类似或相应的部件。\n具体实施方式\n[0040] 图1示出一个系统,该系统中可以实施本发明的实施例。该系统包括:运动视频摄像机10、12,网络附加存储器(NAS)14或某种文件服务器,具有显示器18和输入装置20的客户端16,以及连接至用于存储运动视频记录的可选存储装置30的视频管理服务器28。\n客户端16、NAS 14和摄像机10、12连接至用于通信的网络22。可选存储装置30可以直接连接至视频管理服务器28。\n[0041] 网络22可以是允许多个电子装置交换数据的任何类型的网络。网络可以是有线的、无线的、或它们的任何组合。其可以通过在系统的电子装置间允许数据交换的任何已知网络协议来实施,例如:以太网(IEEE 802),结合TCP、UDP或FTP的互联网协议(IP),同步光网络(SONET),同步数字体系(SDH),异步传输模式(ATM)等。该系统可以使用任何规模的网络来实施,例如局域网(LAN)或广域网(WAN)。\n[0042] 运动视频摄像机10、12可以是能够拍摄运动视频(即,以每秒一帧或更快的速率拍摄顺序图像)并且被配置为通过网络22进行通信的任何摄像机。例如,该系统的摄像机可以是AXIS M10系列摄像机、AXIS M11系列摄像机、AXIS P13系列摄像机、AXIS Q16系列摄像机、AXIS Q17系列摄像机、AXIS M30系列摄像机、AXIS M31系列摄像机、AXIS M32系列摄像机、AXIS P33系列摄像机、AXIS M50系列摄像机、AXIS P55系列摄像机、AXIS Q60系列摄像机、AXIS Q87系列摄像机、AXIS P12系列摄像机等。该系统可以包括运动视频摄像机10,其包括比正常处理所需的更多的存储空间,并且可不只是用于运动视频记录的临时存储,例如,可用于设有硬盘驱动器、闪存驱动器或可交换存储卡的运动视频摄像机。可交换存储卡例如可以是安全数字存储卡,即SD卡。\n[0043] NAS 14可以是运动视频记录可以经由网络被存储并且运动视频记录可以经由网络被访问的任何存储装置。\n[0044] 客户端16被设置为由运动视频摄像机记录的运动视频记录可以在其中得到播放的装置,即,客户端16能够将运动视频呈现给客户端16的操作者。客户端16可以是具有用于呈现拍摄的运动视频的显示器18和用于控制运动视频的呈现的输入装置20的任何计算机。因此,客户端16可以是个人计算机、工作站、触屏计算机、移动电话、PDA(个人数字助理)等。此外,客户端可以是专用监视中心中的呈现装置。\n[0045] 如本领域技术人员所容易理解的,该系统可以包括运动视频摄像机10、12和NAS装置14的任何组合。例如,系统可以仅包括具有用于所记录视频的附加存储的运动视频摄像机10,或者其可以仅包括需要用于存储运动视频记录的外部存储方案的运动视频摄像机\n12和NAS 14。在系统中,摄像机10、12还可以被组合而包括任意数量的每种类型的摄像机。\n此外,系统可以包括多于一个NAS。\n[0046] 视频管理服务器28可以是具有与处理、分配和控制运动视频、运动视频记录和拍摄所述运动视频的摄像机相关的许多功能的装置。然而,在本说明书中,将只描述与本发明相关的视频管理服务器28的功能。另外,视频管理服务器28包括关于将由其管理和访问的摄像机10、12和NAS装置14的数据库。数据库包括摄像机10、12和NAS装置14的标识符和地址。\n[0047] 图2中示出可以实施本发明实施例的另一系统。该系统基本上是如同结合图1所描述的那样的系统,其仍然包括运动视频摄像机10、12、NAS、客户端16、视频管理服务器\n28、视频管理服务器存储装置30及网络22。然而,从客户端16的视角看,在该系统中,运动视频摄像机10、12和NAS 14连接至防火墙26后面的网络24(在本实施例中是LAN)。该系统还可以包括处于防火墙26的视频管理服务器28一侧的NAS 32,来替代所具有的经视频管理服务器28而操作的存储装置30。\n[0048] 防火墙26是一种对于本领域技术人员公知的装置,并且一般可被描述为网络安全系统,其控制网络通信的进出,确定通信是否应被允许通过。在许多系统中,建立防火墙以不让通信通过其进入内部网络,因此防火墙操作为在可信、安全的内部网络与不被假设为安全可信的其它网络(例如,因特网)之间的屏障。因而,防火墙26阻挡客户端16发送消息至摄像机10、12或NAS 14。视频管理服务器28的一个功能是使得从客户端16至摄像机10、12或NAS 14能形成通信通道。这种功能的一个实例描述于AXIS AB名下公布的国际专利申请WO 2006/073348A1中。本领域技术人员熟知实施此功能的其它及替代的方式。\n[0049] 现在参照图3,摄像机10、12拍摄的运动视频记录MVR1、MVR2、MVR3被存储在运动视频摄像机10中、防火墙26后面的网络中的NAS 14中、与客户端16在同一网络中的NAS \n32中、或者直接连接到视频管理服务器28的存储装置30中。运动视频记录MVR1、MVR2、MVR3并不一定存储在同一存储装置10、14、30中,即使它们是由同一运动视频摄像机拍摄的。在一个实施例中,长记录例如MVR1可以被存储在视频管理服务器28的存储装置30中,而短记录例如MVR2或MVR3可以被存储在NAS 14中或运动视频摄像机10中。\n[0050] 此外,不同的视频记录可以具有不同的特性。例如,视频记录MVR1可以是来自特定运动视频摄像机的全天的记录。为了节省存储空间,该记录可以具有相对低的分辨率、低帧速、或者兼具低分辨率和低帧速。另外,视频记录MVR2可以是按时间表安排的记录,其具有比MVR1高的视频质量,例如较高分辨率、较高帧速、或者兼具较高分辨率和较高帧速。为这些记录按时间表安排的时间段可以例如是基于关注事件发生在这些时间段的过往经验来选择的。在本例中,视频记录MVR3可以是警报触发的视频记录。该记录可以被设定为以全分辨率、全帧速、或者以全分辨率和全帧速二者执行,并且执行预定的持续时间或执行直到触发事件结束。\n[0051] 每个运动视频记录均相关于开始时间ts和结束时间te,或者相关于开始时间ts和持续时间td。无论如何,如果知道开始时间ts和持续时间td,则可以计算结束时间te,或者如果知道开始时间ts和结束时间te,则容易计算持续时间。在以下描述中,将使用开始时间ts和结束时间te来描述本发明,但使用持续时间td来而不是使用结束时间te对于本领域技术人员也是显见的。\n[0052] 现在参照图4的流程图,其中示出了准备呈现所记录运动视频的处理。最初,操作者在客户端16处选择视频源和时间帧、或者开始时间,见步骤402。如果选择了开始时间,则请求的视频的持续时间可以被设定为预设持续时间。然后,客户端准备请求消息,并将其发送至视频管理服务器30,见步骤404。请求消息可以包括源标识,该源标识唯一地标识出从哪个源请求所记录的视频。另外,请求消息可以包括对所请求视频的时间帧的指示,例如,请求播放的区间的开始时间和结束时间。\n[0053] 在本申请中,术语“视频源”应被理解为拍摄运动视频的装置,例如摄像机。来自单一视频源的运动视频记录则可以被存储在网络上的不同位置,例如存储在摄像机中、在NAS中、在视频管理服务器中。因此,当操作者选择视频源时,操作者可以选择一摄像机,并且在随后的对于来自该视频源的运动视频的请求中,该摄像机将被标识出,并且源自该视频源的运动视频记录将被请求。\n[0054] 当视频管理服务器30已经处理了该请求时,其将一视频信息消息返回给该客户端。该视频信息消息由客户端接收,并且其包括与在特定时帧期间由视频源拍摄的记录相关的信息,见步骤406。视频信息消息可以包括:标识在视频信息消息中表示的每个特定记录的记录标识符、每个记录的开始时间和结束时间、每个记录的至少一个视频质量值、以及使客户端能够访问每个记录的介质地址。视频信息消息不包括每个视频记录中存储的所有视频数据。视频质量值可以例如是基于视频分辨率、高宽比、帧速等。视频信息消息对每个记录可以包括任何数量的不同类型的视频质量值。介质地址可以是统一资源定位符(URL)的形式。\n[0055] 然后,客户端通过以下方式来处理接收到的视频信息:对于所请求的时帧的多个分立的时间点,从运动视频记录中选择视频质量值最接近于预定目标视频质量值的视频数据,见步骤408。选择运动视频记录的该处理替代地可包括:从一或多个视频质量值中产生视频选择值,然后选择其视频选择值最接近于预定目标视频选择值的视频记录。如何计算视频选择值的示例将被呈现如下。随后,所选择的记录或所选择的部分记录被登记在播放方案中,见步骤410。播放方案是包括关于播放什么以及何时播放的信息的计划。根据一个实施例,播放方案是播放列表,并且播放列表可以被形成为按时间顺序包括响应于来自操作者的请求将被播放的每个记录的介质地址的列表。每个介质地址也相关于开始时间和结束时间,从而使得能够只播放一部分记录,并且只取回一部分所记录的运动视频,而不是取回与所请求的播放无关的大量数据。此后,播放方案将被称作播放列表。\n[0056] 产生播放列表和得到的播放列表的一个示例示出于图5中。在本例中,运动视频记录具有如下视频选择值,每个视频选择值可以基于单一的视频质量值,或基于来自各个记录的多个视频质量值的组合:\n[0057] 视频记录的视频质量值\n[0058] MVR1VS1=100\n[0059] MVR2VS2=175\n[0060] MVR3VS3=250\n[0061] 客户端的预定目标视频选择值VSt是240。考虑到关于选择步骤的上述处理,将使用视频选择值最接近于目标视频选择值的运动视频记录。为了找出哪个视频选择值是最接近的,可以计算每个运动视频记录的视频选择值与目标视频选择值之间的差值的绝对值。\n该计算得出如下差值:\n[0062] |VS1-VSt|=140\n[0063] |VS2-VSt|=65\n[0064] |VS3-VSt|=10\n[0065] 运动视频记录MVR3:1-3具有比任何其它运动视频记录更接近于目标视频选择值的视频选择值,因此,运动视频记录被表示在播放列表中存在运动视频记录MVR3的所有区间。\n[0066] 运动视频记录MVR2:1-2具有比运动视频记录MVR1的视频选择值更接近于目标视频选择值的视频选择值,因此,运动视频记录MVR2被选择用于能够得到运动视频记录MVR2并且不能得到运动视频记录MVR3的所有区间。\n[0067] 考虑所有的运动视频记录,运动视频记录MVR1具有离目标视频选择值VSt最远的视频选择值VS1,因此,运动视频记录MVR1被布列在播放列表中其它视频记录不可得的时间位置处。在具有时隙(time slot)、即运动视频记录根本不可得的区间的情况下,即,运动视频记录中没有一个对这些时间区间具有任何记录,则这些区间可以被略过。\n[0068] 则图5的播放列表可以如下表所示:\n[0069] \n下列的介质地址 开始时间 结束时间\nMVR1 t1 t2\nMVR2:1 t2 t3\nMVR1 t3 t4\nMVR3:1 t4 t5\nMVR1 t5 t6\nMVR3:2 t6 t7\nMVR2:2 t7 t8\nMVR3:3 t8 t9\nMVR2:2 t9 t10\nMVR1 t10 t11\n[0070] 图6中示出产生播放列表的另一示例。在本例中,客户端的预定视频选择值VSt是150。较低的质量需求可能源自以下事实:客户端的显示器不能呈现高分辨率图像,运动视频图像将被呈现为四个同时呈现的视频记录之一,到客户端的带宽受限,等等。假设视频选择值与关于图5的示例中的相同。则每个运动视频记录的视频选择值与目标视频选择值之间的差值为:\n[0071] |VS1-VSt|=50\n[0072] |VS2-VSt|=25\n[0073] |VS3-VSt|=100\n[0074] 考虑运动视频记录MVR1、MVR2和MVR3,运动视频记录MVR3:1-3具有离目标视频选择值VSt最远的视频选择值。此外,来自MVR1的运动视频记录呈现在表示有运动视频记录MVR3的所有时隙中,因此,运动视频记录MVR3将不被插入在播放列表中。\n[0075] 相比于运动视频记录MVR1和MVR3,运动视频记录MVR2:1-2具有最接近于客户端的目标视频质量值VSt的视频质量值VS2。因此,运动视频记录MVR2:1-2被选择为针对它们所存在的区间处的播放列表,而其余的播放列表则是指来自运动视频记录MVR1的运动视频部分。因而,播放列表中的播放列表条目可以被构成为下表中所示的区间:\n[0076] \n下列的介质地址 开始时间 结束时间\nMVR1 t1 t2\nMVR2:1 t2 t3\nMVR1 t3 t4\nMVR2:2 t4 t5\nMVR1 t5 t6\n[0077] 如以上结合图5和图6的描述所示,可以通过各种方式计算用于运动视频记录的视频选择值。将在产生或计算视频选择值时被使用的视频特征的选择可以取决于应用、客户端、用户或任何其它条件。此外,视频选择值可以基于多个特征和其各自的视频质量值,它们在计算最终的视频选择值时被赋予不同的权重。\n[0078] 在一个实施例中,视频选择值被计算为\n[0079] VSscore=(1+(s-1)2)(1+(p-1)2)\n[0080] 其中,VSscore是将被计算的视频选择值;s是比例因数值,表示所选择的运动视频记录必须被均匀缩放多大以便填充目标帧;p是“填充部分”变量,其表示当运动视频已经沿目标帧的两个轴之一被缩放以填充该目标帧时,目标帧有多大将被填充。在此方程式中,最接近于零的VSscore的值为最优值。这对应于使用为零的目标视频选择值VSt,即VSt=\n0。\n[0081] 在另一实施例中,视频选择值VSscore被计算为多个加权函数(例如,视频质量值)的线性组合,或者如上述示例中那样被计算为单一函数。\n[0082] \n[0083] 在该方程式中,变量ck是可被设定为使函数能具有优先级的权重。函数中使用的自变量可以是多个“质量”特征中的任何一个,例如视频分辨率、高宽比、帧速等。该视频选择值计算的一个优点在于特征的权重完全受控。\n[0084] 在又一实施例中,视频选择值VSscore被计算为多个函数的乘积。\n[0085] \n[0086] 此类方程式的一个特征在于,所有的因数(即函数f(x))都会对结果具有极大影响。例如,如果函数之一为零,则VSscore变为零。\n[0087] 图7a至图7b示出描绘产生播放列表的处理600的一个实施例的流程图,其中使用上述视频选择值计算方案中的任一种。起初,创建空的播放列表,见步骤602,然后该处理到达重复进行一部分处理之处,见步骤604,直到从视频管理服务器接收的视频信息消息中的所有视频信息条目都已经得到处理为止,见步骤624。\n[0088] 该处理的迭代部分开始于从视频信息消息取回视频信息条目的动作,见步骤606。\n用以取回的视频信息条目的选择是基于该条目在迭代期间是否已经得到处理。这种选择可以通过多种方式实现。一种方式是通过持续从接收的视频信息消息中删除已经得到到处理的视频信息条目,然后从剩下的条目中进行选择。另一种方式是简单地在处理过的条目上设定标志,以便将它们标记为处理过的,然后在选择步骤期间略过它们。\n[0089] 然后,基于所选择和取回的视频信息条目继续进行处理。取回的视频信息条目包括开始时间和结束时间,限定由该取回的视频信息条目表示的时间区间。然后,最初为空的播放列表被相对于开始时间按照时间顺序解析,以便检查取回的视频信息条目的区间是否与已经处于播放列表中的区间重叠,见步骤608。当按照时间顺序进行解析时,在播放列表中找到的第一个遇到的重叠条目是在下面的步骤中处理的重叠。如果找到重叠,则计算由取回的视频信息条目表示的运动视频记录的视频选择值(也称为视频选择分数),并将其与已经处于播放列表中的重叠区间的视频选择值进行比较,见步骤610。这种比较可以按先前讨论的方式之一进行。如果取回的视频信息条目具有最佳的视频选择值,则去除播放列表中的重叠,见步骤612,即,如果播放列表中的区间被完全重叠,则去除播放列表中整个重叠的区间条目,或者如果播放列表中的区间仅一部分被重叠,则仅去除播放列表中的区间的重叠部分。然后,该处理返回至步骤608,并检查取回的视频信息条目的区间是否仍然与输入到播放列表中的任何区间重叠。\n[0090] 如果在步骤608中没有找到重叠,则将取回的视频信息条目输入到播放列表中,见步骤628。取回的视频信息条目的区间可能在处理期间已经被调整过,因此不表示在步骤\n606中从视频信息消息取回的视频信息条目的整个区间。当取回的视频信息条目已经被输入到播放列表中时,处理继续进行到处理步骤624。\n[0091] 现在,返回处理步骤610,其中,将取回的视频条目的视频选择值与播放列表中重叠条目的视频选择值进行比较。如果取回的视频信息条目的视频选择值不比播放列表中重叠条目的视频选择值更好,则通过以下方式继续进行处理:检查取回的视频信息条目的区间是否具有比播放列表中重叠区间的开始时间早的开始时间,见步骤614。然后,取回的视频信息条目的区间在与播放列表中重叠区间的开始时间相对应的时间点被切分(split)。\n取回的视频信息条目的区间中早于重叠的播放列表区间的开始点的部分被形成为单独的区间条目,见步骤616。这样做的一种方式是取得该取回的视频信息条目的开始时间和重叠的播放列表区间的开始时间,并使这两个时间点分别成为新条目(即单独的区间条目)的开始时间和结束时间,其中,该单独的区间条目被赋予该取回的视频信息条目的所有其它特性和特征。\n[0092] 另外,取回的视频信息条目随后被进行如下修改:将其区间的开始时间改变为播放列表中重叠区间的开始时间。当在步骤616中已经产生了单独的区间条目时,将该单独的区间条目输入到播放列表中,见步骤618。\n[0093] 然后,该处理继续进行到步骤620。该步骤也是步骤614中的检查时该处理所进展到的步骤,所涉及的是,取回的视频信息条目中的开始时间是否早于播放列表中重叠区间的开始时间,以及该检查是否返回否定结果,即,取回的视频信息条目中没有较早的开始时间。因此,现在确定的是,来自播放列表的重叠区间至少与取回的视频信息条目(其是原始的或调整过的)的开始部相重叠,从取回的视频信息条目中去除该重叠区间,见步骤620。\n[0094] 在取回的视频信息条目已经被调整之后,检查得到的视频信息条目,以便确定在该条目中是否留有任何区间,见步骤622。如果在取回的视频信息条目中仍然有留下的区间,则该处理返回至步骤608,以处理取回的视频信息条目的经调整版本。或者,如果没有留下的区间,则该取回的视频信息条目将不再被处理,并且该处理进展到步骤624,以检查视频信息消息中是否有任何其它的视频信息条目需要处理。如果有其它的视频信息条目需要处理,则该处理返回至步骤604,但如果没有其它的视频信息条目需要处理,则该处理以生成了播放列表而结束,见步骤626。\n[0095] 当基于操作者的初始选择已经创建了播放列表时,使用该播放列表播放来自请求的运动视频源的运动视频。由客户端来处理该播放列表。图8a的流程图示出了处理播放列表以在所请求的时间段的每个时隙显示最适合的运动视频记录的一个实施例。在该实施例中,客户端读取播放列表,见步骤702,并且下载由播放列表条目限定的各个运动视频记录的部分,见步骤704。这些介质地址可以指向存储在摄像机10、NAS 14、或视频管理服务器28中的运动视频记录的地址。在运动视频记录存储在防火墙后面(从客户端的角度看)的摄像机或NAS上的情况下,则介质地址是经由视频管理服务器28来解析的地址。\n[0096] 然后,如关联到播放列表中的各个视频记录条目的开始时间和结束时间所指示的那样,按照时间顺序进行各个视频文件的视频播放,见步骤706。\n[0097] 在客户端处理播放列表的另一实施例示出于图8b的流程图中。根据该处理,在步骤722中重置计数器c,并且取得播放列表中的条目数为n。然后,从播放列表中读取条目数c,见步骤724,并且取回由介质地址、开始时间和结束时间限定的视频数据,见步骤726。\n然后在客户端播放取回的视频数据,见步骤728,并且将计数器c加一,见步骤730。重复步骤724-730直到已经取回各条目限定的所有视频数据为止,在流程图中这是通过检查计数器是否已经超过播放列表中的条目数来标记的,见步骤732。在当前播放的运动视频记录已经到达末尾之前,可以实施返回至步骤724,以便在当前运动视频播放结束之前使下一个运动视频记录准备好用于播放。\n[0098] 现在关注视频管理服务器28,其被布置为通过从特定视频源查找所有可得的运动视频记录来处理来自客户端16的请求,然后将视频信息消息返回至客户端16,用于客户端进行如上所讨论的处理。当客户端16已经处理了该信息时,客户端16可以从视频管理服务器28请求运动视频记录。\n[0099] 根据一个实施例,视频管理服务器28的处理包括图9的步骤。当视频管理服务器\n28从客户端16接收到对于特定视频源的运动视频以及对于特定时间段的请求时,该处理开始,见步骤802。响应于该请求,视频管理服务器28取回关于该特定时间段内该特定运动视频源的数据和特性,见步骤804。取回的数据和特性可以是用于标识以下各项的标识符:\n由视频管理服务器28找到的各特定记录、各记录的开始时间和结束时间、各记录的至少一个视频质量值、以及使客户端能够访问各记录的介质地址。视频质量值例如可以是视频分辨率、高宽比、帧速等。视频记录的特性可以包括各记录的任何数量的不同类型的视频质量值。介质地址可以是统一资源定位符(URL)的形式。关于特定视频源的数据和特性可以存储在视频管理服务器28中、摄像机10中、NAS 14、32中,或存储在这些存储位置的任意组合中。例如,关于所请求的源的一个运动视频记录的数据和特性可以存储在视频管理服务器28中,而另一个运动视频记录的数据和特性可以存储在该系统的其中一个摄像机10中。\n[0100] 然后,数据和特性在视频信息消息中被发送至客户端16,见步骤806。在视频信息消息是指可经视频管理服务器28访问的所记录运动视频的情况下,视频管理服务器28可以接收对于这种视频数据的请求,见步骤808。响应于这种请求,视频管理服务器28取回所请求的数据,见步骤810,并将其发送至请求客户端,见步骤812。\n[0101] 现在参照图10,其示出了一示意图,描绘了在实施本发明实施例的系统中经网络可能进行的通信。初始通信是从客户端16至视频管理服务器28,并且包括对于由特定源产生的特定时帧内运动视频记录的信息的请求900。然后,视频管理服务器28可以从视频管理服务器28的存储装置30取回关于相关视频源和时间帧的视频信息。视频管理服务器\n28返回如上所述的视频信息消息904。然而,可替代地,视频管理服务器28除了从其自身的存储装置取回视频信息之外,还可以将视频源请求或视频信息请求901发送至源(即摄像机10、12)和/或NAS 14、32(其登记为存储关于摄像机10、12的数据)。该视频信息请求901可替代地可以被实施为广播消息。然后,响应于频信息请求901,视频信息902被返回至视频管理服务器28,并且视频管理服务器28将视频信息消息904发送至客户端。\n[0102] 然后,客户端16处理该视频信息消息中的信息,并根据产生的播放列表发出对于运动视频的请求。运动视频请求可以被基本上同时发送,或者,如图所示,它们可以在关于一个请求的运动视频数据已经被接收到之后被发送。无论如何,在图中,客户端16通过发送对于存储在连接到视频管理服务器28的存储装置上的运动视频记录的第一运动视频请求906而开始。第一运动视频请求随后被视频管理服务器28处理,该视频管理服务器28从视频管理服务器存储装置30请求(908)运动视频记录。视频管理服务器存储装置30将请求的运动视频记录返回(910)至视频管理服务器28,视频管理服务器28随后将运动视频记录发送(912)至客户端16。将从防火墙后面的本地视频存储装置14(NAS)取回第二运动视频。因此,对于第二运动视频记录的请求914从客户端16发送至视频管理服务器28,然后,请求916从视频管理服务器28经其防火墙穿越技术被发送至NAS 14。NAS 14将请求的运动视频记录返回(918)至视频管理服务器28,视频管理服务器28随后将其发送(920)至客户端16。\n[0103] 图11中示出根据本发明一个实施例的客户端16。客户端可以是具有输入装置\n20(例如,键盘、鼠标、操纵杆等)和显示器18的通用计算机。通用计算机的操作和设计对于本领域技术人员是公知的,并且通用计算机中的处理是通过一个中央处理器单元或通过多个处理单元进行的,本发明不限于这两种实施方式中的任一种,但为了有利于理解本申请,处理能力将被参照为处理器50。此外,客户端连接至如上所述的网络22、24,因此包括网络接口52。为了实施本发明的实施例,该通用计算机除了包括普通计算机的装置和功能之外,还可以包括运动视频选择模块54、视频请求器56、播放列表生成器58和播放列表呈现器60。\n[0104] 视频选择模块54被布置为从输入装置20接收输入,并标识运动视频源和时间点、或者时间帧,并将请求发送至视频管理服务器28,该请求包括运动视频源的标识符和请求的时间帧。播放列表生成器58被布置为从视频管理服务器接收视频信息消息,并对于所请求时间帧中的不同时隙选择视频记录,也参见结合图4描述的步骤406-410。\n[0105] 视频请求器56被布置为根据播放列表请求并取回运动视频记录或部分的运动视频记录,以供播放列表呈现器60使用并播放给显示器18上的操作者。\n[0106] 图12中示出实施本发明实施例的视频管理服务器。除了通常管理视频的功能和装置(例如,处理装置70、网络接口72等)和如上所讨论的经防火墙进行通信之外,该视频管理服务器还包括视频信息生成器74、视频源数据库76、视频记录数据库78、视频记录取回器80。\n[0107] 视频信息生成器74被布置为处理来自客户端的视频源请求,并在视频源数据库\n76中识别视频源。然后,视频信息生成器74可以从视频源数据库接收至存储装置的地址,包括关于特定视频源的所记录运动视频的信息,或者视频源数据库将视频信息生成器链接至视频记录的内部数据库78中的记录。视频信息生成器74可能必须利用这两种方法来识别关于特定时间帧中的视频源的所有记录。视频记录可能不存储在视频记录数据库78中。\n根据一个实施例,视频记录数据库78仅包括所记录运动视频的关于介质地址、开始时间、结束时间、视频特性等的信息。视频记录取回器80被布置为使得能够访问存储在防火墙后面的视频记录。视频记录取回器接收特定运动视频记录的地址或其它标识符,取回运动视频记录,并将运动视频记录发送至客户端16。
法律信息
- 2016-05-18
- 2015-09-23
实质审查的生效
IPC(主分类): H04N 5/76
专利申请号: 201410461173.3
申请日: 2014.09.11
- 2015-03-18
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2009-09-09
|
2008-03-05
| | |
2
| |
2011-03-30
|
2009-08-28
| | |
3
| |
2010-07-21
|
2010-01-26
| | |
4
| | 暂无 |
2004-01-29
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |