一种多屏多视频缩微视图调度系统及调度操作方法

暂无

一种多屏多视频缩微视图调度系统及调度操作方法\n技术领域\n[0001] 本发明涉及一种视频调度系统及调度操作方法，尤其涉及一种多屏多视频缩微视图调度系统及相应的调度操作方法，属于视频调度技术领域。\n背景技术\n[0002] 随着社会经济的发展，人们对安全防范的需求在不断提高，视频调度系统在过去的几十年中得到了迅速的发展和普及，由原来的政府机关、金融机构等重点用户，开始应用到越来越多的公共设施如写字楼、商场、居民小区等。现有的视频调度系统对各个视频监控终端的视频信号进行集中处理和显示，通常采用电视墙、视频矩阵等方式同时进行多路视频的播放。采用这种方式可以扩展用户的视野，提供更大的信息量。\n[0003] 在传统的视频会议客户端中，各个视频监控终端分别显示视频画面，不能方便地进行切换。如果需要切换某一视频监控终端的视频画面，通常需要在视频调度系统的操作台上完成。切换时一般需要先查询相关视频监控终端的编号，然后在操作台上输入视频监控终端编号及显示屏幕编号，以完成视频切换。这一操作较为麻烦，查询编号需要时间，用户无法快速切换多个视频监控终端的视频画面。\n[0004] 随着视频监控规模地不断扩大，在一个视频调度系统中可能包括多达数百台视频监控终端，为了迅速找出所需的视频监控终端，一些安防系统配备了电子地图，在电子地图中可以直观地显示出各个视频监控终端的位置，但是要把某路视频切换到某一显示屏幕上显示出来，还是需要先在电子地图上查询该视频监控终端的编号，然后在操作台上手工输入该视频监控终端的编号及电视墙显示屏幕的编号，以便完成切换，操作步骤还是颇为繁琐，效率不高。要在数量众多的监控视频中快速选择一路并显示到视频调度系统中的某个显示屏幕上还缺少有效的技术解决方案。\n发明内容\n[0005] 针对现有技术所存在的不足，本发明所要解决的技术问题在于提供一种多屏多视频缩微视图调度系统及调度操作方法。本发明采用缩微视图方式进行交互操作，缩短了用户操作的距离，提高了工作效率。\n[0006] 为实现上述的发明目的，本发明采用下述的技术方案：\n[0007] 一方面，本发明提供一种多屏多视频缩微视图调度系统，包括视频会议服务器、视频会议客户端及网络交换设备，所述视频会议服务器通过所述网络交换设备和所述视频会议客户端连接，所述视频会议客户端包括视频监控终端和视频控制终端，所述视频监控终端与所述视频控制终端连接，所述视频控制终端控制和调度所述视频监控终端的视频显示信息，所述视频控制终端同步显示所述视频监控终端的缩微视图。\n[0008] 其中较优地，所述视频控制终端包括应用模块、多屏多窗口处理模块和缩微视图处理模块；\n[0009] 所述应用模块调用所述多屏多窗口处理模块的视频显示信息在所述视频监控终端显示；\n[0010] 所述缩微视图处理模块映射所述多屏多窗口处理模块的视频显示信息以缩微视图方式在所述视频控制终端显示。\n[0011] 其中较优地，所述多屏多窗口处理模块中设置有视频区域窗体模块；\n[0012] 所述视频区域窗体模块中设置有至少一个视频显示窗口容器模块；\n[0013] 所述视频显示窗口容器模块设置有视频显示窗口；\n[0014] 所述视频显示窗口容器模块控制和管理所述视频显示窗口的位置。\n[0015] 其中较优地，所述缩微视图处理模块设置有缩微视图窗口；\n[0016] 所述缩微视图窗口中设置视频缩微视图显示模块；\n[0017] 所述缩微视图显示模块与所述视频显示窗口容器模块存在映射关系。\n[0018] 另一方面，本发明还提供一种应用于上述多屏多视频缩微视图调度系统的调度操作方法，包括如下步骤：\n[0019] 用户执行交互操作；\n[0020] 在执行交互操作过程中，捕获交互操作信息；\n[0021] 传送交互事件消息，根据交互事件消息响应交互操作；\n[0022] 同步视频更新视频显示信息。\n[0023] 其中较优地，所述用户执行交互操作是双击或拖拽。\n[0024] 其中较优地，用户执行交互操作时进一步包括对与会方权限判断的步骤：\n[0025] 如果与会方是主席方，则触发视频会议客户端之间的视频同步流程。\n[0026] 其中较优地，所述视频会议客户端之间的视频同步流程进一步包括：\n[0027] 主席方客户端通过视频会议服务器向与会方发送交互通知；\n[0028] 与会方收到所述交互通知后，提取参数信息，同步交互信息；\n[0029] 同步完成后，与会方向视频会议服务器发送同步确认消息；\n[0030] 视频会议服务器向主席方视频会议客户端转发同步确认消息，交互流程结束。\n[0031] 其中较优地，所述参数信息是客户端ID、成员变量、窗口的位置信息之一。\n[0032] 本发明采用缩微视图方式，能灵活方便地控制多屏多视频的窗口调度操作，提高了调度交互操作效率。另一方面，使用本发明能确保各个视频会议客户端之间的实时数据同步，能够更加全面地同时呈现多方数据图像信息。\n附图说明\n[0033] 图1是视频监控终端的显示窗口示意图；\n[0034] 图2是图1所示的视频监控终端显示窗口在视频控制终端的缩微视图；\n[0035] 图3是视频调度系统的整体架构示意图；\n[0036] 图4是视频区域窗体模块的窗口关系示意图；\n[0037] 图5是视频显示窗口容器模块的四分屏屏幕坐标示意图；\n[0038] 图6是缩微视图窗口的关系示意图；\n[0039] 图7是首位视频变更的交互流程示意图。\n具体实施方式\n[0040] 本发明是基于微软提供的Direct Show构架实现的。Direct Show是Windows平台下的流媒体框架。在Direct Show构架中，整个播放流程是由多个过滤器（filter）组成，用户可以根据需求开发满足自己应用需求的过滤器。Direct Show提供了高质量的多媒体流采集、回放、处理等功能，支持多种媒体文件格式，包括ASF、MPEG、AVI、MP3，以及WAV等。\n在媒体采集方面，DirectShow支持WDM驱动及早期的VFW驱动。DirectShow整合了其他的DirectX技术（如Direct Draw、Direct Sound），能够自动侦测并利用可用的音视频硬件加速功能，具备良好的兼容性。在Windows窗口界面编程中，窗口操作的核心为CWnd（窗口句柄）、消息队列。每个窗口都拥有一个消息队列。窗口操作通过事件驱动的方式，触发相应的处理流程，包括窗口初始化、热键、窗口绘制、窗口按键、窗口点击、窗口位置变化等。通过设定消息映射函数，能够满足应用模块自定义相应的消息的处理。下面结合附图和具体实施方式对本发明作进一步的详细说明。\n[0041] 本发明提供一种多屏多视频缩微视图调度系统，包括服务器端、客户端及网络交换设备。服务器端是视频会议服务器，客户端是视频会议客户端，视频会议服务器通过网络交换设备和视频会议客户端连接。视频会议服务器用于调度和管理各个视频会议客户端。\n视频会议客户端包括视频控制终端和视频监控终端，视频监控终端与视频控制终端连接，视频控制终端控制和管理视频监控终端的视频显示信息。视频监控终端可以是显示器、投影仪、大屏幕等其中的一种或多种。如图1所示，视频监控终端根据实际的工作状态和实际需要选择相应的视频显示信息和视频显示方式。视频显示信息可以是具体的视频、也可以是白板内容、也可以是桌面共享、也可以是文档协同呈现内容等。可以理解，视频显示信息也可以是上述视频显示信息的多种。视频监控终端的视频显示信息根据具体需要单屏显示（全屏），也可以以多屏多窗口布局方式显示，但不仅限于此（例如四分屏、八分屏突出显示等）。在多屏多视频缩微视图调度系统中，为了方便指挥和管理，视频监控终端的视频显示信息也可以通过视频控制终端的控制以大屏幕或投影方式借助大屏幕拼图系统拼接集中显示。大屏幕投影拼图系统是将视频、VGA、程序等拼接成一幅大画面，或者每屏显示不同画面。\n[0042] 如图2所示，为了让这些视频监控终端能够更便捷高效地交互操作，多屏多视频缩微视图调度系统将这些视频监控终端的视频显示信息、位置布局信息及概要信息都以缩微视图方式呈现在视频控制终端。视频控制终端以浮动窗口方式呈现各个视频监控终端的视频显示信息。视频控制终端的缩微视图窗口31足够小，交互操作距离短，因此通过对缩微视图交互操作，实现对视频监控终端的视频显示信息调度和控制。视频控制终端可以方便地控制缩微视图的视频显示信息，满足对视频显示信息的灵活缩放、屏内窗口换位、屏间窗口换位、大屏输出等交互控制操作，控制、管理效率较高。当视频调度终端在缩微视图窗口31执行交互操作时，其交互操作信息将同步显示在视频监控终端；当视频监控终端的视频显示信息发生变化时，相应的概要信息将自动反映到视频控制终端中，此时缩微视图窗口31区域也同步发生变化。后文对此同步将有进一步的说明。\n[0043] 在多屏多视频缩微视图调度系统中，如图3所示，视频控制终端还设置有应用模块（App Main）1、多屏多窗口处理模块（Video Show RealM）2和缩微视图处理模块（Video Show Mapping TB）3。应用模块1调用多屏多窗口处理模块2处理的视频显示信息后显示在视频监控终端。多屏多窗口处理模块2处理的窗口信息均在缩微视图处理模块3有相应的映射对象。缩微视图处理模块3映射多屏多窗口处理模块2处理的视频显示信息以缩微视图方式显示在视频控制终端。视频控制终端对缩微视图的交互操作通过缩微视图处理模块3和多屏多窗口处理模块2同步显示在相应的视频监控终端。下面对多屏多窗口处理模块2和缩微视图处理模块3之间的相互关系及视频显示信息同步作详细说明。\n[0044] 如图4所示，为满足在多屏多视频缩微视图调度系统对视频窗口的灵活布局控制，多屏多窗口处理模块2设置有视频区域窗体（Video ShowFrame）模块21。视频区域窗体模块21中设置有至少一个视频显示窗口容器（Video Container）模块211。视频区域窗体模块21中的窗口布局和视频显示信息显示在相应的视频监控终端。视频显示窗口容器模块211设置有视频显示窗口（Video Renderer）210。视频显示窗口210由DirectShow框架创建，建立视频显示窗口210的流程符合Direct Show标准过程，在此不再赘述。多屏多窗口处理模块2的视频流经过解码处理后，通过过滤器（filter）传递到视频监控终端显示。如图4所示，视频区域窗体模块21、视频显示窗口容器模块211、视频显示窗口210呈三级窗口架构，视频显示窗口210是视频显示窗口容器模块211的子窗口，视频显示窗口容器模块211控制和管理视频显示窗口210的位置。视频显示窗口容器模块211采用浮动窗口（Move Window）函数或者设置窗口位置（Set Window Position）函数控制视频显示窗口210的位置。浮动窗口函数中提供视频显示窗口210的位置信息（例如：坐标、高、宽等参数）。在视频区域窗体模块21中，根据当前的视频窗口布局采用映射（map）维护多视频显示窗口容器模块211的布局，并设定各视频显示窗口容器模块211的位置。为便于索引，定义视频显示窗口容器模块211中视频显示信息与缩微视图处理模块3中缩微视图的映射关系，其检索字段为视频显示窗口容器模块211的用户业务标识。该用户业务标识是视频显示窗口容器模块211所对应的视频监控终端ID（可以采用整型值或者字符串URI的形式表示）。当缩微视图窗口31中缩微视图所呈现的内容发生变化时，缩微视图窗口31通过缩微视图处理模块3向多屏多窗口处理模块2发送事件通知；多屏多窗口处理模块2根据事件通知所携带的变更前后的视频监控终端ID作为参数，更新具体的视频缩微映射中视频监控终端ID。此时应用模块1调用视频监控终端多屏多窗口处理模块2的视频显示信息同步更新视频监控终端视频显示信息。\n[0045] 图5示出了视频区域窗体模块21的四分屏屏幕布局示意图，视频区域窗体21中有4个视频显示窗口容器模块211。分别是第1视频显示窗口容器、第2视频显示窗口容器、第3视频显示窗口容器、第4视频显示窗口容器。视频区域窗体21中各视频窗口容器模块211的位置通过其坐标确定。视频区域窗体模块21四分屏布局视频显示窗口容器模块211的坐标如表1所示。第1视频显示窗口容器处于视频区域窗体21的左上角（坐标为left-top：0,0；right-bottom：x/2,y/2）；第2视频显示窗口容器处于视频区域窗体21的右上角（坐标为left-top：x/2,0；right-bottom：x,y/2）；第3视频显示窗口容器处于视频区域窗体21的左下角（坐标为left-top：0,y/2；right-bottom：x/2,y）；第4视频显示窗口容器处于视频区域窗体21的右下角（坐标为left-top：x/2,y/2；right-bottom：x,y）。视频区域窗体模块21中计算各视频显示窗口容器模块211的坐标，根据视频显示窗口容器模块211的坐标调用浮动窗口函数（Move Window）布局对应的视频显示窗口容器模块211的位置。\n[0046] \n 左上角（left-top） 右下角（right-bottom）\n第1视频显示窗口容器 0,0 x/2,y/2\n第2视频显示窗口容器 x/2,0 x,y/2\n第3视频显示窗口容器 0,y/2 x/2,y\n第4视频显示窗口容器 x/2,y/2 x,y\n[0047] 表1各视频显示窗口容器的坐标\n[0048] 如图6所示，缩微视图处理模块3还设置有缩微视图窗口（Video ShowMapping Frame）31，缩微视图窗口31中显示视频缩微视图（VideoMapping）显示模块310。视频缩微视图显示模块310是缩微视图窗口31的子窗口，其中缩微视图显示模块310与视频显示窗口容器模块211存在映射关系，该映射关系由上述的用户业务标识来描述。当多屏多窗口处理模块2上的视频显示窗口容器模块211呈现内容发生变化时，在相对应的缩微视图窗口显示模块310中产生同步标识；相应的概要信息将自动反映到缩微视图窗口显示模块\n310区域中；缩微视图窗口显示模块310的视频显示信息同步发生变化；应用模块1调用多屏多窗口处理模块2中变化的视频显示信息后显示在视频监控终端。\n[0049] 在多屏多视频缩微视图调度系统中，视频显示窗口容器模块211还定义有成员变量（m_szIdentifier），该成员变量用于标识该视频显示窗口容器模块211。该成员变量可以按实际的应用场景取值（例如视频通道1）。视频显示窗口容器模块211呈现内容发生变化时，视频区域窗体21向缩微视图窗口31同步该成员变量值，在缩微视图窗口31的微视图窗口显示模块310中对应呈现该成员变量值（视频通道1）。\n[0050] 本发明提供的多屏多视频缩微视图调度系统可以应用于航空、铁路、公安、交通、企业生产等领域中，通过在不同的屏幕区域内呈现不同的业务系统，多个业务系统同时呈现，使得调度操作更加直观、便利。本发明采用缩微视图方式，灵活方便地控制多屏多视频的窗口调度操作，满足对各呈现窗口的灵活缩放、屏内窗口换位、视频会议客户端间窗口同步、大屏输出，提高了调度交互操作效率。\n[0051] 在多屏多视频缩微视图调度系统中，一般会有多个与会方。在这些与会方中，至少有一个与会方是主席方。每一个与会方都有对应的视频会议客户端。主席方客户端具有向其他与会方客户端同步视频显示信息的权限。当主席方在自己所在的视频会议客户端执行交互操作时，该视频会议客户端的交互操作信息将同步给其他与会方所在的视频会议客户端。如果与会方为非主席方，该与会方在自己所在的视频会议客户端执行交互操作时，仅自身的视频监控终端同步更新视频显示信息，其他与会方并不同步。下面对多屏多视频缩微视图调度操作方法做详细的说明。\n[0052] 本发明还提供一种应用上述多屏多视频缩微视图调度系统的调度操作方法，包括：用户在视频会议客户端的视频控制终端执行交互操作；视频控制终端在执行交互操作过程中，缩微视图处理模块3捕获交互操作信息（例如双击、拖拽等）；缩微视图处理模块3向多屏多窗口处理模块2传送交互事件消息；多屏多窗口处理模块2根据交互事件消息响应交互操作；应用模块1调用视频监控终端多屏多窗口处理模块2的视频显示信息同步更新视频监控终端视频显示信息，交互流程结束。下面以视频调度终端对缩微视图窗口显示模块310的双击事件和拖拽事件为例，对多屏多视频缩微视图的调度操作方法展开详细说明。\n[0053] 实施例1：双击事件\n[0054] 如果视频控制终端显示的视频显示信息为非全屏状态，当用户在视频用户控制终端的缩微视图窗口显示模块310执行双击操作时，缩微视图窗口31中捕获双击消息（WM_LBUTTONDBLCLK）。缩微视图窗口31将该消息传送至缩微视图处理模块3。缩微视图处理模块3向多屏多窗口处理模块2传送事件通知，多屏多窗口处理模块2接收该事件通知并传送至视频区域窗体模块21。视频区域窗体模块21收到事件通知后，视频区域窗体模块21根据事件通知携带的参数将相应的视频显示窗口容器模块211设置为全屏。此时应用模块\n1调用视频监控终端多屏多窗口处理模块2的视频显示信息，与该视频显示窗口容器模块\n211对应的视频监控终端的视频显示信息也同步更新为全屏，交互流程结束。应当理解，如果视频控制终端显示的视频显示信息为全屏状态，当用户在缩微视图窗口显示模块310执行双击操作时，缩微视图窗口31的视频显示信息将退出全屏显示模式。同时应用模块1调用视频监控终端多屏多窗口处理模块2的视频显示信息，视频监控终端的视频显示信息也同步更新退出全屏，交互流程结束。\n[0055] 实施例2：拖拽事件\n[0056] 当用户在视频用户控制终端的缩微视图窗口显示模块310执行拖拽交互操作时，将其中的第一缩微视图窗口显示模块拖拽到第二缩微视图窗口显示模块。缩微视图窗口31在第一缩微视图窗口显示模块中捕获拖拽消息(WM_LBUTTONUP)，在第二缩微视图窗口显示模块中捕获替换消息（WM_LBUTTONDOWN）。缩微视图窗口31对接收到的上述拖拽消息和替换消息响应在处理函数中。缩微视图窗口31将该消息传送至缩微视图处理模块3。缩微视图处理模块3向多屏多窗口处理模块2传送事件通知，多屏多窗口处理模块2接收该事件通知并传送至视频区域窗体模块21。视频区域窗体模块21收到事件通知后，视频区域窗体模块21根据事件通知携带的参数，将第一视频显示窗口容器和第二视频显示窗口容器的位置进行交换。此时应用模块1调用视频监控终端多屏多窗口处理模块2的视频显示信息，与第一视频显示窗口容器和第二视频显示窗口容器对应的视频监控终端的视频显示信息也更新交换，交互流程结束。\n[0057] 使用本发明提供的多屏多视频缩微视图调度操作方法，对缩微视图窗口31执行交互操作的同时，本发明还对主席方客户端对其他与会方客户端同步做了相应的技术改进。当与会的主席方客户端对缩微视图窗口31执行交互操作时，触发视频会议客户端间视频同步流程。主要步骤包括：主席方客户端在其视频会议客户端执行交互操作时，主席方客户端以SIP消息通过视频会议服务器（Conference Server）向会议中所有与会方发送通知。与会方收到该通知后，从消息中提取参数信息，多屏多窗口处理模块2根据参数信息交由视频区域窗体模块21，视频区域窗体模块根据参数信息选定具体的视频显示窗口容器模块211，并通过调用相关交互功能将该交互信息同步显示在与会方视频会议客户端。同步完成后，与会方向视频会议服务器发送同步确认消息；视频会议服务器向主席方视频会议客户端转发同步确认消息，交互流程结束。下面以四个与会客户端与会时，其中一个客户端执行缩微视图窗口位置互换其他客户端同步更新为例展开详细的说明。\n[0058] 在会议场景中由A、B、C、D四个客户端参加视频会议，其中客户端A为会议主席方，其余客户端B、C、D为普通与会方。A、B、C、D四个客户端的视频显示信息分别在视频控制终端的第一、二、三、四视频窗口容器中，同时在各视频会议客户端以四分屏方式显示。客户端A的视频显示信息处于首位（即在视频区域窗体的左上角）。当客户端A执行了与客户端B视频窗口位置互换后，则触发首位视频变更交互流程。客户端A以SIP消息携带相应呈现内容标识的参数信息通过视频会议服务器向会议中所有与会方发送通知。在视频会议中的其他客户端B、C、D通过视频会议服务器均按照客户端A的窗口布局同步视频显示信息。\n具体步骤如下：\n[0059] 步骤101，客户端A向视频会议服务器发送首位视频变更消息，在该消息中携带客户端ID（userID）；\n[0060] 消息以SIP INFO承载，消息示例如下：\n[0061] INFO sip:client_a@视频会议服务器ip地址SIP/2.0\n[0062] ……（SIP INFO消息头为符合RFC3261的标准，此处不再展开赘述）[0063] Content-Type:application/pccx+xml\n[0064] Content-Length:消息体长度\n[0065] \n[0066] \n[0067] \n[0068] \n[0069] \n[0070] 步骤102，视频会议服务器通过SIP消息携带相应呈现内容表示的参数信息向会议中所有与客户端（B、C、D）发送事件通知。\n[0071] 步骤103，视频会议客户端B对首位视频变更的通知进行处理，与视频会议客户端保持同步；在视频区域窗体中将第一视频窗口容器与第二视频窗口容器的位置进行交换。\n处理完毕发送200 OK确认消息给视频会议服务器；\n[0072] 步骤104，视频会议服务器向视频会议客户端A发送200 OK确认消息，首位视频变更流程结束。\n[0073] 应当理解，此实施例仅仅是对本发明做出进一步的解释和说明，并非对本发明的限定，主席方客户端在其视频会议客户端执行双击交互操作时，仍然触发视频会议客户端间视频同步流程，实现主席访客户端与其他与会方客户端之间的视频显示信息同步。\n[0074] 使用本发明提供的多屏多视频缩微视图调度操作方法，能确保各个视频会议客户端之间的实时数据同步，视频监控终端与视频控制终端能够更全面地同时呈现多方数据图像信息。\n[0075] 上面对本发明所提供的多屏多视频缩微视图调度系统及调度操作方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。