一种多画面输出方法及系统

1.一种多画面输出方法，其特征在于：
在n点通信环境中设置多画面支撑模块，采用所述的多画面支撑模块提 取多点控制单元接收到的n点图像数据并将所述的图像数据转发到多画面服 务器；
所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输 出，从而实现n画面输出。
2.根据权利要求1所述的方法，其特征在于，所述的在n点通信环境中 设置多画面支撑模块是指：所述的多画面支撑模块可以设于多点控制单元内； 或者，所述的多画面支撑模块可以为独立的装置。
3.根据权利要求2所述的方法，其特征在于，所述的多画面支撑模块可 以设于多点控制单元内包括：
在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信 道，所述的信道采用进程间通信的方式实现；
在所述的多画面支撑模块与所述的多点控制单元中的多点控制模块之间 建立控制信令的信道，所述的信道采用进程间通信的方式实现；
在所述的多点控制单元中的多点控制模块与多点处理模块之间至少增 加一个控制信道，所述的信道采用进程间通信的方式实现；所述的多点控制 模块通过该控制信道控制所述的多点处理模块，并将所述的图像数据传送到 所述的多画面服务器。
4.根据权利要求3所述的方法，其特征在于，所述的信道采用进程间通 信的方式实现是指：
所述的信道可以采用TCP/IP通信，或可以采用远程过程调用通信，或可 以采用消息管道通信。
5.根据权利要求3所述的方法，其特征在于，在所述的多画面支撑模块 与所述的多画面服务器之间建立控制信令的信道以进行信令通信；
所述的信道可以采用TCP/IP通信，或可以采用远程过程调用通信，或可 以采用消息管道通信；
所述的信令可包括：查询所述的多画面服务器能力、查询所述的多画面 服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作 状态。
6.根据权利要求3所述的方法，其特征在于，在所述的多画面支撑模块 与所述的多点控制单元中的多点控制模块之间建立控制信令的信道以进行信 令通信；
所述的信道可以采用TCP/IP通信，或可以采用远程过程调用通信，或可 以采用消息管道通信；
所述的信令可包括：所述的多点控制模块查询所述的多画面服务器的能 力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多 画面服务器能力、工作状态、媒体信道的信息。
7.根据权利要求3所述的方法，其特征在于，在所述的多点控制单元中 的多点控制模块与多点处理模块之间至少增加一个控制信道以进行信令通 信；
所述的信道可以采用TCP/IP通信，或可以采用远程过程调用通信，或可 以采用消息管道通信。
8.根据权利要求3所述的方法，其特征在于包括以下步骤：
在多画面支撑模块与所述的多画面服务器之间建立控制信令的信道以进 行信令通信，所述的信道可以采用TCP/IP通信，并采用TPKT标准进行所述 信令的打包，所述的信令可包括：查询所述的多画面服务器能力、查询所述 的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器 报告工作状态；
在多画面支撑模块与所述的多点控制单元中的多点控制模块之间建立控 制信令的信道以进行信令通信，所述的信令可包括：所述的多点控制模块查 询所述的多画面服务器的能力、工作状态、媒体信道的信息，以及所述的多 画面支撑模块报告所述的多画面服务器能力、工作状态、媒体信道的信息；
所述的多画面服务器加电自检后通过与所述的多画面支撑模块之间的信 道报告自身系统能力和媒体信道的信息；
所述的多画面支撑模块通过与所述的多点控制模块之间的信道向多点控 制模块报告已就绪的所述的多画面服务器的系统能力和媒体信道的信息；
所述的多点控制模块控制所述的多点处理模块将所述的n点图像数据中 的一个具体通信点的图像数据转发到所述的多画面服务器中的一个具体的媒 体信道；
所述的多点控制模块控制所述的多画面支撑模块，以对所述的多画面服 务器进行控制。
9.根据权利要求2所述的方法，其特征在于，所述的多画面支撑模块可 以为独立的装置包括：
所述的多画面支撑模块获取所述的多点控制单元收发的数据；
所述的多画面支撑模块与所述的多画面服务器进行通信；
所述的多画面支撑模块内设有控制模块、数据获取模块、数据转发模块， 其中所述的控制模块控制所述的数据获取模块和数据转发模块协同工作，将 获取的数据转发到所述的多画面服务器。
10.根据权利要求9所述的方法，其特征在于，所述的多画面支撑模块 获取所述的多点控制单元收发的数据是指：所述的多画面支撑模块与所述的 多点控制单元联接，并通过网卡获取所述的多点控制单元收发的数据。
11.根据权利要求9所述的方法，其特征在于，所述的控制模块接受上 层的用户界面的控制。
12.根据权利要求9所述的方法，其特征在于，所述的数据获取模块通 过操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据 传送给所述的数据转发模块。
13.根据权利要求9所述的方法，其特征在于，所述的数据转发模块从 收到的数据中分离出多点控制单元收发的全部或部分视频数据，并转发给所 述的多画面服务器。
14.根据权利要求10所述的方法，其特征在于，所述的多画面支撑模块 与所述的多点控制单元联接是指：网络联接；
所述的网络联接可采用共享式的以太网集线器，所述的多点控制单元和 所述的多画面支撑模块均连接到该集线器上；或者，
采用具有端口镜像功能的以太网交换机，所述的多点控制单元和所述的 多画面支撑模块均连接到该交换机，该交换机设置成将所述的多点控制单元 端口上收发的全部数据镜像到所述的多画面支撑模块端口；或者，
采用代理方式，使所述的多点控制单元的全部通信均经过所述的多画面 支撑模块进行代理转发。
15.根据权利要求9所述的方法，其特征在于包括以下步骤：
所述的多画面支撑模块与所述的多点控制单元联接，并通过网卡获取所 述的多点控制单元收发的数据，所述的联接是指网络联接，所述的网络联接 可采用共享式的以太网集线器，所述的多点控制单元和所述的多画面支撑模 块均连接到该集线器上；或者采用具有端口镜像功能的以太网交换机，所述 的多点控制单元和所述的多画面支撑模块均连接到该交换机，该交换机设置 成将所述的多点控制单元端口上收发的全部数据镜像到所述的多画面支撑模 块端口；或者采用代理方式，使所述的多点控制单元的全部通信均经过所述 的多画面支撑模块进行代理转发；
所述的控制模块接受上层的用户界面的控制；
所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网 络数据，并将获取到的数据传送给所述的数据转发模块；
所述的数据转发模块从收到的数据中分离出多点控制单元收发的全部或 部分视频数据，并转发给所述的多画面服务器。
16.根据权利要求1所述的方法，其特征在于，所述的多画面服务器将 接收到的图像数据转换为模拟的视频信号并输出包括：
所述的多画面服务器接受所述的多画面支撑模块的控制，并接收所述的 多画面支撑模块转发的图像数据，并对接收到的图像数据进行解码，将图像 数据还原为数字化的图像，再通过D/A变换将数字化的图像转换为模拟的视 频信号进行输出。
17.根据权利要求16所述的方法，其特征在于包括以下步骤：
所述的多画面服务器接收所述的多画面支撑模块转发的图像数据，并将 所述的图像数据递交到解码器进行解码；
所述的解码器接收视频数据，并对视频数据进行解码，将压缩的视频数 据解压缩为图像数据，然后通过D/A变换模块将数字化的图像数据转换成模 拟的视频信号进行输出。
18.根据权利要求17所述的方法，其特征在于，所述的多画面服务器可 进行包括初始化、启动、停止、暂停、画面更新请求在内的设置。
19.根据权利要求8或15所述的方法，其具体步骤为：
所述的多画面服务器接收所述的多画面支撑模块转发的图像数据，并将 所述的图像数据递交到解码器进行解码；
所述的解码器接收视频数据，并对视频数据进行解码，将压缩的视频数 据解压缩为图像格式数据，然后通过D/A变换模块将数字化的图像数据转换 成模拟的视频信号进行输出。
20.根据权利要求1至18任意一项所述的方法，其特征在于，所述的n 满足以下条件：n≥1。
21.根据权利要求19所述的方法，其特征在于，所述的n满足以下条件： n≥3。
22.一种多画面输出系统，包括：多点控制单元；其特征在于还包括： 多画面支撑模块、多画面服务器；
采用多画面支撑模块提取多点控制单元接收到的n点图像数据，并将所 述的图像数据转发到多画面服务器；
所述的多画面服务器将接收到的图像数据转换为模拟的视频信号，并将 所述的视频信号输出，从而实现n画面输出。
23.根据权利要求22所述的系统，其特征在于，所述的多画面支撑模块 可内置于所述的多点控制单元，其中：
在所述的多画面支撑模块与所述的多点控制单元中的多点控制模块之间 建立控制信令的信道，所述的信道采用进程间通信的方式实现；
在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信 道，所述的信道采用进程间通信的方式实现；
在所述的多点控制单元中的多点控制模块与多点处理模块之间至少增 加一个控制信道，所述的信道采用进程间通信的方式实现，所述的多点控制 模块通过该控制信道控制所述的多点处理模块，并将所述的图像数据传送到 所述的多画面服务器。
24.根据权利要求23所述的系统，其特征在于，所述的在多画面支撑模 块与所述的多画面服务器之间建立控制信令的信道包括：
所述的信道可以采用TCP/IP通信，或可以采用远程过程调用通信，或可 以采用消息管道通信等；
并采用TPKT标准进行所述信令的打包，所述的信道用于所述的多画面支 撑模块和所述的多画面服务器之间进行信令通信。
25.根据权利要求24所述的系统，其特征在于，所述的信令包括：查询 所述的多画面服务器能力、查询所述的多画面服务器工作状态、控制所述的 多画面服务器、所述的多画面服务器报告工作状态等。
26.根据权利要求23所述的系统，其特征在于，所述的在多画面支撑模 块与所述的多点控制单元中的多点控制模块之间建立控制信令的信道包括：
所述的信道可以采用TCP/IP通信，或可以采用远程过程调用通信，或可 以采用消息管道通信等；
所述的信令为：所述的多点控制模块查询所述的多画面服务器的能力、 工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面 服务器能力、工作状态、媒体信道的信息等。
27.根据权利要求22所述的系统，其特征在于，所述的多画面支撑模块 可为一独立装置，其中包括：控制模块、数据获取模块、数据转发模块、以 及网卡；
所述的网卡通过网络连接方式接收到所述的多点控制单元的数据；
所述的控制模块与所述的多画面服务器通信；
所述的控制模块控制所述的数据获取模块和所述的数据转发模块协同工 作，所述的控制模块接受上层的用户界面的控制，所述的数据获取模块通过 操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据交 所述的数据转发模块处理；
所述的数据转发模块在所述的数据获取模块转交的数据中分离出所述的 多点控制单元接收到的全部或部分视频数据，并按照控制指令将视频数据转 发到多画面服务器。
28.根据权利要求27所述的系统，其特征在于，所述的网络连接方式包 括：采用共享式的以太网集线器，并将所述的多点控制单元和所述的多画面 支撑模块均连接到该集线器；或：
采用具有端口镜像功能的以太网交换机，并将所述的多点控制单元和所 述的多画面支撑模块均连接到该交换机，该交换机设置成将所述的多点控制 单元端口上收发的全部数据镜像到所述的多画面支撑模端口；或：
采用代理方式，使所述的多点控制单元的全部通信均经过所述的多画面 支撑模块进行代理转发。
29.根据权利要求27所述的系统，其特征在于，所述的多画面支撑模块 可为工控机，或者可为PC机。
30.根据权利要求22所述的系统，其特征在于，所述的多画面服务器包 括：控制模块、媒体数据模块、解码器、D/A变换模块；
所述的控制模块与所述的多画面支撑模块建立控制信道，并接受所述的 多画面支撑模块的控制；
所述的媒体数据接收模块接收所述的多点处理模块转发的媒体数据，并 将媒体数据递交到解码器；
所述的解码器模块接收视频数据，并对视频数据进行解码，将压缩的视 频数据解压缩为图像数据，然后通过所述的D/A变换模块将数字化的图像数 据转换成模拟的视频信号进行输出。
31.根据权利要求30所述的系统，其特征在于，所述的多画面服务器可 为工控机，或者可为PC机。
32.根据权利要求22至31任意一项所述的系统，其特征在于所述的n 满足以下条件：n≥3。
33.根据权利要求22至31任意一项所述的系统，其特征在于还包括：n 个终端、网络设备、多画面显示装置；其中：n≥3；
所述的n个终端分别通过各自的网络设备与网络联接；
所述的多点控制单元通过网络设备与网络联接；
所述的多画面支撑模块通过网络设备与所述的多画面服务器联接；
所述的多画面显示装置与所述的多画面服务器联接；
所述的n个终端将各自获取的n个通信点上的图像数据送入网络；
采用多画面支撑模块提取多点控制单元从网络上接收到的n点图像数 据，并将所述的图像数据转发到多画面服务器进行处理；
所述的多画面服务器将接收到的图像数据转换为模拟的视频信号，并将 所述的视频信号在所述的多画面显示装置上输出，从而实现在一个通信点上 可以同时看到n点的画面。
34.根据权利要求22至31任意一项所述的系统，其特征在于还包括：n 个终端、网络设备、n个多画面显示装置、n个多画面服务器；其中：n≥3
所述的n个终端、n个多画面显示装置、n个多画面服务器分别通过各自 的网络设备与网络联接；
所述的多点控制单元通过网络设备与网络联接；
所述的多画面支撑模块通过网络设备与网络联接；
所述的多画面显示装置与所述的多画面服务器联接；
所述的n个终端将各自获取的n个通信点上的图像数据送入网络；
采用多画面支撑模块提取多点控制单元从网络上接收到的n点图像数 据，并将所述的图像数据通过网络分别转发到n个多画面服务器进行处理；
n个多画面服务器将接收到的图像数据转换为模拟的视频信号，并将所 述的视频信号在各自联接的多画面显示装置上输出，从而实现在n点的任意 一个通信点上可以同时看到n点的其他点的画面。
35.根据权利要求33所述的系统，其特征在于，所述的网络为IP网； 所述的多画面显示装置为多画面电视墙；所述的多画面支撑模块可以选择通 过独立的通信接口与所述的多画面服务器进行连接。
36.根据权利要求34所述的系统，其特征在于，所述的网络为IP网； 所述的多画面显示装置为多画面电视墙；所述的多画面支撑模块可以选择通 过独立的通信接口与所述的多画面服务器进行连接。

技术领域\n本发明涉及多媒体视频会议技术，其特别涉及宽带多媒体通信、视频监 控与视频会议技术，具体的讲是一种多画面输出方法及系统。\n背景技术\n视频会议技术起步于20世纪80年代，在20世纪90年代开始规模化 生产和应用。该技术领域主要包括两类产品，即符合ITU-T H.320和ITU-T H.323标准的产品。这两类产品的最主要技术差异在使用的通信网络平台上。 H.320系统应用于电路交换方式的网络通信平台上，对资源的占用率高，实 施和运营成本高，不利于大规模推广使用。H.323系统应用于分组交换方式 的网络通信平台上，特别是IP网络通信平台，对资源的占用率低，组网灵 活，实施和运营成本低，非常有利于大规模推广使用。目前，基于IP网络 通信技术的H.323标准开始成为该领域的主流技术标准。\n基于H.323标准的系统主要包括两种产品，即：如图1所示的多点控 制单元(MCU：Multipoint Control Unit)和如图2所示的终端，其中MCU 主要实现的功能包括：多点连接、多点控制、多点数据转发，也就是说，只 要是使用多点，即：通信中的物理点，点数大于等于3的视频会议，就必须 使用MCU，由MCU构成一个多点、实时、交互的通信环境。而终端是视频会 议的用户端设备，主要实现的功能包括：语音、图像、数据等信息的输入和 输出、通信联接及数据收发等。其中就通信联接而言，当一个终端与另一个 终端相联时便构成了点到点的2方通信，当一个终端与MCU参与的多个终端 相联时便构成了多点通信，不论是点到点方式的2点通信，还是由MCU构成 的多点通信，最终用户都是通过终端观看其它点的图像，收听其它点的声音， 并将自己的声音和图像发送给对方。在进行所述的多点通信时，图3所示的 各个通信点的联接关系为一种可选的联接方式，即：在参与通信的多个(n 个)通信点中，可设定某一通信点为主通信点，其他通信点为分通信点，所 述的主通信点可由终端和MCU构成(如图4所示)，所述的分通信点可由终 端构成(如图2所示)。\n现有技术可以实现一定程度上的多点通信，但由于技术标准和实际应 用环境的限制，每个通信点在同一时间仅能观看到一个通信点的图像信息， 而不能同时看到多个通信点的图像信息，这在很大程度上限制了视频会议技 术的应用，因为在多点可视通信中，通信中的人更希望在同一时间能够同时 了解多个其它通信点的图像信息。目前，有些厂商为了解决这一问题，提出 了两种解决的方法，即：多画面分屏和多路图像。其中：多画面分屏指在MCU 内部对接收到的多个点的图像信息进行合成，然后再将图像压缩成一个图像 的分辨率，再发送到终端。这个解决方法可以实现同时观看多个点的图像， 1但由于它必须将多个点的图像压缩成一个图像的分辨率，因此每个图像的分 辨率均变得非常低，清晰度很差。例如，将9个图像合成到一个图像时，每 个图像的分辨率均变成原来的1/9，根本无法观看图像的细节，因此实用效 果不佳。而多路图像是指MCU将多路图像信息同时发送到终端，由终端进行 处理。这一方法由于完全采用了非标准的方法，与其它厂商的产品不能进行 互操作，因此兼容性很差，这将对产品的市场造成影响。\n发明内容\n本发明的目的在于，提供一种多画面输出方法及系统。使得在多点通信 时，任意一个通信点都能够实时看到其他全部或部分通信点的图像。也就是 说所述的主通信点可以同时看到全部或部分分通信点的图像，分通信点可以 同时看到主通信点以及其他全部或部分分通信点的图像。本发明所述的方法 及系统可使多个图像信息分别显示在多个显示设备上，并且图像分辨率高、 图像运动流畅、系统兼容性强。\n本发明的技术方案为：\n一种多画面输出方法，其特征在于：\n在n点通信环境中设置多画面支撑模块，采用所述的多画面支撑模块提 取MCU接收到的n点图像数据并将所述的图像数据转发到多画面服务器；\n所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输 出，从而实现n画面输出。\n所述的在n点通信环境中设置多画面支撑模块是指：所述的多画面支撑 模块可以设于MCU内；或者，所述的多画面支撑模块可以为独立的装置。\n所述的多画面支撑模块可以设于MCU内包括：\n在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信 道，所述的信道采用进程间通信的方式实现；\n在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的 信道，所述的信道采用进程间通信的方式实现；\n在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所述 的信道采用进程间通信的方式实现；所述的MC模块通过该控制信道控制所述 的MP模块，并将所述的图像数据传送到所述的多画面服务器。\n所述的信道采用进程间通信的方式实现是指：\n所述的信道可以采用TCP/IP通信，或可以采用远程过程调用(RPC： Remote Procedure Call)通信，或可以采用消息管道通信等。\n在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信 道以进行信令通信；\n所述的信令可包括：查询所述的多画面服务器能力、查询所述的多画面 服务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作 状态等。\n在所述的多画面支撑模块与所述的MCU中的MC模决之间建立控制信令的 信道以进行信令通信；\n所述的信令可包括：所述的MC模块查询所述的多画面服务器的能力、 工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面 服务器能力、工作状态、媒体信道的信息等。\n本发明所述的方法包括以下步骤：\n在多画面支撑模块与所述的多画面服务器之间建立控制信令的信道以进 行信令通信，所述的信道可以采用TCP/IP通信，并采用TPKT标准进行所述 信令的打包，所述的信令可包括：查询所述的多画面服务器能力、查询所述 的多画面服务器工作状态、控制所述的多画面服务器、所述的多画面服务器 报告工作状态等；\n在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令的信道 以进行信令通信，所述的信令可包括：所述的MC模块查询所述的多画面服 务器的能力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告 所述的多画面服务器能力、工作状态、媒体信道的信息等；\n所述的多画面服务器加电自检后通过与所述的多画面支撑模块之间的信 道报告自身系统能力和媒体信道的信息；\n所述的多画面支撑模块通过与所述的MC模块之间的信道向MC模块报告 已就绪的所述的多画面服务器的系统能力和媒体信道的信息；\n所述的MC模块控制所述的MP模块将所述的n点图像数据中的一个具体 通信点的图像数据转发到所述的多画面服务器中的一个具体的媒体信道；\n所述的MC模块控制所述的多画面支撑模块，以对所述的多画面服务器 进行控制。\n所述的多画面支撑模块可以为独立的装置包括：\n所述的多画面支撑模块获取所述的MCU收发的数据；\n所述的多画面支撑模块与所述的多画面服务器进行通信；\n所述的多画面支撑模块内设有控制模块、数据获取模块、数据转发模块， 其中所述的控制模块控制所述的数据获取模块和数据转发模块协同工作，将 获取的数据转发到所述的多画面服务器。\n所述的多画面支撑模块获取所述的MCU收发的数据是指：所述的多画面 支撑模块与所述的MCU联接，并通过网卡获取所述的MCU收发的数据。\n所述的控制模块接受上层的用户界面的控制。\n所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网 络数据，并将获取到的数据传送给所述的数据转发模块。\n所述的数据转发模块从收到的数据中分离出MCU收发的全部或部分视频 数据，并转发给所述的多画面服务器。\n所述的多画面支撑模块与所述的MCU联接是指：网络联接；\n所述的网络联接可采用共享式的以太网集线器，所述的MCU和所述的 多画面支撑模块均连接到该集线器上；或者，\n采用具有端口镜像功能的以太网交换机，所述的MCU和所述的多画面支 撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部 数据镜像到所述的多画面支撑模块端口；或者，\n采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块 进行代理转发。\n本发明所述的方法还包括以下步骤：\n所述的多画面支撑模块与所述的MCU联接，并通过网卡获取所述的MCU 收发的数据，所述的联接是指网络联接，所述的网络联接可采用共享式的以 太网集线器，所述的MCU和所述的多画面支撑模块均连接到该集线器上； 或者采用具有端口镜像功能的以太网交换机，所述的MCU和所述的多画面支 撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的全部 数据镜像到所述的多画面支撑模块端口；或者采用代理方式，使所述的MCU 的全部通信均经过所述的多画面支撑模块进行代理转发；\n所述的控制模块接受上层的用户界面的控制；\n所述的数据获取模块通过操作系统提供的底层网络编程功能实时获取网 络数据，并将获取到的数据传送给所述的数据转发模块；\n所述的数据转发模块从收到的数据中分离出MCU收发的全部或部分视频 数据，并转发给所述的多画面服务器。\n所述的多画面服务器将接收到的图像数据转换为模拟的视频信号并输出 包括：\n所述的多画面服务器接受所述的多画面支撑模块的控制，并接收所述的 多画面支撑模块转发的图像数据，并对接收到的图像数据进行解码，将图像 数据还原为数字化的图像，再通过D/A变换将数字化的图像转换为模拟的视 频信号进行输出。\n本发明所述的方法包括以下步骤：\n所述的多画面服务器接收所述的多画面支撑模块转发的图像数据，并将 所述的图像数据递交到解码器进行解码；\n所述的解码器接收视频数据，并对视频数据进行解码，将压缩的视频数 据解压缩为图像(YUV格式或其它图像表示格式)数据，然后通过D/A变换 模块将数字化的图像数据转换成模拟的视频信号进行输出。\n所述的多画面服务器可进行初始化、启动、停止、暂停、画面更新请求 等设置。\n所述的n满足以下条件：n≥1。\n所述的n也可满足以下条件：n≥3。\n本发明还提供了一种多画面输出系统，包括：MCU；其特征在于还包括： 多画面支撑模块、多画面服务器；\n采用多画面支撑模块提取MCU接收到的n点图像数据，并将所述的图像 数据转发到多画面服务器；\n所述的多画面服务器将接收到的图像数据转换为模拟的视频信号，并将 所述的视频信号输出，从而实现n画面输出。\n所述的多画面支撑模块可内置于所述的MCU，其中：\n在所述的多画面支撑模块与所述的MCU中的MC模块之间建立控制信令 的信道，所述的信道采用进程间通信的方式实现；\n在所述的多画面支撑模块与所述的多画面服务器之间建立控制信令的信 道，所述的信道采用进程间通信的方式实现；\n在所述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所 述的信道采用进程间通信的方式实现，所述的MC模块通过该控制信道控制 所述的MP模块，并将所述的图像数据传送到所述的多画面服务器。\n所述的在多画面支撑模块与所述的多画面服务器之间建立控制信令的信 道包括：\n所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用 消息管道通信等；\n并采用TPKT标准进行所述信令的打包，所述的信道用于所述的多画面 支撑模块和所述的多画面服务器之间进行信令通信。\n所述的信令包括：查询所述的多画面服务器能力、查询所述的多画面服 务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状 态等。\n所述的在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令 的信道包括：\n所述的信道可以采用TCP/IP通信，或可以采用RPC通信，或可以采用 消息管道通信等；\n所述的信令为：所述的MC模块查询所述的多画面服务器的能力、工作 状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多画面服务 器能力、工作状态、媒体信道的信息等。\n所述的多画面支撑模块可为一独立装置，其中包括：控制模块、数据获 取模块、数据转发模块、以及网卡；\n所述的网卡通过网络连接方式接收到所述的MCU的数据；\n所述的控制模块与所述的多画面服务器通信；\n所述的控制模块控制所速的数据获取模块和所述的数据转发模块协同工 作，所述的控制模块接受上层的用户界面的控制，所述的数据获取模块通过 操作系统提供的底层网络编程功能实时获取网络数据，并将获取到的数据交 所述的数据转发模块处理；\n所述的数据转发模块在所述的数据获取模块转交的数据中分离出所述的 MCU接收到的全部或部分视频数据，并按照控制指令将视频数据转发到多画 面服务器。\n所述的网络连接方式包括：采用共享式的以太网集线器，并将所述的MCU 和所述的多画面支撑模块均连接到该集线器；或：\n采用具有端口镜像功能的以太网交换机，并将所述的MCU和所述的多画 面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的 全部数据镜像到所述的多画面支撑模端口；或：\n采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块 进行代理转发。\n所述的多画面支撑模块可为工控机，或者可为PC机。\n所述的多画面服务器包括：控制模块、媒体数据模块、解码器、D/A变 换模块；\n所述的控制模块与所述的多画面支撑模块建立控制信道，并接受所述的 多画面支撑模块的控制；\n所述的媒体数据接收模块接收所述的MP模块转发的媒体数据，并将媒 体数据递交到解码器；\n所述的解码器模块接收视频数据，并对视频数据进行解码，将压缩的视 频数据解压缩为图像数据，然后通过所述的D/A变换模块将数字化的图像数 据转换成模拟的视频信号进行输出。\n所述的多画面服务器可为工控机，或者可为PC机。\n在本发明所述的系统中，所述的n满足以下条件：n≥3。\n本发明所述的系统还包括：n个终端、网络设备、多画面显示装置；所 述的n个终端分别通过各自的网络设备与网络联接；\n所述的MCU通过网络设备与网络联接；\n所述的多画面支撑模块通过网络设备与所述的多画面服务器联接；\n所述的多画面显示装置与所述的多画面服务器联接；\n所述的n个终端将各自获取的n个通信点上的图像数据送入网络；\n采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所 述的图像数据转发到多画面服务器进行处理；\n所述的多画面服务器将接收到的图像数据经过解码后转换为模拟的视频 信号，并将所述的视频信号在所述的多画面显示装置上输出，从而实现在一 个通信点上可以同时看到n点的画面。\n本发明所述的系统还包括：n个终端、网络设备、n个多画面显示装置、n个多 画面服务器；所述的n个终端、n个多画面显示装置、n个多画面服务器分别 通过各自的网络设备与网络联接；\n所述的MCU通过网络设备与网络联接；\n所述的多画面支撑模块通过网络设备与网络联接；\n所述的多画面显示装置与所述的多画面服务器联接；\n所述的n个终端将各自获取的n个通信点上的图像数据送入网络；\n采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所 述的图像数据通过网络分别转发到n个多画面服务器进行处理；\nn个多画面服务器将接收到的图像数据经过解码后转换为模拟的视频信 号，并将所述的视频信号在各自联接的多画面显示装置上输出，从而实现在 n点的任意一个通信点上可以同时看到n点的其他点的画面。\n所述的网络为IP网；所述的多画面显示装置为多画面电视墙；所述的 多画面支撑模块可以选择通过独立的通信接口与所述的多画面服务器进行连 接。\n本发明的有益效果在于：通过提供一种多画面输出方法及系统，使得通 信一方可以实时观看其它全部或多个通信点的图像信息，极大的增强了可视 通信的临场感，使通信参与者仿佛置身于一个真实的会议环境，全面提升可 视通信的效果和质量；\n多个图像信息分别显示在多个显示设备上，不同于现有技术在一个显示 设备上显示多个图像(每个图像的分辨率下降)，图像分辨率很高，图像运 动流畅；\n其可依托国际标准，完全兼容现有和未来该技术领域的产品；\n其可全面提升视频会议技术的应用解决方案，极大的扩大视频会议技术 的应用领域。\n附图说明\n图1为多点控制单元(MCU：Multipoint Control Unit)结构图；\n图2为终端的示意图；\n图3为现有技术中各个通信点的联接关系图；\n图4为主通信点的联接关系图；\n图5为本发明系统联接关系图；\n图6为内置于MCU的多画面支撑模块结构图；\n图7为独立的多画面支撑模块结构图；\n图8为多画面服务器结构图；\n图9为本发明系统中主通信点的构成图；\n图10为本发明系统中增强型分通信点的构成图；\n图11为采用独立的多画面支撑模块时系统联接关系图；\n图12为采用独立的多画面支撑模块时本发明系统中主通信点构成图。\n具体实施方式\n下面结合附图具体说明本发明的具体实施方式：\n本发明的方法为：在多点通信环境中设置多画面支撑模块，通过该模块 提取MCU接收到的多点图像数据，并将这些数据转发到多画面服务器。多画 面服务器对这些图像数据进行解码还原，通过D/A变换将数字化的图像信息 转换为模拟的视频信号并输出。从而实现通信一方同一时间同时观看多点的 图像信息。\n关于多画面支撑模块：\n多画面支撑模块在实现上有两种具体的实现方案，分别适合不同的应用 情况。方案1需要对现有的MCU进行修改，将多画面支撑模块内置于MCU。 方案2完全不需要修改现有MCU，多画面支撑模块与现有MCU并列工作。\n方案1(如图5、图6所示)：\n多画面支撑模块放置在标准的MCU设备内部，并增强MCU的功能，使MCU 设备能够支持多画面服务器。\n在所有的标准MCU设计中，MCU均包括两个主要的技术组件：MC和MP。 MC为多点控制模块，负责同多个终端(或MCU)建立呼叫信令和控制信令的 连接，并通过呼叫信令和控制信令提供会议的集中控制功能。MP为多点处 理模块，负责同多个终端(或MCU)建立媒体通信的信道，并按照MC的控 制要求进行媒体(主要包括音频、视频、数据等信息)数据的接收和转发。 从这个设计要求可以看出，全部通信点的媒体数据均经过了MP模块的处理， 只不过在标准的实现中MP仅对媒体数据做转发处理，并且丢弃了大部分的 媒体数据。\n从这个实际情况出发，可以在标准MCU内部增加多画面支撑模块这一技 术组件。该支撑模块放置在标准MCU内部，其位置与MC和MP并列，具体逻 辑结构见附图6。附图6中各部分完成的功能为：\n多画面支撑模块1与多画面服务器之间建立一个控制信令的信道4。该 信令信道采用进程(主机)间通信的方式建立，具体可以采用的技术包括但 不限于TCP/IP通信、RPC、消息管道等。为了保证数据的正确性，并尽量简 化处理步骤，建议采用TCP方式建立信令连接，并采用TPKT标准进行信令 的打包。该信令信道用于支撑模块和多画面服务器之间进行信令通信，具体 信令包括但不限于：查询多画面服务器系统能力、查询多画面服务器工作状 态、控制多画面服务器、多画面服务器报告工作状态等。\n多画面支撑模块1与MC模块之间建立一个控制信令的信道2。该信令 信道采用进程间通信的方式建立，具体可以采用的技术包括但不限于TCP/IP 通信、RPC、消息管道等。该信令信道用于支撑模块和MC模块之间进行信令 通信，具体信令包括但不限于：MC查询多画面服务器能力、工作状态、媒 体信道的信息，支撑模块报告多画面服务器能力、工作状态、媒体信道的信 息等。\nMC与MP之间增加一个控制信道3。该信道采用进程间通信的方式建立， 具体可以采用的技术包括但不限于TCP/IP通信、RPC、消息管道等，也可以 采用已有方式实现。MC模块通过该信道控制MP将媒体数据转发到多画面服 务器。\nMP模块在MC模块的控制下将全部或选择的部分媒体数据转发到多画面 服务器。\n方案1的工作流程为：\n1)多画面服务器加电自检后通过信道4报告支撑模块自身系统能力 和媒体信道的信息。\n2)支撑模块通过信道2报告MC模块已就绪的多画面服务器的系统能力 和媒体信道的信息。\n3)MC模块控制MP模块将某个具体的通信点的媒体数据转发到某个具 体的多画面服务器的媒体信道。\n4)MC模块控制支撑模块对多画面服务器进行控制。\n5)多画面服务器对接收到的媒体数据处理后输出。\n方案2：\n在方案1讨论的多画面解决方案中，设计思路的前提是修改标准的MCU， 使支撑模块能够在标准的MCU内部配合MC和MP工作。在有些情况下(如标 准MCU厂商并不愿意作这个修改工作)，这个思路就不能够很好的实现。为 此，我们设计了方案2来解决这个问题。\n方案2的逻辑结构图见附图7。\n在方案2中，多画面支撑模块存在于一个独立的硬件设备之中，这个独 立的硬件设备既可以是为多画面支撑模块专门设计的硬件设备，也可以直接 使用多画面服务器。该硬件设备可以采用标准的工业控制计算机作为硬件平 台，也可以采用PC机作为硬件平台，并采用嵌入式实时操作系统(Linux) 作为系统软件平台。在该平台上开发实现多画面支撑模块功能的系统软件。\n方案2的工作流程为：\n1)通过特殊的网络连接方式使多画面支撑模块的网卡能够接收到标准 MCU收发的全部数据。特殊的网络连接方式可以用以下几种方式实现：a)采 用共享式的以太网集线器，标准MCU和多画面支撑模块均连接到该集线器； b)采用具有端口镜像功能的以太网交换机，标准MCU和多画面支撑模块均 连接到该交换机，该交换机设置成将标准MCU端口上收发的全部数据镜像到 多画面支撑模块端口；c)采用代理方式，使标准MCU的全部通信均经过多 画面支撑模块进行代理转发。\n2)控制模块与多画面服务器通信。\n3)控制模块控制获取模块和转发模块协同工作，获取模块和转发模块 取代方案1中由MP完成的工作。\n4)控制模块接受上层的用户界面的控制，取代原来MC实现的控制功能。\n5)获取模块通过操作系统提供的底层网络编程功能(如在网络IP层之 下进行网络编程，或通过‘钩子’等技术)实时获取网络数据，并将获取到 的数据交媒体数据转发模块处理。\n6)转发模块在获取模块转交的数据中分离出标准MCU接收到的全部或 部分视频数据，并按照控制指令将视频数据转发到多画面服务器。\n关于多画面服务器(如图8所示)：\n多画面服务器是独立的硬件设备，它负责同MCU内置的多画面支撑模块 通信，接受多画面支撑模块的控制，接收多画面支撑模块转发的图像数据， 并对接收到的图像数据进行解码，将图像数据还原为数字化的图像，再通过 D/A变换将数字化的图像转换为模拟的视频信号进行输出。\n多画面服务器的逻辑结构图见附图8。\n多画面服务器采用标准的工业控制计算机作为硬件平台，并采用嵌入式 实时操作系统(Linux)作为系统软件平台。在该平台上设计开发基于PCI 总线的硬件卡，单台设备最多可以插1～4块硬件卡。\n多画面服务器的工作流程为：\n1)控制模块与多画面支撑模块建立控制信道(参见支撑模块说明)， 并接受支撑模块的控制。控制信令包括但不限于：支撑模块查询多画面服务 器系统能力、支撑模块查询多画面服务器工作状态、支撑模块控制多画面服 务器、多画面服务器报告工作状态等。\n2)媒体数据接收模块通过网络接收MP模块转发的媒体数据(视频数 据)，并将媒体数据递交到解码器模块。\n3)解码器模块接收视频数据，并对视频数据进行解码，将压缩的视频 数据解压缩为图像(YUV格式或其它图像表示格式)数据，然后通过D/A变 换模块将数字化的图像数据转换成模拟的视频信号进行输出。\n4)控制模块与媒体数据模块之间建立控制信道，该信道采用进程间通 信的方式建立，具体可以采用的技术包括但不限于TCP/IP通信、RPC、消息 管道等。控制模块和媒体数据模块之间通过该信道交换控制信息。该信道上 的控制信令包括但不限于：初始化、启动、停止、暂停、画面更新请求等。\n关于系统连接：\n多画面支撑模块可以选择通过独立的通信接口与多画面服务器进行连 接。这样的连接方法有两个明显优点：\n最大限度的保证现有MCU的系统处理能力；\n在常规应用模式下，该模块和多画面服务器可以通过直连网线或者独立 的网络交换机进行连接，在这种情况下，本方法完全不占用用户的任何网络 资源(包括网络端口，IP地址，网络带宽等)，最大限度的保护用户的网 络稳定性和安全性，使用户完全可以接受本方法。\n下面以本发明在n个通信点上的应用为例，进一步说明如下：\n本发明还提供了一种多画面输出系统，包括：MCU；其特征在于还包括： 多画面支撑模块、多画面服务器；采用多画面支撑模块提取MCU接收到的n 点图像数据，并将所述的图像数据转发到多画面服务器进行处理；所述的多 画面服务器将接收到的图像数据经过解码后转换为模拟的视频信号，并将所 述的视频信号输出，从而实现n画面输出。\n所述的多画面支撑模块可内置于所述的MCU，其中：在所述的多画面支 撑模块与所述的MCU中的MC模块之间建立控制信令的信道，所述的信道采 用进程间消息管道的方式实现；在所述的多画面支撑模块与所述的多画面服 务器之间建立控制信令的信道，所述的信道采用通信协议的方式实现；在所 述的MCU中的MC模块与MP模块之间至少增加一个控制信道，所述的MC模 块通过该控制信道控制所述的MP模块，并将所述的图像数据传送到所述的 多画面服务器。\n所述的在多画面支撑模块与所述的多画面服务器之间建立控制信令的信 道包括：所述的信道既可以采用TCP方式的连接，或可以采用UDP方式的连 接；并采用TPKT标准进行所述信令的打包，所述的信道用于所述的多画面 支撑模块和所述的多画面服务器之间进行信令通信。\n所述的信令包括：查询所述的多画面服务器能力、查询所述的多画面服 务器工作状态、控制所述的多画面服务器、所述的多画面服务器报告工作状 态等。\n所述的在多画面支撑模块与所述的MCU中的MC模块之间建立控制信令 的信道包括：所述的信令为：所述的MC模块查询所述的多画面服务器的能 力、工作状态、媒体信道的信息，以及所述的多画面支撑模块报告所述的多 画面服务器能力、工作状态、媒体信道的信息等；所述的信道用于所述的多 画面支撑模块和所述的MC模块之间进行所述的信令通信。\n所述的多画面服务器包括：控制模块、媒体数据模决、解码器、D/A变 换模块；所述的控制模块与所述的多画面支撑模块建立控制信道，并接受所 述的多画面支撑模块的控制；所述的媒体数据接收模块接收所述的MP模块 转发的媒体数据，并将媒体数据递交到解码器；所述的解码器模块接收视频 数据，并对视频数据进行解码，将压缩的视频数据解压缩为图像数据，然后 通过所述的D/A变换模块将数字化的图像数据转换成模拟的视频信号进行输 出。\n所述的控制模块与所述的媒体数据模块之间有控制信道，该信道采用进 程间的消息管道方式实现，所述的控制模块和所述的媒体数据模块之间通过 该信道交换控制信息；该信道上的控制信令包括：初始化、启动、停止、暂 停、画面更新请求等。\n如图7、图11所示，所述的多画面支撑模块还可为一独立装置；其中 包括：控制模块、获取模块、转发模块、网卡，所述的多画面支撑模块可联 接到所述的MCU的前点(如图11所示)；所述的网卡通过网络连接方式接 收到所述的MCU的数据；所述的控制模块与所述的多画面服务器通信；所述 的控制模块控制所述的获取模块和所述的转发模块协同工作，所述的控制模 块接受上层的用户界面的控制，所述的获取模块通过操作系统提供的底层网 络编程功能实时获取网络数据，并将获取到的数据交所述的转发模块处理； 所述的转发模块在所述的获取模块转交的数据中分离出所述的MCU接收到的 全部或部分视频数据，并按照控制指令将视频数据转发到多画面服务器。\n所述的网络连接方式包括：采用共享式的以太网集线器，并将所述的MCU 和所述的多画面支撑模块均连接到该集线器；或：\n采用具有端口镜像功能的以太网交换机，并将所述的MCU和所述的多画 面支撑模块均连接到该交换机，该交换机设置成将所述的MCU端口上收发的 全部数据镜像到所述的多画面支撑模端口；或：\n采用代理方式，使所述的MCU的全部通信均经过所述的多画面支撑模块 进行代理转发。\n所述的多画面支撑模块可为一工控机。\n在本发明所述的系统中所述的n可满足以下条件：n≥3。\n本发明所述的系统还包括：n个终端、网络设备、多画面显示装置；其 中：n≥3；如图9和图12所示的联接可作为其中的主通信点；\n所述的n个终端分别通过各自的网络设备与网络联接；\n所述的MCU通过网络设备与网络联接；\n所述的多画面支撑模块通过网络设备与所述的多画面服务器联接；\n所述的多画面显示装置与所述的多画面服务器联接；\n所述的n个终端将各自获取的n个通信点上的图像数据送入网络；\n采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所 述的图像数据转发到多画面服务器进行处理；\n所述的多画面服务器将接收到的图像数据经过解码后转换为模拟的视频 信号，并将所述的视频信号在所述的多画面显示装置上输出，从而实现在一 个通信点上可以同时看到n点的画面。\n本发明所述的系统还包括：n个终端、网络设备、n个多画面显示装置、n个多 画面服务器；其中：n≥3；如图9和图12所示的联接可作为其中的主通信点； 如图10所示的联接可作为其中的增强型分通信点；\n所述的n个终端、n个多画面显示装置、n个多画面服务器分别通过各 自的网络设备与网络联接；\n所述的MCU通过网络设备与网络联接；\n所述的多画面支撑模块通过网络设备与网络联接；\n所述的多画面显示装置与所述的多画面服务器联接；\n所述的n个终端将各自获取的n个通信点上的图像数据送入网络；\n采用多画面支撑模块提取MCU从网络上接收到的n点图像数据，并将所 述的图像数据通过网络分别转发到n个多画面服务器进行处理；\nn个多画面服务器将接收到的图像数据经过解码后转换为模拟的视频信 号，并将所述的视频信号在各自联接的多画面显示装置上输出，从而实现在 n点的任意一个通信点上可以同时看到n点的其他点的画面。\n所述的网络可为IP网。\n所述的多画面显示装置可为多画面电视墙。\n本发明的有益效果在于：通过提供一种多画面输出方法，使得通信一方 可以实时观看其它全部或多个通信点的图像信息，极大的增强了可视通信的 临场感，使通信参与者仿佛置身于一个真实的会议环境，全面提升可视通信 的效果和质量；\n多个图像信息分别显示在多个显示设备上，不同于现有技术在一个显示 设备上显示多个图像(每个图像的分辨率下降)，图像分辨率很高，图像运 动流畅；\n其可依托国际标准，完全兼容现有和未来该技术领域的产品；\n其可全面提升视频会议技术的应用解决方案，极大的扩大视频会议技术 的应用领域。\n以上具体实施方式仅用于说明本发明而非用于限定本发明。