一种视频会议的实现方法及系统

1.一种视频会议的实现方法，包括：
参与会议的各宽带移动热点设备将本地全景视频图像及声音信号发送给多点会议服务器；
所述多点会议服务器将接收到的全景视频图像及声音信号发送给除发送方外的其他参与会议的宽带移动热点设备；
所述参与会议的各宽带移动热点设备接收到所述其他参与会议的宽带移动热点设备的全景视频图像和声音信号后，将本地全景视频图像与接收到的全景视频图像拼装为会议全景视频图像，并在将所述会议全景视频图像与所接收到的声音信号进行同步后，发送给所述宽带移动热点设备下参与会议的终端设备；
所述参与会议的各宽带移动热点设备将本地全景视频图像及声音信号发送给所述多点会议服务器前，接收其下参与会议的终端设备发送的视频图像信号和声音信号，将所述视频图像信号和声音信号进行分离，对所述视频图像信号进行图像拼接处理，生成所述本地全景视频图像，将所述本地全景视频图像与所述声音信号进行同步，发送给所述多点会议服务器。
2.如权利要求1所述的方法，其特征在于，还包括：
所述参与会议的各宽带移动热点设备下参与会议的终端设备向宽带移动热点设备发送所述视频图像信号和声音信号前，采集用户的视频图像信号和声音信号，进行同步处理，并将所述视频图像信号和声音信号进行打包，得到多媒体包，通过无线网卡将所述多媒体包发送给所属的宽带移动热点设备。
3.如权利要求2所述的方法，其特征在于，还包括：
所述参与会议的各宽带移动热点设备下参与会议的终端设备在采集用户的视频图像信号和声音信号前，通过无线网卡登录到所属的宽带移动热点设备，向所述多点会议服务器请求加入会议；
所述多点会议服务器对所述终端设备进行鉴权，并返回允许或拒绝信息给所述终端设备；
所述终端设备在接收到所述允许信息后，开始采集用户的视频图像信号和声音信号。
4.一种视频会议的实现系统，包括：宽带移动热点设备和多点会议服务器，其中：
所述宽带移动热点设备，用于将本地全景视频图像及声音信号发送给所述多点会议服务器；在从所述多点会议服务器接收到其他宽带移动热点设备发送的全景视频图像和声音信号后，将所述本地全景视频图像与接收到的全景视频图像拼装为会议全景视频图像，并在将所述会议全景视频图像与所接收到的声音信号进行同步后，发送给参与会议的终端设备；
所述多点会议服务器，用于将所述宽带移动热点设备发送的本地全景视频图像及声音信号发送给除发送方外的其他参与会议的宽带移动热点设备；
所述宽带移动热点设备包括无线访问节点和视频图像拼接处理器，其中：
所述无线访问节点是用于将本地全景视频图像及声音信号发送给所述多点会议服务器；并接收其他参与会议的宽带移动热点设备发送的全景视频图像和声音信号；将所述视频图像拼接处理器同步后的会议全景视频图像与声音信号发送给所述宽带移动热点设备下参与会议的终端设备；
所述视频图像拼接处理器是用于将本地全景视频图像与所述无线访问节点接收到的全景视频图像拼装为会议全景视频图像，并将所述会议全景视频图像与所接收到的声音信号进行同步。
5.如权利要求4所述的系统，其特征在于：
所述无线访问节点，还用于接收宽带移动热点设备下参与会议的终端设备发送的视频图像信号和声音信号；
所述视频图像拼接处理器，还用于将所述无线访问节点接收到的视频图像信号和声音信号进行分离，对所述视频图像信号进行图像拼接处理，生成所述本地全景视频图像，将所述本地全景视频图像与所述声音信号进行同步。
6.如权利要求5所述的系统，其特征在于：
所述宽带移动热点设备下参与会议的终端设备，还用于采集用户的视频信号和声音信号，进行同步处理，并将所述视频信号和声音信号进行组合打包，得到多媒体包，通过无线网卡将所述多媒体包发送给所属的宽带移动热点设备。
7.如权利要求6所述的系统，其特征在于：
所述宽带移动热点设备下参与会议的终端设备，还用于通过无线网卡登录到所属的无线访问节点，向所述多点会议服务器请求加入会议，并在接收到允许信息后，开始采集用户的视频信号和声音信号；
所述多点会议服务器，还用于对所述终端设备进行鉴权，并返回允许或拒绝信息给所述终端设备。
8.如权利要求6所述的系统，其特征在于，所述视频图像拼接处理器采用增量拼接方式将本地全景视频图像与所述无线访问节点接收到的全景视频图像拼装为会议全景视频图像。

一种视频会议的实现方法及系统\n技术领域\n[0001] 本发明涉及无线保真技术和第三代移动通讯技术，尤其涉及一种视频会议的实现方法及系统。\n背景技术\n[0002] 无线通信技术给人们的生活带来了巨大的影响。人们使用无线技术的方式在不断地更新。无线通信技术的应用已深入到人们生活和工作的各个方面，包括日常使用的手机、无线电话等，其中3G(第三代移动通讯技术)、WLAN(无线局域网)、UWB(超宽带)、蓝牙和宽带卫星系统等技术都是21世纪最热门的无线通信技术，特别是宽带无线通信技术的研究和应用更是十分活跃。\n[0003] 3G宽带无线通信网络建立在蜂窝架构上，支持移动环境中的数据服务。蜂窝架构支持不同蜂窝之间的信号切换，从而向用户提供了全网络覆盖的移动性，它所支持的应用主要是3G移动电话业务。Wi-Fi(无线保真)无线局域网是一种短程无线传输技术，能够在数百英尺范围内支持互联网接入的无线电信号，它所支持的应用主要是通过像笔记本电脑这类便携式的以数据为中心的设备进行访问，而非通过以移动电话为中心的设备进行访问。\n[0004] Wi-Fi提供了高带宽，但却是在有限的覆盖区域内，与Wi-Fi相比，3G网络支持跨广域网络的移动性，但是数据吞吐速度明显低于Wi-Fi。由于3G与Wi-Fi在覆盖区域和带宽上具有不同优势和局限性，因此这两种技术支持不同的应用并满足不同的需要。\n[0005] 由于无线通信网络存在带宽需求与无线网络带宽不足的矛盾，用户的地域分布与对应用需求不平衡的矛盾以及不同技术优势共存的矛盾，决定了发展无线通信网络需要综合运用各种技术手段，发挥不同技术的个性，综合布局，解决不同区域、不同用户群对带宽及业务的不同需求，达成无线通信网络的整体优势和综合能力。\n[0006] 现有的无线网络视频会议系统是在有线宽带网络视频会议系统的基础上，将用户的接入网络部分以无线宽带接入代替有线宽带接入，终端设备通过移动网络接入会议系统。由于移动网络接入的带宽限制，多媒体信号传输存在延迟的问题，视频会议的一方与会人员必须集中在会议终端设备周围面对一个终端设备进行会议，受到会议场地需要相对集中的限制。\n发明内容\n[0007] 本发明要解决的技术问题是提供一种视频会议的实现方法及系统，可以避免移动网络的传输时延对视频会议系统造成的限制。\n[0008] 为解决上述技术问题，本发明的一种视频会议的实现方法，包括：\n[0009] 参与会议的各宽带移动热点设备将本地全景视频图像及声音信号发送给多点会议服务器；\n[0010] 多点会议服务器将接收到的全景视频图像及声音信号发送给除发送方外的其他参与会议的宽带移动热点设备；\n[0011] 参与会议的各宽带移动热点设备接收到其他参与会议的宽带移动热点设备的全景视频图像和声音信号后，将本地全景视频图像与接收到的全景视频图像拼装为会议全景视频图像，并在将会议全景视频图像与所接收到的声音信号进行同步后，发送给宽带移动热点设备下参与会议的终端设备。\n[0012] 进一步地，还包括：\n[0013] 参与会议的各宽带移动热点设备将本地全景视频图像及声音信号发送给多点会议服务器前，接收其下参与会议的终端设备发送的视频图像信号和声音信号，将视频图像信号和声音信号进行分离，对视频图像信号进行图像拼接处理，生成本地全景视频图像，将本地全景视频图像与声音信号进行同步，发送给多点会议服务器。\n[0014] 进一步地，还包括：\n[0015] 参与会议的各宽带移动热点设备下参与会议的终端设备向宽带移动热点设备发送视频图像信号和声音信号前，采集用户的视频图像信号和声音信号，进行同步处理，并将视频图像信号和声音信号进行打包，得到多媒体包，通过无线网卡将多媒体包发送给所属的宽带移动热点设备。\n[0016] 进一步地，还包括：\n[0017] 参与会议的各宽带移动热点设备下参与会议的终端设备在采集用户的视频图像信号和声音信号前，通过无线网卡登录到所属的宽带移动热点设备，向多点会议服务器请求加入会议；\n[0018] 多点会议服务器对终端设备进行鉴权，并返回允许或拒绝信息给终端设备；\n[0019] 终端设备在接收到允许信息后，开始采集用户的视频图像信号和声音信号。\n[0020] 进一步地，一种视频会议的实现系统，包括：宽带移动热点设备和多点会议服务器，其中：\n[0021] 宽带移动热点设备，用于将本地全景视频图像及声音信号发送给多点会议服务器；在从多点会议服务器接收到其他宽带移动热点设备发送的全景视频图像和声音信号后，将本地全景视频图像与接收到的全景视频图像拼装为会议全景视频图像，并在将会议全景视频图像与所接收到的声音信号进行同步后，发送给参与会议的终端设备；\n[0022] 多点会议服务器，用于将宽带移动热点设备发送的本地全景视频图像及声音信号发送给除发送方外的其他参与会议的宽带移动热点设备。\n[0023] 进一步地，宽带移动热点设备包括无线访问节点和视频图像拼接处理器，其中：\n[0024] 无线访问节点是用于将本地全景视频图像及声音信号发送给多点会议服务器；并接收其他参与会议的宽带移动热点设备发送的全景视频图像和声音信号；将视频图像拼接处理器同步后的会议全景视频图像与声音信号发送给宽带移动热点设备下参与会议的终端设备；\n[0025] 视频图像拼接处理器是用于将本地全景视频图像与无线访问节点接收到的全景视频图像拼装为会议全景视频图像，并将会议全景视频图像与所接收到的声音信号进行同步。\n[0026] 进一步地，无线访问节点，还用于接收宽带移动热点设备下参与会议的终端设备发送的视频图像信号和声音信号；\n[0027] 视频图像拼接处理器，还用于将无线访问节点接收到的视频图像信号和声音信号进行分离，对视频信号进行图像拼接处理，生成本地全景视频图像，将本地全景视频图像与声音信号进行同步。\n[0028] 进一步地，宽带移动热点设备下参与会议的终端设备，还用于采集用户的视频信号和声音信号，进行同步处理，并将视频信号和声音信号进行组合打包，得到多媒体包，通过无线网卡将多媒体包发送给所属的宽带移动热点设备。\n[0029] 进一步地，宽带移动热点设备下参与会议的终端设备，还用于通过无线网卡登录到所属的无线访问节点，向多点会议服务器请求加入会议，并在接收到允许信息后，开始采集用户的视频信号和声音信号；\n[0030] 多点会议服务器，还用于对终端设备进行鉴权，并返回允许或拒绝信息给终端设备。\n[0031] 进一步地，视频图像拼接处理器采用增量拼接方式将本地全景视频图像与无线访问节点接收到的全景视频图像拼装为会议全景视频图像。\n[0032] 综上所述，本发明利用宽带移动热点设备的3G和Wi-Fi特性和灵活的移动性，组成一个分布式和易于扩容性的无线网络视频会议系统，可以很好的解决多媒体信号传输延迟的问题，并且解决了会议场地需要集中的限制，用户可以随时随地的接入视频会议系统，不仅在理论方面具有可行性而且在实践中也完全具有可操作性，可以比较理想的实现Wi-Fi无线局域网技术和3G无线技术的结合。\n附图说明\n[0033] 图1为本实施方式的基于宽带移动热点设备的无线局域网的结构图；\n[0034] 图2为本实施方式的基于宽带移动热点设备的无线网络视频会议系统拓扑图；\n[0035] 图3为本实施方式的基于宽带移动热点设备的视频会议的实现方法的流程图；\n[0036] 图4为本实施方式采用的全景视频图像拼接方法。\n具体实施方式\n[0037] 宽带移动热点设备是一种集宽带无线通信技术与宽带无线接入技术于一体的无线技术综合应用设备。宽带移动热点设备具有3G宽带无线通信技术和Wi-Fi宽带无线接入技术的功能。\n[0038] 本实施方式基于宽带移动热点设备的3G和Wi-Fi特性来实现视频会议系统，利用Wi-Fi宽带无线接入技术实现局域网用户接入视频会议系统，利用3G宽带无线通信技术实现近端宽带移动热点设备与远端宽带移动热点设备间的通信。\n[0039] 本实施方式的视频会议的实现系统，包括：\n[0040] 无线网卡(Wireless LAN Adapter，WLA)，属于终端设备的接入设备，通过Wi-Fi信号连接终端设备与宽带移动热点设备。\n[0041] 宽带移动热点设备，通过Wi-Fi局域网接入终端设备，通过3G无线通信技术与远端宽带移动热点设备进行语音和视频通信。\n[0042] 宽带移动热点设备中承载有无线访问节点(AP)，无线AP是无线接入点、无线路由器和3G模块的集合体。\n[0043] 宽带移动热点设备中还承载有视频图像拼接处理器，将发送给宽带移动热点设备的离散视频图像进行视频图像拼接处理，生成全景视频会议场景图像，视频图像拼接处理器集成于宽带移动热点设备中。\n[0044] 多点会议服务器，将移动热点设备发送的本地全景视频图像及声音信号发送给除发送方外的其他参与会议的移动热点设备。\n[0045] 终端设备上配置有视频图像采集器和语音音频处理器，视频图像采集器获取用户的视频图像信号；语音音频处理器，采样用户的声音信号，将模拟声音信号转变为PCM(Pulse Code Modulation，脉码编码调制)码流信号。\n[0046] 上述视频会议的实现系统以无线AP和无线网卡为网元的拓扑网络，宽带移动热点设备在Wi-Fi无线局域网中，宽带移动热点设备之间通过3G无线网络连接。\n[0047] 本实施方式的视频会议的实现方法，包括：\n[0048] 步骤A：参与会议的终端设备通过无线网卡接入到承载于宽带移动热点设备上的无线AP；\n[0049] 步骤B：终端设备将离散视频图像信号和声音信号通过无线网卡发送给宽带移动热点设备中的无线AP；\n[0050] 步骤C：宽带移动热点设备中的视频图像拼接处理器对无线AP接收到的离散视频图像信号进行拼接处理，生成本地全景视频会议场景图像；\n[0051] 步骤D：宽带移动热点设备中的3G模块(集成在无线AP中)将拼接得到的本地全景视频会议场景图像和声音信号发送给无线多点会议服务器；\n[0052] 步骤E：无线多点会议服务器将宽带移动热点设备发送的全景视频会议场景图像和声音信号(多媒体信号)转发给远端宽带移动热点设备；\n[0053] 步骤F：远端宽带移动热点设备通过无线网卡将多媒体信号广播给局域网内参与会议的终端设备；\n[0054] 步骤G：终端设备接收到宽带移动热点设备发送的多媒体信号后，显示会议全景视频图像，同时播放会议发言者的声音。\n[0055] 以上步骤中，局域网内的声音信号和图像信号是通过Wi-Fi无线局域网的宽带技术实现；宽带移动热点设备间的声音信号和视频信号是由3G无线通信技术支持，利用了两种技术的特长和差异实现视频会议系统。\n[0056] 下面结合附图对技术方案的实施作进一步的详细描述：\n[0057] 如图1所示，为本实施方式视频会议的实现系统在局域网内的架构，包括：无线网卡、无线AP(承载于宽带移动热点设备中)、终端设备上的视频图像采集器和语音音频处理器，其中：\n[0058] 无线网卡，用于建立终端设备与无线AP的通信链路，终端设备(计算机等)通过外置或内置无线网卡搜索Wi-Fi无线AP接入到无线局域网中，终端设备通过Wi-Fi通信链路与无线AP进行视频和语音通信。\n[0059] 无线AP，提供Wi-Fi无线局域网接入和3G无线通信支持，是终端设备与会议系统连接的桥梁。无线AP相当于无线路由器和3G模块的集成体。宽带移动热点设备的无线路由作用主要是为终端设备提供Wi-Fi接入和对多媒体信号进行路由协议栈处理，保证数据收发的正确性和实时性。\n[0060] 3G模块的主要作用是提供3G无线通信支持，不仅可以支持电路交换网络，而且也能支持包交换网络。本实施方式的3G无线网络对以上的两种传输方式都支持。通过3G无线网络和远端宽带移动热点设备进行无线通信。\n[0061] 本实施方式中宽带移动热点设备除了具备无线路由器和3G模块的功能之外，同时还集成了视频图像拼接处理器。视频图像拼接处理器的主要作用是将输入的离散视频图像进行图像拼接处理，输出一幅全景视频图像。视频图像拼接处理器采用增量式拼接方式，会议系统的全景视频图像是以一个宽带移动热点设备的全景视频图像为基准将其他所有宽带移动热点设备的全景视频图像拼接到基准视频图像上。\n[0062] 视频图像采集器，获取用户的视频图像信息，一般存在外接式和内置式两种视频图像采集器。\n[0063] 语音音频处理器，将用户通过话筒传入的模拟声音信号转换为PCM码流发送给网络用户；将播放给用户的PCM码流转换为模拟声音信号，通过听筒播放给用户。\n[0064] 图2所示，为基于宽带移动热点设备的视频会议的实现系统的拓扑图，其中：\n[0065] 用户通过无线AP接入视频会议系统，无线AP的可移动性决定了接入AP的用户也随之移动，因此，宽带移动热点设备是一个不受地域和空间限制的移动单元。宽带移动热点设备的用户数决定于无线AP的接入容量，用户切换自由，可以灵活的加入或退出会议系统。\n[0066] 宽带移动热点设备之间通过无线多点会议服务器来实现多方会议，宽带移动热点设备通过3G模块将多媒体信号发送给多点会议服务器，由多点会议服务器转发给其他宽带移动热点设备。\n[0067] 视频会议的实时性决定了宽带移动热点设备内和宽带移动热点设备间的视频图像和声音的实时性。终端设备的实时视频图像信号和声音信号通过Wi-Fi网络发送给无线AP，视频图像拼接处理器对用户的离散视频图像进行实时图像拼接以及声音同步，同步的多媒体信号要实时发送给其他宽带移动热点设备下的终端设备。\n[0068] 会议全景视频图像是由无线AP本地局域网用户的全景视频图像和其他所有无线AP下的局域网用户的全景视频图像拼接而成，因此，无线AP之间传输的是以宽带移动热点设备为单位的全景视频图像。\n[0069] 视频会议系统的声音信号是由发言方的无线AP决定的。会议系统的特性决定了每次发言的只有一个人，因此，声音信号的传输是单方向的，以广播的形式发送给各宽带移动热点设备。\n[0070] 视频会议系统中传输的数据主要是视频和声音信号，这些信号的传输主要依赖于承载的网络。参与会议的终端设备加入会议系统是通过无线网卡接入Wi-Fi无线局域网中的无线AP来实现的，图3所示，为基于宽带移动热点设备实现视频会议的处理流程，包括：\n[0071] 步骤301：Wi-Fi无线局域网的接入具有身份认证机制，当用户通过无线网卡登录Wi-Fi网络时需要进行身份认证，认证成功后登录到Wi-Fi网络中；\n[0072] 步骤302：用户接入Wi-Fi无线局域网后发起加入视频会议的请求，此请求发送给无线AP；\n[0073] 步骤303：无线AP向多点会议服务器发送请求，多点会议服务器通过用户拨入的号码和密码对用户进行鉴权，以保证会议的保密性，经过鉴权并反馈允许或拒绝信息给终端设备；\n[0074] 步骤304：终端设备收到允许加入的反馈信息之后，打开视频图像采集器和语音音频处理器；\n[0075] 步骤305：终端设备将采集到视频图像信号和声音信号进行同步处理，以使画面和声音保持同步，同时通过多媒体协议栈将视频和语音进行组合打包，形成一个多媒体包，通过无线网卡将多媒体包通过Wi-Fi无线局域网发送给宽带移动热点设备中的无线AP；\n[0076] 步骤306：宽带移动热点设备收到多媒体包后，视频图像拼接处理器将视频和声音进行分离，对分离后的视频信号进行图像拼接处理，生成一幅本地全景视频图像，同时对分离的声音信号进行缓存；\n[0077] 步骤307：宽带移动热点设备的视频图像拼接处理器对本地全景视频图像与缓存的声音信号进行同步，3G模块将本地全景视频图像与声音信号发送给网络侧的无线多点会议服务器；\n[0078] 步骤308：无线多点会议服务器根据网络协议解析多媒体数据包，并根据解析结果将对应的包发送给远端宽带移动热点设备；\n[0079] 无线多点会议服务器的作用是传送宽带移动热点设备之间的通信数据，是连接各宽带移动热点设备的桥梁。\n[0080] 步骤309：远端宽带移动热点设备的视频图像拼接处理器将接收到的全景视频图像与声音信号进行分离处理，将本地的全景视频图像和其他宽带移动热点设备发来的全景视频图像进行拼接处理，生成会议全景视频图像，并进行会议全景视频图像与声音信号同步；\n[0081] 每个宽带移动热点设备的会议全景视频图像是由本地用户的全景视频和系统中的其他宽带移动热点设备的全景视频图像拼接组成的。\n[0082] 步骤310：宽带移动热点设备将会议全景视频图像与声音信号通过Wi-Fi无线局域网广播给局域网内参与会议的终端设备；\n[0083] 步骤311：终端设备收到宽带移动热点设备发来的会议全景视频图像与声音信号后，将会议全景视频图像进行显示，同时播放会议发言者的声音。\n[0084] 如图4所示，为无线网络会议系统全景视频图像拼接方法，本实施方式采用帧到拼接图像的拼接方式，即将当前图像帧与拼接图像进行拼接，这种合成方式也称为动态图像拼接技术，即采用增量处理的方式，采用当前的图像内容来更新当前的拼接图像内容。由于采用增量的拼接方式，当场景中存在运动目标时，利用动态图像拼接技术获得的拼接图像不会出现运动目标消失的现象。图4所示是帧到拼接图像合成方式示意图，这里图f1为参考视频图像。\n[0085] 以上所述，仅为本发明较佳的具体实施方案，但本发明的保护范围并不局限与此，任何熟悉本领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权力要求的保护范围为准。