著录项信息
专利名称 | 用于媒体回放体系结构的方法和系统 |
申请号 | CN200410044751.X | 申请日期 | 2004-05-17 |
法律状态 | 权利终止 | 申报国家 | 暂无 |
公开/公告日 | 2004-12-01 | 公开/公告号 | CN1551631 |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N7/15 | IPC分类号 | H;0;4;N;7;/;1;5;;;H;0;4;N;5;/;7;6;;;H;0;4;N;5;/;9;3查看分类表>
|
申请人 | 精工爱普生株式会社 | 申请人地址 | 日本东京都
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 精工爱普生株式会社 | 当前权利人 | 精工爱普生株式会社 |
发明人 | 李家欣;V·伊瓦辛;S·内尔森 |
代理机构 | 中国专利代理(香港)有限公司 | 代理人 | 程天正;罗朋 |
摘要
提供了一种被配置用于回放视频会议数据的系统。该系统包括被配置用于接收与视频会议会话相关的视频会议数据的媒体管理服务器。该媒体管理服务器被配置用于将视频会议数据转换为通用格式以进行存储。包括事件数据库,其被配置用于捕获在视频会议会话期间发生的事件。还提供了媒体分析服务器,其被配置用于分析所存储的视频会议数据,以插入表示所捕获事件的索引。包括媒体回放单元,其被配置用于建立同媒体管理服务器的连接。该媒体回放单元还被配置用于允许在维持该连接的同时,对从媒体管理服务器传递到该媒体回放单元的视频流进行位置控制。还提供了用于视频会议数据回放的一种方法、一种计算机可读介质以及一种图形用户界面。
1.一种被配置用于回放视频会议数据的系统,包括:
媒体管理服务器,被配置用于接收与视频会议会话相关的视频会议 数据,该媒体管理服务器被配置用于将视频会议数据转换为通用格式 以存储在存储介质上;
事件数据库,被配置用于捕获在视频会议会话期间发生的事件;
媒体分析服务器,被配置用于分析所存储的视频会议数据,以便插 入表示事件数据库中所捕获的事件的索引和标记;以及
媒体回放单元,被配置用于建立与媒体管理服务器的连接,该媒体 回放单元还被配置成在维持该连接的同时,指示要从媒体管理服务器 传递到该媒体回放单元的所存储的视频会议数据的分段。
2.权利要求1的系统,还包括:
包含存储介质的存储服务器,该存储服务器被配置用于提供应用编 程接口,以允许检索所存储的视频会议数据。
3.权利要求1的系统,其中媒体管理服务器包括一个万维网服务 器、一个回放服务模块以及一个会晤调度服务模块。
4.权利要求1的系统,其中视频会议数据包括从以下组中所选择的 媒体,所述组由POWERPOINT演示、视频/音频剪辑、光栅/矢量图像、 注释以及文档文件组成。
5.权利要求1的系统,其中被捕获的事件包括从以下组中所选择的 视频会议事件,所述组由视频会议激活、视频会议取消、参加者到达、 参加者离开以及幻灯片演示的改变组成。
6.权利要求1的系统,其中所述的索引是与所捕获之事件的开始时 间点相关联的。
7.权利要求1的系统,其中媒体回放单元包括媒体播放器模块和媒 体控制器模块,该媒体播放器模块被配置用于将所存储的视频会议数 据或者其分段再现在显示屏幕上,该媒体控制器能够指示将要从媒体 管理服务器传递到该媒体播放器模块的所存储的视频会议数据的分 段。
8.一种视频会议系统,包括:
包含媒体服务器的服务器组件,该媒体服务器被配置用于存储与视 频会议会话相关的视频/音频数据和事件,该媒体服务器能够分析所存 储的视频/音频数据,以便将索引和标记插入到所存储的视频/音频数据 中,这些标记标识所述的事件;
包含客户的客户组件,该客户与客户监控器通信,该客户组件包括 一个媒体回放单元,该媒体回放单元被配置用于建立与媒体服务器的 连接,该媒体回放单元还被配置成在维持该连接的同时,指示要从媒 体服务器传递到该媒体回放单元的所存储的视频/音频数据的分段;以 及
在客户组件和服务器组件之间定义的第一和第二路径,该第一路径 允许在视频会议期间、在客户组件和服务器组件的会议端点之间交换 实时视频/音频数据,在客户组件和服务器组件之间定义的该第二路径 允许在客户监控器和服务器组件之间交换系统信息。
9.权利要求8的系统,其中媒体回放单元包括媒体播放器模块和媒 体控制器模块,该媒体播放器模块被配置用于将所存储的视频/音频数 据或者其分段再现在显示屏幕上,该媒体控制器模块能够指示将要从 媒体服务器传递到该媒体播放器模块的所存储的视频/音频数据的分 段。
10.权利要求8的系统,其中所述的标记是与事件的开始点相关联 的。
11.权利要求8的系统,其中被存储的事件包括从以下组中所选择 的视频会议事件,所述组由视频会议激活、视频会议取消、参加者到 达、参加者离开以及幻灯片演示的改变组成。
12.权利要求9的系统,其中该媒体控制器模块被配置成允许用户 指定所存储的视频/音频数据的分段,该所存储的视频/音频数据的分段 的指定引发一个控制器事件,该事件导致在维持连接的同时,将该所 存储的视频/音频数据的分段传递到媒体播放器模块。
13.权利要求8的系统,其中第一路径是会议信道,而第二路径是 反向信道。
14.一种用于演示被存储的视频会议数据的方法,包括:
将与视频会议演示相关的媒体格式转换为通用格式的视频会议数 据;
存储该通用格式的视频会议数据;
标识与所存储的视频会议数据相关联的事件;
将表示该事件的索引和标记插入到所存储的视频会议数据中;
指定至少一个要基于所述索引或者标记中的至少一个来演示的 所存储之视频会议数据的分段;以及
演示该至少一个指定的分段。
15.权利要求14的方法,其中所述标记对应于该事件的开始时间位 置。
16.权利要求14的方法,其中演示该至少一个指定的分段的方法步 骤包括,
为每一个正被演示的分段维持相同的连接。
17.权利要求14的方法,其中演示该至少一个指定的分段的方法步 骤包括,
在为正演示的所存储之视频会议数据的第一分段及第二分段维持 连接的同时,从与所存储之视频会议数据的第一分段相关的位置前移 到所存储之视频会议数据的第二分段的开始位置。
18.权利要求14的方法,还包括:
选择所存储之视频会议数据的分段以进行演示。
技术领域\n本发明总地涉及视频会议系统,并且更具体地涉及被配置以提供所 存储的视频会议数据之回放的回放引擎。\n背景技术\n会议设备被用来使在物理上处于分开位置的两个或者多个参加者 之间容易进行通信。这些设备可以用于交换实况视频、音频以及其它 数据以便观看、收听,或者另外地用于与每个参加者合作。召开会议 的普通应用包括会晤/工作组、演示以及培训/教育。当今,借助于视频 会议软件,一个带有便宜的摄像机和麦克风的个人计算机可以被用于 连接其它的会议参加者。这些机器中某些机器的操作系统提供了简单 的对等视频会议软件,如被包含在基于微软视窗的操作系统之中的微 软的NETMEETING(网络会议)应用。可选地,也可以便宜地单独 购买对等视频会议软件应用。受可用的软件以及便宜的摄像机/麦克风 设备的推动,视频会议已变得越来越普及。\n与视频会议单元相关的一个缺点是向不能出席或者参加视频会议 的用户回放该视频会议的能力。也就是说,在大多数情况下视频会议 的回放甚至都并不是一个选项。而且,在存储视频会议的场合下,用 户的回放选项也受到严格限制。例如,用户也许不能回放视频会议会 晤的某些部分。此外,在显示视频流的不连续分段时,用于流播视频 的回放的当前配置不断地关闭和重新打开连接。\n因此,需要解决现有技术的问题,进而提供一种允许存储和回放视 频会议会晤的方法和系统。此外,回放引擎应被配置成允许用户定制 显示方面的演示方式以及正被演示的所存储之视频会议数据的分段。\n发明内容\n概括地说,本发明通过为所存储之视频会议数据的定制的演示提供 一种用于回放引擎的方法和系统,从而满足了这些需要。应当明白本 发明可以用多种方式实现,包括作为一种方法、一种系统、一种计算 机可读介质或者一种图形用户界面来实现。以下描述了本发明的几个 创造性的实施例。\n在一个实施例中,提供了一种被配置用于回放视频会议数据的系 统。该系统包括一个媒体管理服务器,其被配置用于接收与视频会议 会话相关的视频会议数据。该媒体管理服务器被配置用于将视频会议 数据转换为用于在存储介质上进行存储的通用格式。包括一个事件数 据库,其被配置用于捕获在视频会议会话期间发生的事件。提供了一 个媒体分析服务器,其被配置用于分析所存储的视频会议数据,以便 插入表示事件数据库中所捕获事件的索引和标记。还包括媒体回放单 元,其被配置用于同媒体管理服务器建立连接。该媒体回放单元还被 配置成在维持该连接的同时,指示要从媒体管理服务器传送到该媒体 回放单元的所存储的视频会议数据的分段。\n在另一实施例中,提供了一种视频会议系统。该视频会议系统包括 一个服务器组件。该服务器组件包括一个媒体服务器,后者被配置用 于存储与视频会议会话相关的视频/音频数据和事件。该媒体服务器能 够分析所存储的视频/音频数据,以便在所存储的视频/音频数据中插入 索引和标记。这些标记标识了各个事件。提供了一个客户组件。该客 户组件包括一个与客户监控器通信的客户。该客户组件包括媒体回放 单元,后者被配置用于建立同媒体服务器的连接。该媒体回放单元还 被配置成在维持该连接的同时,指示要从媒体服务器传递到该媒体回 放单元的所存储的视频/音频数据的分段。还包括在客户组件与服务器 组件之间定义的第一和第二路径。该第一路径允许在视频会议期间、 在该客户组件与服务器组件的会议端点之间交换实时的视频/音频数 据。在该客户和服务器端之间定义的第二路径允许在客户监控器和服 务器组件之间交换系统信息。\n在又一实施例中,提供了一种用于在显示屏幕上回放再现的视频会 议数据的图形用户界面(GUI)。该GUI包含第一区域,它定义了对 应于视频流的一个时间位置的集成的音频/视频成分,其中所述视频流 与视频会议数据相关联。而该集成的音频/视频成分与媒体服务器相关 联。包括第二区域,它提供了对应于该视频流之时间位置的文档文件。 包括第三区域,它提供了对应于该视频流之时间位置的媒体演示。包 括第四区域,它提供了与该视频流相关联的内容项的列表。对第四区 域的内容项之一的选择触发该第一、第二以及第三区域演示相应的视 频会议数据,该相应的视频会议数据对应于和所选内容项相关联的时 间位置。\n在又一实施例中,提供了一种演示所存储的视频会议数据的方法。 该方法启动时将与视频会议演示相关的媒体格式转换为通用格式视频 会议数据。然后,存储该通用格式视频会议数据。接下来,标识与所 存储的视频会议数据相关联的事件。然后,将表示这些事件的索引和 标记插入到所存储的视频会议数据中。接下来,指定至少一个要基于 所述索引或者标记中的至少一个来演示的所存储之视频会议数据的分 段;以及演示该至少一个指定的分段。\n在另一实施例中,提供了一种计算机可读介质,它具有用于演示所 存储之视频会议数据的程序指令。该计算机可读介质包括用于将与视 频会议演示相关的媒体格式转换为通用格式视频会议数据的程序指 令。还包含用于存储该通用格式视频会议数据的程序指令。还提供了 用于标识和被存储的视频会议数据相关联的事件的程序指令。还包含 用于将表示这些事件的标记插入到所存储的视频会议数据中的程序指 令,以及用于演示所存储的视频会议数据中对应于这些标记的分段的 程序指令。\n结合用示例方式图示本发明原理的附图,通过以下的详细描述,可 以进一步明白本发明的其它方面和优点。\n附图说明\n通过以下结合附图的详细描述将更易于理解本发明,其中相似的参 考数字表示相似的结构元件。\n图1是根据本发明的一个实施例的、使用客户监控反向信道的示例 性多参加者会议系统的组件的原理图。\n图2是一个简化的原理图,它图示了被配置用于为根据本发明的一 个实施例的回放引擎而演示和回放媒体的模块之间的关系。\n图3是根据本发明的一个实施例的、与媒体回放模块的客户和服务 器组件相关的模块的简化原理图。\n图4是一个简化的原理图,它图示了根据本发明的一个实施例,将 视频会议数据文件转换为通用文件格式。\n图5是一个简化的原理图,它以图形示出了根据本发明的一个实施 例的事件数据库的构建。\n图6是一个简化的原理图,它图示了根据本发明的一个实施例、将 索引关联到视频剪辑中。\n图7是根据本发明的一个实施例的、在一个显示屏幕上回放再现的 视频会议数据的图形用户界面(GUI)的示例性描述。\n图8是一个流程图,它图示了根据本发明的一个实施例、用于演示 所存储的视频会议数据的方法的操作。\n具体实施方式\n就针对视频会议系统的设备和方法来描述本发明,在该视频会议系 统中记录了视频会议和相关的数据,由此允许用户在稍后的日期按照 用户定义的演示方案来观看该会晤。然而,对于本领域技术人员来说, 显然根据本揭示内容可以实现本发明而无需其中某些或者所有具体细 节。在另外一些情形下,没有详细描述众所周知的进程操作,以免不 必要地模糊本发明。这里所用术语“大约”的含义是指被引用的值的 +/-10%。\n本发明的实施例提供了一种用于提供在视频会议会晤期间所记录 的媒体的演示和回放的方法和系统。正如此处所使用的,媒体包括在 视频会议会晤期间碰到的任何适用类型的信息和数据,例如 POWERPOINT演示图像、视频/音频剪辑、光栅/矢量图像、动画、文 档等等。此处所述的实施例可以随在上面提到的美国专利申请 No.10/192080中所述的视频会议系统被包含。还应理解的是,此处所 述的系统体系结构可以被配置用于与任何适用的视频会议系统相接 口,以便提供媒体回放。该媒体回放系统的体系结构包括用于在显示 屏幕上再现媒体的功能块,以及用于控制媒体如何回放的功能块。因 此,由于回放控制器与传送视频流的服务器进行通信,因而消除了为 了正回放的媒体的每次位置改变而重新打开连接的需要。\n图1是根据本发明的一个实施例的、使用客户监控反向信道的示例 性多参加者会议系统的组件的原理图。通过参考图2-8而描述的媒体 回放体系结构可以被用来提供图1中所述的系统的媒体回放。因而, 图1的系统表示一个实时系统,而图2-8的媒体回放系统表示与该实 时系统结合使用的内容存储/回放组件。客户组件包括多个参加者,诸 如参加者A 122a到参加者N 122n。每个参加者122包括会议客户144 和客户监控器146。例如,参加者A 122a包括会议客户A 144a和客户 监控器A 146a。在一个实施例中,会议客户A 144a包括参加者的对等 视频会议软件。会议客户A的任务是对另一参加者进行呼叫、建立和 断开会议会话、捕获和发送内容、接收和回放被交换的内容等等。应 当明白,来自会议客户A 144a的呼叫的路由是通过媒体集线服务器130 的。其它参加者相似地使用他们的相关的会议客户来对媒体集线服务 器130进行呼叫,以加入会议。在一个实施例中,会议客户A 144a包 括一个用于会议的高级别的用户界面,比如当会议客户是预先存在的 软件应用程序时。例如,提供对等视频会议的产品是来自微软公司的 NETMEETING应用程序软件。应当明白,媒体集线服务器130也可 以被称作媒体传输服务器。\n客户监控器(CM)146监控着会议客户144。CM 146a被配置用于 监控会议客户A 144a。也就是说,在一个实施例中,CM 146a通过监 控客户A 144a的一个视频显示窗口来查看用户是如何与该软件应用程 序交互的。此外,CM 146a解释用户的交互,以便将这些交互发送到 服务器组件。在一个实施例中,CM 146被配置用于提供4个功能。一 个功能是监控会议信道的开始/停止,以便能够在参加者和服务器之间 建立与会议信道会话并行的反向信道通信会话。第二个功能是监控事 件,诸如由会议客户144显示的视频窗口内的用户交互和鼠标消息。 第三个功能是处理在CM 146与服务器组件的反向控制器140之间的控 制消息信息。第四个功能是为参加者提供外部的用户界面,该用户界 面可被用于显示和发送图像到其它会议成员、显示其它连接的参加者 的姓名、以及其它适用的通信信息或者工具。\n如上所述,客户监控器146监视会议客户144的活动。在一个实施 例中,这包括监控含有会议内容的视频显示区域上的用户事件,还包 括会议会话控制信息。例如,CM 146监视来自会议客户的会议会话或 者呼叫的开始和结束。当会议客户144向媒体集线服务器130发起呼 叫以开始一个新会议会话时,CM 146也向媒体集线服务器发起呼叫。 来自CM 146的呼叫为参加者的会议会话建立反向信道连接126。由于 CM 146可以监控会话开始/停止事件,使用反向信道连接126自动启 动,而不需要额外的用户设置,即反向信道连接126对于用户是透明 的。因此,一个新会话和会议客户144的活动一起被并行地保持。应 当明白,会议信道124提供了介于会议客户144和媒体集线服务器130 的会议连接138之间的视频/音频连接。在一个实施例中,会议信道124 为在客户组件和服务器组件之间传送的会议会话的实时视频/音频数据 提供了通信链路。\n在一个实施例中,CM 146专门地监控发生在由会议客户144所显 示的会议视频帧上的活动。例如,CM 146可以监控微软NETMEETING 应用程序中的视频图像。在客户帧中的鼠标活动经由反向信道连接126 上的协议而被中继到媒体集线服务器130。进而反向信道控制器140又 可以将该活动报告给另一个参加者,或各个参加者的事件处理器142。 在该实施例中,对会议客户144应用程序的监控通过操作系统级和应 用程序级之间的抓钩(hook)来发生。如上所述,可以从视频会议应 用程序之外来监视视频窗口的鼠标点击或者键盘敲击。\n在另一个实施例中,CM 146可以向参加者演示单独的用户界面。 该界面可以与会议客户144演示的用户界面并行地显示,并且可以在 整个已建立的会议期间保留。可选地,为了其它配置或者设置目的, 由CM 146所演示的用户界面可能在会议会话之前或者之后出现。\n在又一实施例中,CM 146可以提供用于直接连接到媒体集线服务 器130所宿有的通信会话的接口,而不需要会议客户。在该实施例中, CM146演示一个用户界面,该用户界面允许使用反向信道连接126来 返回会晤概要内容、当前会晤状况、参加者信息、共享数据内容、或 者甚至是现场会议音频。这种情况可能发生在,例如,当参加者因为 只是想监控该通信的活动,而选择不使用会议客户144时。应当明白 的是,客户组件可以被称作瘦客户,因为会议客户144执行最小的数 据处理。例如,任何适用的视频会议应用都可以作为会议客户144而 被包含。如前所述,CM146a被配置用于识别会议客户A 146a的视频 会议应用何时开始和停止运行,进而CM又可以象会议客户所做的那 样开始和停止运行。CM146a还可以与视频会议会话并行地从服务器组 件接收信息。例如,CM146a可能允许参加者A 122a在会议会话期间 共享一幅图像。从而,该共享图像可能被提供给每一客户监控器,以 使得每个参加者都能够通过文档浏览器来观看该图像,而不是通过视 频会议软件的视频显示区域来观看。结果是,参加者可以观看到该共 享文档更清楚的图像。在一个实施例中,会议中共享的文档可得到以 便供每个客户观看。\n服务器组件包括媒体集线服务器130,它提供了多点控制单元 (MCU),其被配置用于传递参加者可定制的信息。应当明白的是, 媒体集线服务器130及其组件包含被配置用以执行此处所述功能性的 软件代码。在一个实施例中,媒体集线服务器130是实现此处所述实 施例的基于硬件的服务器的组件。媒体集线服务器130包括媒体混合 器132、反向信道控制器140、以及事件处理器142。媒体集线服务器 130还提供会议连接138。更具体地,会议连接A 138a完成链路,该链 路允许会议客户A 144a的对等视频会议软件与媒体集线服务器130通 信。也就是说,会议端点138a模拟另一个对等体,并与正期望一个对 等连接的会议客户A 144a执行握手。\n在一个实施例中,媒体集线服务器130通过允许将单独的参加者连 接到用于共享会议通信的可选择的逻辑房间上,而提供多点控制单元 (MCU)的功能性。作为MCU,媒体集线服务器130起到会议客户的 “对等体”的作用,而且也可以从多个参加者处接收呼叫。本领域技 术人员将明白,媒体集线服务器130在内部与同一逻辑房间内的所有 参加者相链接,为每个房间定义一个多参加者会议会话,每个对等会 议客户只是作为一个对等体来与媒体集线器操作。如上所述,媒体集 线服务器130被配置以符合会议客户144的对等要求。例如,当会议 客户正在使用H.323兼容会议协议时(如在象微软NETMEETING的 应用中所发现的),则媒体集线服务器130必须也支持H.323协议。 换另一种说法就是,会议通信可以通过H.323协议、会话启动协议 (SIP)、或者其它与该参加者连接要求相匹配的适用的API来发生。\n仍然参考图1,媒体混合器132被配置用于从所有参加者的音频和 视频、特定参加者的配置信息以及服务器用户界面设置的组合中,组 装特定于每个参加者的音频和视频信息。媒体混合器132通过以每个 参加者为基础来组合输入数据流即音频/视频流,而执行多路复用工 作。视频布局处理器134和音频分布处理器136组装这些会议信号, 这些将在下面更详细地说明。客户监控反向信道网络允许媒体集线服 务器130监控用户与会议客户144的用户交互,并且允许其提供对等 软件应用程序具有附加功能性的外观。该附加功能性使得会议客户144 所执行的软件应用程序的对等功能性适合于此处所述的多参加者环 境。客户监控反向信道网络包括客户监控器146反向信道连接126、反 向信道控制器140、以及事件处理器142。\n反向信道连接126类似于除了会议信道124之外的并行会议。反向 信道控制器(BCC)140维持来自每个客户监控器的通信链路。在该链 路上所定义的协议在媒体集线服务器130处被解释,并且被传送到适 当的目的地,即其它参加者的反向信道控制器、事件处理器142,或者 返回到CM146。每个反向信道控制器140通过反向信道控制器通信链 路148进行通信。\n在一个实施例中,媒体集线服务器130提供客户可配置的视频流, 其包含了每个会议参加者的缩放型式。在媒体集线服务器130中一个 参加者的事件处理器142负责维持每个参加者的状态信息,并且将该 信息传送给媒体混合器132,以便构建该参加者的用户界面。在另一个 实施例中,服务器一侧的用户界面还可以被嵌入到该参加者的视频/音 频流中。\n继续参照图1,按照本发明的一个实施例,非参加者可以加入到会 议中。在此,非参加者连接150与反向信道通信链路148进行通信。 在非参加者客户150与媒体集线服务器130的反向信道控制器140之间 可以建立反向信道连接128。在一个实施例中,反向信道通信链路148 允许每个反向信道控制器相互之间通信,由此允许相应的客户监控器 或者非参加者通过各自的反向信道连接126进行通信。因此,在反向 信道通信链路148和反向信道连接126上图像和文件可以在客户间共 享。此外,在一个实施例中,非参加者反向信道连接可以被用于获得 对媒体集线服务器130的访问,以便查询服务器状态、会议活动、出 席的参加者、连接信息等等。因而,该非参加者反向信道连接充当了 到服务器或者会议会话的后门。从服务器中,非参加者可以获得管理 器面板的信息,其显示了会议和服务器的性能、状态等等。从会议会 话中,非参加者可以通过反向信道通信链路148获得受限的会议内容, 例如活动的会议会话的会议音频、文本、图像或者其它相关信息。应 当明白,图1表示一个可以提供如下所述的回放引擎的示例性视频会 议系统。因此,图1并不意味着是限制性的,因为此处所述的特征可 能随任何适用的视频会议系统而被包含。\n图2是一个简化的原理图,图示了被配置成:为依照本发明的一个实 施例的回放引擎而演示和回放媒体的模块之间的关系。应当明白,图2 的整个系统的体系结构设计可以与任何适用的视频会议系统结合,例 如与参考图1所述的视频会议系统结合。图2的媒体回放体系结构包 括客户组件160和服务器组件162。客户组件160包括媒体共享客户模 块164和媒体回放模块166。媒体回放模块166包括媒体播放器模块168 和媒体控制器模块170。如以下将更详细说明的,媒体播放器模块168 和媒体控制器模块170的分离使得对于所存储的视频会议数据能有一 种更有效、更灵活的回放方法。媒体共享客户模块164可以是一个客 户,它可能以二进制形式把媒体上载到服务器组件中。例如,在会晤 期间,参加者也许需要共享或者交换媒体,诸如POWERPOINT演示、 注释、图像等等。媒体共享客户模块164是应用程序,它允许参加者 发送被共享或者交换的媒体到媒体管理服务器172。在与媒体共享客户 模块164相关的应用中,媒体的原始二进制数据将被上载到媒体管理 服务器172。然后,如果该媒体格式能够被解析的话(例如作为 POWERPOINT文件),则该二进制数据将被处理并转换为某些通用 媒体格式。参考图1,本领域技术人员将会理解:客户组件160可以被 包含在用于每个参加者的客户组件之中。在此处,图1的客户组件发 送事件到媒体管理服务器172,这些事件是与发送到图1的媒体集线服 务器130的事件分开的。\n图2的服务器组件162包括媒体管理服务器172。媒体管理服务器 172包括万维网服务器174、回放服务模块176以及会晤调度服务模块 178。被包含在服务器组件162中的还有:会晤分析服务器184、事件 数据库模块180以及存储服务器182。如上所述,媒体共享客户模块 164是一个应用,它允许视频会议参加者将被共享或者交换的媒体发送 到媒体管理服务器172。应当明白,此处所用的术语“媒体”可以包括 POWERPOINT演示、视频/音频剪辑、光栅/矢量图像、注释、文档文 件、以及在视频会议期间使用的任何其它适用的媒体。还应当进一步 理解,媒体管理服务器172可以与任意数目的媒体共享客户164通信。 媒体管理服务器172管理和组织会晤,即管理和组织用来在会晤参加 者之间分布的视频会议数据。媒体管理服务器172建立数据库,以便 管理这些媒体并且允许会晤参加者从存储服务器182中检索媒体数 据。\n万维网服务器174允许下载参加者所需的任何软件代码或者观看视 频会议会话。会晤调度服务模块178允许用户设立或者加入一个视频 会议会话。也就是说,希望设立或者加入一个视频会议会话的用户可 以通过一个万维网浏览器来这样做,该万维网浏览器可以下载通过万 维网服务器174提供的超文本标记语言(HTML)类型的页面。一旦 用户已加入了视频会议会话,就可以从万维网服务器174下载软件代 码(例如与客户功能性相关的软件代码),在此之后,客户开始与媒 体传输服务器130通信。应当明白,通过会晤调度服务模块178,媒体 管理服务器172连接到适当的媒体传输服务器,以便使视频会议会话 能够进行。在另一个实施例中,由于视频会议会话被存储,所以在完 成该视频会议会话时,可能创建一个会晤概要。该会晤概要可以通过 万维网服务器174来访问。该会晤概要是该会晤的概观,其可能被演 示给用户以便该用户可以更好地决定是否观看该会晤,或者观看该会 晤的哪些部分。对于本领域技术人员来说,显然可以用许多适用的方 式来演示会晤概要。而且,所存储的视频会议数据可以通过会晤概要 来进行总结,以便使得用户能够更精确地决定要选择该会晤概要的哪 一部分。在一个实施例中,回放服务模块176为会议客户提供功能性, 以便传送在视频会议会话期间发生的事件、或者回放来自先前记录的 视频会议会话的数据。\n媒体管理服务器172与媒体分析服务器184进行通信。媒体管理服 务器172还从媒体分析服务器184和用于媒体回放和演示的相关模块 中检索信息。媒体分析服务器184与事件数据库180和存储服务器182 进行通信。在一个实施例中,媒体分析服务器184执行在会晤期间所 记录的媒体的后处理,并且分析该媒体以便建立用于媒体演示和回放 的有意义的和有用的信息。媒体分析服务器184还将向事件数据库180 增加和检索信息,以便存储用于媒体演示和回放的信息。在一个实施 例中,有意义的和有用的信息包括插入到所存储的视频会议数据中的 索引和标记。在另一实施例中,有意义的和有用的信息包括如下所述 的、存储在事件数据库180中的数据。\n图2的存储服务器182被配置用于存储与视频会议相关的媒体。存 储服务器182负责存储在上一节中所述的媒体。在一个实施例中,存 储服务器182包含存储设备,诸如硬盘、磁带和DVD-ROM等等。对 所存储之媒体的访问可以通过一组应用程序编程接口(API)提供,该 API被定义用于访问那些可以由系统中的其它组件从存储服务器中检 索的媒体。在一个实施例中,存储服务器182接受用于视频会议用户 或参加者的网络连接,以便上载他们的媒体。用于将这些媒体上载到 存储服务器的示例性机制包括:简单的传输控制协议/网际协议 (TCP/IP)套接字连接、超文本传输协议(HTTP)文件上载协议、 简单的面向对象访问协议(SOAP/XML)、以及其它适用的网络传输 协议。图2的事件数据库180存储在视频会议期间记录的事件。此处 所用的事件的实例包括以下:会晤开始、会晤结束、媒体演示(诸如 POWERPOINT演示)的下一页、参加者上载的文档、参加者进入或 者退出会晤、每次特定参加者讲话、以及其它适用的参加者活动。应 当明白,此处所用的术语“会晤”和“视频会议”可以互换。在传统 的方案中,媒体(诸如POWERPOINT演示、视频剪辑)通常在一单 个应用,即组合的媒体播放器和控制器中播放。然而,该组合模块要 求用户为不同方法的媒体回放安装不同的应用。因此,组合的媒体播 放器和控制器可能会导致一些缺陷,举例而言,比如不同的媒体回放 方法要求使用不同程序来再现、以及记录与不同媒体相关的事件需要 专有程序。\n图3是根据本发明的一个实施例的、与媒体回放模块的客户和服务 器端组件相关的模块的简化原理图。媒体回放模块166包括播放器应 用168a和控制器应用170a。媒体回放模块166被配置成基于事件向图 2的媒体管理服务器请求观看视频会议的指定段。如上所述,播放器应 用模块168a和控制器应用模块170a是相应的媒体播放器模块168和媒 体控制器模块170的单独的应用,因此允许控制器应用模块指定将要 通过播放器应用模块168a观看的所存储之视频会议内容的位置,而无 需要求新的连接。在此,万维网服务服务器190接收来自控制器应用 170a的定位请求,然后传送一个控制器事件信号到媒体处理器模块 188,以改变正回放的媒体的位置。在一个实施例中,媒体处理器模块 188是一个代码段,用于内部解码视频并且为网络传输准备所解码的视 频。如上所述,存储服务器182存储由媒体处理器模块188访问的视 频会议数据。来自该媒体处理器模块188的数据通过实时协议(RTP) 会话管理器模块186被传送到播放器应用模块168a以供演示。应当明 白,用户可以移动滑动按钮192以便改变正通过播放器应用模块168a 演示的该视频会议的位置,其中该滑动按钮192可以通过图形用户界 面(GUI)提供。然而,由于通过移动滑动按钮192而改变视频会议数 据的位置,因此不必为了通过播放器应用模块168a来演示该视频会议 数据而定义新的连接。也就是说,在保持与播放器应用模块168a的连 接的同时,允许对实况视频流进行位置控制。在此,由于来自媒体管 理服务器的反馈通过控制器应用170a而前移,因此播放器应用模块 168a并不知道该位置改变。\n图4是一个简化的原理图,它图示了根据本发明的一个实施例,将 视频会议数据文件转换为通用文件格式。在此,视频会议文件192被 转换为通用文件格式194。在一个实施例中,通用文件格式是与扩展标 记语言(XML)相关的格式。对于本领域技术人员来说,显然XML 格式允许在分布式网络上共享该格式和二进制数据二者。转换为通用 文件格式使得能够通过各种各样的文件格式进行通信,这些格式例如 是:超文本标记语言(HTML)、联合图像专家组格式(JPEG)、便 携文档格式(PDF)以及无线标记语言(WML)。在一个实施例中, 视频会议文件192是幻灯片演示,例如POWERPOINT演示。\n图5是一个简化的原理图,它以图形示出了根据本发明的一个实施 例来构建事件数据库。在此,改变到幻灯片演示的下一页可能触发一 个可记录的事件,它被存储在事件数据库180中。此外,媒体分析模 块184可以处理所存储的视频内容并且产生事件,这些事件被存储在 事件数据库180中。\n图6是一个简化的原理图,它图示了根据本发明的一个实施例、将 索引关联到视频剪辑中。视频剪辑200可以是所存储的视频会议数据 的一个分段。这里,在某些时候,会在视频剪辑200中产生事件。例 如,在时间点t=0 202a表示视频剪辑200的开始。在时间点t=10 202b 一个事件发生。例如,可能在视频剪辑200中演示下一个幻灯片、演 示或者媒体。在时间点t=30 202c另一事件发生。例如,可能在视频剪 辑200中重新展示前一个幻灯片、演示或者媒体。相似地,对于时间 点t=50 202d和t=60 202e在视频剪辑200中产生相继的事件。在一个 实施例中,在t=0到t=60(202a到202e)的每个时间点可以在视频剪 辑200中插入标记或者索引。然后可以存储被索引的视频剪辑200。此 外,标记或者索引(即它们在视频剪辑中的对应位置)被存储在事件 数据库中。应当明白,图2的媒体分析服务器在视频剪辑中找到这些 位置以插入这些标记。例如,媒体分析服务器可以搜索关键字并且在 视频剪辑中对应于该关键字发生的地方将事件插入到事件数据库中。 此后,媒体回放播放器可以查询媒体管理服务器来产生标记,以便该 媒体播放器在回放期间跳到适当的视频剪辑或者视频剪辑段。因而, 用户可以基于所定义的标记或者任何其它期望的配置来观看会议。在 一个实施例中,用户通过参考图7所述的图形用户界面(GUI)来规定 怎样配置媒体的回放。此外,在这里所使用的标记和索引是可以互换 的。\n图7是根据本发明的一个实施例的、在一个显示屏幕上展现的用于 视频会议数据回放的图形用户界面(GUI)的示例性描述。GUI 204包 括区域206,在其中可以产生幻灯片演示。还包括区域208、210和212, 在其中分别显示音频、视频和文档数据。区域214提供了一个在其中 展示与视频流相关联的内容项列表的区域。在一个实施例中,区域214 可以包括缩略图214a,在其中包括了区域206的迷你版本。可替换地, 区域214可以是一些幻灯片的一个列表,用户可能能够点击它们以便 演示该幻灯片。因而,选择区域214中的一个内容项便触发在区域206、 208、210以及212中分别显示相应的媒体、音频、视频和文档数据。 应当明白,那些标记使得能够把相应信息定位到内容项选择。而且, 媒体播放器的分离形成了此处所述的媒体控制器,避免了当移动到所 存储的视频会议数据中的不同位置时打开或者关闭连接。也就是说, 来自媒体管理服务器的视频数据的反馈被前移到适当位置,而不需一 定要关闭当前信道且为下一个要被显示的视频流的分段打开新信道。\n图8是一个流程图,它图示了根据本发明的一个实施例、用于演示 所存储的视频会议数据的方法的操作。该方法以操作220开始,在操 作220中与视频会议演示相关的媒体格式被转换为通用格式视频会议 数据。在此,该数据可被转换为参考图4所述的通用格式。在一个实 施例中,与该媒体相关的原始二进制数据通过媒体共享客户应用而被 上载到媒体管理服务器。然后,所上载的二进制数据被处理并被转换 为通用媒体格式。然后,该方法前移到操作222,在其中通用格式视频 会议数据被存储。通用格式视频会议数据可以被存储在存储服务器 上,诸如图2和3所图示的存储服务器。然后,该方法前移到操作224, 在其中识别与所存储的视频会议数据相关的事件。然后,该方法移到 操作226,在其中表示这些事件的标记被插入到所存储的视频会议数据 中。例如,标记或者索引可以被插入到一个视频剪辑中,以便对应于 该视频剪辑中的事件的开始位置,如参考图6所述的。应当明白,这 些标记使得媒体管理服务器能够选择所存储视频会议数据中的期望分 段来演示。\n图8的方法然后前移到操作228,在其中对应于这些标记的所存储 之视频会议数据的分段被演示。在此,媒体回放单元被配置为使得能 够演示这些正被演示的分段,而不必在这些分段的演示之间关闭和重 新打开连接。也就是说,如果用户应决定演示某个参加者在讲话的视 频会议数据的每一点,那么,将不必为了前移到对应于正讲话的该参 加者的每个分段而建立一个新的连接。因而,消除了信号的不断的重 新建立和重新缓冲。\n总之,以上所述的本发明提供了用于视频会议系统的回放引擎。该 回放引擎分离了媒体控制器和媒体播放器,以避免与正演示的不连续 的视频段相关的连接变化。视频会议的二进制数据被存储在存储服务 器中,而媒体管理服务器从存储服务器以及媒体分析服务器中检索信 息以便最终为用户回放。用户可以根据其喜好来定制所存储之视频会 议数据的回放,这些喜好被传送到媒体管理服务器。\n把以上实施例记在心里,则应该知道本发明可以采用各种计算机实 施的操作,其中这些操作牵涉到存储在计算机系统中的数据。这些操 作是那些需要物理量的物理处理。通常,尽管并非必要,这些量仍可 以采取能够被存储、传输、组合、比较以及进行其它操作的电子信号 或者磁信号的形式。而且,所执行的处理通常以明确地指明,诸如制 作、识别、确定或者比较。\n本发明还可以被实现为计算机可读介质上的计算机可读代码。该计 算机可读介质是任意的数据存储设备,它能够存储以后可被计算机系 统读出的数据。该计算机可读介质还包括在其中合并了计算机代码的 电磁载波。计算机可读介质的例子包括:硬盘、网络附加的存储器 (NAS)、只读存储器、随机访问存储器、CD-ROM、CD-R、CD-RW、 磁带以及其它光学和非光学的数据存储设备。该计算机可读介质还可 以被分布在联网的计算机系统上,使得以分布的方式来存储和执行该 计算机可读代码。\n尽管为了理解上的清楚,以某些细节描述了上述的本发明,但是显 然可以在附加权利要求的范围内进行某些变换和修改。因此,本实施 例应被视为是示例性的而非限制性的,并且本发明并不限于此处给出 的细节,而是可以在附加权利要求的范围及等效范围之内进行修改。\n相关申请的交叉引用\n本申请相关于与本申请同日提交的、题为“注释管理系统(Annotation Manangement System)”的美国专利申请 US10/440,526(代理记录号 No.AP167HO)。本申请还相关于2002年7月10日提交的、题为“Multi -Participant Conference System With Controllable Content Ddlivery Using a Client Monitor Back-Channel(带有使用客户监控反向信道的可控内容传递的多 参加者会议系统)”的美国专利申请No.10/192,080。所涉及的这两份 申请在此引入以用于各种目的的参考。
法律信息
- 2017-06-30
未缴年费专利权终止
IPC(主分类): H04N 7/15
专利号: ZL 200410044751.X
申请日: 2004.05.17
授权公告日: 2006.11.01
- 2006-11-01
- 2005-02-02
- 2004-12-01
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |