用于富媒体交互展示的软件视频墙方法

1.一种用于富媒体交互展示的软件视频墙方法，其特征在于，包括如下步骤：
(1)准备需要在视频墙展示的富媒体内容，各对应一个mp4视频片段和一个jpg缩略图，并放置于计算机上某个目录下，同时将各个视频片段对应的标题、文本说明、行坐标、列坐标写入一个信息描述文件；
(2)准备好需要打包的富媒体内容后，通过“富媒体内容打包器”将所选择内容打包生成视频墙数据文件vwd(video wall data)，并生成对应的配置文件vwc(video wall configure)；
(3)打包后的富媒体内容送入“富媒体内容加载器”，由富媒体内容加载器对这些富媒体内容进行初始化，富媒体内容加载器会首先读取第(2)步生成的配置文件，然后根据这个配置文件逐一加载相应的内容，包括读取缩略图、标题、文本说明信息；
(4)初始化后，“视频墙引擎”正式启动工作，该引擎能够控制每个视频片段的播放、快进、快退、音量调节、声音开、声音关、暂停和停止八项操作。
2.根据权利要求1所述的富媒体交互展示的软件视频墙方法，其特征在于：每个富媒体内容包括对应的一个缩略图文件和一个视频文件，并且经过打包后，这些个缩略图文件和视频文件的二进制数据都被打包进同一个文件，文件后缀为vwd，并同时生成对应的视频墙配置文件vwc。
3.根据权利要求1所述的富媒体交互展示的软件视频墙方法，其特征在于：第(2)步所生成的配置文件还记录了每个内容初始化后的状态，状态包括：缩略图状态、播放状态。
4.根据权利要求1所述的富媒体交互展示的软件视频墙方法，其特征在于：通过富媒体内容加载器加载后，各个富媒体内容根据配置文件的描述，可处于缩略图状态，或处于播放状态，并根据鼠标或键盘输入，使每个内容可以状态转换。

用于富媒体交互展示的软件视频墙方法\n技术领域\n[0001] 本发明涉及一种用计算机软件渲染的、用于富媒体内容交互展示的软件视频墙方法。\n背景技术\n[0002] 随着计算机硬件技术的发展，各类视频应用层出不穷，并且计算机处理能力越来越强，使得在同一个计算机显示窗口中，能够同时进行多路视频节目的播放。\n[0003] 在传统的广播电视行业、视频监控行业就有视频墙的概念，即采用显示器/监视器堆叠的方式，同时进行多路视频的播放。采用这种矩阵式多路显示器同时播放的方法，可以扩展观看者/监控者的视野，提供更大的信息量。这种做法的目的更多是为了监控。\n发明内容\n[0004] 本发明所提供方法就是将传统的硬件的视频墙的方法，通过软件的形式实现，并且也不再是传统的监控目的，而是从艺术的角度来提升富媒体内容的展示效果，提供了富媒体内容展示的更多交互手段。\n[0005] 本发明的技术方案是：提供一种用计算机展示视频墙效果的方法，该方法会生成视频墙数据文件vwd(video wall data)和对应配置文件vwc(video wall configure)，播放的时候同时加载这个数据文件vwd和配置文件vwc，根据配置文件vwc的设置在计算机显示器中展示m*n个视频画面，每个视频画面独立呈现，且每个视频画面可以独立进行播放、快进、快退、音量调节、声音开关、暂停和停止等八项控制操作。\n[0006] 本视频墙方法由如下功能组件实现：(1)富媒体内容打包器；(2)富媒体内容加载器；(3)视频墙展示引擎。\n[0007] 用于富媒体交互展示的软件视频墙方法，包括如下步骤：\n[0008] (1)选择需要在视频墙展示的富媒体内容，这里“富媒体内容”是下列内容的组合：\n视频片段、缩略图、标题、文本说明；\n[0009] (2)准备好需要打包的富媒体内容后，通过“富媒体内容打包器”将所选择内容打包生成视频墙数据文件vwd，并同时生成对应的视频墙配置文件vwc；\n[0010] (3)打包后的富媒体内容送入“富媒体内容加载器”，由加载器对这些富媒体内容(m*n个)进行初始化，加载器会首先读取第(2)步生成的配置文件，然后根据配置文件逐一加载相应的数据内容，包括读取缩略图、标题、文本说明等信息；\n[0011] (4)初始化后，“视频墙引擎”正式启动工作，该引擎具备控制m*n个线程的能力，能够控制每个视频片段的播放、快进、快退、音量调节、声音开关、暂停和停止等八项操作。\n[0012] 视频墙矩阵的大小是m*n，其中m是视频墙的宽度，n是视频墙的高度，即展示这个视频墙需要m*n个富媒体内容。\n[0013] 配置文件还记录了每个内容初始化后的状态，状态包括：缩略图状态、播放状态。\n通过加载器加载后的富媒体内容处于初始状态，各个视频根据配置文件的描述，可处于缩略图状态，或处于播放状态。能够通过鼠标或键盘的输入信号控制视频墙中改变每个富媒体的状态。\n[0014] 视频墙配置文件是由“富媒体内容打包器”自动创建生成，并由“富媒体内容加载器”读取并初始化，是“视频墙引擎”操作富媒体内容的向导。视频墙配置文件是一个文本文件，包括如下四项信息：名称、视频墙行数、视频墙列数、富媒体内容列表。富媒体内容列表则包括m*n个富媒体内容的信息，每个富媒体内容有包括如下信息：ID、标题、文本说明、视频片段路径、缩略图路径、初始状态(缩略图状态或视频播放状态)。\n[0015] 有益效果：本发明中，将传统的硬件的视频墙的方法，通过软件的形式实现，并且也不再是传统的监控目的，而是从艺术的角度来提升富媒体内容的展示效果，提供了富媒体内容展示的更多交互手段。\n附图说明\n[0016] 图1为本发明的视频墙工作流程框图；\n[0017] 图2为视频墙引擎状态的转换示意图；\n[0018] 图3视频墙矩阵图；\n[0019] 图4视频墙配置文件图。\n具体实施方式\n[0020] 下面结合附图对本发明作进一步说明。\n[0021] 本发明所提供方法具体由三个功能组件实现，如图1所示。具体实施方式包括4个步骤：\n[0022] (1)准备富媒体文件\n[0023] 本步骤需要一台普通的PC计算机即可操作，在计算机硬盘上创建一个目录，用来放置富媒体文件的原始素材，这里用代号VIDEO_WALL_PATH来表示这个目录。将准备好的m*n个视频文件放置在VIDEO_WALL_PATH/video/这个目录下，视频文件的格式可以为任意标准的格式，这里以MP4格式为例说明。MP4视频编码格式为H.264，音频编码格式为AAC，关于MP4、H.264和AAC相关的标准可参考ISO以及MPEG组织相关文档。\n[0024] 接下来把每个视频对应的缩略图文件放置在VIDEO_WALL_PATH/pic/目录下，缩略图文件格式可以为任意标准的格式，这里以JPG格式为例说明。文件名与对应视频文件名一致，只是视频后缀名为mp4，缩略图后缀名为jpg，如果采用其他视频格式或图片格式，则其后缀名为对应视频或图片格式默认的后缀。\n[0025] 接下来还需要在VIDEO_WALL_PATH目录下创建一个META-INFO文件，即属性信息文件，用来记录这些视频文件的信息。META-INFO为信息描述文件，文件格式可以为XML或者其他任何格式，该文件记录了m*n个视频文件的属性信息，每个视频文件信息包括：\n[0026] ●视频文件计划所处的行坐标值；\n[0027] ●视频文件计划所处的列坐标值；\n[0028] ●文件ID；\n[0029] ●视频文件的标题\n[0030] ●视频文件的文本说明。\n[0031] 准备好m*n个视频内容、缩略图内容以及META-INFO文件后，目录VIDEO_WALL_PATH下的文件结构可能为：\n[0032] VIDEO_WALL_PATH/video/fileid(1).mp4\n[0033] VIDEO_WALL_PATH/video/fileid(2).mp4\n[0034] VIDEO_WALL_PATH/video/fileid(m*n).mp4\n[0035] VIDEO_WALL_PATH/pic/fileid(1).jpg\n[0036] VIDEO_WALL_PATH/pic/filei(2).jpg\n[0037] VIDEO_WALL_PATH/pic/fileid(m*n).jpg\n[0038] VIDEO_WALL_PATH/META-INFO\n[0039] 完成本步骤后，VIDEO_WALL_PATH目录下将有m*n个mp4视频文件，m*n个缩略图文件，1个META-INFO属性信息文件。\n[0040] (2)富媒体内容打包\n[0041] 本步骤将第(1)步骤准备的富媒体内容进行打包，“富媒体内容打包器”程序主要进行以下三项操作：原始素材检查，富媒体内容导入，打包输出、生成配置文件。\n[0042] 运行打包器程序，输入参数包括：原始素材目录、默认状态、默认CELL尺寸、输出文件ID，各输入参数说明如下：\n[0043] 原始素材目录：即步骤(1)中的目录VIDEO_WALL_PATH；\n[0044] 状态：将要生成的视频墙中，每个视频可以有两种初始化状态：缩略图状态和视频播放状态。如果这个视频的初始化状态为“缩略图状态”，则启动视频墙时，这个视频默认显示缩略图，使用外部人机输入触发时，才会转换到视频播放状态，启动视频的播放；如果这个视频的初始化状态为“视频播放状态”，则启动视频墙时，这个视频默认即启动视频播放，使用外部人机输入触发时，才会转换到缩略图状态，停止视频的播放并显示缩略图。关于状态的描述参看图2；\n[0045] 默认CELL尺寸：在视频墙中，一个视频播放窗口称为一个CELL，即一个视频墙有m*n个CELL，默认CELL尺寸则为每个CELL的展示大小，格式为宽*高单位为像素。这样，整个视频墙的大小即为m*n*宽*高。\n[0046] 输出文件ID：随机指定的一个标识符，最终生成的视频墙文件及其配置文件将用这个标识符命名，用来区分不同的视频墙文件，标识符由大小写英文字母(a-zA-Z)、阿拉伯数字(0-9)、下划线(_)、连字符(-)组成。\n[0047] 2.1)原始素材检查：\n[0048] 视频墙打包器程序首先根据输入参数“原始素材目录”，判断VIDEO_WALL_PATH目录下是否存在信息描述文件META-INFO，以及其格式是否正确，这个操作采用任何文件处理工具和文本信息解析器即可完成。\n[0049] 如果META-INFO属性信息文件存在，则通过文本文件解析器将相应信息加载入内存。然后按次序逐一取出文件ID字段的值，分别检测对应的mp4视频文件和jpg缩略图文件是否存在。相应的文件路径通过输入参数“原始素材目录”(VIDEO_WALL_PATH)和fileid即可组装完成，其中视频文件和缩略图文件的路径分别为：\n[0050] VIDEO_WALL_PATH/video/fileid.mp4\n[0051] VIDEO_WALL_PATH/pic/fileid.jpg\n[0052] 如果检查成功则转入下一步操作。\n[0053] 2.2)富媒体内容导入\n[0054] 经上步检查，打包器程序已经将信息描述文件所有信息加载入内存，然后根据信息描述文件的各个fileid字段值，将fileid值进行MD5散列计算，目的是将fileid标准化为32位MD5ID字符串，共生成m*n个标识符，并放置于内存；同时将m*n个mp4视频文件路径描述符信息、m*n个jpg缩略图文件路径描述符信息也加载入内存。\n[0055] 2.3)打包输出视频墙数据文件\n[0056] 打包器程序根据输入参数“输出文件ID”在本地硬盘创建文件“输出文件ID.vwd”，vwd为自定义文件后缀，表示视频墙数据文件，是video wall data的缩写，由于是新创建的文件，字节数为0。\n[0057] 打包器程序根据2.2步导入的信息：m*n个MD5ID标识符、mp4视频文件路径描述符、jpg缩略图文件路径描述符，逐一以文件流的方式加载相应的mp4视频文件和jpg缩略图文件，并写入文件“输出文件ID.vwd”。\n[0058] 写入的内容、顺序、最终的文件结构的详细描述为：\n[0059] 1)第1个字节为整数值，表示这个文件包含的富媒体内容数目，表示的数值为m*n的结果；\n[0060] 2)第2～33这32个字节表示第1个富媒体内容的ID，即对应的MD5ID标识符；\n[0061] 3)第34～37这4个字节表示第1个富媒体内容对应的缩略图文件的字节数pL1；\n[0062] 4)接下来的pL1个字节就是第1个富媒体内容对应的缩略图文件的原始二进制内容；\n[0063] 5)第(37+pL1)～(40+pL1)这4个字节表示第1个富媒体内容对应的视频文件的字节数vL1；\n[0064] 6)接下来的vL1个字节就是第1个富媒体内容对应的视频文件的原始二进制内容；\n[0065] 7)按上述2)、3)、4)、5)、6)的步骤，逐次写入第2个富媒体内容的ID、对应缩略图文件字节数pL2、对应缩略图文件二进制内容、对应视频文件字节数vL2、对应视频文件二进制内容；\n[0066] 8)其余富媒体内容同样按上述方式循环写入，直至全部写完m*n个缩略图和视频文件。\n[0067] 2.4)生成视频墙配置文件\n[0068] 打包器完成视频墙数据文件“输出文件ID.vwd”的打包写入后，将生成对应的视频墙配置文件，文件名同样为打包器程序的输入参数“输出文件ID”，文件后缀为vwc，表示视频墙配置文件，是video wall configure的缩写。该配置文件如图4所示，详细描述如下：\n[0069] 配置文件起始处记录了视频墙的全局信息：\n[0070] ●视频墙ID\n[0071] ●列数m\n[0072] ●行数n\n[0073] ●每个cell的大小，比如150x150像素\n[0074] 接下来循环记录每一个cell的详细信息，重复m*n次，信息结构如下：\n[0075] ●对应视频或缩略图文件的ID\n[0076] ●视频文件计划所处的行坐标值\n[0077] ●视频文件计划所处的列坐标值\n[0078] ●视频文件的标题\n[0079] ●视频文件的文本说明\n[0080] ●初始状态(0表示缩略图状态，1表示视频播放状态)\n[0081] 其中，初始状态的值可以是0(表示处于缩略图状态)或者1(表示处于视频播放状态)，其值来源于打包器程序的参数“默认状态”；cellsize的值来自打包器程序的输入参数“默认CELL尺寸”。配置文件生成之后，可以使用任何文本编辑器打开这个vwc文件，手动更改state的值。\n[0082] 经过以上2.1～2.4这4个步骤，将生成输出文件ID.vwd和输出文件ID.vwc这两个文件，分别是视频墙数据文件和视频墙配置文件。\n[0083] (3)富媒体内容加载\n[0084] 在PC计算机上启动“富媒体内容加载器”后，同时也会启动“视频墙引擎”程序，将视频墙引擎加载到计算机内存，用来下一步展示视频墙艺术效果。\n[0085] 加载器启动时，需要将步骤(2)输出的配置文件个打包后文件作为输入。加载器按照图4所示格式解析配置文件，然后根据ID(从配置文件中可获得)从打包文件中逐一读取缩略图文件和视频文件，读取方法为：\n[0086] 1)首先读取第一个字节，取得该视频墙中富媒体内容的总数；\n[0087] 2)接下来读取第一个富媒体文件相关的信息，先读取2~33这32个字节，获取该文件的ID；\n[0088] 3)然后读取34~37这4个字节，获取该富媒体对应缩略图文件的长度pL1；\n[0089] 4)然后从第38个字节开始，向后偏移pL1字节，即为该富媒体内容对应缩略图文件的内容；\n[0090] 5)然后再读取第(37+pL1)～(40+pL1)这4个字节，获取该富媒体内容对应的视频文件的长度vL1；\n[0091] 6)然后从41+pL1开始，向后偏移vL1字节，即为该富媒体内容对应的视频文件的内容；\n[0092] 7)依2)至6)步骤，顺序读取其余富媒体内容。\n[0093] 加载器完成加载后，对这些m*n个富媒体内容进行初始化，根据这个配置文件逐一加载相应的内容，包括读取缩略图、标题、文本说明等信息，并根据配置文件中的“初始状态”值来确定刚刚加载完成后富媒体内容的呈现方式，如果是缩略图状态，则对该富媒体先显示缩略图，否则直接播放视频内容；\n[0094] (4)视频墙呈现\n[0095] 初始化后，“视频墙引擎”正式启动工作，该引擎具备控制m*n个线程的能力，即每个cell对应一个mp4解码器(即播放器)或者jpeg解码器(即图片播放器)，其中mp4解码器能够控制每个视频片段的播放、快进、快退、音量调节、声音开关、暂停和停止等八项操作。视频墙的呈现效果如图3所示，为m*n矩形结构。每个CELL的大小都是一样的，均为x*y，单位像素，其中x为CELL的宽度，y为CELL的高度，x、y的值在视频墙配置文件中使用cellsize表示。\n[0096] 视频墙引擎初次呈现的富媒体内容处于初始状态，各个视频根据配置文件的描述，可能处于缩略图状态，也可能处于视频播放状态，参看图2。之后可以通过人机交互方式改变视频墙中每面墙的状态，人机交互的方式包括：鼠标控制、键盘控制、触摸屏控制。这三种控制方式的结果都是驱动计算机系统控制鼠标指针，并发出指令来操作某个cell的状态：\n[0097] 当指针进入到视频墙的某个cell并触发点击事件，如果该cell当前状态为缩略图，则视频墙引擎指令该cell转换状态到视频播放；\n[0098] 当指针进入到视频墙的某个cell并触发点击事件，如果该cell当前状态为视频播放，则视频墙引擎指令该cell转换状态到缩略图，自动停止视频播放并显示缩略图。\n[0099] 从缩略图状态转换为视频播放状态的操作方法为：停止相应cell中jpeg解码器的工作，并从计算机内存中清除jpg缩略图相应数据，然后加载该cell对应的mp4视频数据，加载完成后使用mp4解码器对相应数据进行解码和显示输出；\n[0100] 从视频播放状态转换为缩略图状态的操作方法为：停止相应cell中mp4解码器的工作，并从计算机内存中清除mp4视频相应数据，然后加载该cell对应的jpg缩略图数据，加载完成后使用jpeg解码器对相应数据进行解码和显示输出。\n[0101] 每个cell中视频片段的播放、快进、快退、音量调节、声音开关、暂停和停止等八项操作，均由该cell对应的mp4解码器(播放器)进行控制。