实现移动终端的丰富视频的方法

1.一种通信方法，包括在配备有摄像机的通信移动终端(2)上显示增强视频，所述增强视频包括真实拍摄的场景，在所述真实拍摄的场景内嵌入有与所述场景相关的附加视觉元素，所述方法包括以下操作：
-建立在移动终端(2)与远程通信系统(3)之间的媒体会话，所述远程通信系统(3)包括媒体服务器(4)，视频应用服务器(5)，增强现实服务器(6)和媒体对象数据库(7)，该媒体对象可以是音频对象、视频对象、文本、图像、或使用这些资源的组合的对象；
-终端利用摄像机对包括所述真实拍摄的场景的非增强视频进行拍摄；
-移动终端(2)向通信系统(3)实时地发送非增强视频；
-通信系统接收非增强视频；
-在通信系统(3)内对所拍摄的场景进行实时分析；
-在通信系统(3)的数据库中选择与所拍摄的场景有关的一个或多个附加媒体对象；
-使可以从终端激活的至少一个交互功能与所述附加媒体对象当中的至少一个对象相关联；
-将所选的对象或附加媒体对象添加到非增强视频中，以便形成增强视频；
-通信系统((3)向移动终端((2)实时地发送增强视频；
-终端(2)实时回放所述增强视频；
-终端(2)向通信系统(3)实时发送来自所述终端(2)的、通过用户在所述关联了交互功能的媒体对象上直接操作所确定的任何命令；
-通信系统(3)接收命令操作；
-通信系统((3)分析命令；
-通信系统(3)根据接收到的命令来更新至少一个媒体对象的显著特性；
-通信系统(3)向终端(2)实时地发送至少一个更新后的媒体对象；
-终端(2)实时地回放更新后的媒体对象；
-终端(2)实时地显示更新后的媒体对象。
2.根据权利要求1所述的方法，在接收到由通信系统(3)增强的视频与分析所拍摄的场景之间包括视频解码操作，根据未压缩的视频格式来执行分析。
3.根据权利要求1或2所述的方法，包括：终端(2)对媒体对象所提供的交互执行命令操作；以及通信系统(3)根据预先建立的情节对媒体对象的显著特性执行更新操作。
4.根据权利要求1或2所述的方法，其中，利用终端(2)的键盘(10)来激活命令操作。
5.一种通信系统(3)，包括：
-媒体服务器(4)，能建立与移动终端(2)的媒体会话；
-视频应用服务器(5)，连接至媒体服务器(4)，在所述视频应用服务器(5)上实现增强视频应用；
-媒体对象数据库(7)，连接至增强现实服务器(6)，该媒体对象可以是音频对象、视频对象、文本、图像、或使用这些资源的组合的对象；
-增强现实服务器(6)，连接至视频应用服务器(5)，根据来自视频应用服务器(5)的命令，被编程为：
-在经由媒体服务器(4)从移动终端(2)接收到的非增强视频内执行图像分析或执行与附加媒体内容相关联的命令分析；
-在通信系统(3)的数据库中选择与所拍摄的场景有关的一个或多个附加媒体对象；
-使可以从终端激活的至少一个交互功能与所述附加媒体对象当中的至少一个对象相关联；
-将所选的对象或附加媒体对象添加到非增强视频中，以便形成增强视频；
-向移动终端((2)实时地发送增强视频；
-在通信系统(3)中，根据预先建立的情节，基于所接收到的、来自所述终端通过用户在所述媒体对象上直接操作的命令来更新至少一个媒体对象的显著特性；
-向终端(2)实时地发送至少一个更新后的媒体对象。
6.根据权利要求5所述的通信系统(3)，还包括：编码器/解码器(8)，连接至增强现实服务器(6)和媒体服务器(4)，被配置为对经由媒体服务器(4)从移动终端(2)接收到的非增强视频进行解压缩，或相反对经由媒体服务器(4)发送至终端(2)的增强视频进行压缩。

实现移动终端的丰富视频的方法\n技术领域\n[0001] 本发明涉及电信领域，更具体地，涉及在移动终端上显示增强的视频。\n背景技术\n[0002] 尽管第二代(2G)移动网络将数字技术引入无线通信，然而具体地由于经由空中接口的提高的比特率(高达2Mbit/s)，具体由UMTS(通用移动电信系统)实现的第三代(3G)通过将之前已经为固线网络保留的通信服务并入移动网络中来确保固线网络与移动网络的融合。所支持的服务具体包括(除了语音以外还有)音频、视频、文本和图形，即，多媒体应用的基本元素。同时，移动终端的功能越来越强大，目前如同标准计算机一样工作，不仅可以实现运行在终端上的持久性应用，还可以实现运行在远程服务器上的非持久性应用，因为终端仅执行回放操作，如在视频应用中的显示(参见Pujolle，LesRéseaux，2008 version，Chap.43，pp.1004-1012)。\n[0003] 从而由于在无线电通信中终端的能力和比特率均提高，可以在3G终端上运行最初为固线网络设计的多媒体应用，在固线网络中不会发生在移动网络中遭遇的常规问题(网络可接入性、切换、数据传输时间)。同样的情况也适用于增强现实，增强现实是一种在来自现实的场景上叠加现实虚拟元素的技术。增强现实的一种应用是增强视频，其中利用诸如从多媒体数据库得到的文本或图像之类的视觉元素来实时地增强拍摄的场景(参见例如欧洲专利申请EP 1,527,599)。最近在配备有摄像机的移动终端中采用了这种技术：\n参见例如欧洲专利申请EP1,814,101或美国专利申请US 2007/0024527。\n[0004] 然而，所提出的解决方案经证实总体上并不令人满意。其中的大多数解决方案是理论上的，并且限于没有为用户提供实际交互的简单视觉元素(见上面提到的文献)。\n[0005] 事实上，文献EP 1,814,101和US 2007/0024527中描述的系统无法使得可以实时地(意味着在用户实际上察觉不到的时间内)整合增强的现实。\n发明内容\n[0006] 本发明旨在通过在移动终端上提供增强视频解决方案来克服这些缺陷，所述强视频解决方案可以实际应用在移动通信网络内并且准予用户进行真正的实时交互。\n[0007] 此外，本发明的目的在于能够被适配为适合大多数标准终端。\n[0008] 最后，本发明目的在于为用户提供一种装置，用于与增强的现实图像进行交互。\n[0009] 为此，本发明提出了一种通信方法，包括在配备有摄像机的通信移动终端上显示增强视频，所述增强视频包括真实拍摄的场景，在所述真实拍摄的场景内嵌入有与所述场景相关的附加视觉元素，所述方法包括以下操作：\n[0010] -建立在移动终端与远程通信系统之间的媒体会话；\n[0011] -终端利用摄像机对包括所述真实拍摄的场景的非增强视频进行拍摄；\n[0012] -移动终端向通信系统实时地发送非增强视频；\n[0013] -通信系统接收非增强视频；\n[0014] -在通信系统内对所拍摄的场景进行实时分析；\n[0015] -在通信系统的数据库中选择与所拍摄的场景有关的一个或多个附加媒体对象；\n[0016] -将终端激活的至少一个交互功能与所述附加媒体对象当中的至少一个对象相关联；\n[0017] -将所选的对象或附加媒体对象添加到非增强视频中，以便形成增强视频；\n[0018] -通信系统向移动终端实时地发送增强视频；\n[0019] -移动终端实时回放增强视频；\n[0020] -移动终端向通信系统实时发送从移动终端通过已经与交互功能相关联的附加媒体对象而作出的任何命令；\n[0021] -通信系统接收命令操作；\n[0022] -通信系统分析命令；\n[0023] -在通信系统内根据接收到的命令(例如根据预先建立的情节)来更新至少一个媒体对象的显著特性；\n[0024] -通信系统向终端实时地发送至少一个更新后的媒体对象；\n[0025] -终端实时地回放更新后的媒体对象；\n[0026] -终端实时地显示更新后的媒体对象。\n[0027] 在接收到由通信系统增强的视频与分析所拍摄的场景之间包括视频解码操作，根据未压缩的视频格式来执行分析。\n[0028] 利用终端的键盘来激活命令操作。\n[0029] 其次，本发明提出了一种通信系统，包括：\n[0030] -媒体服务器，能建立与移动终端的媒体会话；\n[0031] -视频应用服务器，连接至媒体服务器，在所述视频应用服务器上实现增强视频应用；\n[0032] -增强现实服务器，连接至媒体应用服务器，被编程为根据来自视频应用服务器的命令对经由媒体服务器从移动终端接收到的非增强视频内的图像进行分析或执行与附加媒体内容相关联的命令分析；\n[0033] -媒体对象数据库，连接至增强现实服务器。\n[0034] 该系统还包括：编码器/解码器，连接至增强现实服务器和媒体服务器，被配置为对经由媒体服务器从移动终端接收到的非增强视频进行解压缩，或相反对经由媒体服务器发送至终端的增强视频进行压缩。\n附图说明\n[0035] 通过参考附图来阅读说明书，本发明的其他目的和优点将变得显而易见，附图示出了根据本发明的网络架构和通信方法。\n[0036] 图1是本发明的系统结构图。\n具体实施方式\n[0037] 所示的网络架构1包括：移动终端2(移动电话、通信PDA或智能电话)经由空中接口连接至通信系统3，通信系统3包括媒体服务器4，媒体服务器4确保与终端2的媒体会话的建立；视频应用服务器5，连接至媒体服务器4，在视频应用服务器5上实现增强视频应用；增强现实服务器6，连接至视频应用服务器5；以及数据库7，连接至增强现实服务器\n6或者集成到增强现实服务器6中，在数据库7中保存多媒体数据。\n[0038] 本文中术语“服务器”是指能够并入功能的任何信息系统或者能够实现方法的任何计算机程序。\n[0039] 根据实施例，系统3还包括与增强现实服务器6和媒体服务器4连接的编码器/解码器8。\n[0040] 媒体服务器4和移动终端2被配置为(例如，根据RTP或H324m协议)在它们自己之间建立媒体会话，具体地使得可以实现视频/音频数据的交换。\n[0041] 移动终端2配备有摄像机，摄像机使得移动终端2可以产生简单(意味着非增强)视频，所述简单视频由摄像机前的终端环境中发生的真实场景构成。终端还配备有能显示视频的屏幕9、使用户能够输入命令的键盘10、使能回放在一定距离(意味着在将终端握在手臂距离处时)内可听见的声音的扬声器或者用于谨慎收听的耳机。所使用的数据传递协议被优选地选择为获得最大的数据传输速度，使得从用户的角度来看，不仅可以使从终端\n2产生的视频与显示增强视频的之间的时间最小化，而且可以是对交互的响应时间最小化。\n如果服务器获取视频或处理图像需要不可压缩的处理时间，则重要的是协议足够快速以至于接收、处理和发送回数据所花费的总时间不会被用户察觉到。\n[0042] 然后如下执行终端2上产生的视频的实时增强。\n[0043] 首先根据实时协议(例如，RTP或H324m)在终端2与通信系统3之间，更具体地，在终端2(主动地)与媒体服务器4之间建立(101)媒体会话。该会话本质上是双向的，包括音频和视频数据的实时传输，其中终端对输出数据进行编码(当数据进入空中接口时)并且对输入数据进行解码(当数据离开空中接口时)。\n[0044] 然后媒体服务器4立即向视频应用服务器5以信号通知(102)该媒体会话被启动，以便命令打开增强视频应用。\n[0045] 在终端2与媒体服务器4之间建立媒体会话期间，从终端2产生包括摄像机前发生的真实拍摄场景的非增强视频。\n[0046] 终端2向媒体服务器3实时发送(103)该视频。更准确地，当拍摄场景时，终端2根据适当的视频压缩标准(意味着实际上适于期望的压缩水平：因此，对于相对低的压缩水平，终端可以使用H.263标准；对于较高的压缩水平，终端2可以采用MPEG-4标准，对于非常高的压缩水平，终端可以采用H.264标准)对视频馈送进行编码，通过RTP分组将视频馈送发送至媒体服务器。因此，根据建立的对话，移动终端不断地拍摄的数据流被连续地发送至通信系统3。\n[0047] 一旦建立媒体会话或者根据应用服务器5的请求，媒体服务器4立即向增强视频应用服务器5以信号通知接收到视频的第一RTP分组，然后增强视频应用服务器5的增强视频应用将增强现实服务器6配置(104)为预期实现下述操作。\n[0048] 媒体服务器4通过RPT分组将非增强视频发送(105)至编码器/解码器8对非增强视频进行压缩，并以非压缩格式将非增强视频实时发送(106)至增强现实服务器6。所使用的非压缩格式与例如IETF的RFC4175标准相对应，并且使用RGB(红绿蓝)或YUV(也称作YCrCb)颜色定义。\n[0049] 然后增强现实服务器6实时分析(107)包含在视频中的拍摄场景。例如，将视频分解为多个图像，然后通过图像识别技术(如，Harris角点检测器技术)将每个图像与来自数据库7的图像相比较。从而将所分析的图像逐一与先前保存在数据库7中的图像进行匹配，匹配的结果与至少一个图像内容的媒体对象相关联。\n[0050] 该媒体对象可以是音频对象、视频对象、文本或图像(例如，3D虚拟现实图像)、或使用这些资源的组合的对象，所述媒体对象与预定的情节相关联，所述预定的情节是指在其选择的起点处与非增强视频的图像的相干规则。例如，如果作为媒体对象的车辆图像与数据库中车辆客厢的虚拟三维视频相关联，则情节可以由叠加到车辆的广告照片上的视图构成，并使得可以在视频拍摄期间根据终端的方位来实时地在空间内旋转视图。为此，增强现实服务器6对相应摄像机位置以及所分析的图像的实时跟踪使得可以在空间上旋转与摄像机方位同步的虚拟视图。\n[0051] 终端2还可以配备有加速度计，在实时的RTP流以及视频数据中包含所述加速度计的测量。\n[0052] 因此，增强现实服务器6然后将所选的媒体对象实时添加(107’)到非增强视频中，以形成非压缩格式的增强视频。\n[0053] 增强现实服务器6将以非压缩格式馈送的增强视频实时发送(108)至编码器/解码器8，编码器/解码器8以先前用过的交换格式(H.263、MPEG-4、H.264)来压缩所述增强视频，然后同样实时地将所述增强视频发送(109)至媒体服务器4。然后该媒体服务器4将增强视频实时中继(110)到终端2，终端2本地低确保实时的解压缩和回放。\n[0054] 从用户的观点来看，所拍摄的视频的增强是实时完成的，所述实时是指没有任何可感知到的延迟或者在亚秒时间段内。由于上面描述的体系架构所允许的信息处理速度，可以使增强视频的附加媒体对象与超出终端2移动的基本适配的交互功能相关联，可以根据用户的语音或例如通过键盘10上的键作出的手动命令来激活该交互功能，所述键盘10上的键可以时真实的或虚拟的。终端2将每个交互命令发送(111)至媒体服务器4，媒体服务器4将这些交互命令中继(112)至视频应用服务器5，然后视频应用服务器5经由器增强视频应用根据预先建立的情节来命令(113)更新增强现实服务器6内媒体对象的明显特性。\n[0055] 因此，用户可以直接作用于附加对象上，从而修改附加对象的特性：颜色、纹理、位置等，或使用对象自身提供的功能：播放广告消息、激活超链接等。例如，用户可以拍摄车辆并接收返回的车辆三维视图，用户可以根据需要来处理该三维视图(旋转、开门、检查客厢、改变颜色等)，该三维视图可能与商业信息相关联，所述商业信息可以是交互式的：价格、商人的联系地址、交货时间、商业网站的链接等等。\n[0056] 在一个具体实施例中，将上述功能中的一些集成到移动终端2中，以便减小由于数据传递时间而造成的延迟。因此，移动终端2可以例如并入编码/解码，以便向通信系统\n3发送已压缩的视频流，从而可以更快速地发送。\n[0057] 因此，上述方案提出了一种增强现实的在日常生活中有用的有效应用，可以不在第三代移动终端上实现任何具体附加功能的情况下在第三代移动终端上实现这种应用，大多数处理在远程通信系统内执行，远程通信系统的配置使得可以实时地执行视频增强操作。\n[0058] 该解决方案还使得可以基于增强视频来访问电子商务入口。\n[0059] 该方法特别应用在移动终端上发布的广告内容。事实上，在分析由移动终端2拍摄的场景之后，还与拍摄的场景相关联的媒体对象可以是跟广告有关的。\n[0060] 作为非限制性示例，如果移动终端2所拍摄的场景是打印的电影海报，则对应的附加媒体对象可以是该电影的广告视频序列，所述广告视频序列可以或可以不包含所拍摄的场景。可以与广告媒体内容相关联并且可以从移动终端2激活的交互特征的示例是：检索该电影的上映日期，进行预定，和/或请求与该电影有关的附加信息。\n[0061] 作为示例，如果移动终端2拍摄的真实场景包括机动车辆，则可以构思若干附加广告媒体对象；如，针对新车辆、配件、和/或汽车零件或服务的一段广告内容。\n[0062] 在这种情况下，与附加广告媒体对象相关联的交互功能可以具有文化、信息和/或商业用途。\n[0063] 在由通信系统3执行视频增强操作的情况下，该系统还可以用于收集与这些操作有关的信息。例如，该信息可以包括：\n[0064] -移动终端2与处理给定增强视频的通信系统3之间的通信会话的平均持续时间；\n[0065] -按时间单位与给定增强视频有关的通信会话的数目；\n[0066] -按区域与给定增强视频有关的通信会话的数目；\n[0067] -已经与属于最初预期群体的用户建立的通信会话的数目；\n[0068] -与移动终端3的用户有关的信息(电话号码、性别、年龄、姓、名等)。\n[0069] 该信息使得可以出于商业目的为附加媒体对象的所有者提供非常有用的统计数据。