数据处理装置和方法

1.一种数据处理设备，包括：
输入装置，用于输入内容描述数据，所述内容描述数据描述多个段和 得分，其中所述多个段的每一个表示由多个景物构成的媒体内容的一个景 物，并且所述得分根据媒体内容的上下文表示每个段的相对重要程度，所 述得分是媒体内容的属性信息；
选择装置，根据所述得分选择所述多个段中的一个。
2.权利要求1的数据处理设备，其中所述多个段是分层描述的。
3.权利要求1的数据处理设备，其中内容描述数据包括附加信息。
4.权利要求1的数据处理设备，其中媒体内容对应于视频数据和/或音 频数据。
5.权利要求1的数据处理设备，其中用于链接到表示段的主要数据的 链接信息被提供给每个段。
6.权利要求5的数据处理设备，其中主要数据是文本数据、图像数据 和/或音频数据。
7.一种数据处理方法，包括以下步骤：
输入内容描述数据，所述内容描述数据描述多个段和得分，其中所述 多个段的每一个表示由多个景物构成的媒体内容的一个景物，并且所述得 分根据媒体内容的上下文表示每个段的相对重要程度，所述得分是媒体内 容的属性信息；和
根据所述得分选择所述多个段中的一个。
8.权利要求7的数据处理方法，其中所述多个段是分层描述的。
9.权利要求7的数据处理方法，其中内容描述数据包括附加信息。
10.权利要求7的数据处理方法，其中媒体内容对应于视频数据和/或 音频数据。
11.权利要求7的数据处理方法，其中用于链接到表示段的主要数据的 链接信息被提供给每个段。
12.权利要求11的数据处理方法，其中主要数据是文本数据、图像数 据和/或音频数据。
13.如权利要求1所述的数据处理设备，其中，所述输入装置输入的 内容描述数据描述多个段和得分，所述多个段的每一个表示由多个景物和 描述景物边界的时间信息构成的媒体内容的一个景物，所述多个景物按照 景物边界由时间划界，并且所述得分表示描述景物边界的时间信息和根据 媒体内容的上下文表示每个段的相对重要程度。
14.权利要求13的数据处理设备，其中所述多个段是分层描述的。
15.权利要求13的数据处理设备，其中内容描述数据包括附加信息。
16.权利要求13的数据处理设备，其中媒体内容对应于视频数据和/ 或音频数据。
17.权利要求13的数据处理设备，其中用于链接到表示段的主要数据 的链接信息被提供给每个段。
18.权利要求17的数据处理设备，其中主要数据是文本数据、图像数 据和/或音频数据。
19.权利要求13的数据处理设备，其中时间信息包括每个景物的开始 时间和结束时间。
20.权利要求13的数据处理设备，其中时间信息包括每个景物的开始 时间和持续时间。
21.如权利要求7所述的数据处理方法，其中所述输入的内容描述数 据描述多个段和得分，其中所述多个段的每一个表示由多个景物和描述景 物边界的时间信息构成的媒体内容的一个景物，所述多个景物按照景物边 界由时间划界，并且所述得分表示描述景物边界的时间信息和根据媒体内 容的上下文表示每个段的相对重要程度。
22.权利要求21的数据处理方法，其中所述多个段是分层描述的。
23.权利要求21的数据处理方法，其中内容描述数据包括附加信息。
24.权利要求21的数据处理方法，其中媒体内容对应于视频数据和/ 或音频数据。
25.权利要求21的数据处理方法，其中用于链接到表示段的主要数据 的链接信息被提供给每个段。
26.权利要求25的数据处理方法，其中主要数据是文本数据、图像数 据和/或音频数据。
27.权利要求21的数据处理方法，其中时间信息包括每个景物的开始 时间和结束时间。
28.权利要求21的数据处理方法，其中时间信息包括每个景物的开始 时间和持续时间。

技术领域\n本发明涉及一种媒体内容数据处理装置、一种数据处理方法，所有的 这些都涉及诸如运动图像、视频节目或音频节目的连续音频可视数据(媒体 内容)的观察、播放以及传送，其中，仅仅播放和传送媒体内容高亮度景物 的提要或观众所希望的媒体内容的景物。\n背景技术\n传统的媒体内容在独立文件存储媒体内容的基础上被传统地播放、传 送或存储。\n如在日本未授权专利申请No.Hei-10-111872中所描述的，根据提取 一个运动图像特定景物的方法，检测在两个运动图像的景物(此后称之为 “景物分割”)之间变化。诸如开始帧的时间码、结束帧的时间码和所述景 物关键字的附加数据被加到每个景物分割上。\n作为一种替换方法，Carnegie Mellon大学(CMU)试图通过检测一个运 动图像的景物分割、检测人的面孔或解释字幕和经过语音识别检测一个索 引短语概括一个运动图像[Mochael A.Smith和Takeo KANADE“经过图像和 语言增强组合的视频剪辑和特性”CMU-CS-97-111，97年2月3日]。\n当以每个文件为基础播放所述运动图像时，观察所述运动图像的提要 是不可能的。此外，即使当提取一个亮度景物或用户所希望的多个景物时， 也必须从媒体内容的头开始搜索所述景物或所述多个景物。此外，在传送 一个运动图像的情况下，一个文件的所有数据集都必须被传送，从而需要 很长的传送时间。\n根据在日本未授权专利申请No.Hei-10-111872中描述的方法，通过使 用一个有助于提取用户所希望的景物的关键字能够提取多个景物。所述附 加数据不包括所述景物之间的关系或联系。由于这个原因，所述方法在提 取例如一个故事的子情节方面遇到很多困难。此外，当仅仅在一个关键字 的基础上提取景物时，用户在获得对于在了解景物上下文非常重要的知觉 方面遇到很多困难。因此，一个提要或高亮度景物的准备变得非常困难。\n由CMU开发的方法能够概括一个运动图像。但是，这种概括导致了单 一、固定模式的摘要。由于这个原因，将一个运动图像概括成需要不同播 放时间的摘要、例如假设播放时间为三或五分钟的摘要是困难的。此外， 概括用户所希望的例如选择包括一个特定字符的景物的运动图像也是困 难。\n发明内容\n本发明的一个目的是提供一种能够在媒体内容播放时间内仅仅选择、 播放和传送一个提要、一个高亮度景物或观众希望景物的装置。\n本发明的另一个目的是提供一种能够在用户所希望的时间周期内、在 选择一个提要、高亮度景物或所希望的景物的时间处播放一个提要、一个 高亮度景物或观众希望的景物的装置。\n本发明的再一个目的是提供一种在传送媒体内容的期间内在用户所希 望的时间周期内、在用户请求时仅仅传送所述提要、高亮度景物或用户所 希望的景物集的装置。\n本发明的再一个目的是提供一种根据用户赖以和服务器建立通信的线 的繁忙程度控制将被传送的数据量的装置。\n为了解决现有技术存在的问题，根据本发明的一个方面，提供了一种 数据处理设备，包括：输入装置，用于输入内容描述数据，所述内容描述 数据描述多个段和得分，其中所述多个段的每一个表示由多个景物构成的 媒体内容的一个景物，并且所述得分根据媒体内容的上下文表示每个段的 相对重要程度，所述得分是媒体内容的属性信息；选择装置，根据所述得 分选择所述多个段中的一个。\n本发明还提供一种数据处理方法，包括以下步骤：输入内容描述数据， 所述内容描述数据描述多个段和得分，其中所述多个段的每一个表示由多 个景物构成的媒体内容的一个景物，并且所述得分根据媒体内容的上下文 表示每个段的相对重要程度，所述得分是媒体内容的属性信息；和根据所 述得分选择所述多个段中的一个。\n根据上述的数据处理设备，其中，所述输入装置输入的内容描述数据 描述多个段和得分，所述多个段的每一个表示由多个景物和描述景物边界 的时间信息构成的媒体内容的一个景物，所述多个景物按照景物边界由时 间划界，并且所述得分表示描述景物边界的时间信息和根据媒体内容的上 下文表示每个段的相对重要程度。\n根据上述的数据处理方法，其中所述输入的内容描述数据描述多个段 和得分，其中所述多个段的每一个表示由多个景物和描述景物边界的时间 信息构成的媒体内容的一个景物，所述多个景物按照景物边界由时间划界， 并且所述得分表示描述景物边界的时间信息和根据媒体内容的上下文表示 每个段的相对重要程度。\n因此，本发明可以从所述媒体内容中任意选择更加重要的景物，和被 如此选择的重要段能够被提取或播放。\n在本发明的数据处理装置、数据处理方法中，一个得分表示媒体内容 上下文的重要程度。只要设置了这个得分去选择重要的景物，就可以例如 很容易地集合一个节目的重要景物。\n此外，只要设置了所述得分去表示从关键字的角度出发感兴趣的景物 的重要性，通过确定一个关键字可以高度灵活地选择多个段。例如，只要 从一个特定的观点出发确定了诸如一个字符或一个事件的关键字，那么， 只有用户所希望的景物才能够被选择。\n在本发明的数据处理装置、数据处理方法中，所述媒体内容对应于视 频数据和/或音频数据，所述上下文描述数据描述各视频数据集和/或音频 数据集的结构。所述视频选择装置(对应于所述视频选择步骤)通过参考与 视频数据相关的上下文描述数据选择一个景物。所述音频选择装置(对应于 所述音频选择步骤)通过参考与音频数据相关的上下文描述数据选择一个 景物。\n在媒体内容被分割为例如多个信道和多个层以及不同的媒体数据集被 指定给所述信道和所述层的情况下，所述选择装置(对应于所述选择步骤) 能够选择适当数量的媒体数据。在多个信道和层的情况下，具有标准分辨 率的视频数据可以被指定给信道-1/层-1以传输一个运动图像，具有高分辨 率的视频数据可以被指定给信道-1/层-2。另外，立体声数据可以被指定给 信道-1以传输声音数据，单声道数据可以被指定给信道-2。\n附图说明\n图1的框图示出了根据本发明第一实施例的数据处理方法；\n图2示出了根据所述第一实施例的上下文描述数据的结构；\n图3示出了根据所述第一实施例在计算机中用于使用XML描述上下文 描述数据的文件类型定义(DTD)的例子的一部分，以及根据所述第一实施例 使用DTD描述的上下文描述数据的例子的一部分；\n图4-9示出了图3所示例子的上下文描述数据的接续部分；\n图10示出了通过向图3-9所示上下文描述数据附加表示数据形成的 XML文件的例子的一部分，以及用于在计算机中描述上下文描述数据的以可 扩充置标语言(XML)描述的DTD的例子的一部分；\n图11-21示出了图10所示上下文描述数据的接续部分；\n图22用于描述根据所述第一实施例用于指定重要程度的方法；\n图23的流程图示出了根据第一实施例与所述选择步骤相关的处理；\n图24的框图示出了根据第一实施例的提取步骤的构成；\n图25的流程示出了根据第一实施例在所述提取步骤中由去多路复用装 置执行的处理；\n图26的流程示出了根据第一实施例在所述提取步骤中由视频剪辑装置 执行的处理；\n图27示出了MPEG-1视频数据流的结构；\n图28的流程示出了根据第一实施例在所述提取步骤中由音频剪辑装置 执行的处理；\n图29示出了所述MPEG-1音频数据流的AAU的结构；\n图30的框图示出了根据第一实施例的媒体处理方法的应用；\n图31示出了根据本发明第二实施例的重要程度的处理；\n图32的流程示出了根据所述第二实施例与所述选择步骤相关的处理；\n图33的流程示出了根据本发明第三实施例与所述选择步骤相关的处 理；\n图34用于描述根据本发明第四实施例指定重要程度的方法；\n图35的流程示出了根据本发明第四实施例与所述选择步骤相关的处 理；\n图36的框图示出了根据本发明第五实施例的媒体处理方法，\n图37示出了根据本发明第五实施例结构描述数据的结构；\n图38示出了根据本发明第五实施例上下文描述数据的结构；\n图39示出了根据第五实施例在计算机中使用XML描述结构描述数据的 文件类型定义(DTD)的例子的一部分，以及根据本发明第五实施例一个XML 文件的一个例子；\n图40示出了根据第五实施例在计算机中使用XML描述所述上下文描述 数据的文件类型定义(DTD)的例子的一部分，以及根据第五实施例一个XML 文件的例子的前一半；\n图41-45示出了图40所示上下文描述数据的接续部分；\n图46示出了根据第五实施例的选择步骤输出的一个例子；\n图47的框图示出了根据第五实施例的提取步骤；\n图48的流程示出了根据第五实施例在所述提取步骤中由接口装置执行 的处理；\n图49示出了根据第五实施例在所述选择步骤中当在所述提取步骤中提 供的所述接口装置转换所述输出时所产生结果的一个例子；\n图50的流程示出了根据第五实施例在所述提取步骤中由所述去多路复 用装置执行的处理；\n图51的流程示出了根据第五实施例在所述提取步骤中由所述视频剪辑 装置执行的处理；\n图52的流程示出了根据第五实施例在所述提取步骤中由所述音频剪辑 装置执行的处理；\n图53的另一个流程图示出了根据第五实施例在所述提取步骤中由所述 视频剪辑装置执行的处理；\n图54的框图示出了根据本发明第六实施例的数据处理方法；\n图55的框图示出了根据第六实施例的形成步骤和传送步骤；\n图56的框图示出了根据本发明第七实施例的媒体处理方法；\n图57示出了根据第五实施例上下文描述数据的结构；\n图58示出了根据第七实施例在计算机中使用XML描述上下文描述数据 的文件类型定义(DTD)的例子的一部分，以及根据第七实施例使用XML描述 的上下文描述数据的例子的一部分；\n图59-66示出了图58所示上下文描述数据的接续部分；\n图67示出了通过将表示数据附加到图58-66所示上下文描述数据上形 成的XML文件的例子的一部分，以及在计算机中以用于描述所述上下文描 述数据的XML描述的DTD的例子的一部分；\n图68-80示出了图67所示上下文描述数据的接续部分；\n图81的流程示出了根据第七实施例与所述选择步骤相关的处理；\n图82的框图示出了根据第七实施例所示媒体处理方法的应用；\n图83的流程示出了根据本发明第八实施例与所述选择步骤相关的处 理；\n图84的流程示出了根据本发明第九实施例与所述选择步骤相关的处 理；\n图85的流程示出了根据本发明第十实施例与所述选择步骤相关的处 理；\n图86的框图示出了根据本发明第十二实施例的数据处理方法；\n图87示出了根据本发明第十二实施例上下文描述数据的结构；\n图88示出了根据第五实施例在计算机中使用XML描述上下文描述数据 的文件类型定义(DTD)的例子的一部分，以及根据第五实施例一个XML文件 例子的一部分；\n图89-96示出了图88所示上下文描述数据的接续部分；\n图97的框图示出了根据本发明第十三实施例的数据处理方法；\n图98的框图示出了根据本发明第十四实施例的数据处理方法；\n图99的框图示出了根据本发明第十五实施例的数据处理方法；\n图100的框图示出了根据本发明第十六实施例的数据处理方法；\n图101的框图示出了根据本发明第十七实施例的数据处理方法；\n图102示出了多个信道和多个层；\n图103示出了使用XML描述结构描述数据的文件类型定义(DTD)的例子 的一部分，以及在DTD中描述的结构描述数据的例子的一部分；\n图104示出了在图103中所示结构描述数据的接续部分；\n图105的流程示出了根据本发明第十七实施例在例1中与确定步骤相 关的处理；\n图106的流程示出了根据第十七实施例在例1的确定步骤中响应用户 请求将被执行的确定处理；\n图107的流程示出了根据第十七实施例在例1的确定步骤中与视频数 据相关的确定处理；\n图108的流程示出了根据第十七实施例在例1的确定步骤中与声音数 据相关的处理；\n图109的流程示出了根据本发明第十七实施例与例2中的确定步骤相 关的处理的前一半；\n图110的流程示出了根据本发明第十七实施例与例2中的确定步骤相 关的处理的后一半；\n图111的流程示出了根据本发明第十七实施例与在例3中的确定步骤 相关的处理；\n图112的流程示出了根据第十七实施例与在例3的确定步骤中的视频 数据相关的确定处理；\n图113的流程示出了根据第十七实施例与在例3的确定步骤中的声音 数据相关的确定处理；\n图114的流程示出了根据本发明第十七实施例与在例4中的确定步骤 相关的处理的前一半；\n图115的流程示出了根据本发明第十七实施例与在例4中的确定步骤 相关的处理的后一半；\n图116的流程示出了根据第十七实施例在例4的确定步骤中响应一个 用户请求而执行的确定处理；\n图117的流程示出了根据第十七实施例在例4的确定步骤中与视频数 据相关的确定处理；\n图118的流程示出了根据第十七实施例在例4的确定步骤中与声音数 据相关的确定处理；\n图119的流程示出了根据第十七实施例与在例5中的确定步骤相关的 处理的前一半；\n图120的流程示出了根据第十七实施例与在例5中的确定步骤相关的 处理的后一半；\n图121的流程示出了根据第十七实施例在例5的确定步骤中响应一个 用户请求而执行的确定处理；\n图122的框图示出了根据本发明第十八实施例的数据处理方法；\n图123的框图示出了根据本发明第十九实施例的数据处理方法；\n图124的框图示出了根据本发明第二十实施例的数据处理方法；\n图125的框图示出了根据本发明第二十一实施例的数据处理方法；\n图126的框图示出了根据本发明第二十二实施例的数据处理方法；\n图127示出了将被合并有所述上下文数据和所述结构描述数据的DTD 的例子和XML文件的例子；\n图128-132示出了图127所示XML文件的接续部分；\n图133示出了根据本发明第十一实施例上下文描述数据的结构；\n图134示出了在第十一实施例中使用的一个观点；\n图135示出了根据第十一实施例的重要程度；\n图136示出了用于使用将被用于在计算机中表达上下文描述数据的 XML描述第十一实施例的上下文描述数据的DTD的一个例子，和以XML描述 的所述的部分上下文描述数据的例子；\n图137-163示出了图136所示上下文描述数据的接续部分；\n图164示出了用于使用将被用于在计算机中表达所述上下文数据的 XML描述第十一实施例的所述上下文描述数据的DTD的另一个例子，和以 XML描述的所述部分上下文描述数据的例子；\n图165-196示出了图164所示上下文描述数据的接续部分；\n图197示出了根据本发明第十一实施例所述上下文描述数据的另一种 结构；\n图198示出了用于使用将被用于在计算机中表达所述上下文描述数据 的XML描述第十一实施例的所述上下文描述数据(对应于图197)的DTD的一 个例子，和以XML描述的部分上下文描述数据的例子；\n图199-222示出了图164所示上下文描述数据的接续部分；\n图223示出了用于使用将被用于在计算机中表达所述上下文描述数据 的XML描述第十一实施例所述上下文描述数据(对应于图197)的DTD的一个 例子，和以XML描述的部分上下文描述数据的一个例子；和\n图224-252示出了图164所示上下文描述数据的接续部分。\n具体实施方式\n下面将结合附图描述本发明的实施例。\n                       第一实施例\n下面将描述本发明的第一实施例。在该实施例中，MPEG-1系统的数据 流的运动图像被用做所述媒体内容。在这种情况下，一个媒体段对应于一 个单一景物分割，一个得分表示感兴趣景物上下文重要性的客观程度。\n图1的框图示出了根据本发明第一实施例的数据处理方法。在图1中， 标号101指出所述选择步骤；标号102指出所述提取步骤。在选择步骤101 中，从所述上下文描述数据中选择媒体内容的一个景物，并输出所述景物 的开始时间和结束时间。在提取步骤102中，提取与由在选择步骤101中 输出的开始时间和结束时间规定的一个媒体内容段相关的数据。\n图2示出了根据所述第一实施例的所述上下文描述数据的结构。在该 实施例中，所述上下文是根据三种结构描述的。三种结构内的元素是按照 年月顺序从左向右排列的。在图2中，被指定树的根<内容>表示一个单 一的内容部分，所述内容的题目被作为属性指定给所述根。\n利用<节>指定<程序>的子(程序)。表示感兴趣景物上下文重要程 度的优先级被作为属性附加到所述元素<节>上。所述重要程度假设是从1 到5的整数值，其中，1表示最小重要程度和5表示最大重要程度。\n利用<节>或<段>指定<节>的子(节)。这里，元素<节>可以被 用做另一个子<节>的子<节>。但是，单一元素<节>不能具有子<节> 和子<段>的混合物。\n一个元素<段>表示一个单一的景物分割，并且，指定给它的优先级 与指定给其母<节>的优先级相同。附加给<段>的属性是表示开始时间 的“开始”和表示结束时间的“结束”。使用商业上可以得到的软件或经过 网络可以得到的软件可以对景物进行切割。另外，也可以使用人工对所述 景物进行切割。虽然在当前实施例中是按照一个景物分割的开始时间和结 束时间表示时间信息的，但是，当按照感兴趣景物的开始时间和该感兴趣 景物的持续时间表示时间信息时也能够实现类似的结果。在这种情况下， 感兴趣景物的结束时间是通过将所述持续时间加到开始时间上获得的。\n在诸如一个电影故事的情况下，通过使用在多层分级段内的元素<节>， 在所述上下文描述数据的基础上可以描述所述故事的章、节和段落。在另 外一个例子中，当描述棒球游戏时，在最高分级中的元素<节>可以被用 于描述局，它们的子<节>可以被用于描述半局。另外，所述元素<节> 的第二代<节>可以被用于描述各棒球手的挥棒，所述元素<节>的第三 代<节>还可以被用于描述每次投掷、两次投掷之间的时间周期和挥棒结 果。\n具有这种结构的上下文描述数据在计算机中可以使用例如可扩充的置 标语言(XML)表示。所述XML是一种数据描述语言，它的标准化是万维网联 盟(World Wide Web Consortium)所追求的目标。推荐版1.0是在1998年2 月10推荐的。XML1.0版的说明可以从 http：//WWW.W3.org/TR/1998/rec-XM1-19980210中获得。图3到图9示出 了根据本发明用于使用XML描述所述上下文描述数据的文件类型定义(DTD) 的一个例子，和使用DTD描述的上下文描述数据的一个例子。图10到图9 示出了通过将诸如表示图像(即视频数据)和关键字(音频数据)的媒体段的 表示数据附加到图3到图9所示上下文描述数据上所准备的上下文描述数 据的一个例子和用于使用XML描述所述上下文描述数据的DTD的一个例子。\n下面将描述与选择步骤101相关的处理。与所述选择步骤101相关的 处理特别涉及上下文描述数据的格式和将一个得分指定给每个景物的上下 文内容的方法。在当前的实施例中，与所述选择步骤101相关的处理仅仅 是针对具有子<段>的元素<节>执行的，如图22所示(图23所示的步骤 S1、S4和S5)。选择其优先级超过某个阈值的元素<节>(图23所示的步 骤S2)，并输出如此选择的元素<节>的开始时间和结束时间(图23所示的 步骤S3)。指定给具有子<段>的所述元素<节>的优先级对应于所述内容 内所有元素<节>当中共享的重要程度，所述元素<节>中的每一个都具 有子<节>。具体地说，图22中被虚线包围的元素<节>当中共享的重要 程度设置为优先级。指定给除了前面元素<节>以外的元素<节>和<段> 的优先级可以任意设置。所述重要程度并不是必须设置从而假设一个唯一 值，相同的重要程度可以被指定给不同的元素。图23的流程示出了根据第 一实施例所述选择步骤101相关的处理。考虑到被如此选择的元素<节>， 由所述元素<节>表示的景物的开始时间和结束时间可以根据是被如此选 择的元素<节>的子节的元素<段>确定。输出被如此确定的开始时间和 结束时间。\n虽然在当前实施例中所述选择是针对其中的每一个都具有子<段>的 元素<节>执行的，但是，所述选择也可以针对元素<段>执行。在这种 情况下，优先级对应于在所述内容内所有元素<段>当中共享的重要程度。 另外，选择也可以针对来自不具有子<段>的较高分级的元素<节>当中 相同分级的元素<节>执行。具体地说，所述选择可以针对在从给定母<内 容>或给定子<段>开始计数的相同路径号中的元素<节>执行。\n现在参考图24描述与所述提取步骤102相关的处理。图24的框图示 出了根据所述第一实施例的提取步骤102。如图24所示，根据该第一实施 例的提取步骤102是由去多路复用装置601、视频剪辑装置602和音频剪辑 装置603实现的。在当前的实施例中，MPEG-1系统数据流被取作为媒体内 容。所述MPEG-1数据流是通过将一个视频数据流和一个音频数据流多路复 用到一个单一的数据流中形成的。去多路复用装置601将所述视频数据流 和音频数据流从被多路复用的系统数据流中分离出来。视频剪辑装置602 接收被如此分离的视频数据流和在所述选择步骤101中所选择的一个段， 并从所接收的视频数据流中仅仅输出与被如此选择的段相关的数据。音频 剪辑装置603接收被分离的音频数据流和在选择步骤101中所选择的所述 段，并从所接收的音频数据流中仅仅输出与所选择段相关的数据。\n下面参考附图描述由去多路复用装置601执行的处理。图25的流程示 出了由去多路复用装置601执行的处理。多路复用所述MPEG-1系统数据流 的方法符合国际标准TSO/IEC IS 11172-1标准化。借助于将所述视频和音 频数据流分割成被称之为包的适当长度的数据流和将诸如标题的附加信息 附加到每个包上，视频数据流和音频数据流被多路复用到一个包中。多个 视频数据流和多个音频数据流也可以以相同的方式被多路复用到一个单一 的信号中。在每个包的标题中，都描述了一个用于将一个包识别为视频数 据流或音频数据流的数据流ID和一个用于将视频数据引入到与所述音频数 据同步的时间戳。所述数据流ID不局限用于将一个包识别为视频数据流或 音频数据流。当多个视频数据流被多路复用时，所述数据流ID可以被用于 从多个视频数据流中识别具有感兴趣包的视频数据流。类似的，当多个音 频数据流被多路复用时，所述数据流ID可以被用于从所述多个音频数据流 中识别具有感兴趣包的音频数据流。在所述MPEG-1系统中，多个包被处理 成一个单一的包，和用作用于执行同步播放的基准时间的多路复用速率和 附加信息被作为标题附加到所述包上。此外，与被多路复用的视频和音频 数据流的数量相关的附加信息被作为系统标题附加到所述头一个包上。去 多路复用装置601从所述头一个包的系统标题中读出被多路复用的视频和 音频数据流的数量(S1和S2)并保证用于存储各数据流的数据集的数据位置 (S3和S4)。然后，去多路复用装置601检查每个包的数据流ID并将包括 在所述包中的数据写入到存储由所述数据流ID规定的数据流的数据位置中 (S5和S6)。所有的包都被进行上述处理(S8、S9和S10)。在所有的包都被 进行了上述处理之后，在每个数据流的基础上视频数据流被输出给视频剪 辑装置602，音频数据流以相同的方式被输出给音频剪辑装置603(S11)。\n下面将描述视频剪辑装置602的操作。图26的流程示出了由视频剪辑 装置602执行的处理。所述MPEG-1系统数据流是被国际标准ISO/IEC IS 11172-2标准化的。如图27所示，所述视频数据流包括一个顺序层、一个 图像组层(GOP)、一个图像层、一个位片层、一个宏数据块层和一个数据块 层。在是最小单元的GOP层的基础上进行随机存取，包括在所述图像层中 的每个层对应于一个单一帧。视频剪辑装置602在每个GOP的基础上处理 数据。用于对输出帧的数量进行计数的计数器C被初始化为0(S3)。首先， 视频剪辑装置602确认所述视频数据流的标题对应于所述顺序层的标题(S2 和S4)并存储包括在所述标题中的数据(S5)。接着，所述视频剪辑装置输出 所述数据。在后续的处理期间所述顺序层的标题可以出现。除非所述值涉 及到一个量化矩阵，否则所述标题的值被允许改变。因此，每当输入所述 顺序标题时，被输入标题的值与所存储标题的值进行比较(S8和S14)。如 果所输入的标题在除了与所述量化矩阵相关的值以外的值方面与所存储的 标题不同，所输入的标题将被认为是错误的(S15)。接着，所述视频剪辑装 置602检测输入数据GOP层的标题(S9)。在所述GOP层的标题中描述了与 一个时间码相关的数据(S10)，该时间码描述从所述顺序的标题开始已经逝 去的时间周期。视频剪辑装置602将所述时间码与选择步骤101输出的段 进行比较(S1)(S11)。如果所述时间码被确定为不包括在所述段内，则视频 剪辑装置602丢弃在所述顺序层的下一个GOP层之前出现的所有数据集。 相反，如果所述时间码包括在所选择的段中，那么，视频剪辑装置602输 出在所述顺序层的下一个GOP层之前出现的所有数据集(S13)。为了继续保 证已经被输出的数据集和当前正在被输出的数据集，所述GOP层的时间码 必须被改变(S12)。利用计数器C计算所述GOP层的时间码将被改变成的值。 计数器C保留已经被输出的帧的数量。根据等式1，显示当前正在输出的所 述GOP层的标题帧的时间Tv是由计数器C以及在所述顺序标题中描述并表 示每秒将被显示的帧的数量的图像速率“Pr”计算的。\n$\mathrm{Tv}=\frac{C}{\mathrm{pr}}···\left(1\right)$\n“Tv”以1/每秒为单位指定一个值，然后，所述Tv的值被根据MPEG-1 的时间码格式进行转换。被如此转换的值设置在将被在这个时间输出的所 述GOP层的时间码中。当输出与所述GOP层相关的数据时，所述图像层的 数量被加到所述计数器C的值上。重复执行前面描述的处理，直到所述的 视频段结束(S7和S16)。在所述去多路复用装置601输出多个视频数据流 的情况下，执行与每一个视频数据流相关的上述处理。\n下面将描述音频剪辑装置603的处理。图28的流程涉及由所述音频剪 辑装置603执行的处理。所述MPEG-1音频数据流是根据国际标准ISO/IEC IS 11172-3标准化的。所述音频数据流是由一系列被称之为音频存取单元(AAU) 的帧形成的。图29示出了一个AAU的结构。所述AAU是音频数据能够被单 独译码的最小单元，它包括给定数量的取样数据集Sn。单个AAU的播放时 间可以根据所述AAU的表示传输速率的位速率“br”、取样频率“Fs”和位 数量L来计算。首先，检测包括在所述音频数据流中的AAU的标题(S2和 S5)，借此以获得一个单一AAU的所述位数量L。进而，在所述AUU的标题 中描述所述位速率“br”和取样频率Fs。根据等式2计算一个单一AAU的 取样数量Sn。\n$\mathrm{Sn}=\frac{L\times \mathrm{Fs}}{\mathrm{br}}···\left(2\right)$\n根据等式3计算一个单一AAU的播放时间。\n$\mathrm{Tu}=\frac{\mathrm{Sn}}{\mathrm{Fs}}=\frac{L}{\mathrm{br}}---\left(3\right)$\n只要计算了Tu的值，通过对所述AAU计数可以获得从所述数据流的标 题开始已经逝去的时间。所述音频剪辑装置603对已经出现的AAU的数量 计数并计算从所述数据流的标题开始已经逝去的时间(S7)。被如此计算的 时间与在选择步骤中输出的段相比较(S8)。如果所述AAU出现的时间包括 在所选择的段内，所述音频剪辑装置603输出与那个AAU相关的所有数据 集(S9)。相反，如果所述AAU出现的时间没有包括在所选择的段内，所述 音频剪辑装置603将丢弃与所述AAU相关的数据集。重复执行前述处理直 到所述音频数据流结束为止(S6和S11)。当去多路复用装置601输出多个 音频数据流时，所述音频数据流中的每一个都被执行前述处理。\n如图30所示，在提取步骤102中输出的视频数据流被输入给视频播放 装置，在提取步骤102中输出的音频数据流被输入给音频播放装置。所述 视频数据流和音频数据流被同步播放，借此能够播放一个提要或媒体内容 的高亮度景物。另外，如此产生的视频和音频数据流被多路复用，借此能 够准备与所述媒体内容的提要或所述媒体内容高亮度景物相关的MPEG-1系 统数据流。\n                        第二实施例\n下面将描述本发明的第二实施例。该第二实施例仅仅在与选择步骤相 关的处理方面不同于第一实施例。\n下面将参照附图描述根据第二实施例与选择步骤101相关的处理。在 根据第二实施例的选择步骤101中，利用了指定给所有元素且范围从最高 分级的<节>到最低<段>的优先级值。指定给每个元素<节>和<段> 的优先级表示上下文重要性的客观程度。下面参考图31描述与选择步骤101 相关的处理。在图31中，标号1301表示包括在所述上下文描述数据中最 高分级中的多个元素<节>中的一个；1302表示元素<节>1301的一个子 元素<节>；1303表示元素<节>1302的一个子元素<节>；1304表示子元 素<节>1303的一个子元素<节>。在根据第二实施例的选择步骤101中， 包括一个指定给从所述最高分级的叶<段>到它的先辈<节>延伸的路径 的所有优先级值的算术平均值。当所述路径的算术平均值超过一个阈值时， 选择所述元素<段>。在图28所示的例子中，计算元素<段>1304、<节> 1303、<节>1302和<节>1301的属性的算术平均值“pa”、即它们的属性 优先级值p4、p3、p2和p1。所述平均值“pa”是根据等式4计算的。\n$\mathrm{pa}=\frac{p1+p2+p3+p4}{4}---\left(4\right)$\n被如此计算的“pa”与所述阈值相比较(S1和S2)。如果“pa”超过所 述阈值，选择<段>1304(S3)，与<段>1304的“开始”和“结束”相关 的属性值被作为所选择景物的开始时间和结束时间输出(S4)。所有的元素 <段>都被进行前述处理(S1和S6)。图32的流程示出了根据该第二实施 例与选择步骤101相关的处理。\n在该第二实施例中，计算从指定给最低分级的所述<段>的优先级值 到指定给最高优先级的先辈<节>的优先级值的算术平均值，并在被如此 计算的算术平均值的基础上选择所述叶<段>。另外，可以计算指定给具有 子<段>的元素<节>的优先级值到指定给最高分级的先辈<节>的优先 级值的算术平均值，通过比较被如此计算的算术平均值和所述阈值，可以 选择具有所述子<段>的元素<节>。类似的，在另一个分级段中，可以计 算从指定给元素<节>的优先级值到指定给它的最高分级的先辈<节>的 优先级值的算术平均值，被如此计算的算术平均值与所述阈值比较，借此， 可以选择在所述分级段中的元素<节>。\n                       第三实施例\n下面描述根据本发明的第三实施例。所述第三实施例仅仅在与选择步 骤相关的处理方面与第一实施例不同。\n下面将参考附图描述根据第三实施例与选择步骤101相关的处理。在 结合第一实施例所描述处理的情况下，在根据第三实施例的选择步骤101 中，所述选择仅仅针对其中的每一个都具有一个子<段>的元素<节>执 行的。在第三实施例中，设置了一个考虑到与所有将被选择的景物的持续 时间周期的和的阈值。具体地说，在截止到目前已经被选择的元素<节> 的持续时间周期的和最大但仍保持小于所述阈值之前，按照优先级减小的 顺序选择所述元素<节>。图33的流程示出了根据第三实施例与选择步骤 101相关的处理。其中的每一个都具有子<段>的多个<节>的集合被取作 为一个集Ω(S1)。所述集Ω的元素<节>被按照属性优先级的降序存储(S2)。 从集Ω中选择具有最高优先级值的元素<节>(S4和S5)，并从所述集Ω中 删除被如此选择的元素<节>。通过检查所述元素<节>的所有子<段>获 得被如此选择的元素<节>的开始时间和结束时间，并计算所述元素<节> 的持续时间(S6)。计算截止到目前为止已经被选择的所述元素<节>的持 续时间周期的和(S7)。如果所述和超过了所述阈值，处理完成(S8)。如果 所述和低于所述阈值，输出在这个时间选择的所述元素<节>的开始时间 和结束时间(S9)。然后，处理返回到从所述集Ω中选择具有最高优先级值 的元素<节>的步骤。重复上述处理，直到所选择的元素<节>的持续时 间周期的和超过所述阈值或所述集Ω变空为止(S4和S8)。\n在第三实施例中，针对具有子<段>的元素<节>执行选择。但是， 所述选择也可以不针对所述元素<节>而针对元素<段>进行。在这种情 况下，优先级值对应于在所述媒体内容内所有元素<节>当中共享的重要 程度。此外，选择也可以针对同一分级内不具有子<段>的元素<节>进 行。具体地说，选择可以针对位于从所述先辈<内容>或叶<段>开始计 数的同一路径中的元素<节>进行。\n与在第二实施例的情况相同，指定给各元素<节>和元素<节>的优 先级值被用做为上下文重要性的客观程度，计算从指定给所述元素<节> 到最高分级的它的先辈<节>的所有优先级的平均值“pa”。以“pa”的降 序选择其中的每一个都具有子<段>的元素<节>或元素<段>，直到所述 持续时间周期的和最大但小于所述阈值为止。即使是在这种情况下，也可 以获得与第二实施例相同的有益结果。\n                       第四实施例\n下面将描述本发明的第四实施例。所述第四实施例仅仅在与选择步骤 相关的处理方面与第一实施例不同。\n下面参考附图描述根据第四实施例与选择步骤101相关的处理。与在 第一实施例中在选择步骤101中执行的选择的情况相同，在第四实施例中 与选择步骤101相关的选择是针对元素<段>以及具有子<段>的元素<节> 进行的。和第一实施例的情况相同，考虑到在当前实施例中将被选择的所 有景物的持续时间周期的和，设置了一个阈值。与在第一实施例的情况相 同，指定给具有子<段>的元素<节>的优先级值对应于所述媒体内容中 其中的每一个都具有子<段>的所有元素<节>当中共享的重要程度。具 体地说，所述优先级值被取作为在图34中被虚线包围的所述元素<节>当 中共享的重要程度。此外，指定给所述元素<节>的优先级值对应于在与 同一母元素<节>共享的所述元素<节>当中共享的重要程度；即，由图 34所示的一个虚线包围的所述元素<段>当中共享的重要程度。\n图35的流程示出了根据第三实施例与选择步骤相关的处理。其中的每 一个都具有子<段>的元素<节>的集合被取作为集Ω(S1)。所述集Ω内 的元素<节>按照优先级的降序存储(S2)。然后，从所述集Ω内选择具有 最高优先级值的元素<节>(S3、S4和S5)。如果多个元素<节>都具有最 高的优先级值，那么选择所有的这些元素。被如此选择的元素<节>被取 作为另一个集Ω′的元素和从所述集Ω中被删除。通过预先检查所述元素 <节>的子<段>获得和存储被如此选择的元素<节>表示的一个景物的 开始时间、结束时间和持续时间(S6)。如果选择多个元素<节>，由各元素 表示的多个景物中的每一个景物的开始时间、结束时间和持续时间被预先 获得和存储。获得所述集Ω′的所述元素<节>的持续时间周期的和(S7和 S8)。所述和与一个阈值相比较(S9)。如果所述持续时间周期的和等于所述 阈值，则输出与所述开始时间和结束时间相关且截止到目前为止已经存储 的所有数据集，然后处理结束(S10)。相反，如果所述持续时间周期的和低 于所述阈值，处理再次返回从所述集Ω选择一个元素<节>的步骤(S4和 S5)。如果所述集Ω是空的，则输出所存储的与所述开始时间和结束时间相 关的所有数据集，然后处理结束(S4)。如果所述持续时间周期的和超过了 所述阈值，则执行下述的处理。具体地说，从所述集Ω′中选择具有最小优 先级的元素<节>(S11)。此时，如果多个元素<节>具有所述最小优先级， 则选择所有这些元素。在被如此选择的元素<节>的子<段>中，删除具 有最小优先级的子<段>(S12)。改变与被如此删除的子<段>对应的元素 <节>开始时间、结束时间和持续时间(S13)。作为删除所述元素<段>的 结果，景物被中断。在这种情况下，对于每个已经被中断的景物来讲，存 储所述开始时间、结束时间和持续时间。另外，作为删除所述子<段>的 结果，如果一个元素<节>的所有子<段>都被删除，那么，从所述集Ω′ 中删除所述元素<节>。如果选择了多个元素<节>，那么所有的元素都被 进行上述处理。作为删除所述子<段>的结果，从中被删除所述子<段> 的元素<节>的持续时间变得较短，从而减小了所述持续时间周期的和。 重复执行这种删除处理，直到所述集Ω′的元素的持续时间周期的和变得低 于所述阈值为止。当所述集Ω′的元素的持续时间周期的和变得低于所述阈 值时(S14)，输出已经被存储的与开始时间和结束时间相关的所有数据集， 然后处理结束(S15)。\n虽然在第四实施例中所述选择是针对其中的每一个都具有子<段>的 元素<节>或子<段>执行的，但是，所述选择也可以针对一个元素<节> 和它的子<节>或一个元素<节>和它的子<段>执行。即使是在这种情 况下，也可以实现与第四实施例相同的有益结果。\n考虑到当所述持续时间周期和超过所述阈值时执行的所述元素<段> 的删除，在当前的实施例中，从最低优先级开始按照升序删除所述元素 <节>。但是，可以设置一个阈值用于元素<节>的优先级，可以从低于所 述阈值的所有元素<节>中删除具有最小优先级的子<段>。另外，也可以 设置另一个阈值用于元素<段>的优先级，和可以删除其优先级低于所述 阈值的元素<段>。\n                       第五实施例\n下面参考附图描述本发明的第五实施例。在该实施例中，MPEG-1格式 的运动图像被取作为媒体内容。在这种情况下，一个媒体内容对应于一个 单一的景物分割。一个得分对应于感兴趣景物下文重要性的客观程度。\n图36的框图示出了根据本发明第五实施例的媒体处理方法。在图36 中，标号1801表示一个选择步骤；1802表示一个提取步骤；1803表示一 个形成步骤；1804表示一个传送步骤；18D5表示一个数据库。在选择步骤 1801中，从上下文描述数据中选择一个媒体内容的景物，并输出与被如此 选择的景物的开始时间和结束时间相关数据以及表示用于存储所述数据的 文件的数据。在提取步骤1802中，接收表示所述景物开始时间和结束时间 的数据集以及表示在选择步骤1801中输出的文件的数据集。另外，在提取 步骤1802中，通过参考结构描述数据，从所述媒体内容的中提取与由在选 择步骤1801输出的开始时间和结束时间规定的段相关的数据。在形成步骤 1803中，在提取步骤1802中输出的数据被多路复用，并由此构成MPEG-1 格式的系统数据流。在传送步骤1804中，在形成步骤1803中准备的MPEG-1 格式的系统数据流被经过一个线传送。标号1805表示用于存储媒体内容、 它的结构描述数据和上下文描述数据的一个数据库。\n图37示出了根据第五实施例的结构描述数据的结构。在该实施例中， 以三种结构描述所述数据的物理内容。由于在所述数据库1805中媒体内容 的存储特性，不必须以单个文件的形式存储一个单片的媒体内容。在某些 情况下，一个单片的媒体内容可以存储在多个单独的文件中。结构描述数 据的三个结构的根可以被描述为<内容>和表示一个单片的内容。一个相 应片内容的题目被作为属性附加到所述根<内容>上。所述<内容>的子 <内容>对应于表示存储所述媒体内容的一个文件。所述子<媒体目标> 被作为属性附加到表示到存储所述媒体内容的所述文件的链接的链接<定 位器>和表示到上下文描述数据的链接的识别符ID上。在所述媒体内容由 多个文件组成的情况下，“seq”被作为属性附加到所述元素<媒体目标> 上，用于表示在所述媒体内容内感兴趣文件的顺序。\n图38示出了根据第五实施例上下文描述数据的结构。本实施例的上下 文描述数据对应于被附加有到所述结构描述数据的元素<媒体目标>的链 接的第一实施例的上下文描述数据。具体地说，所述上下文描述数据的根 <内容>具有一个子<媒体目标>，元素<媒体目标>具有一个子<节>。 元素<节>和<段>与在第一实施例中使用的元素<节>和<段>相同。 所述结构描述数据的元素<媒体目标>与所述上下文描述数据的元素<媒 体目标>相关。借助于所述上下文描述数据的所述元素<媒体目标>的子 <媒体目标>描述的所述媒体内容的景物被存储在由具有相同值属性ID的 结构描述数据的元素<媒体目标>指定的一个文件中。另外，指定给一个 元素<段>的时间信息“开始”和“结束”建立从每个文件的头开始已经 逝去的时间。具体地说，在一个单片媒体内容包括多个文件的情况下，在 每个文件头处的时间对应于0，每个景物开始的时间由从所述文件头开始到 一个感兴趣景物结束所经过的时间表示。\n在计算机中可以使用例如可扩展的置标语言(XML)表示所述结构描述 数据和上下文描述数据。图39示出了用于使用XML描述图37所示结构描 述数据的文件类型定义(DTD)的一个例子，以及使用所述DTD描述的结构描 述数据的一个例子。图40到45示出了用于使用XML描述图38所示上下文 描述数据的DTD的一个例子，以及使用所述DTD描述的所述上下文描述数 据的一个例子。\n下面描述与所述选择步骤1801相关的处理。在选择步骤1801中，结 合第一到第四实施例所描述的任何一种方法都可以被作为选择一个景物的 方法。到所述结构描述数据的<目标>的链接最后与所选择景物的开始时 间和结束时间的输出同步输出。图46示出了在使用图39所示DTD以XML 形式描述的结构描述数据和使用图40和45所示DTD以XML形式描述上下 文描述数据的情况下从所述选择步骤1801输出的数据的一个例子。在图46 中，“id”后面跟随有一个结构描述数据的元素<媒体目标>的ID；“开始” 后面跟随有所述开始时间；“结束”后面跟随有所述结束时间。\n下面描述与提取步骤1802相关的处理。图47的框图示出了根据第五 实施例的提取步骤1802。在图47中，根据第五实施例的提取步骤1802是 由接口装置2401、去多路复用装置2402、视频剪辑装置2403和音频剪辑 装置2404执行的。接口装置2401接收在选择步骤1801输出的结构描述数 据和一个段，从数据库1805中提取一个媒体内容文件，向去多路复用装置 2402输出被如此提取的文件，并向视频剪辑装置2403和音频剪辑装置2404 输出在选择步骤1801中输出的所述开始时间和结束时间。本实施例的媒体 内容对应于其中被多路复用了视频数据流和音频数据流的MPEG-1格式的系 统数据流。因此，去多路复用装置2402将所述MPEG-1格式的系统数据流 分割成所述视频数据流和所述音频数据流。被如此分割的视频数据流和从 接口装置2401输出的所述段被输入给视频剪辑装置2403。在所输入的视频 数据流中，所述视频剪辑装置2403只输出与被选择段相关的数据。类似的， 在选择步骤2402中输出的音频数据流和所述段被输入给所述音频剪辑装置 2404。在所输入的音频数据流中，音频剪辑装置2402只输出与被选择段相 关的数据。\n下面描述与接口装置2401相关的处理。图48的流程示出了由接口装 置2401执行的处理。如图46所示与相应内容相关的结构描述数据和在选 择步骤1801输出的段被输入给接口装置2401。从指定给所述结构描述数据 的元素<媒体目标>的属性“id”获得降序的文件，因此，在选择步骤1801 输出的段被按照降序和“id”的顺序存储(S1)。此外，所述段被转换为诸 如图49所示的数据。相同的段被集合在一起并按照开始时间的顺序排列。 然后，接口装置2401对图49所示的数据集按照从上到下的顺序执行下面 的处理。首先，接口装置2401使用“id”参考一个结构描述数据的元素<媒 体目标>，并在该元素<媒体目标>的属性“定位器”的基础上读出一个文 件名。从所述数据库中读出与对应于所述文件名的文件相关的数据，被如 此读出的数据被输出给去多路复用器2402(S2和S3)。在“id”后面描述的 被选择文件段的开始时间和结束时间被输出给视频剪辑装置2403和音频剪 辑装置2404(S4)。在所有的数据集都被进行了上述处理之后，处理结束 (S5)。如果仍然剩下某些数据集没有处理，那么，在结束由去多路复用装 置2402执行的处理、由视频剪辑装置2403执行的处理和由音频剪辑装置 2404执行的处理之后重复前述的处理(S6和S7)。\n下面描述与去多路复用装置2402相关的处理。图50的流程示出了由 去多路复用装置2402执行的处理。去多路复用装置2402从接口装置2401 中接收与媒体内容对应的MPEG-1格式的系统数据流，并将被如此接收的 MPEG-1格式的系统数据流分割成一个视频数据流和一个音频数据流。所述 视频数据流被输出给视频剪辑装置2403，和所述音频数据流被输出给音频 剪辑装置2404(S1到S10)。在完成所述视频数据流和所述音频数据流的输 出(S9和S11)之后，向接口装置2401报告由去多路复用装置2402执行的 处理结束(S12)。如图50中的流程指出的，除了传送处理结束确认以外， 由去多路复用装置2402执行的处理与由第一实施例的去多路复用装置执行 的处理相同。\n下面描述由视频剪辑装置2403执行的处理。图53的流程示出了由视 频剪辑装置2403执行的处理。如图53的流程所指出的，除了在处理结束 时向接口装置2401传送处理结束确认(S15和S17)以外，由视频剪辑装置 2403执行的处理与根据第一实施例由所述视频剪辑装置执行的处理相同。\n下面描述由音频剪辑装置2404执行的处理。图52的流程示出了由音 频剪辑装置2404执行的处理。如图52的流程所指出的，除了在处理结束 时向接口装置2401传送处理结束确认(S11和S12)以外，由音频剪辑装置 2404执行的处理与结合第一实施例由所述音频剪辑装置执行的处理相同。\n在形成步骤1803中，在提取步骤1802中输出的视频数据和音频数据 被借助于用于在国际标准ISO/IEC IS 11172-1下MPEG-1标准化的方法进 行时分复用。在所述媒体内容被存储在多个独立文件中的情况下，按照输 出视频数据流和音频数据流的顺序在提取步骤1802中多路复用所述文件中 的每一个。\n在传送步骤1804中，在形成步骤1803中被多路复用的MPEG-1格式的 系统数据流经过所述线被传送。当在形成步骤1803中输出多个MPEG-1格 式的系统数据流时，所有的系统数据流按照它们的输出顺序被传送。\n在本实施例中，在所述媒体内容被存储到多个其中的每一个文件都在 提取步骤1802中被处理的独立文件中的情况下，在其中所述媒体内容的多 个文件的相关视频和音频数据流被相互联系到一起并且输出被如此联系的 数据流的形成步骤1803中，即使是当所述视频和音频数据流被多路复用到 一个单一的MPEG-1格式的系统数据流中时，也可以实现在形成步骤1803 中获得的相同有益结果。在这种情况下，必须利用视频剪辑装置2403改变 所述时间码，以便使用于对输出帧的数量进行计数的计数器C仅仅增加与 视频数据流的数量相应的量。计数器C只有在一个文件开始时被初始化(图 51所示的S3和S18)。在图53的流程中提供了此时由视频剪辑装置2403 执行的处理。虽然在第五实施例中所述上下文描述数据和物理上下文数据 彼此是分开描述的，但是，借助于将结构描述数据的属性“seq(顺序)”和 “locator(定位器)”附加到所述上下文描述数据的元素<媒体目标>的属 性上，这些数据也可以被描述为一个单一的数据。\n                       第六实施例\n下面参照附图描述本发明的第六实施例。在本实施例中，MPEG-1格式 的运动图像被取作为媒本内容。在这种情况下，一个媒体段对应于一个单 一的景物分割。另外，一个得分对应于一个感兴趣景物的上下文重要性的 客观程度。\n图54的框图示出了根据本发明第六实施例的媒体处理方法。在图54 中，标号3101表示选择步骤；3102表示提取步骤；3103表示形成步骤； 3104表示传送步骤和3105表示一个数据库。在选择步骤3101中，从上下 文描述数据中选择一个媒体内容景物，并输出与被如此选择景物的开始时 间和结束时间相关的数据，以及表示存储所述数据的一个文件的数据。这 样，与选择步骤3101相关的处理与在第五实施例的选择步骤中执行的处理 相同。在提取步骤3102中，接收在选择步骤3101中输出的表示所述景物 开始时间和结束时间的数据集以及表示所述文件的数据。此外，通过参考 结构描述数据，从所述媒体内容文件中提取与由在选择步骤3101输出的开 始时间和结束时间规定的所述段相关的数据。与提取步骤3102相关的处理 与在第五实施例中所述提取步骤执行的处理相同。在形成步骤3103中，根 据在传送步骤3104中确定的拥挤程度，多路复用在提取步骤3102中输出 的部分或全部数据流，借此，构成MPEG-1格式的系统数据流。在传送步骤 3104中，确定用于传送MPEG-1格式系统数据流的所述线的拥挤程度，在形 成步骤3103中传送所述确定结果。此外，在传送步骤3104中，经过所述 线传送在形成步骤3103中准备的MPEG-1格式的系统数据流。标号3105表 示用于存储所述媒体内容、它的结构描述数据以及上下文描述数据的一个 数据库。\n图55的框图示出了根据第六实施例在形成步骤3103和传送步骤3104 期间执行的处理。在图55中，形成步骤3103是由数据流选择装置3201和 多路复用装置3202执行的。传送步骤3104是由拥挤程度确定装置3203和 传送装置3204执行的。数据流选择装置3201接收在提取步骤3102中输出 的视频和音频数据流和在拥挤程度确定装置3203中输出的拥挤程度。如果 所述线的拥挤程度低得足以允许传送所有的数据集，那么，所有的系统数 据流都将被输出给多路复用装置3202。如果由于所述线非常繁忙或具有很 高的拥挤程度而使得传送所有的数据集需要很长的时间，那么，只选择所 述多个视频和音频数据流的一部分输出给所述多路复用装置3202。在这种 情况下，可以一多种方式执行所述选择，即：只选择视频数据流的基层； 只选择音频数据流的单声道；只选择音频数据流的左立体声信号；只选择 音频数据流的右立体声信号；或它们的相互组合。这里，如果仅仅存在单 一的视频数据流和单一的音频数据流，那么可以不考虑所述拥挤程度而输 出所述数据流。多路复用装置3202借助于被国际标准ISO/ISE IS 11172-1 标准化的MPEG-1格式的多路复用方法使从数据流选择装置3201输出的视 频和音频数据流被时分多路复用。拥挤程度确定装置3203检查用于传送所 述数据流的所述线的当前状态和拥挤程度，并输出检查结果给数据流选择 装置3201。传送装置3204经过所述线传送被多路复用装置3202多路复用 的MPEG-1格式的系统数据流。\n在本实施例中，在存在单一视频数据流的情况下，数据流选择装置3201 不考虑所述拥挤程度而输出所述视频数据流。但是，如果与所述视频数据 流相关的所有数据集在经过所述线传送时需要大量的时间，那么可以只选 择所述视频数据流的表示图像加以传送。在选择所述表示图像时，在所述 上下文描述数据中描述所述表示图像的时间码。另外，只有被称之为I图 像并能够被单独译码的一个单一帧能够被从多个帧中选择。\n                       第七实施例\n下面参考附图描述本发明的第七实施例。在第七实施例中，MPEG-1格 式的运动图像被作为媒体内容。在这种情况下，一个媒体段对应于一个景 物分割。另外，在本实施例中，一个得分对应于从与由所述用户选择的字 符或事件相关的关键字的角度出发感兴趣的一个景物的上下文重要性的客 观程度。\n图56的框图示出了根据本发明第七实施例的处理方法。在图56中， 标号3301表示选择步骤，3302表示提取步骤。在选择步骤3301中，借助 于一个关键字和附加到所述上下文描述数据上的它的一个得分从上下文描 述数据中选择一个媒体内容的景物。输出与被如此选择景物的开始时间和 结束时间相关的数据。在提取步骤3302中，提取与由在选择步骤3301中 输出的开始时间和结束时间规定的段相关的数据。\n图57示出了根据第七实施例的上下文描述数据的结构。在本实施例中， 所述上下文是根据一个树结构描述的。在所述树结构中的元素从左到右是 按时间顺序排列的。在图57中，被指定为<内容>的所述树的根表示一个 单一的内容部分，题目被作为属性指定给所述根。\n利用<节>指定<内容>的子<内容>。表示一个景物的内容或字符的 关键字和表示所述关键字重要程度的优先级以关键字和优先级对的形式作 为属性附加到元素<节>上。假设所述优先级是范围从1到5的一个整数。 其中，1指出重要性的最低级和5指出重要性的最高级。建立所述对(关键 字和优先级)以便使它能够被用做检索用户所希望的一个特定景物或字符 的索引。为此，可以有多个对(关键字和优先级)被附加到一个单一的元素 <节>上。例如，在描述字符的情况下，数量等于在感兴趣景物中出现的 字符数量的多个对被附加到一个单一的元素<节>上。设置附加到所述景 物上的优先级的值，以便使其值当大量的字符出现在感兴趣景物中时变大。\n利用<节>或<段>指定<节>的子<节>。这里，元素<节>本身可 以被用做另一个子<节>的子<节>。但是，一个单一的元素<节>不能具 有子<节>和子<段>的混合物。\n一个元素<段>表示一个单一的景物分割。与附加到所述元素<节> 上的对类似的对(一个关键字和优先级)和与一个感兴趣景物相关的时间信 息、即表示所述开始时间的“开始”和表示所述结束时间的“结束”被作 为属性附加到<节>上。可以使用商业可得到的软件或经过网络可得到的 软件分割所述景物。另外，可以使用手工分割所述景物。表示一个景物开 始时间的属性“从”能够规定一个感兴趣景物的开始帧。虽然在本实施例 中时间信息是按照一个景物分割的开始时间和结束时间表示的，但是，当 按照一个感兴趣景物的开始时间和所述感兴趣景物的持续时间表示所述时 间信息时也可以实现类似的结果。在这种情况下，所述感兴趣景物的结束 时间是通过将所述持续时间加到所述开始时间上获得的。\n在诸如是一个电影的故事、字符的情况下，可以使用元素<节>在所 述上下文描述数据的基础上描述章、节和段。在另一个例子中，当描述棒 球游戏时，最高分级的元素<节>可以被用于描述局，它们的子<节>可 以被用于描述半局。此外，元素<节>的第二代子<节>可以被用于描述 各棒球手的挥棒。元素<节>的第三代子<节>也可以被用于描述每个间 距以及两个间距之间的时间周期和挥棒结果。\n具有这样结构的上下文描述数据可在计算机中利用例如可扩展标记语 言(XML)来表示。XML是其标准化被万维网联盟追求的数据描述语言。1998 年2月10提交了1.0版的建议。有关XML 1.0版的说明可从http： /www.w3.org/TR/1998/REC-xm1-19980210获得。图58至66表示用来利用 XML说明本实施例的上下文描述数据的文档类型定义(DTD)的一个例子，和 利用DTD说明的上下文描述数据的一个例子。图67至80表示通过给图58 至66所示的上下文描述数据加上媒体段的代表性数据(支配数据)、例如代 表性图像(即视频数据)和关键字(音频数据)得到的上下文描述数据的一个 例子，和用来利用XML说明该上下文描述数据的DTD。现在描述与选择步骤 S3301相关的处理。在本实施例中，针对元素<段>和具有子<段>的元素 <节>执行与选择步骤S3301相关的处理。图81是表示与第七实施例的选 择步骤3301相关的处理的流程图。在该选择步骤3301中，输入起选择景 物的索引作用的关键字及其优先级的阈值，由此从具有上下文描述数据的 元素<段>的那些元素<节>中选择其关键字与输入的索引相同和其优先 级超过阈值的元素<节>作为子<节>(S2和S3)。然后，从如此选出的 元素<节>的子<段>中只选择其关键字与该索引相同和其优先级超过该 阈值的子<段>(S5和S6)。根据利用上述处理选定的子<段>的属性“开 始”和“结束”确定被选定景物的开始时间和结束时间，并输出该开始时 间和结束时间(S7，S8，S9，S10，S11，S1，和S4)。\n虽然在本实施例中针对元素<段>和具有子<段>的元素<节>进行 选择，但也可以针对另外的母-子关系进行选择；例如在某一分级层内的 元素<节>及其子<节>。此外，这种母-子关系不只限于两层的分级层。 分级层的各层的数目可以是2以上，可对树结构的树叶、即子<段>执行 相同的处理。还有，可把检索索引设定成包括多个关键字和确定这些关键 字之间的关系的条件的索引对。确定各关键字之间的关系的条件包括例如 “两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。可确 定用于选择的阈值，在多个关键字的情况下，可对每一个关键字执行处理。 起检索索引作用的关键字可由用户输入，或由系统根据用户简要表自动设 定。\n与提取步骤3302相关的处理与在第一实施例中描述的提取步骤中执行 的处理相同。\n如图82所示，本实施例的优点是：通过把提取步骤3302输出的视频 流输入给视频播放装置和把同一步骤输出的音频流输入给音频播放装置并 播放彼此同步的这些音频和视频流，就能够只播放观众感兴趣的媒体内容 的景物。此外，通过多路复用这些视频流和音频流，还可准备与观众感兴 趣的媒体内容的景物集合相关的MPEG-1格式的系统流。\n                       第八实施例\n现在描述本发明的第八实施例。第八实施例与第七实施例的不同之处 仅在于与选择步骤相关的处理方面。\n现在描述与选择步骤S3301相关的处理。在本实施例中，只针对元素 <段>执行与选择步骤S3301相关的处理。图83是表示与第七实施例的选 择步骤S3301相关的处理的流程图。如图83所示，在选择步骤3301中， 输入起用来选择景物的索引作用的关键字及其优先级的阈值。从上下文描 述数据的元素<段>中选择其关键字与该索引相同和其优先级超过阈值的 子<段>(S1和S6)。\n虽然在第八实施例中只针对元素<段>进行选择，但也可只针对具有 某种分级的元素<节>进行选择。此外，还可把检索索引设定成包括多个 关键字和确定这些关键字之间的关系的条件的索引对。确定各关键字之间 的关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两 者”这样的组合。可确定用于选择的阈值，在多个关键字的情况下，可对 每一个关键字执行处理。\n                       第九实施例\n现在描述本发明的第九实施例。第九实施例与第七实施例的不同之处 仅在于与选择步骤相关的处理方面。\n现在参看附图描述与选择步骤S3301相关的处理。如同在对第七实施 例描述的处理的情形中那样，在第九实施例的选择步骤3301中，只针对元 素<段>和具有子<段>的元素<节>进行选择。在本实施例中，相对于 所有待选择景物的持续时间之和设定阈值；具体来说，这样进行选择，即， 使到目前为止已选定的景物的持续时间之和最大但仍小于该阈值。图84是 表示与第九实施例的选择步骤相关的处理的流程图。在选择步骤3301中， 接收起检索索引作用的一个关键字。然后从具有子<段>的元素<节>中 提取具有与该检索索引相同的关键字的所有元素<节>。把如此选定的元素 <节>的集合作为集合Ω(S1和S2)。集合Ω的元素<节>按优先级的降序 进行存储(S3)。然后从如此选定的集合Ω的元素中选择其关键字或检索索 引具有最大优先值的元素<节>(S5)。从集合Ω中删除如此选定的元素<节> (S6)。在这种情况下，如果多个元素<节>都具有最大优先值，就提取所 有这些元素<节>。在如此选定的元素<节>的子<段>中，只选择具有检 索索引的子<段>，把如此选定的子<段>添加到另一个集合Ω′中去。集 合Ω′的初始值是“空”的(S2)。获得与集合Ω′相关的景物的持续时间之 和(S8)，把该和与阈值作比较(S9)。如果该持续时间之和等于该阈值，就 输出与集合Ω′所包含的元素<段>的所有段相关的数据，结束处理(S14)。 相反地，如果持续时间之和小于阈值，处理就返回从集合Ω中选择其检索 索引或关键字具有最高优先级的元素<节>。重复上述选择处理。如果集合 Ω是空的，就输出与集合Ω′的元素<段>的所有段相关的数据，结束处理 (S4)。如果与集合Ω′相关的景物的持续时间之和大于阈值，就执行以下处 理。从集合Ω′中删除其检索索引或关键字具有最小优先级的元素<段> (S11)。此时，如果多个元素<段>都具有最小优先级，就删除所有这些元 素<段>。获得集合Ω′的元素<段>的持续时间之和(S12)，把该和与阈值 作比较(S13)。如果该持续时间之和大于该阈值，处理就返回从集合Ω′中 删除元素<段>。重复执行这样的删除处理。在此，如果集合Ω′是空的， 就结束处理(S10)。相反地，如果持续时间之和小于阈值，就输出与集合Ω ′的元素<段>的所有段相关的数据，结束处理(S14)。\n虽然在本实施例中针对元素<段>和具有子<段>的元素<节>执行 选择，但也可以对其它母-子关系、例如元素<节>和其在另一级内的子 <段>执行选择。还有，母-子关系不只限于两级的分级；分级的级数可 以增大。例如，在对处于从最高分级的元素<节>到其子<段>范围内的 分级的元素进行处理的情况下，选择最高级的元素<节>。还选择如此选定 的元素<节>的后续<节>，以及进一步选择如此选定元素<节>的第二代 子。重复这一轮选择操作直到子<段>被选定为止。如此选择的元素<段> 组成集合Ω′。\n在本实施例中，元素按照检索索引或关键字优先级的降序进行存储， 可关于优先值设定阈值，可按照优先级的降序选择元素。可关于元素<节>、 以及可关于元素<段>分别设定阈值。\n在本实施例中，检索索引被规定为单个关键字。但是，可把检索索引 设定成包括多个关键字和确定这些关键字之间的关系的条件的索引对。确 定各关键字之间的关系的条件包括例如“两者中任一个”、“两者”或“两 者中任一个或两者”这样的组合。在这种情况下，需要确定在选择或删除 元素<节>和元素<段>时使用的各关键字的优先级的规则。这种规则的 一个例子如下：如果条件是“两者中任一个”，则相应各关键字的优先值的 最大优先值被设定为“优先”。此外，如果条件是“两者”，则相应各关键 字的优先值的最小优先值被设定为“优先”。即使在条件是“两者中任一个 或两者”时，也可按该规则确定优先值。还有，在检索索引或关键字为多 个的情况下，可关于作为检索索引的关键字的优先级设定阈值，可对其优 先值超过该阈值的那些元素进行处理。\n                       第十实施例\n现在描述本发明的第十实施例。第十实施例与第七实施例的不同之处 仅在于与选择步骤相关的处理方面。\n现在参看附图描述与选择步骤S3301相关的处理。如同在对第八实施 例描述的处理的情形中那样，在第十实施例的选择步骤3301中，只针对元 素<段>进行选择。此外，如第九实施例那样，在本实施例中，相对于所 有待选择景物的持续时间之和设定阈值；具体来说，这样选择元素，即， 使到目前为止已选定的景物的持续时间之和最大但仍小于阈值。图85是表 示与第十实施例的选择步骤相关的处理的流程图。\n在选择步骤3301中，接收起检索索引作用的一个关键字。把集合Ω′ 初始化为“空”(S2)。然后从元素<段>中提取具有与该检索索引相同的 关键字的所有元素<段>。把如此选定的元素<段>的集合作为集合Ω。然 后按照优先级的降序存储其关键字与检索索引相同的元素<段>(S3)。然 后从如此排序的集合Ω的元素中提取其关键字或检索索引具有最大优先值 的元素<段>(S5)，并从该集合Ω中删除如此提取的元素<段>。在这种情 况下，如果多个元素<段>都具有最大优先值，就选择所有这些元素<段>。 如果集合Ω是空的，就输出与集合Ω′的元素<段>的所有元素有关的数据， 结束处理(S4)。计算如此提取的元素<段>的持续时间之和T1(S6)，和计 算集合Ω′的各景物的持续时间之和T2(S7)。把T1和T2之和与阈值作比较 (S8)。如果T1和T2之和超过阈值，就输出与集合Ω′所包含的元素<段> 的所有段相关的数据，结束处理(S11)。如果T1和T2之和等于阈值，就给 集合Ω′的元素添加所有提取的元素<段>(S9和S10)，输出与集合Ω′所 包含的元素<段>的所有段相关的数据，并结束处理(S11)。相反地，如果 T1和T2之和小于阈值，就给集合Ω′的元素添加所有提取的元素<段>，处 理然后返回从集合Ω中选择元素<段>。\n虽然在本实施例中针对元素<段>进行选择，但也可针对另一分级中 的元素<节>执行选择。在本实施例中，元素按照作为检索索引的关键字 的优先级的降序进行排序。可关于优先值设定阈值，只要元素的优先值大 于阈值，就可按照优先级的降序选择这些元素。\n此外，在本实施例中，检索索引被规定为单个关键字。但是，可把检 索索引设定成包括多个关键字和确定这些关键字之间的关系的条件的索引 对。确定各关键字之间的关系的条件包括例如“两者中任一个”、“两者” 或“两者中任一个或两者”这样的组合。在这种情况下，需要确定在选择 或删除元素<节>和元素<段>时使用的各关键字的优先级的规则。这种 规则的一个例子如下：如果条件是“两者中任一个”，则相应各关键字的优 先值的最大优先值被设定为“优先”。此外，如果条件是“两者”，则相应 各关键字的优先值的最小优先值被设定为“优先”。即使在条件是“两者中 任一个或两者”时，也可按该规则确定优先值。还有，在检索索引或关键 字为多个的情况下，可关于作为检索索引的关键字的优先级设定阈值，可 对其优先值超过该阈值的那些元素进行处理。\n                      第十一实施例\n现在描述本发明第十一实施例。本实施例的上下文描述数据与第七至 第十实施例的上下文描述数据的不同之处在于视点一起被用来选择景物的 关键字作用-和该视点重要程度的说明方面。如图57所示，在第七至第十 实施例中，视点和该视点的重要程度通过给元素<段>或<段>分配关键 字和重要程度的组合(即关键字和优先级)来进行说明。与此相反，如图133 所示，在第十一实施例中，视点及该视点的重要程度通过给根<内容>分 配属性“povlist”和给元素<节>或<段>分配属性“povvalue”来说明。\n如图134所示，属性“povlist”相应于用矢量形式表示的视点。如图 135所示，属性“povvalue”相应于用矢量形式表示的重要程度。每一个集 合包括视点和该视点一对一关系的重要程度的组合集合按给定序列排列， 由此形成属性“povlist”和“povvalue”。例如，如图134和135所示， 视点1的重要程度取值5，视点2的重要程度取值0；视点3的重要程度取 值2；视点“n”(“n”为正整数)的重要程度取值0。在第七实施例的情形 中，视点2的重要程度取值2，表明视点2没有被分配关键字；即组合(关 键字，先级)。\n图136至163和图164至196表示被用来利用在计算机中用来说明上 下文描述数据的“可扩展标记语言”(XML)说明本实施例的上下文描述数据 的“文件类型定义”(DTD)的一些例子，以及在DTD中被说明的上下文描述 数据的一个例子。即使在本实施例中也利用上下文描述数据实现与在第七 至第十实施例中描述的处理操作相同的那些处理操作。\n在本实施例中，属性“povlist”被分配给根<内容>，而属性“povvalue” 被附加给元素<节>或<段>。如图197所示，属性“povlist”也可被附 加给元素<节>或<段>。对于被分配了属性“povlist”的元素<节>或 <段>，属性“povvalue”相应于被分配给元素<节>或<段>的属性“povlist”。 而对于没有被分配属性“povlist”的元素<节>或<段>，属性“povvalue” 相应于被分配给根<内容>的属性“povlist”或在没有被分配属性“povlist” 的元素<节>或<段>的祖先中的被分配了属性“povlist”的最接近元素 <节>的属性“povlist”。\n图198至252表示相应于图197所示的DTD的、被用来利用在计算机 中用来说明上下文描述数据的XML说明本实施例的上下文描述数据的DTD 的一个例子，以及在DTD中被说明的上下文描述数据的一个例子。在所举 的这些例子中，被分配给元素<节>或<段>的属性“povvalue”相应于 被分配给根<内容>的属性“povlist”。\n                      第十二实施例\n现在参看附图描述本发明第十二实施例。在本实施例中，MPEG-1格式 的系统流的运动图像被作为媒体内容。在这种情况下，媒体分段相当于一 个景物分割。\n图86是表示本发明第十二实施例的媒体处理方法的方框图。在图86 中，标号4101表示选择步骤；4102表示提取步骤；4103表示形成步骤； 4104表示输送步骤；4105表示数据库。在选择步骤4101中，根据上下文 描述数据选择媒体内容的一个景物，并输出与如此选择的景物的开始时间 和结束时间有关的数据以及表示存储了这些数据的文件的数据。在提取步 骤4102中，接收表示该景物的开始时间和结束时间的数据集和表示在选择 步骤4101输出的文件的数据集。参看结构描述数据，从媒体内容的文件中 提取与由在选择步骤4101中接收的开始时间和结束时间确定的段相关的数 据。在形成步骤4103中，对提取步骤4102输出的数据进行多路复用，由 此形成MPEG-1格式的系统流。在输送步骤4104中，通过线路输送在形成 步骤4103中形成的MPEG-1格式的系统流。标号4105表示存储了媒体内容 及其结构描述数据和上下文描述数据的数据库。\n第十二实施例采用的结构描述数据的结构与第五实施例的相同。具体 来说，使用具有图37所示结构的结构描述数据。\n图87表示第十二实施例的上下文描述数据的结构。本实施例的上下文 描述数据相应于第七实施例的给结构描述数据的元素<媒体对象>附加了 链接的上下文描述数据。具体来说，上下文描述数据的根<内容>具有子 <媒体对象>，而元素<媒体对象>具有子<节>。元素<节>和<段>与 第七实施例所用的相同。给上下文描述数据的元素<媒体对象>附加属性 “id”。利用该属性“id”使结构描述数据的元素<媒体对象>与上下文描 述数据的元素<媒体对象>相关联。利用上下文描述数据的元素(媒体对象) 的子孙描述的媒体内容的景物被存储在由具有同一值的属性id的结构描述 数据的元素<媒体对象>指定的文件内。此外，分配给元素“段”的时间 信息“开始”和“结束”确定从每一个文件的开头起已过去了的时间。具 体来说，在一段媒体内容包括多个文件的情况下，每个文件的开头的时刻 相应于0，而每一景物的开始时刻用从该文件的开头起到感兴趣的景物为止 已过去的时间来表示。\n结构描述数据和上下文描述数据可在计算机中利用例如“可扩展标记 语言”(XML)来表示。与第五实施例相关的图39表示结构描述数据的一个 例子。此外，图88至96表示用来利用XML描述图87所示的上下文描述数 据的“文件类型定义”(DTD)的一个例子和利用该DTD描述的上下文描述数 据的一个例子。\n现在描述与选择步骤4101相关的处理。在选择步骤4101中，采用在 第七至第十实施例中描述的任一种方法作为选择景物的方法。相应于结构 描述数据的元素<媒体对象>的“id”实际上与被选择景物的开始时间和 结束时间的输出同时被输出。在利用图39所示的DTD以XML文件的形式描 述结构描述数据和利用图88和96所示的DTD以XML文件的形式描述上下 文描述数据的情况下，从选择步骤4101输出的数据的一个例子与第五实施 例中的图6所示的相同。\n与提取步骤4102相关的处理与在第五实施例中描述的提取步骤相同。 与形成步骤4103相关的处理也与在第五实施例中描述的形成步骤相同。此 外，与输送步骤4104相关的处理也与在第五实施例中描述的输送步骤相同。\n                            第十三实施例\n现在参看附图描述本发明第十三实施例。在本实施例中，MPEG-1格式 的系统流的运动图像被作为媒体内容。在这种情况下，媒体分段相当于一 个景物分割。\n图97是表示本发明第十三实施例的媒体处理方法的方框图。在图97 中，标号4401表示选择步骤；4402表示提取步骤；4403表示形成步骤； 4404表示输送步骤；4405表示数据库。在选择步骤4401中，根据上下文 描述数据选择媒体内容的一个景物，并输出与如此选择的景物的开始时间 和结束时间有关的数据以及表示存储了这些数据的文件的数据。与选择步 骤4401相关的处理和与在第十二实施例中描述的选择步骤相关的处理相 同。在提取步骤4402中，接收表示该景物的开始时间和结束时间的数据集 和表示在选择步骤4401输出的文件的数据集。参看结构描述数据，从媒体 内容的文件中提取与由在选择步骤4401中接收的开始时间和结束时间确定 的段相关的数据。与提取步骤4402相关的处理和与在第十二实施例中描述 的提取步骤相关的处理相同。在形成步骤4403中，根据在输送步骤4404 确定的传送量对提取步骤4402输出的系统流的一部分或全部进行多路复 用，由此形成MPEG-1格式的系统流。与形成步骤4403相关的处理和与在 第六实施例中描述的提取步骤相关的处理相同。在输送步骤4404中，确定 线路的传送量，并把确定的结果传送给形成步骤4403。此外，通过线路输 送在形成步骤4403中形成的MPEG-1格式的系统流。与形成步骤4404相关 的处理和与在第六实施例中描述的形成步骤相关的处理相同。标号4405表 示存储了媒体内容及其结构描述数据和上下文描述数据的数据库。\n虽然在第十三实施例中把MPEG-1的系统流作为媒体内容，但只要其它 格式也能够获得每一屏幕的时间代码，则使用这种格式也能够获得与 MPEG-1系统流相同的有利结果。\n以下的实施例将描述对应于权利要求书要求保护的发明的模式的概 要。以下将用“声音数据”表示与声音有关的数据，声音包括可闻音调、 无声、话音、音乐、安静、外部噪声等。用“视频数据”表示可闻和可视 的数据，例如运动图像、静止图像或自动反射幻灯机的字符。用“得分” 表示根据声音数据的内容、例如可闻音调、无声、话音、音乐、安静或外 部噪声计算的分数；根据视频数据中有无字符及其组合分配分数。此外， 还可使用除上述以外的得分。\n                      第十四实施例\n现在描述本发明的第十四实施例，该实施例与权利要求28描述的发明 相关。图98是表示与本实施例的数据处理方法相关的处理的方框图。在该 图中，标号501表示选择步骤；标号503表示提取步骤。在选择步骤501 中，根据上下文描述数据的得分选择媒体内容的至少一段或一个景物，并 输出如此选择的段或景物。选择的段相应于例如一选择段的开始时间和结 束时间。在提取步骤503中，只提取与被在选择步骤S501选择的段划分的 媒体内容的段(以下称为“媒体段”)相关的数据，即与选择的段相关的数 据。特别是，在权利要求30所述的发明中，得分对应于从与用户选择的字 符或事件有关的关键字的视点来看感兴趣的景物的上下文重要性的客观程 度。\n                             第十五实施例  \n现在描述本发明的第十五实施例，该实施例与权利要求29描述的发明 相关。图99是表示与本实施例的数据处理方法相关的处理的方框图。在该 图中，标号501表示选择步骤；标号505表示播放步骤。在播放步骤505 中，只播放与被在选择步骤S501输出的选择段划分的段相关的数据。与选 择步骤501相关的处理与在第一至第十三实施例中描述的处理相同，为简 明起见，此处不再进行说明。\n                      第十六实施例\n现在描述本发明的第十六实施例，该实施例与权利要求38描述的发明 相关。图100是表示与十六实施例的数据处理方法相关的处理的方框图。 在该图中，标号507表示视频选择步骤；标号509表示音频选择步骤。视 频选择步骤507和音频选择步骤509都被包括在第十四和十五实施例所描 述的选择步骤501之中。\n在视频选择步骤507中，参看与视频数据相关的上下文描述数据选择 视频数据段或景物，并输出如此选择的段。在音频选择步骤509中，参看 与声音数据相关的上下文描述数据选择声音段，并输出如此选择的段。在 此，选择的段相应于例如该被选择段的开始时刻和结束时刻。在第十四实 施例所述的提取步骤503中，只播放在视频选择步骤507选择的视频数据 段的数据。在播放步骤505中，只播放在音频选择步骤509选择的声音数 据段的数据。\n                      第十七实施例\n现在描述本发明的第十六实施例，该实施例与权利要求41、42、43、 44、45和46描述的发明相关。图101是表示与本实施例的数据处理方法相 关的处理的方框图。在该图中，标号511表示确定步骤；513表示选择步骤； 503表示提取步骤；505表示播放步骤。\n(例子1)\n在权利要求41所述的发明中，媒体内容包括在一个时间段内的多个不 同的媒体数据集。在判断步骤511中，接收描述媒体内容数据结构的结构 描述数据。在这一步骤中，根据判断条件、例如接收端的能力、传输线的 传送量和用户请求确定作为选择对象的数据。在选择步骤513中，接收在 判断步骤511中被判断为选择对象的数据、结构描述数据和上下文描述数 据。此外，只从在判断步骤511中被判断为选择对象的数据中选择媒体数 据集。由于提取步骤503与第十四实施例的提取步骤相同，而播放步骤5 05 与第十五实施例的播放步骤相同，所以在此省略对它们的描述。媒体数据 包括几个数据集，例如视频数据、声音数据和文本数据。在以下各例子说 明中，媒体数据特别包括至少视频数据和声音数据之一。\n在本例子中，如图102所示，在媒体内容的一个时间段内，把不同的 视频数据或声音数据分配给信道，进一步把这些视频数据或声音数据分配 给层的分级集。例如，把传送运动图像的信道1/层1分配给具有标准分辨 率的视频数据，把信道1/层2分配给具有高分辨率的视频数据。把传送声 音数据的信道1分配给立体声数据，把信道2分配给单声道数据。图103 和104表示用来利用XML描述结构描述数据的“文件类型定义”(DTD)的一 个例子和利用该DTD描述的上下文描述数据的一个例子。\n在媒体内容由这样的信道和层构成的情况下，参看图105至108描述 与本实例的判断步骤511相关的处理。如图105所示，在步骤101中判断 是否有用户请求存在。如果在步骤101确认有用户请求存在，就对该用户 请求执行图106所示的判断处理SR-A。\n在步骤101中，如果确认无用户请求，处理就到达步骤S103，进一步 判断可接收的数据是否只是视频数据、只是声音数据或是视频和声音数据 两者。如果在步骤S103确认可接收数据只是视频数据，就执行图107所示 的与视频数据相关的判断处理SR-C。如果可接收数据被确认只是声音数据， 就执行图108所示的与声音数据相关的判断处理SR-C。如果视频和音频数 据都是可接收的，处理就到达步骤S105。在步骤S105，判断接收视频和音 频数据的接收端的能力；例如，视频显示能力，播放能力和解压压缩数据 的速率。如果确认接收端的能力较强，处理就到达步骤S107。相反地，如 果确认接收端的能力较弱，处理就到达步骤S109。在步骤S107，判断将要 通过其传送视频数据和音频数据的线路的传送量。如果确认该线路的传送 量较大，处理就到达步骤S109。如果确认该线路的传送量较小，处理就到 达步骤S111。\n在接收端能力较弱或线路的传送量较大时，执行步骤S109的处理。在 该处理期间，接收端通过信道1/层1接收具有标准分辨率的视频数据，通 过信道2接收声音数据。在接收端能力较强或传送量较小时，执行步骤S111 的处理。在该处理期间，接收端通过信道1/层2接收具有高分辨率的视频 数据，通过信道1接收立体声。\n现在描述图106所示与用户请求相关的判断处理SR-A。在本实例中， 假设用户请求为选择视频层和声音信道。在步骤S151中，判断用户是否请 求视频数据。如果在步骤S151中确认用户请求视频数据，处理就到达步骤 S153。如果确认用户没有请求视频数据，处理就到达步骤S159。在步骤S153， 判断用户对视频数据的请求是否对应于层2的选择。如果在步骤S153选择 了“是”，处理就到达步骤S155，选择层2作为视频数据。如果在步骤S153 选择了“否”，处理就到达步骤S157，选择层1作为视频数据。在步骤S159， 判断用户是否请求音频数据。如果在步骤S159确认用户请求音频数据，处 理就到达步骤S161。如果确认用户没有请求音频数据，就结束处理。在步 骤S161，判断用户对音频数据的请求是否对应于信道1的选择。如果在步 骤S161选择了“是”，处理就到达步骤S162，选择信道1作为音频数据。 如果在步骤S161选择了“否”，处理就到达步骤S615，选择信道2作为音 频数据。\n现在描述图107所示与视频数据相关的判断处理SR-B。在步骤S171， 判断接收视频数据的接收端的能力。如果接收端被确认为具有较强的能力， 处理就到达步骤S173。如果接收端被确认为具有较弱的能力，处理就到达 步骤S175。在步骤S173，确定线路的传送量。如果线路的传送量被确认为 较大，处理就到达步骤S175。相反地，如果线路的传送量被确认为较小， 处理就到达步骤S177。\n在接收端能力较弱或线路的传送量较大时，执行步骤S175的处理。在 该处理期间，接收端通过信道1/层1只接收具有标准分辨率的视频数据。 在接收端能力较弱或线路的传送量较小时，执行步骤S177的处理。在该处 理期间，接收端通过信道1/层2只接收具有高分辨率的视频数据。\n现在描述图108所示与声音数据相关的判断处理SR-C。在步骤S181， 判断接收音频数据的接收端的能力。如果接收端被确认为具有较强的能力， 处理就到达步骤S183。如果接收端被确认为具有较弱的能力，处理就到达 步骤S185。在步骤S183，确定线路的传送量。如果线路的传送量被确认为 较大，处理就到达步骤S185。相反地，如果线路的传送量被确认为较小， 处理就到达步骤S187。\n在接收端能力较弱或线路的传送量较大时，执行步骤S185的处理。在 该处理期间，接收端通过信道2接收单声道音频数据。在接收端能力较强 或线路的传送量较小时，执行步骤S187的处理。在该处理期间，接收端通 过信道1只接收立体声数据。\n(例子2)\n权利要求42描述的发明与例子1所述的发明(权利要求41描述的发明) 的不同之处仅在与判断步骤S511相关的处理方面。在判断步骤511中，接 收描述媒体内容数据结构的结构描述数据。在这一步骤中，根据判断条件、 例如接收端的能力、传输线的传送量和用户请求，判断是只选择视频数据、 只选择音频数据还是既选择视频数据也选择音频数据。由于选择步骤513、 提取步骤503和播放步骤505都与以上所述的相同，所以在此省略对它们 的描述。\n现在参看图109至110描述与本实例的判断步骤511相关的处理。如 图109所示，在步骤S201中判断是否有用户请求存在。如果在步骤S201 确认有用户请求存在，处理就到达步骤S203，如果确认无用户请求，处理 就到达步骤S205。在步骤S203，判断用户是否只请求视频数据。如果在步 骤S203选择了“是”，处理就到达步骤S253，仅视频数据被确认为选择的 对象。如果在步骤S203选择了“否”，处理就到达步骤S207。在步骤S207， 判断用户是否只请求声音数据。如果在步骤S207选择了“是”，处理就到 达步骤S255，仅声音数据被确认为选择的对象。如果在步骤S207选择了 “否”，处理就到达步骤S251，视频和音频数据都被确认为选择的对象。\n在无用户请求存在时处理将要到达的步骤S205中，判断是仅视频数据、 仅声音数据还是视频和声音数据两者都是可接收的。如果在步骤S205确认 仅视频数据是可接收的，处理就到达步骤S253，只把视频数据确认为选择 的对象。如果在步骤S205确认仅声音数据是可接收的，处理就到达步骤 S255，只把声音数据确认为选择的对象。如果在步骤S205确认视频和声音 数据都是可接收的，处理就到达步骤S209。\n在步骤S209，确定线路的传送量。如果该线路的传送量较小，处理就 到达步骤S251，把视频和声音数据都确认为选择的对象。如果该线路的传 送量较大，处理就到达步骤S211。在步骤S211中，判断将通过该线路被传 送的数据是否包括声音数据。如果在步骤S211选择了“是”，处理就到达 步骤S255，把声音数据确认为选择的对象。如果在步骤S211选择了“否”， 处理就到达步骤S253，把视频数据确认为选择的对象。\n(例子3)\n在权利要求43的发明中，媒体内容在一个时间周期内包括多个不同的 视频和/或音频数据集。除判断是只选择视频数据、只选择声音数据还是既 选择视频也选择声音数据外，这种选择在(权利要求42所述的发明的)第二 个例子的判断步骤511中进行，还根据判断条件、例如接收端的能力、传 输线路的传送量和用户请求判断选择这些视频数据集/音频数据集的哪一 个作为选择对象。由于选择步骤513、提取步骤503和播放步骤505与上述 的相同，所以在此不再赘述。\n如例子1那样，在媒体内容的一个时间周期内，把不同的视频数据或 声音数据分配给信道或层。例如，把传送运动图像的信道1/层1分配给具 有标准分辨率的视频数据，把信道1/层2分配给具有高分辨率的视频数据。 把传送声音数据的信道1分配给立体声数据，把信道2分配给单声道数据。 图103和104表示用来利用XML描述结构描述数据的“文件类型定义”(DTD) 的一个例子和利用该DTD描述的上下文描述数据的一个例子。\n现在参看图111至113描述与第三个例子的判断步骤511相关的处理。 如图111所示，在本例子中，如例子2所作的判断那样，确定作为选择对 象的数据(选择对象确定SR-D)。在步骤S301中，确定利用选择对象确定处 理SR-D确定的数据。在步骤S301中，当只有视频数据被确定为选择对象 时，就执行图112所示的与视频数据相关的判断处理SR-E。在步骤S301中， 当只有音频数据被确定为选择对象时，就执行图113所示的与音频数据相 关的判断处理SR-F。在步骤S301中，当视频数据和音频数据都被确定为选 择对象时，处理就到达步骤S303，确定接收视频和音频数据的接收端的接 收能力。如果确认接收端的能力较强，处理就到达步骤S305。如果确认接 收端的能力较弱，处理就到达步骤S307，确定线路的能力，如传输速率。 如果确认该线路的能力较强，处理就到达步骤S309。相反地，如果确认该 线路的能力较弱，处理就到达步骤S307。如果确认该线路的传送量较大， 处理就到达步骤S307。如果确认该线路的传送量较小，处理就到达步骤 S311。\n在接收端能力较弱、线路能力较弱或线路的传送量较大时，执行步骤 S307的处理。在该处理期间，接收端通过信道1/层1接收标准分辨率的视 频数据，通过信道2接收单声道数据。相反地，在接收端能力较强、线路 能力较强或线路的传送量较小时，执行步骤S311的处理。在该处理期间， 接收端通过信道1/层2接收高分辨率的视频数据，通过信道1接收立体声 数据。\n现在描述图112所示与视频数据相关的判断处理SR-F。在步骤S351 中，判断接收视频数据的接收端的能力。如果确认接收端的能力较强，处 理就到达步骤S353。如果确认接收端的能力较弱，处理就到达步骤S355。 在步骤S353，确定线路的能力。如果确认该线路的能力较强，处理就到达 步骤S357。相反地，如果确认该线路的能力较弱，处理就到达步骤S355。 在步骤S357，确定该线路的传送量。如果确认该线路的传送量较大，处理 就到达步骤S355。相反地，如果确认该线路的传送量较小，处理就到达步 骤S359。\n在接收端能力较弱、线路能力较弱或线路的传送量较大时，执行步骤 S355的处理。在该处理期间，接收端通过信道1/层1只接收标准分辨率的 视频数据。相反地，在接收端能力较强、线路能力较强或线路的传送量较 小时，执行步骤S359的处理。在该处理期间，接收端通过信道1/层2只接 收高分辨率的视频数据。\n现在描述图113所示与音频数据相关的判断处理SR-F。在步骤S371 中，判断接收音频数据的接收端的能力。如果确认接收端的能力较强，处 理就到达步骤S373。如果确认接收端的能力较弱，处理就到达步骤S375。 在步骤S373，确定线路的能力。如果确认该线路的能力较强，处理就到达 步骤S377。相反地，如果确认该线路的能力较弱，处理就到达步骤S375。 在步骤S77，确定该线路的传送量。如果确认该线路的传送量较大，处理就 到达步骤S735。相反地，如果确认该线路的传送量较小，处理就到达步骤 S379。\n在接收端能力较弱、线路能力较弱或线路的传送量较大时，执行步骤 S375的处理。在该处理期间，接收端通过信道2只接收单声道数据。相反 地，在接收端能力较强、线路能力较强或线路的传送量较小时，执行步骤 S379的处理。在该处理期间，接收端通过信道1只接收立体声数据。\n(例子4)\n在权利要求44和45所述的发明中，给最低分级层中的上下文描述数 据的各个元素增加与对应媒体段相关的代表性数据作为属性。媒体内容在 一个时间周期内包括多个不同的媒体数据集。在判断步骤S511中，接收描 述媒体内容的数据结构的结构描述数据。在这一步骤中，根据判断条件、 例如接收端的能力、传输线路的传送量、该线路的能力和用户请求，确定 把媒体数据集和/或代表性数据集的哪一个作为选择对象。\n由于选择步骤513、提取步骤503和播放步骤505与以上描述的相同， 所以在此不再赘述。媒体数据包括视频数据、声音数据或文本数据。在本 例子中，媒体数据包括视频数据和声音数据中的至少一个。在代表性数据 对应于视频数据的情况下，该代表性数据包括例如每一媒体段的代表性图 像数据或低分辨率视频数据。在代表性数据对应于音频数据的情况下，该 代表性数据包括例如每一媒体段的关键短语(key-phrase)数据。\n如例子3那样，在媒体内容的一个时间周期内，把不同的视频数据或 声音数据分配给信道或层。例如，把传送运动图像的信道1/层1分配给具 有标准分辨率的视频数据，把信道1/层2分配给具有高分辨率的视频数据。 把传送声音数据的信道1分配给立体声数据，把信道2分配给单声道数据。\n现在参看图114至118描述与本实例的判断步骤511相关的处理。如 图114所示，在步骤S401中判断是否有用户请求存在。如果在步骤S401 确认有用户请求存在，就执行图116所示与用户请求相关的判断处理SR-G。\n如果在步骤S401确认无用户请求，处理就到达步骤S403，判断是仅视 频数据、仅声音数据还是视频和声音数据两者都是可接收的。如果在步骤 S403确认仅视频数据是可接收的，就执行图117所示与视频数据相关的判 断处理SR-H。相反地，如果确认仅声音数据是可接收的，就执行图118所 示与音频数据相关的判断处理SR-I。如果确认视频和声音数据都是可接收 的，处理就如图115所示到达步骤S405。\n在步骤S405，确定接收端的能力。在执行步骤S405的处理之后，按给 定顺序执行确定线路能力的步骤S407的处理和确定该线路的传送量的步骤 S409的处理。在步骤S405、S407和S409所执行的处理操作的结果的基础 上，在本实例的判断步骤S511中，确定是接收视频数据或音频数据的信道 或层，还是接收代表性数据。\n                          表1 接收端能力 线路能 线路的传送量大吗？     被接收数据   力     强   强     否   视频数据：信道1，层2   音频数据：信道1(S411)     强   强     是   视频数据：信道1，层1   音频数据：信道1(S413)     强   弱     否   视频数据：信道1，层1   音频数据：信道2(S413)     弱   强     是   视频数据：信道1，层1   音频数据：信道2(S415)     弱   强     否   视频数据：信道1，层1   音频数据：信道2(S415)     弱   强     是   视频数据：代表性数据   音频数据：信道2(S417)     弱   弱     否   视频数据：代表性数据   音频数据：信道2(S417)     弱   弱     是   视频数据：代表性数据   音频数据：代表性数据(S419)\n现在描述图116所示与用户请求相关的判断处理SR-G。在步骤S451， 判断用户是否只请求视频数据。如果在步骤S451选择“是”，就执行与视 频数据相关的处理判断SR-H。如果在步骤S451选择“否”，处理就到达步 骤S453。在步骤S453，判断用户是否只请求音频数据。如果在步骤S453 选择“是”，就执行与音频数据相关的判断处理SR-I。如果在步骤S451选 择“否”，处理就到达步骤S405。\n现在描述图117所示与视频数据相关的判断处理SR-H。在步骤S461， 确定接收端的能力。在执行完步骤S461的处理之后，按给定顺序执行确定 线路能力的步骤S463的处理和确定线路传送量的步骤S465的处理。在与 这些步骤，S461、S463和S465相关的处理操作结束后，只要接收端能力强、 线路能力强以及线路的传送量小，则在与本例子的视频数据相关的判断处 理SR-H期间，通过信道1/层2只接收视频数据(步骤S471)。相反地，如 果接收端能力弱、线路能力弱以及线路的传送量大，则只接收代表性视频 数据(步骤S473)。如果上述任一条件都得不到满足，则通过信道1/层1只 接收视频数据(步骤S475)。\n现在描述图118所示与音频数据相关的判断处理SR-I。在步骤S471， 确定接收端的能力。在执行完步骤S471的处理之后，按给定顺序执行确定 线路能力的步骤S473的处理和确定线路传送量的步骤S475的处理。在与 这些步骤S471、S473和S475相关的处理操作结束后，只要接收端能力强、 线路能力强以及线路的传送量小，则在与本例子的音频数据相关的判断处 理SR-I期间，通过信道1只接收音频数据(步骤S491)。相反地，如果接收 端能力弱、线路能力弱以及线路的传送量大，则只接收代表性音频数据(步 骤S493)。如果上述任一条件都得不到满足，则通过信道2只接收视频数据 (步骤S495)。\n(例子5)\n在权利要求46所述的发明中，根据判断条件、例如接收端能力、传输 线路能力、该线路的传送量和用户请求，确定把与媒体段相关的全部数据、 与对应媒体段相关的仅代表性数据、或与对应媒体段相关的全部数据或代 表性数据的哪一个作为选择对象。\n如例子4那样，给最低分级层中的上下文描述数据的各个元素增加与 对应媒体段相关的代表性数据作为属性。在代表性数据对应于视频数据的 情况下，该代表性数据包括例如每一媒体段的代表性图像数据或低分辨率 视频数据。在代表性数据对应于音频数据的情况下，该代表性数据包括例 如每一媒体段的关键短语(key-phrase)数据。\n现在参看图119至121描述与本实例的判断步骤511相关的处理。如 图119所示，在步骤S501中判断是否有用户请求存在。如果在步骤S501 确认有用户请求存在，就执行图121所示与用户请求相关的判断处理SR-J。\n如果在步骤S501确认无用户请求，处理就到达步骤S503，判断是仅与 媒体段相关的代表性数据、仅与该媒体段相关的全部数据还是与该媒体段 相关的代表性数据和全部数据两者都是可接收的。如果在步骤S503确认仅 代表性数据是可接收的，处理就如图120所示到达步骤S553，只把代表性 数据作为选择对象。如果仅全部数据是可接收的，处理就到达步骤S555， 只把该全部数据作为选择对象。如果代表性数据和全部数据都是可接收的， 处理就到达步骤S505。\n在步骤S505，确定线路能力。如果线路能力较强，处理就到达步骤S507。 相反地，如果线路能力较弱，处理就到达步骤S509。在每一个步骤S507和 S509中，确定线路的传送量。在步骤S507中，如果确认线路的传送量较小， 处理就到达步骤S551，把全部数据和代表性数据都作为选择对象。在步骤 S509，如果确认线路的传送量较大，处理就到达步骤S553，把代表性数据 作为选择对象。如果在步骤S507确认线路的传送量较大和在步骤S509确 认线路的传送量较大，处理就到达步骤S555，把全部数据作为选择对象。\n在与用户请求相关的判断处理SR-J期间，在步骤S601判断用户请求 是否只对应于代表性数据。如果在步骤S601选择“是”，处理就到达步骤 S553，只把代表性数据作为选择对象。如果在步骤S601选择“否”，处理 就到达步骤S603，判断该用户请求是否只对应于全部数据。如果在步骤S603 选择“是”，处理就到达步骤S555，只把全部数据作为选择对象。如果在步 骤S603选择“否”，处理就到达步骤S551，把与媒体段对应的全部数据和 代表性数据都作为选择对象。\n                      第十八实施例\n现在描述本发明第十八实施例。本实施例涉及权利要求48所述的发明。 图122是表示与本实施例的数据处理方法相关的处理的方框图。特别是， 该处理涉及权利要求28所述的发明。在附图中，标号501表示选择步骤； 503表示提取步骤；515表示形成步骤；由于选择步骤501和提取步骤503 与第十四实施例的相同，所以在此不再赘述。\n在形成步骤515中，根据与在提取步骤503提取的选择段相关的数据 形成媒体内容流。特别是，在形成步骤中，通过对在提取步骤503输出的 数据进行多路复用来形成流。\n                      第十九实施例\n现在描述本发明第十九实施例。本实施例涉及权利要求49所述的发明。 图123是表示与本实施例的数据处理方法的处理的方框图。在该图中，标 号501表示选择步骤；503表示提取步骤；515表示形成步骤；517表示传 送步骤。由于选择步骤501和提取步骤503与参看第十四实施例所描述的 相同，所以在此不再赘述。此外，形成步骤515与十八实施例的形成步骤 相同，所以也省略对其的描述。\n在传送步骤517中，通过线路传送在形成步骤中形成的流。该传送步 骤517可以包括确定线路的传送量的步骤，而形成步骤515可以包括根据 在传送步骤517中确定的线路的传送量调整组成文件的数据量的步骤。\n                      第二十实施例\n现在描述本发明的第二十实施例。本实施例涉及权利要求50所述的发 明。图124是表示与本实施例的数据处理方法相关的处理的方框图。在该 图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；519 表示记录步骤；521表示数据记录媒体。在记录步骤519中，把在形成步骤 515中形成的流记录在数据记录媒体521上。用数据记录媒体521记录媒体 内容、与该媒体内容相关的上下文描述数据以及与该媒体内容相关的结构 描述数据。数据记录媒体521可以是例如硬盘、存储器或DVD-ROM等。由 于选择步骤501和提取步骤503与参看第十四实施例所描述的相同，所以 在此不再赘述。此外，形成步骤515与十八实施例的形成步骤相同，所以 也省略对其的描述。\n                     第二十一实施例\n现在描述本发明的第二十一实施例。本实施例涉及权利要求51所述的 发明。图125是表示与本实施例的数据处理方法相关的处理的方框图。在 该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤； 519表示记录步骤；521表示数据记录媒体；523表示数据记录媒体管理步 骤。在数据记录媒体管理步骤523中，按照数据记录媒体521的可用盘空 间重新组织已存储的媒体内容和最近要存储的媒体内容。具体来说，在数 据记录管理步骤/或523中，执行至少以下操作之一。当数据记录媒体521 的可用盘空间较小时，在对最近要存储的媒体内容进行编辑之后再对其进 行存储。向选择步骤501传送都与已存储的媒体内容相关的上下文描述数 据和结构描述数据。向提取步骤503传送媒体内容和结构描述数据。重新 组织媒体内容，并将如此重新组织的内容记录在数据记录媒体521上。此 外，删除没有被重新组织的媒体内容。\n由于选择步骤501和提取步骤503与第十四实施例的相同，在此不再 赘述。此外，形成步骤515与第十八实施例的形成步骤相同，在此省略对 其的描述。还有，由于记录步骤519和数据记录媒体521与第十九实施例 的相同，所以在此也省略对它们的描述。\n                     第二十二实施例\n现在描述本发明的第二十二实施例。本实施例涉及权利要求52所述的 发明。图126是表示与本实施例的数据处理方法相关的处理的方框图。在 该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤； 519表示记录步骤；521表示数据记录媒体；525表示存储内容管理步骤。 在存储内容管理步骤525中，按照媒体内容存储周期重新组织已存储在数 据记录媒体521上的媒体内容。具体来说，存储内容管理步骤525包括以 下步骤：管理存储在数据记录媒体521上的媒体内容；向选择步骤501传 送上下文描述数据和物理内容数据，它们都与在预定一段时间内已被存储 的媒体内容相关；向提取步骤503传送媒体内容和结构描述数据；重新组 织媒体内容；把如此重新组织的媒体内容记录在数据记录媒体521上；以 及删除没有被重新组织的媒体内容。\n由于选择步骤501和提取步骤503与第十四实施例的相同，在此不再 赘述。此外，形成步骤515与第十八实施例的形成步骤相同，在此省略对 其的描述。还有，由于记录步骤519和数据记录媒体521与第十九实施例 的相同，所以在此也省略对它们的描述。\n在上述第十三至第二十二实施例中，选择步骤501和503可具体化为 选择装置；视频选择步骤507可具体化为视频选择装置；音频选择步骤511 可具体化为音频选择装置；判断步骤511可具体化为判断装置；形成步骤 515可具体化为形成装置；传送步骤517可具体化为传送装置；记录步骤 519可具体化为记录装置；数据记录媒体管理步骤523可具体化为数据记录 媒体管理装置；存储内容管理步骤525可具体化为存储内容管理装置。因 此可具体化为包括这些装置的一部分或全部的数据处理设备。\n在上述各实施例中，媒体内容可包括数据流，例如除视频和音频数据 外的文本数据。此外，上述各实施例的各个步骤可利用存储在程序存储媒 体内的以软件形式使计算机执行与所有或一部分这些步骤相关的处理的程 序来实现，或利用专门设计的呈现这些步骤的特征的硬件电路来实现。\n虽然在上述实施例中单独描述上下文描述数据和结构描述数据，但它 们可合并成如图127至132所示的一个数据集。\n如上所述，在本发明的数据处理设备、数据处理方法、记录媒体和程 序中，利用分层的上下文描述数据，根据由选择装置(相应于选择步骤)附 加给上下文描述数据的得分从媒体内容中至少选择其中一段。利用提取装 置(相应于提取步骤)仅提取与选择装置(相应于选择步骤)选择的段相关的 数据。或者，利用播放装置(相应于播放步骤)只播放与选择装置(相应于选 择步骤)选择的段相关的数据。\n利用上述结构，可从媒体内容中自由地选择更重要的景物，可提取或 播放如此选择的重要段。此外，分层的上下文描述数据包括最高层、最低 层和其它层。可按照任意的单元、例如以一章或一节为单位选择景物。可 采用各种选择格式，例如某一章的选择和从该章中删除不必要的段。\n在本发明的数据处理设备、数据处理方法、记录媒体和程序中，得分 表示媒体内容的上下文重要性的程度。一旦确定了得分来选择重要景物， 就可容易地准备一节目的一些重要景物的集合。此外，只要确定了得分来 表示从关键字的角度来看感兴趣的景物的重要性，就可以通过确定关键字 来在很大的自由度内选择段。例如，只要从特定视点、例如人物或事件确 定了关键字，就可只选择用户所需的景物。\n在本发明的数据处理设备、数据处理方法、记录媒体和程序中，在媒 体内容由在一段时间内的多个不同的媒体数据集组成的情况下，判断装置 (相应于判断步骤)根据判断条件，确定把这些媒体数据集的哪一个作为选 择对象。选择装置(相应于选择步骤)只从判断装置(相应于判断步骤)所确 定的数据中选择媒体数据集。由于判断装置(相应于判断步骤)能够根据判 断条件确定与最佳段相关的媒体数据，所以选择装置(相应于选择步骤)能 够选择合适数量的媒体数据。\n在本发明的数据处理设备、数据处理方法、记录媒体和程序中，判断 装置(相应于判断步骤)根据判断条件，确定是仅把视频数据、仅把音频数 据还是把视频和音频数据两者都作为选作对象。于是能够缩短选择装置(相 应于选择步骤)选择段所需的时间。\n在本发明的数据处理设备、数据处理方法、记录媒体和程序中，给上 下文描述数据附加了代表性数据作为属性，判断装置能够根据判断条件确 定最佳段的媒体数据或代表性数据。