语音服务系统和方法

1.一种语音处理系统，包括：
实时语音服务器，其被安排成为所述系统的客户端处理实时语音处理任务；以及网关处理器，其被安排成接受来自客户端的请求以执行离线语音处理任务、将所述离线语音处理任务转换为等价的实时语音处理任务、调用所述实时语音服务器以处理所述等价的实时语音处理任务以及输出所述等价的实时语音处理任务的结果，
其中，所述网关处理器包括媒体转换器，该媒体转换器被安排成接受与所述离线语音处理任务和所述等价的实时语音处理任务中的一个相关联的第一媒体内容，并且转换所述第一媒体内容的协议和媒体格式中的至少一个，以生成与所述离线语音处理任务和所述等价的实时语音处理任务中的另一个相关联的第二媒体内容。
2.根据权利要求1所述的系统，其中，所述离线语音处理任务包括对于转录语音内容的请求，其中，所述实时语音服务器被安排成将所述语音内容转换为转录文本，并且其中，所述网关处理器被安排成输出包括了所述转录文本的结果。
3.根据权利要求1所述的系统，其中，所述离线语音处理任务包括对于处理文本信息的请求，其中，所述实时语音服务器被安排成将所述文本信息转换为合成语音，并且其中，所述网关处理器被安排成输出包含了所述合成语音的结果。
4.根据权利要求1所述的系统，其中，所述实时语音服务器被安排成进行自动语音识别(ASR)处理、文本到语音(TTS)转换处理、说话人识别(SI)处理以及说话人验证(SV)处理中的至少一种，从而处理所述等价的实时语音处理任务。
5.根据权利要求1所述的系统，其中，所述实时语音服务器和所述网关处理器利用控制协议交换控制消息，其中所述控制协议包括一个或多个用来处理离线媒体的命令。
6.根据权利要求1所述的系统，其中，所述第一和第二媒体内容中的一个包括富媒体，所述富媒体包括与其它内容组合在一起的语音内容，并且其中，所述媒体转换器被安排成进行从所述富媒体内容提取所述语音内容和将所述语音内容嵌入所述富媒体中的至少一种。
7.根据权利要求1所述的系统，其中所述网关处理器被安排成通过进行公开所述结果和向所述客户端发送所述结果中的至少一种，来输出所述等价的实时语音处理任务的结果。
8.一种与用于处理实时语音处理任务的实时语音服务器一起工作的网关处理器，所述网关处理器包括：
客户端接口，其被安排成接受来自客户端的对于进行离线语音处理任务的请求；
媒体转换器，其被安排成将所述离线语音处理任务转换为等价的实时语音处理任务，其中，该媒体转换器进一步被安排成：接受与所述离线语音处理任务和所述等价的实时语音处理任务中的一个相关联的第一媒体内容，并且转换所述第一媒体内容的协议和媒体格式中的至少一个，以生成与所述离线语音处理任务和所述等价的实时语音处理任务中的另一个相关联的第二媒体内容；以及
管理模块，其被安排成调用所述实时语音服务器以处理所述等价的实时语音处理任务，并且输出所述等价的实时语音处理任务的结果。
9.一种语音处理方法，包括以下步骤：
接受来自客户端的对于进行离线语音处理任务的请求；
将所述离线语音任务转换为等价的实时语音处理任务；
调用实时语音服务器来处理所述等价的实时语音处理任务；以及
输出所述等价的实时语音处理任务的结果，
其中将所述离线语音处理任务转换为所述等价的实时语音处理任务包括：接受与所述离线语音处理任务和所述等价的实时语音处理任务中的一个相关联的第一媒体内容，以及转换所述第一媒体内容的协议和媒体格式中的至少一个，以生成与所述离线语音处理任务和所述等价的实时语音处理任务中的另一个相关联的第二媒体内容。
10.根据权利要求9所述的方法，其中接受所述请求包括接受对于转录语音内容的请求，其中调用所述实时语音服务器包括请求所述实时语音服务器将所述语音内容转换为转录文本，并且其中输出所述结果包括输出所述转录文本。
11.根据权利要求9所述的方法，其中接受所述请求包括接受对于处理文本信息的请求，其中调用所述实时语音服务器包括请求所述实时语音服务器将所述文本信息转换为合成语音，并且其中输出所述结果包括输出所述合成语音。
12.根据权利要求9所述的方法，其中调用所述实时语音服务器包括使得所述实时语音服务器进行自动语音识别(ASR)处理、文本到语音(TTS)转换处理、说话人识别(SI)处理以及说话人验证(SV)处理中的至少一种，从而处理所述等价的实时语音处理任务。
13.根据权利要求9所述的方法，其中调用所述实时语音服务器包括利用控制协议在所述实时语音服务器和所述网关处理器之间交换控制消息，其中所述控制协议包括一个或多个用于处理离线媒体的命令。
14.根据权利要求9所述的方法，其中所述第一和第二媒体内容中的一个包括富媒体，所述富媒体包括与其它内容组合在一起的语音内容，并且其中转换所述媒体格式包括进行从所述富媒体内容提取所述语音内容和将所述语音内容嵌入所述富媒体中的至少一种。
15.根据权利要求9所述的方法，其中，输出所述等价的实时语音处理任务的结果包括进行公开所述结果和向所述客户端发送所述结果中的至少一种。

语音服务系统和方法\n技术领域\n[0001] 本发明主要涉及语音处理系统，具体地，涉及用于利用实时语音服务器进行分布式离线语音转录(transcription)和合成的方法和系统。\n背景技术\n[0002] 语音服务器被用在各种语音处理应用中。例如，IBM公司(Armonk，纽约)提供了 语音服务器(WVS)，其包括自动语音识别(ASR)和文本到语音(TTS)软\n件，用于为机构配置对话解决方案(conversational solution)。关于此产品的进一步的细节参见www-306.ibm.com/software/pervasive/voice_server。作为另一个例子，Telisma(法国巴黎)提供了称为teliSpeech的网络化语音识别软件。关于此产品的细节参见www.telisma.com/overviewtelispeech.html。\n[0003] 例如，在于2005年5月由互联网工程工作小组(Internet EngineeringTask Force，IETF)作为互联网草案公布的“Requirements for DistributedControl of ASR，SI/SV and TTS Resources”(draft-ietf-speechsc-reqts-07)中，由Oran定义了支持对进行ASR、说话人识别和/或验证(SI/SV)以及TTS功能的网络组件的控制的通信协议。此互联网草案可参见www.ietf.org/internet-drafts/draft-ietf-speechsc-reqts-07.txt。\n此草案定义了支持语音资源的分布式控制的语音服务控制(SPEECHSC)架构。\n[0004] 一种实现所述SPEECHSC架构的控制协议是媒体资源控制协议(MRCP)，Shanmugham在“Media Resource Control Protocol Version2(MRCPv2)”中对此进行了描述，这已经作为IETF互联网草案draft-ietf-speechsc-mrcpv2-08于2005年10月进行了公布。此草案可参见www.ietf.org/internet-drafts/draft-ietf-speechsc-mrcpv2-08.txt。\n[0005] 尽管MRCP是控制协议，在一些应用中，利用实时传输协议(RTP)发送语音数据本身。Schulzrinne等在“A Transport Protocol for Real-TimeApplications”中详细描述了RTP，该文献于2003年7月作为IETF请求注解(RFC)3550被公布。此RFC可参见www.ietf.org/rfc/rfc3550.txt。\n发明内容\n[0006] 因此，根据本发明一种实施例，提供了一种语音处理系统，其包括：实时语音服务器，其被安排成为所述系统的客户端(client)处理实时语音处理任务。网关处理器被安排成接受来自客户端的请求以执行离线语音处理任务以及将离线语音处理任务转换为等价的实时语音处理任务。所述网关处理器调用所述语音服务器以处理所述等价的实时语音处理任务，然后输出所述等价实时语音处理任务的结果。\n[0007] 本发明的其它实施例提供了用于语音处理的方法和计算机软件产品。\n[0008] 从以下参考附图对于实施例的详细描述，可以更全面的理解本发明，其中：\n附图说明\n[0009] 图1是框图，其示意性说明了根据本发明实施例的用于自动语音转录和合成的系统；\n[0010] 图2是框图，其示意性说明了根据本发明实施例的语音服务网关的细节；\n[0011] 图3是流程图，其示意性说明了根据本发明实施例的用于自动转录的方法；\n[0012] 图4是流程图，其示意性说明了根据本发明实施例的用于自动文本到语音(TTS)转换的方法。\n具体实施方式\n[0013] 综述\n[0014] 很多语音处理应用使用了语音服务器，其为客户端提供了分布式自动语音识别(ASR)和/或文本到语音(TTS)转换服务。一些已知的语音服务器所用的体系结构和协议，例如，以上指出的产品和协议，已经被向着实时、对话的应用进行调整。因为以下将详述的一些原因，这样的语音服务器和协议通常不太适用于离线应用，如自动转录服务。\n[0015] 为了克服这些限制，本发明的实施例提供了利用实时语音服务器执行离线语音处理应用的方法和系统。在一些实施例中，网关处理器和实时语音服务器一起工作。网关处理器在离线客户端和语音服务器之间起到媒介作用，主要将由这些客户端请求的离线处理任务转换为等价的实时任务。由语音服务器处理所述实时任务，并将结果发送给进行请求的客户端，或者由网关进行公布。\n[0016] 所公开的系统配置本质上是分布式并且具有高度可扩展性。除了自动转录和离线TTS转换之外，所公开的方法和系统还可用于实现其它离线ASR、说话人识别(SI)和/或说话人验证(SV)功能。\n[0017] 通过利用所述网关处理器，仅通过最小修改或者无需修改，就可利用已知的语音服务器、体系结构和协议来执行离线语音处理应用。具体地，如下所示，所述语音服务器通常不需要进行媒体或协议转换。\n[0018] 系统描述\n[0019] 图1是框图，其示意性说明了根据本发明实施例的用于自动语音转录和合成的系统20。系统20被安排为客户端-服务器结构，在其中语音服务器24向客户端提供语音处理服务。语音服务器24包括至少一个自动语音识别(ASR)模块28和/或至少一个文本到语音(TTS)模块32。利用所述ASR和TTS模块，语音服务器24响应于客户端请求来进行语音识别和/或语音合成任务。\n[0020] 所述ASR和TTS模块可以使用本领域中已知的任何适合的语音识别和合成方法。\n在一些实施例中，语音服务器24包括已知的实时语音服务器产品，例如上面提到的IBM和Telisma产品。\n[0021] 系统20的一些客户端包括实时客户端36，其与语音服务器24之间的交互本来是交互式的，或者是对话式的。例如，系统20可以运行金融应用，其中实时客户端36利用语音激活菜单检查他们银行账户的状态并进行金融交易。在这样的系统中，语音服务器24中的ASR模块28分析由客户端给出的语音命令，TTS模块32对将向客户端播放的文本进行合成。在可选的实施例中，语音服务器24可以与实时客户端36进行任何其它的对话交互。\n[0022] 在一些实施例中，实时客户端36包括使用公共交换电话网(PSTN)或其它电话网来访问系统20的客户端。在一些实施例中，利用PSTN/MRCP网关(图中未示出)，进行在PSTN和系统20之间的互连。附加地或者可选地，一些客户端36可以使用IP语音(VoIP)连接。客户端36利用诸如前面提到的RTP和MRCP等媒介和/或控制协议与语音服务器24进行通信。\n[0023] 在一些实施例中，实时客户端36经由网络40与服务器24相连接，所述网络40通常包括因特网协议(IP)网络。取决于具体的应用，网络40可以包括诸如因特网的广域网(WAN)、局域网(LAN)，或者任何其它适用的网络连接。\n[0024] 在一些实施例中，系统20运行外部的语音处理应用42，其本来是离线的而不是实时的。离线应用的一个典型的但并非限制性的例子是提供给离线客户端44的自动语音转录服务。很多语音应用涉及大量语音信息的记录和存储。自动转录服务自动地将该语音数据的至少一部分转换为可由人或计算机进行访问的文本信息。\n[0025] 例如，许多呼叫中心应用，特别是涉及金融交易的应用，记录与用户进行的语音交易，并存储所述记录下来的语音，便于将来参考或作为证据。自动转录应用将此语音数据的一部分或全部转换为可对其进行传统的基于文本的索引以及供搜索和分析工具使用的文本信息。另一个例子是用于电视广播的自动关闭字幕的应用。其它例子包括进行截取的语音通信消息的转录的安全应用。可选地，外部应用42可以包括任何其它客户端-服务器语音处理应用，在其中，与客户端的交互具有离线而不是实时的特征。\n[0026] 在一些实施例中，语音处理应用42包括离线TTS应用，其处理文本信息，即，将文本信息转换为合成语音。例如，内容提供商可以对书籍、新闻故事、文章和/或任何其它文本信息进行离线TTS转换。服务提供商然后提供服务，在其中允许离线客户端下载和收听合成的语音内容。作为本领域已知，也可以通过播客应用(podcasting application)来使用类似的方法。\n[0027] 然而，在许多情况下，已知的语音服务器所支持的体系结构和协议被向着实时、对话式的应用进行了调整，通常不适合于处理离线应用。例如，已知的体系结构和协议通常是面向电话的，而不是面向网络的。在一些情况下，语音服务器不能被直接与外部web应用相结合，或者支持直接的web访问。语音服务器通常不能直接控制语音媒体的资源。通常不支持诸如远程下载和对媒体文件进行直接访问的功能。所述语音服务器仅能访问来自远程资源的流语音媒体，就像对话式实时应用中所通常进行的一样。此外，语音服务器通常仅支持少数的媒体格式。这些格式用于电话应用，却很少用于IP/万维网世界。\n[0028] 为了克服已知的语音服务器和协议的这些限制，系统20包括语音服务网关48，其在离线客户端44(可能包括转录和/或TTS应用的客户端)和语音服务器24之间起到媒介作用。(尽管在此描述的实施例主要专注于自动转录服务，通过利用与语音服务器一起工作的网关处理器，这些方法和系统也可以被用来为离线客户端实现任何其它的离线语音处理应用。这些语音处理应用可包括ASR功能、TTS功能或者其二者。)原则上，网关48与离线客户端44进行交互，并将由这些客户端请求的离线语音处理任务转换为由语音服务器\n24执行的等价的实时任务。\n[0029] 在一些实施例中，离线客户端44经由网络52与网关48通信，所述网络52通常包括IP网络。网络52可以包括诸如因特网的广域网(WAN)、局域网(LAN)或者任何其它适用的网络连接。在一些实施例中，客户端44使用超文本传输协议(HTTP)客户端或其它web访问协议，诸如Web服务协议，来访问网关48。\n[0030] 网关48利用服务器24已经支持的标准协议与语音服务器24进行通信，从而最小化或消除服务器24中所需的修改，以促进离线应用。在一些实施例中，将用于在网关48和服务器24之间交换控制消息的控制协议扩展为包括与离线语音处理有关的其它可选域或命令。通常，所述扩展的控制协议保持对初始协议的向后兼容。\n[0031] 例如，可以利用指示在原始语音内容中每个字的定时(timing)的时间戳来加强由转录应用生成的转录文本。在将文本与诸如视频的其它媒体类型进行同步时，这些时间戳很有用。作为另一个例子，除了面向流的命令之外，还可以将所述控制协议扩展为包括允许直接文件系统访问的命令。此后，将所述扩展的MRCP称为MRCP+。类似的扩展也可类似地应用于其它控制协议。\n[0032] 诸如MRCP+的扩展的控制协议有时候也可以被用于控制实时应用。例如，在一些实施例中，应用42包括实时转录应用。示例性的实时转录应用是实时听写服务。尽管这样的应用具有实时特征，经常希望利用诸如MRCP+的扩展的控制协议来控制相关媒体。\n[0033] 在许多实际情况中，语音服务器24的ASR模块28中的ASR处理比提供给服务器的媒体的流速率更快。因此，当使用以下描述的方法时，通过使得服务器能够直接访问全部媒体内容，通常可能增加语音服务器24的效率，而不会受到实时流速率的限制。对于由服务器24的TTS模块32进行的合成语音生成，也存在类似的论点。\n[0034] 图1的系统配置是示例性配置，其完全是为了澄清概念而示出的。在阅读了在此给出的描述之后，对于本领域技术人员，其它配置是显而易见的。例如，特定的网关48可以与两个或更多语音服务器24一起工作。系统20可以同时执行任意数目的外部应用42。系统20可以仅服务于离线客户端44或离线客户端44和实时客户端36的混合。网关48可以利用由所述服务器支持的任何媒体和控制协议与服务器24进行通信。\n[0035] 典型地，语音服务网关48包括通用计算机，其被进行软件编程，以执行在此描述的功能。可将所述软件通过网络以电子形式下载到网关48，例如，或者，可以将其提供给诸如CD-ROM的有形介质上的网关。网关48可以作为一个独立的单元来实现，或者，也可以将其与系统20的语音服务器24或其它组件进行结合。\n[0036] 图2是框图，其示意性说明了根据本发明实施例的语音服务网关48的细节。图2示出了网关48的主要结构性和功能性组件。以下的图3和4中进一步详细描述了由网关\n48执行的示例性转录和TTS转换方法。\n[0037] 网关48包括外部接口56，其与离线客户端44通信。接口56可以符合已知的格式或者标准准则，如本领域中已知的Enterprise JavaBeans(EJB)接口或.NET接口准则。\n管理模块60管理网关48的工作。具体地，模块60经由适当的应用接口(API)与外部应用\n42交互。\n[0038] 网关48包括一个或多个内容读取器64，用于读取将被用作为转录应用的输入的远程媒体内容，以及用于上载由TTS应用产生的媒体内容。所述远程内容位于系统20的内部或外部。在一些情况下，读取器64将所读取的远程内容和/或将被上载的内容存储在文件系统缓存68中。缓存68通常包括系统20所使用的文件系统的共享存储资源。\n[0039] 附加地或者可选地，可以将媒体内容存储在内容仓库72中，所述内容仓库72包括数据库或使用磁盘或其它数据存储装置的其它适合的数据结构。网关48包括用于与内容仓库72交换数据的内容仓库接口76。内容仓库72和文件系统缓存68是本地存储装置的例子，其可被网关48用来临时存储媒体内容。附加地或者可选地，为此目的可以使用其它适合的本地存储装置。\n[0040] 在一些实施例中，可以将与媒体内容相关联的其它数据和/或元数据与媒体内容本身一起存储在本地存储装置中。例如，在转录应用中，可以存储说话人姓名以及获取所述媒体内容的时间。然后，可以使用该数据，例如，来定位特定的媒体内容或者用于数据挖掘。\n[0041] 在很多实际情况中，将离线任务转换为实时任务涉及协议和/或媒体格式转换。\n例如，在一些情况下，将由语音服务器24处理的语音被嵌入到更高复杂度的媒体(称为“富媒体”)中，该媒体包括与所述语音内容组合在一起其他内容。富媒体可以包括，例如，复合视频或其它多媒体文件。相反，有时候可以将由语音服务器24合成的语音嵌入复合视频文件或其它富媒体内容中。\n[0042] 网关48包括媒体转换器80，其进行媒体格式和协议转换。具体地，媒体转换器80从诸如视频的富媒体格式提取语音内容，并将合成语音嵌入到更高复杂度的格式中。当离线客户端使用HTTP或其它web访问协议时，为了与所述客户端通信，媒体转换器80进行必需的协议转换。\n[0043] 媒体转换器80还根据由服务器支持的媒体协议对将被提供给语音服务器24的语音数据进行格式化。在图2的配置中，例如，语音服务器24支持用于媒体传输的RTP。媒体转换器80因而将所述语音数据格式化为RTP分组。\n[0044] 网关48包括RTP接口88，其与语音服务器24交换RTP分组。并行地，MRCP+客户端84根据所述扩展的MRCP协议格式化与所述语音数据相关联的控制信息(如，信令)，并与语音服务器交换MRCP+分组。\n[0045] 在一些实施例中，可以利用硬件，或者利用硬件和软件功能的结合来实现网关48的组成部分，诸如媒体转换器80、RTP接口88和/或MRCP+客户端84的部分。\n[0046] 自动转录/合成方法描述\n[0047] 图3是流程图，其示意性说明了根据本发明实施例的由语音服务网关48进行的自动转录方法。在以下描述中，假设应用42是转录应用。所述方法从在转录请求步骤100中网关48经由外部接口56接受来自离线客户端44的转录请求开始。\n[0048] 由于转录处理通常比较耗时，在一些实施例中，异步地进行客户端44和网关48之间的通信。在这些实施例中，网关48检查转录请求的有效性，将它加入内部队列，并向客户端确认已经接受所述请求。在此阶段，客户端可以与网关断开。\n[0049] 转录请求定义语音处理任务，在其中由语音服务器24转录特定的语音内容或媒体内容。在读取步骤102，网关48读取所述的媒体内容。在一些情况下，媒体内容被本地存储在内容仓库72中，并且网关48能够利用内容仓库接口76访问所述内容。可选地，可以将所述内容远离网关48放置，在这种情况下利用一个读取器64读取该内容。在一些实施例中，所读取的内容被缓冲存储在文件系统缓存68中。\n[0050] 在转录媒体转换步骤104，媒体转换器80转换格式和/或从所读取的媒体内容提取语音内容。媒体转换器80适当地从接口76或缓存68读入媒体内容。如上所述，如果所读取的媒体内容包括复合视频或其它复杂格式，媒体转换器80从所述媒体内容提取语音内容。在一些实施例中，转换器80根据由语音服务器24支持的协议进行格式化所述语音数据所需要的任何格式或协议转换。\n[0051] 在ASR步骤106，网关48然后调用语音服务器24以对语音数据进行ASR处理。\n在图1和2的示例性配置中，管理模块60利用MRCP+客户端84向语音服务器发送适当的MRCP+控制分组，从而初始化ASR会话。媒体转换器80使用RTP接口88向语音服务器发送携带了语音数据的RTP分组。语音服务器24接受所述语音数据和控制分组，并且利用其ASR模块28中的一个将语音转换为转录文本。\n[0052] 一般而言，转录应用的特征在于需要通过语音服务器识别的大量词汇。相反，很多对话式应用仅使用有限的词汇。因此，为了语音服务器24在转录应用中运行良好，通常希望ASR模块28使用能够识别大词汇连续语音的ASR方法，例如本领域中已知的各种统计语言建模方法。例如，J.Holmes和W.Holmes在“Speech Synthesis and Recognition”Taylor&Francis，Second Edition，December 2001，pages 196-202中描述了统计语言建模方法。\n[0053] 进行了ASR处理之后，服务器24将转录的文本发送回网关48。在转录结果步骤\n108，网关48将转录文本发送给请求客户端。在上述异步情形中(其中，在发送转录请求之后，客户端从网关断开)，当转录任务完成时，网关48通知所述客户端，和/或公开所述结果(即，使得所述结果可被客户端下载，诸如使用web地址)。\n[0054] 图4是流程图，其示意性说明了根据本发明实施例的用于自动文本到语音(TTS)转换的方法。在以下描述中，假设应用42是TTS(语音合成)应用。所述方法从在TTS请求步骤120中网关48经由外部接口56接受来自离线客户端44的TTS请求开始。所述TTS请求定义语音处理任务，该任务通常包括对处理文本信息的请求。所述文本信息被请求通过语音服务器24转换为合成语音。类似于前面图3中的转录请求步骤100的描述，在一些实施例中，客户端44在发送所述请求并接收确认之后从网关48断开。\n[0055] 在TTS步骤122，网关48调用语音服务器24以对TTS请求的文本信息进行TTS处理。在以上图1和2的示例性配置中，管理模块60利用MRCP+客户端84，通过向语音服务器发送包括所述文本信息的适当的MRCP+控制指示来初始化TTS会话。语音服务器24使用其TTS模块32中的一个将所述文本信息转换为合成语音，并利用RTP分组将所述合成语音发送给网关48。\n[0056] 在TTS媒体转换步骤124，媒体转换器80接受所述合成语音，并进行媒体和/或协议转换。媒体转换器80根据与所述请求客户端进行通信所使用的格式和/或协议，生成包括所述合成语音的媒体内容。如果需要，媒体转换器80将所述合成语音嵌入更高复杂度的格式，诸如复合视频。在一些实施例中，媒体转换器80将媒体内容存储在缓存68或内容仓库72中。\n[0057] 在公开步骤128，网关48然后公开所述媒体内容并且/或者向请求客户端发送所述媒体内容。\n[0058] 尽管在此描述的方法和系统主要专注于离线转录和TTS应用，本发明的原理还可用于其它涉及利用实时服务器来进行诸如音频编码、视频编码以及语音增强应用的离线任务的应用。\n[0059] 因而，可以理解，以上描述的实施例仅是作为例子示出，本发明不限于以上所示出和描述的具体内容。相反，本发明的范围包括上述各种特征的组合和子组合，以及没有在现有技术中公开，但是本领域技术人员通过阅读以上描述之后可以得到的各种变型和修改。