汉藏双语语音合成方法及装置

1.汉藏双语语音合成方法，其特征在于：包括步骤：
A、以国际音标为参照，对输入的藏语拼音字母，获得其国际音标，然后与汉语拼音的国际音标比较，相同的部分直接采用SAMPA-SC标记，不同的部分则利用未使用的键盘符号标记，利用面向SAMPA-T的字音转换算法，完成藏语文本语料的SAMPA-T自动标注；
B、根据藏语和普通话的相似性，在普通话标音体系的基础上，设计汉语和藏语通用的标音系统和问题集；
C、利用汉藏多说话人的语音数据，基于HMM模型，通过说话人自适应训练，训练得到混合语言平均音模型；
D、利用待合成目标语言藏语或汉语语音少量说话人的语料，通过说话人自适应变换，得到说话人自适应模型，并对自适应模型进行修正和更新；
E、输入待合成文本，生成语音参数，合成藏语或汉语语音。
2.根据权利要求1所述的汉藏双语语音合成方法，其特征在于：所述步骤A中的所述SAMPA-T的字音转换算法包括如下步骤：
首先读入藏语语句文本，然后根据单垂符和音节符切分句子和音节，得到藏语单子，对每个音节，通过基字丁定位和基字丁分解分离出声和韵母，最后通过查找声母SAMPA-T表和韵母SAMPA-T表获得该音节的SAMPA-T字符串，所述的基字丁分解是根据基字丁拆分表。
3.根据权利要求1所述的汉藏双语语音合成方法，其特征在于：所述步骤B中的设计汉语和藏语通用的标音系统和问题集包括如下步骤：
首先，与普通话发音一致的藏语声韵母，采用汉语拼音来标注，与普通话发音不一致的采用藏语拼音来标注；
然后，选取普通话和藏语的所有声韵母以及静音和停顿作为上下文相关的MSD-HSMM的合成基元来设计上下文标注格式，用来标注每个合成基元的声韵母层、音节层、词层、韵律词层、短语层和语句层的上下文相关的特征；
最后，在一个普通话的上下文相关问题集的基础上设计汉藏双语通用的问题集，该问题集中扩充了藏语特有的合成基元的相关问题，以反映藏语的特殊发音，问题集包含3000多个上下文相关的问题，覆盖了上下文相关标注的所有特征。
4.根据权利要求1所述的汉藏双语语音合成方法，其特征在于：所述步骤C中的通过说话人自适应训练，训练得到混合语言平均音模型包括如下步骤：
a、对多说话人的汉语语料库和单说话人的藏语语料库数据进行语音分析，提取其声学参数：
(1)提取mel倒谱系数，对数基频和非周期索引，
(2)计算它们的一阶差分和二阶差分；
b、结合上下文属性集，进行HMM模型训练，训练其声学参数的统计模型：
(1)训练频谱和基频参数的HMM模型，
(2)训练状态时长参数的多分布半隐马尔科夫模型(MSD-HSMM)；
c、利用少量单说话人汉语语音库和单说话人藏语语音库，进行说话人自适应训练，从而获得平均音模型：
(1)采用约束最大似然线性回归(CMML)算法，将训练中说话人的语音数据和平均音之间的差异用线性回归函数表示，
(2)用一组状态输出分布和状态时长分布的线性回归方程归一化训练说话人之间的差异，
(3)训练得到汉藏双语的混合语言平均音模型，从而得到上下文相关的MSD-HSMM模型；
d、利用汉语和藏语的单说话人自适应数据，进行说话人自适应变换：
(1)采用CMML算法，计算说话人的状态输出概率分布和状态时长概率分布的均值向量和协方差矩阵，
(2)用一组状态输出分布和状态时长分布的变换矩阵将平均音模型的均值向量和协方差矩阵变换为待合成的藏语或汉语的目标说话人模型，
(3)对归一化和转化后的频谱、基频和时长参数进行最大似然估计；
e、对自适应模型进行修正和更新：
(1)采用最大后验(MAP)算法，计算平均音模型状态输出和时长分布的MAP估计参数，(2)计算自适应变换后的状态输出和状态时长的均值向量，
(3)计算自适应均值向量的加权平均MAP估计值；
f、输入待合成的文本，对其进行文本分析，得到句子的HMM模型；
g、对句子HMM进行参数预测，进行语音参数生成，经参数合成器后得到合成语音，公式如下：
其中，为训练说话人s的状态输出均值向量，为其状态时长均值向量，W＝[A，b]和X＝[α，β]分别为训练说话人s和平均音模型之间状态输出分布和状态时长分布差异的变换矩阵，oi和di为平均观测向量和平均时长向量。
5.根据权利要求1所述的汉藏双语语音合成方法，其特征在于：所述步骤D中所述的利用待合成目标语言藏语或汉语语音少量说话人的语料，通过说话人自适应变换，得到说话人自适应模型，并对自适应模型进行修正和更新，包括如下步骤：
首先，说话人自适应训练后，利用基于HSMM的CMLLR自适应算法，计算得到说话人转换的状态输出概率分布和时长概率分布的均值向量和协方差矩阵，状态i下特征向量o和状态时长d的变换方程为：
T
bi(o)＝N(o；Aui-b，A∑iA)
-1
＝|A |N(Wξ；ui，Σi)
T T
其中，ξ＝[o，1]，ψ＝[d，1]，μi为状态输出分布的均值，mi为时长分布的均值，-1 -1
∑i为对角协方差矩阵， 为方差，W＝[A b ]为目标说话人状态输出概率密度分布的线-1 -1
性变换矩阵，X＝[α ，β ]为状态时长概率密度分布的变换矩阵；
然后，通过基于HSMM的自适应变换算法，可对语音数据的频谱、基频和时长参数进行归一化和变换，对于长度为T的自适应数据O，可对变换Λ＝(W，X)进行最大似然估计，其中，λ为HSMM的参数集；
最后，采用最大后验(MAP)算法对语音的自适应模型进行了修正和更新，对于给定的HSMMλ，若其前向概率和后向概率分别为：αi(i)和βi(i)，则其在状态i下连续观测序列ot-d+1......ot的生成概率 为：
MAP估计描述如下：
其中，和 为线性回归变换后的均值向量，ω和τ分别为状态输出和时长分布的MAP估计参数，和 为自适应均值向量 和 的加权平均MAP估计值。
6.根据权利要求1所述的汉藏双语语音合成方法，其特征在于：所述步骤E中所述的输入待合成文本，生成语音参数，合成藏语或汉语语音包括如下步骤：
首先使用文本分析工具将给定文本转换成包含语境描述信息的发音标注序列，使用训练过程中得到的决策树预测出每个发音的语境相关HMM模型，并连接成一个语句的HMM模型；
然后，使用参数生成算法从语句HMM中生成频谱、时长和基频的参数序列；
最后用Mel对数谱逼近(MLSA)滤波器作为参数合成器，合成出语音。
7.汉藏双语语音合成装置，其特征在于：包括：HMM模型训练单元，用于建立语音数据的HMM模型；说话人自适应单元，用于归一化和转换训练中说话人的特征参数，获得自适应模型；语音合成单元，用于合成待合成的藏语或汉语语音。
8.根据权利要求7所述的汉藏双语语音合成装置，其特征在于：所述HMM模型训练单元，包括：语音分析子单元，提取语音库中语音数据的声学参数，主要提取基频、频谱和时长参数；目标HMM模型确定子单元，结合音库的上下文标注信息，训练声学模型的统计模型，根据上下文属性集，确定基频、频谱和时长参数，所述语音分析子单元与所述目标HMM模型确定子单元相连。
9.根据权利要求8所述的汉藏双语语音合成装置，其特征在于：所述说话人自适应单元，包括依次相连的说话人训练子单元、平均音模型确定子单元、说话人自适应变换子单元和自适应模型确定子单元，所述目标HMM模型确定子单元与所述说话人训练子单元相连，所述说话人训练子单元，用于归一化训练中说话人和平均音模型之间状态输出分布和状态时长分布之间的差异；
所述平均音模型确定子单元，采用最大似然线性回归算法确定汉藏双语混合语音平均音模型；
所述说话人自适应变换子单元，利用自适应数据，计算说话人的状态输出概率分布和时长概率分布的均值向量和协方差矩阵，并将其向目标说话人模型进行转化；
所述自适应模型确定子单元，建立目标说话人的MSD-HSMM的自适应模型。
10.根据权利要求9所述的汉藏双语语音合成装置，其特征在于：所述语音合成单元包括依次相连的自适应模型修正子单元和合成子单元，所述自适应模型确定子单元与所述自适应模型修正子单元相连，
所述自适应模型修正子单元，利用MAP算法对语音的自适应模型进行修正和更新，减小模型偏差，提高合成质量；
所述合成子单元，利用修正的自适应模型，预测输入文本的语音参数，提取参数通过语音合成器最终合成汉语或藏语语音。

暂无