一种适用于流媒体环境的盗版追踪水印方法

1.一种适用于流媒体环境的H.264盗版追踪水印方法，包括以下四个步骤：
第一步：用户信息预处理：在密钥Y1的控制下，将用户身份标识ID依次进行置乱和扩频，生成最终嵌入视频的水印信息W；
第二步：视频资源预处理：对需要进行水印嵌入的视频进行分段处理；
第三步：水印嵌入：将用户信息作为水印，根据视频的内容，自适应的嵌入到视频B帧的运动矢量；
第四步：水印提取：根据密钥选出嵌入有水印信息的B帧，然后从运动矢量中提取出水印信息；
其特征在于，所述的水印嵌入，具体包括以下步骤：
第1步：对已分段的视频进行NAL解码，即网络层解码，获得视频的VCL部分，即获得视频编码层部分；
第2步：对视频的VCL部分进行熵解码，获得所有B帧的运动矢量；
第3步：利用密钥Y2选出每个GOP中，即画面组中，需要嵌入水印的B帧； 第4步：对于高清视频，选择该B帧中所有16×16、16×8和8×16大小的宏块的运动矢量幅值进行判断，如果当前宏块的运动矢量幅值大于嵌入阈值T1，则将该宏块的编号和运动矢量的幅值存入数组；对于普通视频和低画质视频，则选择该B帧中所有16×16、16×8、
8×16和8×8大小的宏块的运动矢量幅值进行判断，如果当前宏块的运动矢量幅值大于嵌入阈值T1，则将该宏块的编号和运动矢量的幅值存入数组；
第5步：根据运动矢量幅值的大小，利用快速排序算法对所有选出来的宏块进行从大到小的排序，并选择前m个宏块嵌入水印；
第6步：将选出的宏块按排列的顺序依次嵌入水印信息：比较宏块的运动矢量的水平分量Vx和垂直分量Vy值的大小，如果||Vx|-|Vy||小于或等于差值阈值T2，则分别在运动矢量的水平方向和垂直方向嵌入1bit的水印信息；如果||Vx|-|Vy||大于差值阈值T2，则只在绝对值较大的分量上嵌入2bit的水印信息；
第7步：水印信息嵌入B帧后，修改B帧所在NAL头部，使Nal_ref_idc的值为3，即该帧发生丢失时，强制其重传。
2.如权利要求1所述的H.264盗版追踪水印方法，其特征在于，所述的用户信息预处理，具体包括以下步骤：
第一步：在密钥Y1的控制下，将m位的用户身份标识ID进行置乱处理得到ID′；
第二步：将ID′扩频成2m位的二进制比特信息W,W作为最终嵌入视频的水印信息。
3.如权利要求1所述的H.264盗版追踪水印方法，其特征在于，所述的视频资源预处理，具体包括以下步骤：
第一步：以t分钟为时间间隔，对需要进行水印嵌入的视频进行分段；
第二步：将视频的第一段传输给用户；
第三步：对剩余的所有分段视频同时进行水印嵌入操作。
4.如权利要求1所述的H.264盗版追踪水印方法，其特征在于，所述的利用密钥Y2选出每个GOP中需要嵌入水印的B帧，具体是指：任意选取一个3n位的二进制数，利用密钥Y2对其进行加密得到3n 位的二进制串L，然后把生成的二进制串L分为n组，生成位置序列（L1, L2,…,Li,…,Ln），其中n为视频段中GOP单元的个数，L1, L2,…,Li,…,Ln都是3位二进制数，用于表示GOP中B帧的相对位置，即相对于该GOP中第一个B帧的位置；根据Li的值，选择第i个GOP单元的第Li个B帧嵌入水印。
5.如权利要求1所述的H.264盗版追踪水印方法，其特征在于，所述的将选出的宏块按排列的顺序依次嵌入水印信息,具体是指：设当前宏块排第i位，如果||Vx|-|Vy||小于或等于差值阈值T2，则分别在运动矢量的水平方向和垂直方向嵌入1bit的水印信息，即按公式1修改|v|，将W的第2i-1位嵌入Vx和第2i位嵌入Vy；其中v表示Vx或Vy，λ为嵌入的水印信息值，mod为取模运算；
(1)
如果||Vx|-|Vy||大于差值阈值T2，则按照公式2修改|v|，将W的第2i-1位和第2i位嵌入到绝对值较大的分量；其中v表示绝对值较大的分量，即|v|=max{|Vx|,|Vy|}，λ为嵌入的水印信息值，mod为取模运算
(2)。
6.如权利要求1所述的H.264盗版追踪水印方法，其特征在于，所述的水印提取，具体包括以下步骤：
第一步：根据密钥Y2生成的位置序列（L1, L2,…,Li,…,Ln）选出视频中嵌入有水印的视频B帧；
第二步：对于高清视频，选出其B帧中所有运动矢量大于嵌入阈值T1的16×16、16×8和8×16大小的宏块；对于普通视频和低画质视频，则选出其B帧中所有运动矢量大于嵌入阈值T1的16×16、16×8、8×16和8×8大小的宏块；
第三步：对选出的宏块按运动矢量幅值的大小，从大到小排序，取前m个宏块提取水印：如果||Vx|-|Vy||小于等于差值阈值T2，则分别从该宏块运动矢量的水平方向和垂直方向提取出1bit的水印信息，其中(|Vx|×4)mod2的值即为嵌入Vx方向的水印信息值，(|Vy|×4)mod2的值即为嵌入Vy方向的水印信息值；如果||Vx|-|Vy||大于差值阈值T2，则在绝对值较大的分量上提取出2bit的水印信息，(|v|×4)mod4的值即为水印信息值， 代表绝对值较大的分量，即|v|=max{|Vx|,|Vy|}；
第四步：将取出的水印信息W进行反扩频，得到ID′；
第五步：利用密钥Y1反置乱ID′，得到最终的用户身份标识ID。

一种适用于流媒体环境的盗版追踪水印方法\n技术领域\n[0001] 本发明涉及一种适用于流媒体环境的盗版追踪水印方法，属于多媒体信息安全领域。\n背景技术\n[0002] 三网融合是指电信网、计算机网和有线电视网三大网络通过技术改造，通过IP网络承载包括语音、数据、图像等各类综合多媒体业务，其表现为网络层上互联互通，业务层上互相渗透和交叉。流媒体是指采用流式传输的方式在互联网上播放的媒体格式。基于IP网络实现的IPTV业务，其基本信息就是采用实时流式方式传输。视频提供商将视频文件经过压缩处理后,放在网络服务器上进行分段的传输，客户端计算机不用将整个的视频文件下载到本地,便可以即时观赏和收看。三网融合下的IPTV业务可以为用户提供丰富的视频资源。然而这些视频资源被下载后，往往被恶意用户随意复制传播，这使得商家的利益受到极大的损失。将用户的身份信息作为水印，嵌入流媒体视频中，可以实现盗版追踪，在一定程度上可以保护商家的利益。\n[0003] H.264视频编码是由 ITU-T和ISO/IEC联合开发的一个新的数字视频编码标准。\nH.264不仅具有高压缩比，而且还拥有高质量的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。因此，研究流媒体环境下的H.264视频水印具有积极的意义。\n[0004] 传统的视频水印技术，例如基于DCT变换的视频水印技术，都是在变换域中嵌入数字水印，水印嵌入算法的复杂度较高，一般不能满足流媒体的实时性的要求，并不能直接应用于流媒体中。\n[0005] 基于运动矢量的H.264视频水印由于只需解码视频编码的一部分，水印嵌入所需的时间比较少，并且水印嵌入过程中运算量很少，可以满足流媒体环境下对数字水印的实时性要求。但是，现有的基于运动矢量的H.264视频水印技术，应用于三网融合以后的流媒体环境下进行盗版追踪，还存在如下一些问题：\n[0006] 1.流媒体下的盗版追踪水印一般不能事先将用户信息嵌入视频，而需要根据用户的请求，实时的将用户信息嵌入流媒体视频，即水印嵌入的时间不能过长，否则会影响用户对视频的观赏效果。\n[0007] 2.在流媒体环境里，视频重新解码和编码是很常见的操作，而H.264视频编码在运动估计部分提供了多种估计算法，例如菱形法DS和六边形法HEXBS等。应用这些算法得出的关于视频帧的宏块划分和运动矢量的值，很多时候都存在差异，而将运动矢量作为水印载体嵌入水印后，由于载体本身发生了改变，导致嵌入其中的水印信息丢失。\n[0008] 3.流媒体提供商为了能够满足不同的用户需求，一般会提供多种模式的视频供用户选择，并且三网融合以后，不同的网络提供的视频内容也有很大的不同。对于高清视频，按一般方法修改视频帧的运动矢量往往会导致某些细节部分失真；而对于那些低画质视频，往往可以嵌入水印的宏块数量比较少。\n[0009] 4.流媒体环境下的视频是采取网络方式传输，传输过程中由于网络的不稳定性，视频中的某些帧可能被丢弃，而如果这些视频帧中含有水印信息，那么被丢弃后便不能再提取出水印信息。\n[0010] 5.为了能够标示用户的具体信息，实现盗版追踪，水印的容量必须足够大。目前的运动矢量水印都只能嵌入1bit的水印信息，而一个视频帧中，适合嵌入水印的运动矢量是有限制的，一般水印方法的水印容量达不到要求。\n发明内容\n[0011] 技术问题：\n[0012] 本发明提出了一种适用于流媒体环境的盗版追踪水印方法，解决了传统的H.264视频数字水印因为水印嵌入时间过长，不能根据视频内容自适应的选择水印嵌入位置，不适用于网络传输环境等原因，而不能直接用于H.264流媒体视频的问题。\n[0013] 技术方案：\n[0014] 本发明的方法在水印嵌入前先对视频进行分段处理，然后根据流媒体视频内容，选取合适的宏块嵌入水印，每个宏块的运动矢量嵌入2bit的水印信息。\n[0015] 参数定义：\n[0016] 1、如果B帧的某个宏块含有多个运动矢量，则把运动幅值最大的运动矢量称为该宏块的运动矢量。\n[0017] 2、宏块的运动矢量用向量表示为：（Vx,Vy），其中Vx是水平分量，Vy是垂直分量。\n[0018] 3 、 运 动 矢 量 幅 值 计 算 公 式 ： \n= 。 \n[0019] 4、高清视频是指1280×720分辨率以上的视频，低画质视频是指分辨率480×360以下的视频，其余为普通视频。\n[0020] 具体方法流程：\n[0021] 1用户信息预处理：\n[0022] 第一步：在密钥Y1的控制下，将m位的用户身份标识ID进行置乱处理得到ID′；\n[0023] 第二步：将ID′扩频成2m位的二进制比特信息W,W作为最终嵌入视频的水印信息。\n[0024] 视频资源预处理：\n[0025] 第一步：以t分钟为时间间隔，对需要进行水印嵌入的视频进行分段；\n[0026] 第二步：将视频的第一段传输给用户；\n[0027] 第三步：对剩余的所有分段视频同时进行水印嵌入操作。\n[0028] 水印嵌入具体步骤：\n[0029] 第一步：对已分段的视频进行NAL解码，即网络层解码，获得视频的VCL部分，即获得视频编码层部分。\n[0030] 第二步：对视频的VCL部分进行熵解码，获得所有B帧的运动矢量。\n[0031] 第三步：利用密钥Y2选出每个GOP中，即画面组中，需要嵌入水印的B帧，具体细节如下：任意选取一个3n位的二进制数，利用密钥Y2对其进行加密得到3n 位的二进制串L，然后把生成的二进制串L分为n组，生成位置序列（L1, L2,…,Li,…,Ln），其中n为视频段中GOP单元的个数，L1, L2,…,Li,…,Ln都是3位二进制数，用于表示GOP中B帧的相对位置，即相对于该GOP中第一个B帧的位置；根据Li的值，选择第i个GOP单元的第Li个B帧嵌入水印。\n[0032] 第四步：对于高清视频，选择该B帧中所有16×16、16×8和8×16大小的宏块的运动矢量幅值进行判断，对于普通视频和低画质视频则选择16×16、16×8、8×16和8×8大小的宏块的运动幅值进行判断，如果当前宏块的运动矢量幅值大于嵌入阈值T1，则将该宏块的编号和运动矢量的幅值记为(Mc,f)的形式，并存入数组，其中Mc是宏块的编号，f是运动矢量的幅值。\n[0033] 第五步：根据运动矢量幅值的大小，利用快速排序算法对所有宏块进行从大到小的排序，并选择前m个宏块嵌入水印。\n[0034] 第六步：将选出的宏块按排列的顺序依次嵌入水印信息，嵌入过程如图（1）所示。\n具体细节如下：\n[0035] 假设当前宏块排第i位，首先比较其运动矢量的水平分量Vx和垂直分量Vy值的大小。如果||Vx|-|Vy||小于或等于差值阈值T2，则分别在运动矢量的水平方向和垂直方向嵌入1bit的水印信息，即按公式1修改|v|，将W的第2i-1位嵌入Vx和第2i位嵌入Vy。其中v表示Vx或Vy，λ为嵌入的水印信息值，mod为取模运算。\n[0036] (1)\n[0037] 注：如果v 为负数，则最终v= -|v|;否则v= |v|。\n[0038] 如果||Vx|-|Vy||大于差值阈值T2，则按照公式2修改|v|，将W的第2i-1位和第\n2i位嵌入到绝对值较大的分量；其中v表示绝对值较大的分量，即|v|=max{|Vx|,|Vy|}，λ为嵌入的水印信息值，mod为取模运算。\n[0039] (2) \n[0040] 注：如果v 为负数，则最终v= -|v|;否则v= |v|。\n[0041] 第七步：水印信息嵌入B帧后，修改B帧所在NAL头部，使Nal_ref_idc的值为3。\nNal_ref_idc取值为0到3，值越大代表越重要，如果在传输过程中发生帧丢失，则Nal_ref_idc值为3的帧必定被重传。 \n[0042] 4水印提取具体步骤：\n[0043] 水印提取的流程如图（2）所示，具体步骤如下： \n[0044] 第一步：根据密钥Y2生成的位置序列（L1, L2,…,Li,…,Ln）选出视频中嵌入有水印的视频B帧。\n[0045] 第二步：对于高清视频，选出其B帧中所有运动矢量大于嵌入阈值T1的16×16、\n16×8和8×16大小的宏块；对于普通视频和低画质视频，则选出其B帧中所有运动矢量大于嵌入阈值T1的16×16、16×8、8×16和8×8大小的宏块。\n[0046] 第三步：对选出的宏块按运动矢量幅值的大小，从大到小排序，取前m个宏块提取水印：如果||Vx|-|Vy||小于等于差值阈值T2，则分别从该宏块运动矢量的水平方向和垂直方向提取出1bit的水印信息，其中(|Vx|×4)mod2的值即为嵌入Vx方向的水印信息值，(|Vy|×4)mod2的值即为嵌入Vy方向的水印信息值；如果||Vx|-|Vy||大于差值阈值T2，则在绝对值较大的分量上提取出2bit的水印信息，(|v|×4)mod4的值即为水印信息值，|v|代表绝对值较大的分量，即|v|=max{|Vx|,|Vy|}。\n[0047] 第四步：将取出的水印信息W进行反扩频，得到ID′。\n[0048] 第五步：利用密钥Y1反置乱ID′，得到最终的用户身份标识ID。\n[0049] 有益效果\n[0050] 1、本发明的视频水印方法实时性更好，算法的复杂度更低，且水印嵌入视频后视频的码流增加更小，具体表现在：\n[0051] (1)对需要嵌入水印的视频资源进行分段处理，并行嵌入水印，水印嵌入更加高效，所需时间更少。\n[0052] (2)结合实际情况，视频的第一段不嵌入水印，在水印嵌入的同时，将视频的第一段传输给用户，使用户感觉不到水印嵌入所带来的延时。\n[0053] (3)并不在所有的视频B帧中嵌入水印，每个GOP中只有一个B帧含有水印信息，需要嵌入水印的视频帧控制在合理的范围，码流的增加会比较少，且嵌入水印的时间开销减少。\n[0054] 2、本发明的视频水印方法不可见性更好，对视频质量的影响更小，具体表现在：\n[0055] (1)只在不做参考帧的B帧中嵌入水印。B帧由于不做参考帧，不会引起误差扩散。\n传统的运动矢量水印都只考虑到了帧内的误差扩散，而没有考虑帧间的误差扩散。\n[0056] (2)考虑到运动矢量的水平方向和垂直方向的差异，采取了新的水印嵌入策略，对于低画质视频质量的影响更小，不容产生块效应。\n[0057] (3)根据视频的内容，选择相应的宏块嵌入水印，且对满足要求的宏块按运动幅值大小进行排序，得到最优的水印嵌入宏块。\n[0058] 3、本发明的视频水印方法水印容量更大，每个运动矢量嵌入2bit水印信息，而一般的运动矢量算法只能嵌入1bit的信息。\n[0059] 4、本发明的视频水印方法更加适应流媒体环境，能够应对由于网络传输而带来的视频帧丢弃等情况的发生。\n附图说明\n[0060] 图1为水印嵌入流程图\n[0061] 图2为水印提取流程图\n具体实施方式\n[0062] 为了方便描述，我们假定有如下应用实例：\n[0063] 用户Bob向商家Alice请求播放一部100分钟的电影，商家Alice收到用户Bob的播放请求后，首先将核实用户Bob的身份信息。如果用户Bob是非法用户，即未付费观看该电影的用户，商家Alice将拒绝用户Bob的播放请求；如果用户Bob是合法用户，即已付费观看该电影的用户，商家Alice将利用本发明提供的水印嵌入方法，把用户Bob的身份信息作为水印嵌入该电影，其中Bob的身份信息为32bit的二进制序列号。当商家Alice发现该电影被盗版时，他将利用本发明提供的水印提取方法，从该电影中提取出含有用户信息的水印，从而找到该电影的盗版者，实现盗版追踪。本例中嵌入阈值T1取6，差值阈值T2取3。\n[0064] 则其具体实施方式为：\n[0065] 1首先对用户信息进行预处理，具体细节如下：\n[0066] 第一步：在密钥Y1的控制下对用户Bob的身份标识ID进行置乱处理得到ID′。\n[0067] 具体的置乱方法如下：设数组A用于存放M位的ID′，数组B为存放中间结果的临时数组，数组A和数组B的长度都为M，M取值为32。选取与M互为质数的最小正整数P，作如下置乱： 1)B( i ) =A( ( i × P) mod M) i =0，1 ，2 ，...，M-1 [0068] 2)A=B\n[0069] 重复执行上面两个步骤Y1次，即可得到ID′。\n[0070] 第二步：最后将ID′扩频成64位的二进制比特信息W。二进制比特信息W作为最终嵌入视频的水印。\n[0071] 具体的扩频方法如下：首先将ID′利用公式ID′(j)=(-1)ID′(j)进行双极 性化，其中j=1,2,…,32，ID ′(j)代表 ID′的 第j位。然 后按公 式S={sj|sj=mi,i=jmod2,0≤j≤63}对ID′进行位数拓展，得到64位的S序列，再由伪随机数发生器生成伪随机序列p，按公式K={Kj|Kj =pj×sj, 0≤j≤63}生成序列K，最后将序列K中所有-1变为0，即得到最终的水印信息W。\n[0072] 2然后对视频资源进行预处理，具体细节如下：\n[0073] 第一步：在对电影嵌入水印之前，先对电影进行分段处理。首先将电影以5分钟为时间间隔，分成20段具有相同大小的视频片段。\n[0074] 第二步：将电影的第一个视频片段传输给用户，第一个片段不嵌入水印。\n[0075] 第三步：对剩下的19段视频，同时进行水印嵌入操作。\n[0076] 3水印嵌入：\n[0077] 第一步：对已分段的视频进行NAL解码，获得视频的VCL部分。\n[0078] 第二步：对视频的VCL部分进行熵解码，获得所有B帧的运动矢量。\n[0079] 第三步：利用密钥Y2选出每个GOP中，即画面组中，需要嵌入水印的B帧，具体细节如下：任意选取一个3n位的二进制数，利用密钥Y2对其进行加密得到3n 位的二进制串L，然后把生成的二进制串L分为n组，生成位置序列（L1, L2,…,Li,…,Ln），其中n为视频段中GOP单元的个数，L1, L2,…,Li,…,Ln都是3位二进制数，用于表示GOP中B帧的相对位置，即相对于该GOP中第一个B帧的位置；根据Li的值，选择第i个GOP单元的第Li个B帧嵌入水印。\n[0080] 第四步：如果该视频为高清视频，则选择其B帧中所有16×16、16×8和8×16大小的宏块的运动矢量幅值进行判断，如果不是，则选择16×16、16×8、8×16和8×8大小的宏块的运动幅值进行判断，如果当前宏块的运动矢量幅值大于嵌入阈值T1，则将该宏块的编号和运动矢量的幅值记为(Mc,f)的形式，并存入数组，其中Mc是宏块的编号，f是运动矢量的幅值。\n[0081] 第五步：根据运动矢量幅值的大小，利用快速排序算法对所有宏块进行从大到小的排序，并选择前32个宏块嵌入水印。\n[0082] 第六步：将选出的宏块按排列的顺序依次嵌入水印信息。具体细节如下：\n[0083] 假设当前宏块排第i位，首先比较其运动矢量的水平分量Vx和垂直分量Vy值的大小。如果||Vx|-|Vy||小于或等于差值阈值T2，则分别在运动矢量的水平方向和垂直方向嵌入1bit的水印信息，即按公式1修改|v|，将W的第2i-1位嵌入Vx和第2i位嵌入Vy。其中v表示Vx或Vy，λ为嵌入的水印信息值，mod为取模运算。\n[0084] (1)\n[0085] 注：如果v 为负数，则最终v= -|v|;否则v= |v|。\n[0086] 如果||Vx|-|Vy||大于差值阈值T2，则按照公式2修改|v|，将W的第2i-1位和第\n2i位嵌入到绝对值较大的分量；其中v表示绝对值较大的分量，即|v|=max{|Vx|,|Vy|}，λ为嵌入的水印信息值，mod为取模运算。\n[0087] (2) \n[0088] 注：如果v 为负数，则最终v= -|v|;否则v= |v|。\n[0089] 第七步：水印信息嵌入B帧后，修改B帧所在NAL头部，使Nal_ref_idc的值为3，即该帧发生丢失时，强制其重传。\n[0090] 4水印提取：\n[0091] 第一步：根据密钥Y2生成的位置序列（L1, L2,…,Li,…,Ln）选出视频中嵌入有水印的视频B帧。\n[0092] 第二步：如果该视频为高清视频，则选出其B帧中所有运动矢量大于嵌入阈值T1的16×16、16×8和8×16大小的宏块；如果不是，则选出其B帧中所有运动矢量大于嵌入阈值T1的16×16、16×8、8×16和8×8大小的宏块。\n[0093] 第三步：对选出的宏块按运动矢量幅值的大小，从大到小排序，取前32个宏块提取水印，具体细节如下：\n[0094] 1）如果||Vx|-|Vy||小于等于差值阈值T2，则分别从该宏块运动矢量的水平方向Vx和垂直方向Vy提取出1bit的水印信息，其中(|Vx|×4)mod2的值即为嵌入Vx方向的水印信息值，(|Vy|×4)mod2的值即为嵌入Vy方向的水印信息值。\n[0095] 2）如果||Vx|-|Vy||大于差值阈值T2，且Vx的绝对值较大，则在水平方向Vx提取出2bit的水印信息，如果Vy的绝对值较大，则在垂直方向Vy提取出2bit的水印信息，其中(|Vx|×4)mod4的值即为嵌入Vx方向的水印信息值，(|Vy|×4)mod4的值即为嵌入Vy方向的水印信息值。\n[0096] 第四步：将取出的水印信息W进行反扩频，得到ID′，具体细节如下：将水印信息W中的所有0比特改成-1，得到序列K。然后将序列K按公式 S={Sj|Sj =pj×kj, 0≤j≤63}反扩频得到S序列,取S序列的前32位或者后32位，将其中所有的-1改为1,1改为0，即可得到置乱序列ID′。\n[0097] 第五步：利用密钥Y1反置乱ID′，得到最终的用户身份标识ID，具体细节如下：利用公式B( ( i × P) mod M) =A( i ) i =0，1，2，...，M-1；A=B进行Y1次反置乱得到最终的用户身份标识ID（其中数组A用于存储ID′，数组B用于存储最终结果，M为32）。