视频通信系统

1.一种视频通信系统，包括：
背景景物分离装置，用于在发送/接收包括至少一幅图像的数据 的过程中分离图像中要传输的对象和除对象之外的背景景物；
背景图像数据库，用于提供待传输的背景图像，该背景图像与所 述分离出的背景景物无关；
背景图像合成装置，用于合成所分离的对象和从所述背景图像数 据库中选择的新背景图像；以及
图像传输装置，用于传输由分离的对象和新背景图像合成的合成 图像。
2.根据权利要求1所述的视频通信系统，还包括字符输入和合 成装置，用于通过把字符插入到使用新背景图像合成的合成图像中而 实现视频邮件传输。
3.根据权利要求1所述的视频通信系统，其特征在于，所述背 景景物分离装置包含在用于视频通信的终端中，而所述的背景景物合 成装置包含在用于视频通信服务的服务器中。
4.根据权利要求1所述的视频通信系统，还包括搜索装置，用 于基于内容搜索存储在所述背景图像数据库中的背景图像。
5.根据权利要求1所述的视频通信系统，其特征在于，所述的 背景景物分离装置包括：
对象提取装置，用于从图像中提取要传输的对象；
普通区域分离装置，用于基于颜色或者纹理划分相同颜色或纹理 的区域；
区域合成装置，用于使用由所述对象提取装置所提取的信息合成 要确定为目标区域的区域；
区域跟踪装置，用于对提取的对象进行跟踪，以在下一帧中提取 目标区域。
6.根据权利要求5所述的视频通信系统，其特征在于，所述的 对象提取装置从图像中提取人的面部区域，而所述的区域合成装置利 用所提取的人面部区域的位置合成要确定为人体区域的区域。
7.根据权利要求1所述的视频通信系统，进一步包括边界区域 描述装置，用于生成边界区域描述相关信息，以描述所分离的对象和 背景景物之间的边界区域，以及
所述背景图像合成装置利用所述边界区域描述相关信息来合成所 分离的对象和来自所述背景图像数据库的新背景图像。
8.根据权利要求7所述的视频通信系统，其特征在于，在用于 视频通信的终端或者用于视频通信服务的服务器中包含一个字符输入 和合成装置，用于通过把字符插入到使用新背景图像合成的合成图像 中而实现视频邮件传输。
9.根据权利要求7所述的视频通信系统，其特征在于，所述的 背景景物分离装置包含在用于视频通信的终端中，而所述的背景景物 合成装置包含在用于视频通信服务的服务器中。
10.根据权利要求7所述的视频通信系统，还包括搜索装置，用 于基于内容而搜索存储在所述背景图像数据库中的背景图像。
11.根据权利要求7所述的视频通信系统，其特征在于，所述的 背景景物分离装置包括：
对象提取装置，用于从图像中提取要传输的对象；
普通区域分离装置，用于基于颜色或者纹理划分相同颜色或纹理 的区域；
区域合成装置，用于使用由所述对象提取装置所提取的信息，合 成要确定为目标区域的区域；以及
区域跟踪装置，用于对提取的对象进行跟踪，以在下一次提取目 标区域。
12.根据权利要求11所述的视频通信系统，其特征在于，所述 的对象提取装置从图像中提取人的面部区域，而所述的区域合成装置 通过使用所提取的人面部区域的位置，合成要确定为人体区域的区 域。
13.根据权利要求7所述的视频通信系统，其特征在于，所述的 边界区域描述装置保留对应于目标区域的像素的原始信息，并为对应 于背景景物的像素赋以‘NULL’值。
14.根据权利要求7所述的视频通信系统，其特征在于，所述的 边界区域描述装置将目标区域的轮廓描述为多边形，而将边界信息描 述为对应于多边形顶点的连续像素值。
15.一种视频通信控制方法，包括如下步骤：
在要传输的图像中分离出对象和背景景物；
选择待传输的背景景物，该背景景物与所分离出的背景景物无 关；
合成所分离的对象和选择的新背景；以及
传输由分离的对象和新背景图像所合成的合成图像。
16.根据权利要求15所述的视频通信控制方法，其特征在于， 分离对象和背景景物后，描述边界信息，并且使用边界信息对新的背 景景物和对象进行合成。
17.根据权利要求15所述的视频通信控制方法，还包括在传输 使用新背景图像合成的对象图像时，通过插入字符而输入和合成字符 信息以实现视频邮件传输。
18.根据权利要求15所述的视频通信控制方法，其特征在于， 对象和背景景物的分离包括检测人的面部区域和将人体区域和除人体 区域之外的背景景物区域进行分离。
19.根据权利要求18所述的视频通信控制方法，其特征在于， 分离人体区域和背景景物区域的步骤包括如下步骤：
提取面部区域的位置；
基于颜色或纹理，划分相同颜色或纹理的区域；
通过使用运动信息和面部位置信息，合成要确定为人体区域的区 域；以及
跟踪所提取的面部区域位置，以在下次提取人体区域。
20.根据权利要求19所述的视频通信控制方法，其特征在于， 提取面部区域位置的步骤包括如下步骤：
从输入的图像中提取对应于皮肤颜色区域的像素；
对仅由对应于皮肤颜色区域的像素形成的图像进行网格划分；
将相连的网格归组为一个区域；
设定网格组中的候选面部区域；以及
确认所设定候选面部区域中的面部区域。
21.根据权利要求20所述的视频通信控制方法，其特征在于， 设定候选面部区域的步骤包括如下步骤：
设定包含属于一组的网格的最小四边形作为一个区域；
确定所设定四边形的宽长比率是否在预定的范围之内；以及
如果确定宽长比率在预定的范围之内，则设定候选面部区域。
22.根据权利要求20所述的视频通信控制方法，其特征在于， 确定候选面部区域的步骤包括如下步骤：
通过使用预先收集的面部区域图像构建面部样板；
将构建的面部样板与候选面部区域进行比较；以及
作为比较结果，如果确定所构建的面部样板与候选面部区域之间 的相似性大于一个预定阈值，则确认该候选面部区域为面部区域。
23.根据权利要求19所述的视频通信控制方法，其特征在于， 基于颜色或纹理划分相同颜色或纹理区域的步骤包括：
将颜色空间划分为N个子区域；
对输入的图像进行平滑处理；
通过将平滑处理图像的像素值映射到所划分的N种颜色之一而进 行量化；
将具有同一量化颜色值的相邻像素归组为一个区域；以及
如果所分组的区域小于一个预定值，则以可扩展的方式对具有和 其它邻近区域的颜色相似的颜色的区域进行合并。

技术领域
本发明涉及基于背景和对象分离的视频通信系统，其能够将背景 和对象进行分离，并且能够动态地对所分离的背景和对象进行合成， 从而能够根据用户或者通信环境的要求用于视频通信。
背景技术
远程通信和运动图像压缩技术的发展使得多媒体环境下的视频通 信成为可能，在此环境下，不仅可以发送和接收话音，还可以发送和 接收通信者的图像。视频通信的发展使得使用PC摄像机、视频电话/ 图像电话、移动通信终端等的视频通信成为可能。
在这些视频通信环境中，可能会有这种情况，即根据环境不同， 例如，出于保护隐私的目的，用户不愿向对方透露其当前的位置。在 此情况下，应当允许仅进行没有视频通信的话音通信，或者将背景景 物改变成为不同的景物以进行通信。
然而，在进行视频通信时，在实时环境下，在速度和准确性方面， 很难自动改变背景景物。因此，传统上，在一些图像电话上，使用了 在通信初始阶段向对方发送任意的静止图像作为用户设定的特定图 像，然后仅实现话音通信的技术。
然而，由于此技术向对方传送任意的静止图像以代替不在屏幕上 出现的视频通信人员，对方仅能听到此人的声音。这意味着损失了视 频通信的关键功能，即以双方可视的方式实现通信。另外，对方在没 有看见实际面容而看着静止图像的情况下进行通信时，可能会觉得不 快。
因此，在进行视频通信时，需要一种技术，其能够实时地将通信 人员和背景景物分离，并且使用不同的景物改变或者变化背景景物。 这样的话，在进行视频通信时，当通信人员出现，但是背景景物改变 成为另外的景物时，上述当实际面容由静止图像代替的问题仍然没有 解决。
然而，对于将背景景物自动改变为不同的景物而言，其前提是一 种实时地将目标区域从通信图像中自动分离的技术。下面，将会描述 分离对象，尤其是人体区域和背景景物的传统技术。
在作为与分离对象和背景图像相关技术的运动图像标准中， MPEG-4允许基于对象的图像压缩编码。然而，由于MPEG-4本身是 一种对预先分离的对象进行编码的技术，因此，对于基于对象的图像 压缩编码而言，其前提是对象分离技术。但是，对于当前技术而言， 在需要实时压缩和传送视频信号的环境(视频通信/视频对话)中，很 难实现足够快的将所要求的对象和除对象之外的背景进行分离，然后 以压缩模式进行对象和背景的编码。
因此，采用MPEG-4作为标准的视频通信系统不能实现对象单元 的编码，而是以普通图像压缩的形式对对象进行压缩和传输。这称作 MPEG-4简单级。
另一方面，也提出了一种在非实时环境下分离对象和背景景物的 技术。例如，有一种基于颜色组从图像中分离子区域的技术。尽管此 技术能够相对好地从图像中分离子区域，但是由于所分离的区域仅是 基于颜色的区域，而不是一种有意义的目标区域，并且分离速度非常 慢，从而，很难在诸如视频通信的实时环境下用作需要分离对象和背 景景物的技术。
另一方面，考虑到视频通信系统中的图像具有对象是人的特征， 还提出了一种从图像中分离面部的技术。例如，有一种技术，通过使 用将信息转换成为小波频域而形成的面部样板而提取面部区域。此技 术在从最小尺寸到最大尺寸调整其样板的同时扫描和匹配所有的图像 区域。
但是，由于进行匹配的样板数目非常之大，此方法需要非常长的 处理时间。
另外，作为面部区域分离技术，有一种通过使用面部区域具有人 类皮肤颜色的范围的特征而提取面部区域的技术。一般来讲，人类的 皮肤颜色位于颜色空间的特定范围内。因此，此技术通过仅使用和人 类皮肤颜色状况符合的像素来提取面部区域。
但是，一般来讲，由于人类皮肤颜色的范围太宽，图像中除面部 区域之外的区域也可能会被提取为面部区域，这使得很难对面部区域 进行精确分离。
由于上述从静止图像中提取面部区域的技术没有使用运动图像的 特征，提出了一种通过在运动图像中跟踪面部区域而提取面部区域的 技术。具体的说，此技术用于跟踪面部区域，其通过运动信息以较少 的处理进行提取。
然而，由于此技术仅跟踪面部所处的大致区域，使得很难精确地 分离面部区域和背景景物。即，尽管此技术能够在运动图像中跟踪对 象(人的面部)，对于精确地将面部区域和背景景物进行分离来讲， 还是有局限性的。
发明内容
因此，本发明致力于解决上述背景技术中的问题，本发明的一个 目的是提供一种视频通信系统，其能够在视频通信中自动对对象和背 景景物进行分离，并且将分离的背景景物改变成为不同景物。
本发明的另外一个目的是提供一种视频通信系统，其通过分别构 建面部区域提取装置和普通区域提取装置，并且在视频通信系统中进 行组合，使得在视频通信中背景景物能够自动改变为不同的景物，从 而实现更为精确的背景景物分离。
本发明的另外一个目的是提供一种视频通信系统，其通过构建用 于分离背景景物的背景景物分离装置和用于合成不同背景景物的背景 景物合成装置，并且将背景景物分离装置和背景景物合成装置放置在 终端中，以在能够进行视频通信的视频通信系统中实现视频通信，其 中能够将背景景物自动改变为不同的景物，从而在终端处实现背景景 物的分离和合成。
本发明的另外一个目的是提供一种视频通信系统，其通过构建用 于分离背景景物的背景景物分离装置和用于合成不同背景景物的背景 景物合成装置，并且将背景景物分离装置放置在视频通信终端中，将 背景景物合成装置放置在服务器中，以在能够进行视频通信的视频通 信系统中提供服务，其中能够将背景景物自动改变为不同的景物，从 而实现更为有效的背景景物分离和合成。
本发明的另外一个目的是提供一种视频通信系统，其能够将服务 器提供的背景景物合成到旨在广告宣传或者其它用途的任意背景景物 中。
本发明的另外一个目的是提供一种视频通信系统，用于对对象和 背景景物进行分离，并且将分离的背景景物合成为不同的背景景物以 代替所分离的背景景物，其能够应用于包含图像的通信系统，例如视 频邮件，以及包含话音的视频通信。
本发明的另外一个目的是提供一种视频通信系统，用于对对象和 背景景物进行分离，并且将分离的背景景物合成为不同的背景景物以 代替所分离的背景景物，当该视频通信系统应用于包含图像的通信系 统，例如视频邮件，以及包含话音的视频通信时，如果用户想要发送 不同的背景景物，通过分离对象(面部区域)、记录所分离的对象和 背景景物之间的边界信息、以及利用边界信息仅合成背景景物而无需 以后重复执行背景景物的分离，从而可以在简单地改变和编辑背景景 物之后传送视频邮件。
为了实现上述目的，根据本发明的一个方面，提供了一种视频通 信系统，该系统包括：背景景物分离装置，用于在发送/接收包括至少 一幅图像的数据的过程中，分离图像中要传输的对象和除对象之外的 背景景物；背景图像数据库，用于提供待传输的背景图像，该背景图 像与所述分离出的背景景物无关；背景图像合成装置，用于将分离的 对象和从所述背景图像数据库中选择的新背景图像进行合成；图像传 输装置，用于传输由分离的对象和新背景图像合成的合成图像。
根据本发明的另外一个方面，提供了一种视频通信系统，该系统 包括：背景景物分离装置，用于在发送/接收包括至少一幅图像的数据 的过程中，分离要传输的对象和除图像中对象之外的背景景物；边界 区域描述装置，用于描述所分离对象和背景景物之间的边界区域；背 景图像数据库，用于提供待传输的背景图像，该背景图像与所述分离 出的背景景物无关；背景图像合成装置，用于使用边界区域描述信息 合成所分离的对象和来自所述背景图像数据库的新背景图像；以及图 像传输装置，用于传输由所分离的对象和新背景图像合成的合成图 像。
根据本发明的另外一个方面，提供了一种视频通信控制方法，该 方法包括：在要传输的图像中分离对象和背景景物；选择待传输的背 景图像，该背景图像与所述分离出的背景景物无关；合成所分离的对 象和所选择的新背景；传输由分离的对象和新背景图像所合成的合成 图像。
附图说明
下面结合附图的详细描述中，可以对本发明的上述和其它的目 的、特征和其它优点更加明了，附图中：
图1显示的是在根据本发明的视频通信系统中用于视频通信的图 像分离和合成的概念图；
图2显示的是在根据本发明的视频通信系统中用于视频邮件的图 像分离和合成的概念图；
图3显示的是在根据本发明的视频通信系统中，背景景物分离装 置和背景景物合成装置位于终端内的系统配置图；
图4显示的是在根据本发明的视频通信系统中，在终端内实现背 景景物分离，在服务器中实现背景景物合成的系统配置图；
图5显示的是在根据本发明的视频通信系统中，在终端内实现背 景景物分离和合成，在服务器中提供背景景物搜索引擎的系统配置 图；
图6显示的是在根据本发明的视频通信系统中，在终端内实现背 景景物分离，在服务器中提供背景景物合成和背景景物搜索引擎的系 统配置图；
图7是一个流程图，说明了根据本发明的视频通信系统的操作；
图8显示的是应用于根据本发明的视频通信系统的面部区域提取 过程；
图9到图14显示的是应用于根据本发明的视频通信系统的面部 区域提取过程中，皮肤区域像素图像的网格划分和网格分组的图像实 例；
图15显示的是应用于根据本发明的视频通信系统的面部区域提 取过程中的相同颜色/纹理区域分离过程；
图16显示的是在图15的相同颜色/纹理区域分离过程中，所生 成的分离区域图像的实例；
图17是一个流程图，显示了根据图4的实施例的视频通信过程；
图18显示的是在根据本发明的视频通信系统中，在终端内实现 背景景物分离和合成以进行视频邮件的系统配置；
图19显示的是在根据本发明的视频通信系统中，在终端内实现 背景景物分离，在服务器中实现背景景物合成以进行视频邮件的系统 配置；
图20显示的是在根据本发明的视频通信系统中，在服务器中实 现背景景物分离和合成以进行视频邮件的系统配置；
图21显示的是作为本发明的一个应用，在终端实现背景景物分 离和合成的系统配置，用于提供背景景物的服务器为用户提供了费 用；
图22显示的是作为本发明的另外一个应用，在服务器实现背景 景物分离和合成的系统配置，用于提供背景景物的服务器为用户提供 了费用。
优选实施例详细说明
以下参照附图对本发明进行描述，附图中相同的标号指示相同的 元件。
下面，将通过不同的实施例对本发明进行详细的说明。
在本发明的视频通信系统中，用于自动改变背景景物的技术具有 两个应用：一个是和对方进行包含话音的实时视频通信；另一个是不 仅进行图像而且进行诸如文本的其它信息的传输。
作为前者的实例，有一个视频通信领域，其中在进行视频通信时， 将背景景物改变成为广告背景景物或者用户所希望的不同背景景物。 作为后者的实例，有一个视频邮件领域，其中在将背景景物改变成为 用户所希望的不同背景景物并且进行包括消息添加等等的视频邮件编 辑之后传送视频邮件。这两种情况都作为本发明的视频通信系统。
图1显示的是在视频通信中背景景物变化的概念图。
参考附图1，在从包含背景景物1a和目标区域1b的原始图像中 仅分离出目标区域1b之后，把所分离的目标区域与新的背景景物2 进行合成，并且传输具有目标区域1b和新背景景物2a的合成图像。
图2显示的是视频邮件中背景景物变化的概念图。
参考图2，在从包含背景景物1a和目标区域1b的原始图像中分 离出目标区域1b之后，把所分离的目标区域与新的背景景物2进行 合成，插入字符3，并且发送具有目标区域1b、新背景景物2a和字 符3的合成图像。
此处，使用指定的字符显示方法插入字符3，包括插入位置、字 符的字体和字号、固定字符或移动字符等等。
另一方面，对于视频邮件的情况，没有必要实时进行所需的改变 背景景物的过程。然而，对于视频通信的情况，由于为了提供上述的 服务，需要实时地对背景景物进行分离和合成，所以必需提供一种有 效的背景景物分离和合成方法。
从现在开始，首先，将详细描述能够提供对背景景物和对象进行 实时分离和变化的通信服务的视频无线通信系统，然后，将详细描述 基于对背景景物和对象的分离和合成的视频邮件和其它应用服务。
根据用于从图像中分离背景和对象的装置和对所分离对象和新背 景景物进行合成的装置的位置不同，本发明的视频通信系统可以表现 为不同的实施例。
图3显示的是一个实施例的配置图，其中在根据本发明的视频通 信系统中，背景景物分离装置和背景景物合成装置位于终端内。
参考图3，视频通信大致包括用于实现视频通信的终端4和用于 提供服务的服务器5。
终端4包括背景分离单元6，用于在图像中分离背景景物和对象； 和背景景物合成单元7，用于将所分离的对象和新背景景物进行合成。 背景分离单元6包括面部区域提取单元8，用于从图像中提取面部区 域；普通区域分离单元9，用于分离除面部区域之外的普通区域；区 域合成单元10，用于使用所提取的面部区域对确定为人体区域的区域 进行合成；以及区域跟踪单元11，用于使用所提取的面部区域信息在 下一个连续帧中对相关区域进行跟踪。
另外，终端4还包括图像编码器12，用于对传输图像信号进行 编码以进行通信；图像解码器13，用于对接收图像信号进行解码以进 行通信；缓存器14，用于处理通信信号；以及通信设备15，用于根 据通信协议对图像信号进行发送和接收。
服务器5包括缓存器16，用于处理要用于通信的图像信号和背 景景物；背景景物数据库17，用于存储要提供给背景景物的图像信息； 通信设备18，用于根据预定的通信协议发送和接收图像信号，以将存 储在背景景物数据库中的图像信息提供给终端。
在图3中，终端4可以是安装有PC摄像机的PC，可视电话等等。 用于提供背景图像的背景景物数据库17可以放置在服务器5或者终 端4中。
如果把数据库17放置在服务器5中，则当把背景景物改变为用 户所希望的不同背景景物时，从服务器5接收所希望的不同背景景物。 如果把数据库17放置在终端4，则使用终端4中的背景图像。
对于图3中的视频通信系统，所有的背景景物改变均在终端4处 实现，并且对具有改变了的背景景物的图像进行编码和传输，以下会 对其进行详细描述。
面部区域提取单元8从要传输的原始图像中提取面部区域。以下 参考图8对提取面部区域的方法进行详细描述。普通区域分离单元9 通过颜色/纹理信息识别并分离具有相似颜色和纹理的区域作为一个单 独的区域，并且将面部区域分离成为普通区域的一部分。
区域合成单元10对分离出的区域中参照从面部区域提取单元8 中所提取的面部区域的位置而确定为人体区域的区域进行合成。例 如，由于脖子、身体、手臂、腿通常位于面部的下面，所以当识别出 面部区域时，能够由已知的面部区域提取出确定为人体的区域。对于 此类的提取，也附加使用运动信息。
当如上对起始的背景景物区域和确定为人体的区域进行分离时， 能够利用一种更为简单的方法，通过使用所分离的人体区域是连续移 动的假设，从下一帧连续的图像中提取出人体区域。区域跟踪单元11 负责此功能。
具体的说，无需使用运动信息在下一帧中重新对背景景物进行分 离，仅通过简单的改变和扩展前面所提取的人体区域，就可以分离出 背景景物。例如，当运动信息是朝向特定的方向时，通过在运动信息 所指示的方向上检查前一帧中具有和人体区域相同颜色信息的像素， 并移动和扩展该区域，就可以实现相对简单的背景景物分离。此方法 也反映了人体区域的大小取决于摄像机和要摄像的人之间的距离。如 上所述，背景景物分离单元6能够对背景景物和对象(人体)进行分 离。
背景景物合成单元7对除人体区域之外的区域进行合成，即，用 户所希望的或者由服务器指定的背景景物。具体的说，服务器5通过 缓存器16和通信设备18向用户发送存储在背景景物数据库17中、 并且由用户选择或者服务器指定的背景图像，通过选择所希望的背景 图像或者对由服务器指定的背景图像进行合成，用户能够获得具有不 同背景景物的合成图像。另一方面，如果在终端4中预先存储了和背 景景物相关的数据库17，则用户能够无需进行背景图像的发送处理， 就可以方便和直接地选择背景图像。
由图像编码器12将使用背景景物合成的图像编码成为预定的格 式，通过缓存器14和通信设备15发送到对方的终端。当终端4从对 方接收到图像时，由解码器13对所接收的图像进行解码，并且显示 在屏幕上，从而实现视频通信。
图4显示的是在根据本发明的视频通信系统中，在终端实现背景 景物分离，在服务器实现背景景物合成的系统配置。
参考图4，把背景景物分离单元6放置在终端4，把背景景物合 成单元22放置在服务器5。背景分离单元6包括面部区域提取单元8， 普通区域分离单元9，区域合成单元10和面部跟踪单元20。面部跟 踪单元20实现和图3中的区域跟踪单元相同的功能。
另外，终端4包括区域边界描述单元19，用于描述所分离的背 景景物与人体区域之间的边界信息；图像编码器12；图像解码器13； 缓存器14；以及通信设备15。
服务器5包括缓存器16，背景景物数据库17，通信设备18，区 域边界分析单元21，用于对区域边界描述单元19所提供的所分离背 景景物与人体区域之间的边界信息进行分析，背景景物合成单元22， 用于使用边界分析信息对背景景物进行合成，以及图像编码器23和 图像解码器24，用于发送和接收使用新背景景物合成的图像。
在图4的视频通信系统中，终端4仅实现背景景物分离，并且发 送所分离的背景景物，和由区域边界描述单元19所描述的分离背景 景物的边界区域。服务器5接收所分离的背景景物，对存储在数据库 17中的背景图像进行合成，然后将合成的背景图像重新发送到终端4。 以下对此操作进行更加详细的描述。
如上参考图3所述，背景景物分离单元6对背景景物区域和人体 区域进行分离。此时，区域边界描述单元19仅对所分离的人体区域 和背景景物区域之间的边界信息进行描述，通过图像编码器12、缓存 器14和通信设备15，将区域边界信息和人体区域的图像信息一起发 送到服务器5。
在服务器5，通过通信设备18和图像解码器24接收区域边界信 息和人体区域的图像信息，区域边界分析单元21通过对所接收的区 域边界信息进行分析，识别出人体区域和背景景物之间的边界，而背 景景物合成单元22对由用户指定、存储在数据库中的背景图像，或 者由服务器指定的背景图像进行选择，并且使用人体区域的图像信息 对背景图像进行合成。由图像编码器23对使用新背景景物(或者图 像)合成的图像信号进行编码，然后通过通信设备18进行传输。
对于表达图4中所分离区域之间边界的方法的实例，提出了下面 两种方法。
第一种方法是在对除人体区域之外的背景区域内填充诸如 “NULL”的像素值，使之和有意义的像素值有所区别之后，将其发 送到服务器，服务器使用新背景景物的像素，对有意义的像素值之外 的其它区域进行填充。由于能够仅通过位操作符对背景景物进行合 成，此方法允许进行快速的背景景物合成，同时由于能够通过像素单 元对边界进行表达，也允许进行详细的边界描述。
第二种方法建立在可以使用多边形对所分离的区域进行描述的假 设下，其中所分离的区域由对应于多边形顶点的一系列点进行描述。 和第一种方法相比，第二种方法具有这样的优点，即用于描述边界区 域的数据变得很小。然而，由于第二种方法将边界区域描述为多边形， 而不是像素单元，很难描述边界的详细情况。另外，由于很难使用简 单的位操作符对背景景物进行合成，第二种方法需要很长的合成时 间。
如上所述图4中的视频通信系统尤其适用于要作为背景景物的图 像的信息数量巨大的情况。换言之，图3的视频通信系统需要花费大 量的时间将服务器上的相关背景图像传送到终端，以在终端实现背景 景物合成，图4中的视频通信系统由于服务器能够直接对背景景物进 行合成，而无需将其传送到终端，所以对于要作为背景景物的图像的 信息数量巨大的情况尤其有效。
图5显示的是安装有基于内容的背景景物搜索装置的视频通信系 统的配置。
参考图5，详细的讲，其显示出终端包括背景景物分离单元和背 景景物合成单元。换言之，终端4包括背景景物分离单元6，背景景 物合成单元7，图像编码器12，图像解码器13，缓存器14和通信设 备15，而背景景物分离单元6包括面部区域提取单元8，普通区域分 离单元9，区域合成单元10和面部跟踪单元20。
服务器5包括缓存器16，背景图像数据库17，通信设备18，背 景景物搜索引擎25，和背景景物搜索界面26。
当用户要使用所希望的不同背景景物进行通信或者发送视频邮件 的时候，背景景物搜索引擎25允许用户通过基于内容的搜索对背景 景物进行搜索和使用。换言之，用户能够通过背景景物搜索界面26， 通过使用基于内容的背景景物搜索引擎25在背景图像数据库17中搜 索他所希望的背景景物。
由于下面的原因，这一点是很有用的。即，当要编辑的背景景物 是图像或者运动图像时，用户能够通过使用颜色、纹理属性等，通过 搜索相似的图像或者运动运动图像而指定他所希望的背景景物。
图6显示的是具有基于内容的背景图像搜索装置的视频通信系统 的配置，即，安装有背景景物搜索引擎25和背景景物搜索界面26。 尤其是，终端4包括背景景物分离单元6和区域边界描述单元19，而 服务器5包括背景景物合成单元22和边界区域分析单元21。
图6中所示的视频通信系统的操作和图3和5中的一样。
图7显示的是在本发明的视频通信系统中，自动改变背景景物的 视频通信的流程图，其包括下面的步骤：图像输入，划分背景景物， 改变背景景物，图像压缩和传输。
在图像输入步骤S1，当开始进行视频通信时，将要传输的图像 作为系统的输入进行输入。在背景景物分离步骤S2-S5中，根据下 面的步骤进行所输入图像的背景景物分离。
首先，在面部区域提取步骤S2，通过使用颜色信息等对确定为 面部的区域位置进行提取。下一步，在相同颜色/纹理区域分离步骤 S3，对具有相似颜色和纹理的区域进行划分。下一步，在区域合并步 骤S4，通过使用具有相同运动的区域的信息和面部区域的位置，对确 定为人体区域的区域进行合并(即合成)。下一步，在区域边界细化 步骤S5，对所合并区域中的边界部分进行平滑以提高图像质量。
在背景景物改变步骤S6，将除所划分的人体区域之外的其他区 域改变为新的所希望的背景景物。下一步，在图像压缩步骤S7，进行 压缩编码以传输具有新改变的背景景物的图像。最后，在图像传输步 骤S8，传输压缩图像信号。
在如上所述的系列步骤中，可以将面部区域提取步骤S2和相同 颜色/纹理区域划分步骤S3在顺序上进行颠倒。
图8显示的是图7中面部区域提取步骤S2的实施例。
参考图8，在提取面部区域(S1)之前提取皮肤颜色区域。即， 在确定输入图像中各个像素的颜色是否对应于皮肤颜色区域之后，仅 把对应于皮肤颜色的像素确定为面部区域候选像素。假设使用YCrCb 颜色空间中的三个值表达给定像素的颜色，如果三个值Y、Cr、Cb满 足预定的值，则确定给定的像素是皮肤颜色区域。在图9和图10中 显示了仅表示皮肤颜色区域的实例。图10显示的是通过仅从图9的 原始图像中提取对应于面部的皮肤颜色而形成的图像。此处，使用 YCrCb颜色空间对颜色进行表达的原因是通过解码MPEG文件获得的 颜色信息是YCrCb。
在图8中，在下一步，进行皮肤区域像素图像的网格划分(S2)。 在将仅具有皮肤颜色像素的图像划分为M×M个单元后，仅将具有高 于预定阈值的皮肤颜色像素百分比的单元设定为“1”，此皮肤颜色 像素百分比表示一个单元中皮肤颜色像素占据了多少，即(一个单元 中的皮肤颜色像素数目)/(一个单元中像素的总数)，而将其他的单 元设定为“0”。在图11中显示的是由图10中这样进行网格划分所 形成的图像实例。
在图8中，在下一步，对连接在一起的网格进行分组(S3)。即， 如果设定为“1”的网格彼此相邻，则确定网格位于同一区域，并且 分在一组。
此处，根据8方向或者4方向，确定网格是否彼此相邻。4方向 的意思如图12所示，当网格在上、下、左和右方向相邻，则确定他 们彼此相邻。8方向的意思除了图12中的方向之外，还要考虑如图13 所示的对角线方向。在此实施例中使用8方向。
把这样进行分组的网格认为是一个区域。在图14中显示的是图 11中网格区域分组的实例。如图14所示，可以看出，把所生成的连 接在一起的网格划分为7个组。
在图8中，在下一步，检测候选面部区域(S4)。即，当把图14 中的网格分组后的候选面部区域当作一个区域后，仅留下通过使用区 域的长宽比率等而确定为面部区域的候选者。确定候选者的一个实施 例是：如果面部候选区域中宽度像素和长度像素数目的比值在预定范 围之内，则把候选区域确定为面部区域。
在图8中，在下一步，进行面部区域的确认(S5)。通过使用预 先准备的面部区域样板，确定所提取的候选面部区域是面部区域。面 部区域样板是通过预先组合大量面部区域图像而形成的面部区域特 征，将其和实际的候选区域进行比较，然后如果面部区域样板和实际 候选区域之间的相似程度大于预定阈值，则确认是面部区域。
图15解释了图7中用于划分相同颜色/纹理区域的基于颜色的普 通区域划分方法。
参考图15，首先，进行颜色空间划分(S1)。尤其是，通过实 验，将YCrCb颜色空间划分为N个子空间。这用于将任意的像素颜 色映射到这N种颜色之一(颜色量化)。然后，输入图像(S2)，然 后进行平滑处理以去除包含在输入图像中的噪声，从而对相邻的m个 像素的值进行平均(S3)。下一步，将经过平滑的图像量化为颜色空 间划分步骤中形成的N种颜色(S4)，然后，当具有量化颜色值的像 素彼此相邻时，进行区域生成步骤以把像素看作是同一区域(S5)。
将在区域生成步骤S5中所生成的非常小面积的区域看作噪声， 使用可扩展的方式对具有和其他临近区域相似颜色的区域进行合并 (S6)。图16显示的是这样生成的划分区域图像的实例。
图17显示的是根据图4的实施例的视频通信过程的流程图。
在图像输入步骤S1，当开始进行视频通信时，将要传输的图像 作为系统输入而进行输入。在背景景物划分步骤S2-S5，根据下面的 步骤实现所输入图像的背景景物划分。
首先，在面部区域提取步骤S2，对使用颜色信息等确定为面部 的区域位置进行提取。下一步，在相同颜色/纹理区域划分步骤S3， 对具有相似颜色和纹理的区域进行划分。下一步，在区域合并步骤S4， 通过使用具有相同运动的区域的信息和面部区域的位置，对确认为人 体区域的区域进行合并(即合成)。下一步，在区域边界细化步骤S5， 对合并区域的边界部分进行平滑，以防止由于边界部分的粗糙而导致 图像质量的品质降低。
在下面的背景景物边界区域描述步骤S6，对于人体区域和背景 景物区域之间的边界信息进行描述。下一步，在图像压缩步骤S7，进 行压缩编码以传输通信图像，例如，人体图像和所划分区域的边界信 息。在图像传输步骤S8，对压缩的图像信号进行传输。
在图像接收步骤S9，对人体区域和区域边界信息进行接收和解 码。在边界区域分析步骤S10，对所接收的边界区域信息进行分析。 在背景景物合成步骤S11，通过使用所分析的划分区域边界信息，使 用新的背景景物和人体图像进行合成。在压缩步骤S12，对使用新的 背景景物进行合成的图像进行编码，并且将具有新的背景景物的压缩 图像传送到接收侧(S13)。
到现在为止，已经对使用背景景物分离和合成的背景景物改变视 频通信系统进行了描述。下面，将对视频邮件传输系统进行描述，以 作为上述技术应用的实例。
在视频邮件传输系统中，用户将消息记录在图像中，然后通过电 子邮件传输图像。在这个视频邮件中，用户能够使用预定的背景景物 对消息图像进行编辑。本发明的背景景物分离和自动改变技术使得可 以进行视频邮件的编辑。当然，由于视频邮件不需要像视频通信环境 中那样实时改变背景景物，在接收到图像之后，有足够的时间对背景 景物进行分离和合成。
因此，当把本发明应用于视频邮件传输系统中时，可以在终端同 时提供背景景物分离装置和背景景物合成装置，或者在终端提供背景 景物分离装置，而在服务器提供背景景物合成装置，或者在服务器同 时提供背景景物分离装置和背景景物合成装置。
另外，在视频邮件中，用户能够对图像进行编辑，以在图像中包 含用户设定的字符串。此时，用户能够设定字符的字体或者字号，或 者能够选择图像上显示字符的位置，或者显示字符的模式。可以使字 符显示模式包含在固定位置进行字符显示的效果，或者进行字符移动 的效果。此字符串合成装置可以安装在终端中，也可以安装在服务器 上。
图18显示的是在终端中包含了背景景物分离装置，背景景物合 成装置，和字符合成装置与界面的情况。
参考图18，终端4还包括用于准备视频邮件的字符合成单元27， 用于输入字符的字符输入界面28。通过使用字符输入界面28，用户 对要进行传输的信息进行准备和输入，并且选择信息的显示位置，显 示格式等等。字符合成单元27对用户输入的字符进行合成。合成的 字符和由背景景物合成单元7所合成的具有新的背景景物的用户图像 一起转换成为视频邮件的格式，并且进行传输。尽管图18中还有没 有进行描述的单元，但是它们具有和视频通信系统中的单元相同的标 号。因此，为了节减篇幅，省略了对背景景物和对象的分离与合成、 背景景物搜索和发送/接收操作的描述。
图19显示的是终端包含背景景物分离装置和区域边界描述装 置，且服务器包含背景景物合成装置、区域边界分析装置、字符合成 单元和字符输入界面的情况。
除了在图19中服务器5包含用于准备视频邮件的字符合成单元 27和用于输入字符的字符输入界面28之外，图19的结构和图18的 结构一样。
图20显示的是服务器包含背景景物分离装置、背景景物合成装 置、字符合成单元和字符输入界面的情况。
参考图20，除了服务器5包括背景景物分离装置、背景景物合 成装置、字符合成装置和字符输入界面之外，图20的结构和图18和 19的结构一样。
图21显示的可以应用本发明的视频通信系统的实例。
参考图21，可以看出，服务提供商在进行视频通信时，可选地 指定了背景景物，而用户具有费用折扣等的优惠。视频通信广义上包 括视频邮件系统。
尤其是，当终端29a和29b通过服务器30实现视频通信时，服 务提供商30a可选地设定了背景景物，为用户提供了费用折扣等的优 惠作为背景景物指定的费用。标号31指的是网关。终端29a和29b 分别包括图像输入单元32a和32b，背景景物分离和合成单元33a和 33b，缓存器34a和34b等等。
图22显示的是可以应用本发明的视频通信系统的另外一个实 例。
参考图22，可以看出，服务提供商在进行视频通信时，可选地 指定了背景景物，而用户具有费用折扣等的优惠。视频通信广义上包 括视频邮件系统。
和图21不同，在图22中，终端29a和29b仅包括这些单元，例 如，图像输入单元32a和32b，分别用于图像信号的发送和接收，而 服务器30包括背景景物分离和合成单元35和背景景物数据库36。与 背景景物改变有关的操作和上述的视频通信系统相同。因此，为了节 减篇幅，省略了对本操作的详细描述。
对于图21和22的视频通信系统的情况，由服务提供商可选地选 择的背景图像可以是广告。当使用广告作为背景图像时，给出广告效 果的静止图像或者运动图像可以作为背景图像，或者使用插入给出广 告效果的对象图像或者字符，仅对原始背景图像的部分区域进行编 辑。
本发明能够利用用户所希望的和实时自动改变的背景景物进行视 频通信。视频通信可以包括电视电话和视频邮件传输。
另外，由于可以选择进行视频通信或者视频邮件传输时自动改变 的背景景物作为服务器指定的背景图像，根据服务提供商和用户之间 的协约，用户能够通过采用由服务提供商设定的背景的费用而节省通 信费用。
根据本发明的视频通信系统和控制方法，用户能够自由地设定所 希望的背景景物与其他人进行对话。因此，可以更加可靠的保护个人 的隐私。
尽管已经说明性地对本发明的优选实施例仅了描述，但是对于本 领域的技术人员而言，在不偏离所附权利要求的范围和宗旨的前提 下，可以有各种修改、改进和替换。