检测图像数据运动的装置及其检测方法

1.一种在图像数据中检测运动的装置，包括：
分离单元，用于从压缩图像比特流中，分离有关帧间模式图像的比特流；
操作单元，用于计算有关帧间模式图像的比特流的平均值；以及
比较单元，用于比较计算出的平均值和预定的阈值，并在平均值大于预 定阈值时输出运动检测信号。
2.如权利要求1的在图像数据中检测运动的装置，还包括输出单元，用 于响应来自比较单元的运动检测信号，输出预警信号。
3.如权利要求1的在图像数据中检测运动的装置，还包括传送单元，用 于响应运动检测信号，传送具有检测到的运动的图像数据。
4.一种在图像数据中检测运动的装置，包括：
分离单元，用于从压缩图像比特流中，分离有关帧间模式图像的比特流；
操作单元，用于计算有关帧间模式图像的平均值和平均值的变化率；以 及
比较单元，用于比较计算出的平均值的变化率和预定的阈值，并在平均 值的变化率大于预定阈值时输出运动检测信号。
5.如权利要求4的在图像数据中检测运动的装置，还包括输出单元，用 于响应来自比较单元的运动检测信号，输出预警信号。
6.如权利要求4的在图像数据中检测运动的装置，还包括传送单元，用 于响应运动检测信号，传送具有检测到的运动的图像数据。
7.一种在图像数据中检测运动的方法，包括：
从压缩图像比特流中，分离帧间模式图像的比特流；
计算有关帧间模式图像的比特流的平均值；以及
在比较平均值和预定的阈值之后，平均值大于预定阈值时，检测图像数 据中的运动。
8.如权利要求7的方法，还包括响应检测到的运动，输出运动检测信号。
9.如权利要求8的方法，还包括响应运动检测信号，传送具有检测到的 运动的图像数据。
10.一种在图像数据中检测运动的方法，包括：
从压缩图像比特流中，分离帧间模式图像的比特流；
计算有关帧间模式图像的比特流的平均值的变化率；以及
在比较平均值的变化率和预定的阈值之后，平均值的变化率大于预定阈 值时，检测图像数据中的运动。
11.如权利要求10的方法，还包括响应检测到的运动，输出运动检测信 号。
12.如权利要求11的方法，还包括响应运动检测信号，传送具有检测到 的运动的图像数据。
13.一种压缩图像信号并检测一帧图像中的运动的网络图像监视系统，包 括：
图像输入单元，用于传送图像信号；以及
程序计算机处理器，用于产生压缩比特流；从压缩图像比特流中，分离 帧间模式图像的比特流；计算有关帧间模式图像的比特流的平均值；以及基 于计算出的平均值，在该帧图像中检测运动。

技术领域\n本发明涉及一种检测输入视频帧(即，一连串图像中的单个图像)的运动 的装置及其检测方法，特别涉及一种通过使用压缩编码比特流检测图像数据 的运动的装置及其检测方法。\n背景技术\n近来，对自动监视系统的需求日益增加，而且开发了使用计算机和互联 网的网络图像监视系统。跟随时代的趋势，现有模拟监视系统的数字化也被 活跃地开发。数字监视系统可以防止已存储图像被损坏。而且，网络数字图 像监视使得可以简单地搜索和处理想要的数字图像，并且由于其可以使用网 络简单地监视，其具有各种用途和优点。\n输入数字监视系统的图像数据量可以非常大。因此，需要图像压缩技术 以传送或存储该数据。对于图像压缩技术，移除了一个区域或一个时域中大 部分重叠的元素。除了压缩图像数据，还使用了向远方的操作者、预先设置 好的PDA(Personal Digital Assistant，个人数字助理)、或IMT终端传送在其中 检测到了运动的图像数据的方法，或将该图像数据存储到FTP服务器中的方 法。当使用上述方法时，不需要因数据量大而不必要地装载系统，就可以高 效地操作监视系统。此外，当只向硬盘存储有运动的图像时，在数字视频录 像机(DVR)的情况下，可以改善硬盘的效率。因此，当DVR产品或网络监视 系统包括运动检测功能时，改善了产品的效率，也增加了产品的附加价值。\n作为传统的从输入图像中检测运动的方法，使用了通过获取先前图像和 当前图像的差，得到/计算差值图像，并基于该差值图像的像素值检测运动的 方法。换句话说，从像素值求出统计特征值，如平均值和标准偏差，其中像 素值从差值图像得到；将统计特征值与通过实验得到的、能够从图像中检测 出运动需要达到的阈值相比较。\n图1给出了使用差值图像技术在数据图像中检测运动的传统装置的方框 图，图2给出了使用图1给出的检测装置检测运动的方法的流程图。如图1 所示，传统运动检测装置包括模拟/数字转换单元10、滤波单元20、存储器 30、操作单元40、比较单元50和预警单元60。在图2中，在具有如上结构 的装置中检测运动的方法如下。最初，模拟/数字转换单元10将由摄影机输 入的图像模拟信号转换成数字信号。在噪音移除滤波单元20将噪音从已转换 数字图像数据中移除，然后将该无噪音已转换数字图像数据输入存储器30和 操作单元40。在操作10和20，存储器30存储先前输入图像(P)和当前输入 图像(C)以比较这些图像，而在操作30，操作单元40获取存储在存储器30中 的无噪音当前输入图像(C)和先前输入图像(P)的差值图像(D)。此外，在操作 40，比较单元50将每个像素的差值图像(D)与阈值(t1)作比较，以确定有运动 的像素，而在操作41和42，运动二元化(binarization)处理通过将每个像素转 换为有运动或无运动的像素(即，基于操作40中的阈值运动分类将每个像素 分类为运动像素或无运动像素，并基于该分类使差值图像二元化)，产生二元 化运动图像。然后，在操作50，操作单元40计算已转换为二元化图像(BD) 的全部像素的总和(∑BD)。在操作60，将二元化图像(BD)的全部像素的总和 (∑BD)与预定的阈值(t2)作比较。在操作60，如果二元化图像(BD)的总和(∑BD) 大于阈值(t2)，则断定在当前输入图像(C)中有运动，并且在操作70，从预警 单元60产生运动检测预警。\n使用差值图像的运动检测方法可以从每个像素单元获取大量信息，并具 有通过使用差值图像的各种统计特征检测运动的优点。然而，由于为每个像 素单元获取/处理数据，故传统检测方法的操作缓慢，并且还有一个缺点，即 检测结果可能对/被摄影机噪音和外部环境的变化敏感/负面影响。\n此外，通过使用差值图像在输入图像中检测运动的方法需要额外的帧存 储器以存储先前和当前输入图像数据，以比较先前输入图像和当前输入图像。 这一方法还需要噪音消除滤波器，以防止摄影机噪音导致的错误操作。此外 还难于设置阈值(t1)和(t2)以判断/检测图像是否有运动。\n发明内容\n因此，本发明提供一种在图像数据(即，一连串图像中的视频帧或图像) 中，通过使用压缩编码比特流，检测运动的装置及其检测方法，其不需要辅 助电路或分离的输入图像处理。\n本发明的其它优点，部分将在随后的描述中阐明，部分将从描述中显而 易见，或可以通过对本发明的实践获悉。\n本发明可以通过提供一种在图像数据中检测运动的装置实现，该装置包 括：分离单元，用于从压缩编码图像比特流中，分离有关运动预测的图像的 比特流；操作单元，用于获取在分离单元分离出的、有关运动预测的图像的 比特流的平均值；以及比较单元，用于比较操作单元计算出的平均值和预定 的阈值，并在平均值大于预定阈值时输出运动检测信号。\n根据本发明的一个方面，在图像数据中检测运动的方法包括：分离运动 预测的图像的比特流；获取运动预测的图像的比特流的平均值；以及在比较 平均值和预定阈值之后，平均值大于阈值时，在图像数据中检测运动。\n根据本发明的一个方面，在图像数据中检测运动的方法包括：分离运动 预测的图像的比特流；获取运动预测的图像的比特流的平均值的变化率；以 及在比较平均值的变化率和预定阈值之后，平均值的变化率大于阈值时，在 图像数据中检测运动。\n根据本发明的一个方面，比较单元通过比较平均值的变化率和预定阈值， 在图像数据中检测运动。\n附图说明\n通过参考附图描述本发明的优选实施例，本发明的上述特征将更加明显， 其中：\n图1是在图像数据中检测运动的传统装置的方框图；\n图2是使用图1中的装置在图像数据中检测运动的流程图；\n图3是根据本发明的实施例的图像处理系统的方框图，该系统使用在图 像数据中检测运动的装置；\n图4、5A和5B是使用图3给出的系统在图像数据中检测运动的流程图；\n图6A和6B是展示帧内模式和帧间模式的比特长度的图示；\n图7A和8A是展示全部比特流的平均值的图示；以及\n图7B和8B是展示帧间模式的图像比特流的平均值的图示。\n具体实施方式\n下面将详细描述本发明的优选实施例，在附图中说明了优选实施例的例 子，其中相同的标号始终代表相同的单元。下面参考附图描述本实施例，以 解释本发明。\n图3是根据本发明的实施例的图像处理系统的方框图，该系统使用在图 像中检测运动的装置。如图3所示，图像处理系统包括：图像输入单元100、 模拟/数字转换单元110、图像压缩单元120、分离单元130、操作单元140、 比较单元150、输出单元160和传送单元170。\n图像输入单元100是将图像转换为信号的器件，如摄影机。当图像输入 单元100是模拟装置时，图像以模拟信号输出；而当图像输入单元100是数 字装置时，如数码摄影机，图像以数字信号输出。当图像以模拟信号输出时， 模拟/数字转换单元110在将图像转换为数字信号之后输出该图像。\n图像压缩单元120是编码并压缩数字图像信号的器件，其中数字图像信 号是从模拟/数字转换单元110接收的。基于下述编码方法，从图像压缩单元 120输出的比特流有两种：以运动预测模式对所接收数字图像信号编码得到 的比特流；和以无运动预测模式对所接收数字图像信号编码得到的比特流。 运动预测模式可以为帧间模式(即，基于帧间压缩技术)，其在搜索运动补偿 图像帧和原始帧图像之间的运动矢量之后，传送/提供运动补偿图像和原始图 像之间的差。无运动预测模式可以为帧内模式(即，基于帧内压缩技术)，其 在执行离散余弦变换(DCT)，而只减少空间重叠之后，传送/提供原始图像。\n分离单元130从图像压缩单元120输出的编码比特流中，分离有关帧间 模式图像的比特流。换句话说，有关帧间模式图像的比特信息流被传到操作 单元140，而有关帧内模式图像的比特信息流不被传到操作单元140。\n操作单元140操作/获取/计算从分离单元130施加/接收的帧间模式图像 比特流的平均值。比较单元150比较相应于从操作单元140输入的平均值的 信号和相应于预先设置的阈值的信号，当相应于平均值的信号大于阈值时， 比较单元检测到运动，并向输出单元160发送检测信号。\n当检测信号从比较单元150传送到输出单元160时，输出单元160断定 有运动(运动)，并关于/响应检测到的运动，输出预警信号。例如，可以产生 预警声音、或向无线终端传送涉及运动的预警消息。进一步，传送单元170 可以响应预警信号(例如，当预警信号从输出单元160传送到传送单元170时 等)，经网络传送具有检测到的运动的图像数据。典型地，输出单元160和传 送单元170可以是现有网络图像监视系统的一部分，并与处理单元110至150 相连接，这些是根据本发明的实施例。\n根据本发明的一个方面，当图像包括运动时，帧间模式图像比特流的容 量变大了。因此帧间模式图像比特流的平均值可以作为对帧图像的运动的充 分可靠的预测值。更具体地说，由于帧间模式比特流的平均值变大了，便可 以预测运动，并因此检测运动，以可靠地输出运动检测信号。在图3中，由 单元100至150具体化的本发明的处理，可以以软件和/或计算机硬件实现， 其作为接收摄影机信号的网络数字图像监视系统(例如，计算机服务器)的主处 理单元的一部分。响应从监视一个地区的摄影机接收到的图像中检测到的运 动，主处理单元将输出并/或传送信息(例如，预警信息、图像等)到网络数字 图像监视系统的其它元件/器件。\n图4和5A是使用图3给出的系统在图像数据中检测运动的流程图。当 图像从图像输出单元100以模拟信号输出时，在操作400和410，模拟/数字 转换单元110将模拟信号转换为数字信号。在操作420，将数字信号输入到 图像压缩单元120中，并根据一个编码方法对数字信号编码，以输出压缩比 特流。典型地，图像压缩单元120使用帧间和帧内压缩/编码方法，如运动图 像专家组(MPEG，Moving Picture Experts Group)编码标准，其将所接收数字 图像编码为帧间模式图像比特流和帧内模式图像比特流。\n使用MPEG编码标准，例如当帧间模式图像比特流和帧内模式比特流从 图像压缩单元120输出，并输入到分离单元130时，在操作430，分离单元 130通过向操作单元440只传递帧间模式图像比特流，分离帧间模式图像比 特流(例如B-和P-帧)和帧内模式图像比特流。当只有帧间模式图像比特流通 过分离单元130，并被传送到操作单元140时，在操作440，操作单元140获 取帧间模式比特流的平均值(Ma)。帧间模式图像比特流是运动预测模式的图 像比特流(即，帧间模式比特流被用于预测一帧图像中的运动)，因此当一帧图 像序列中只有较少的运动时，平均值非常小，而平均值相对于帧图像序列中 的运动而增加。\n当帧间模式图像比特流的平均值在操作单元140被获取，并被输入到比 较单元150时，在操作450，比较单元比较平均值和已设置的阈值T1。在操 作460，当所获取平均值大于阈值T1时，输出相应的标明运动检测(motion detection)的运动信号。更具体地说，在操作450，当断定帧间模式图像比特 流的平均值大于阈值T1时，在操作460，输出单元160响应来自比较单元150 的运动检测信号，确定所接收图像序列中包括了运动图像，并且响应该运动 检测，输出预警信号。进一步，基于预警信号，传送单元170可以经网络， 传送具有检测到的运动的图像数据。更具体地说，在操作460，作为控制处 理(软件)实现的输出单元160可以控制运动检测的预警、相应图像数据的存 储、或将运动检测消息向电子邮件、PDA(Personal Digital Assistant，个人数 字助理)和/或运动电话的传送。\n图5B是根据本发明的另一个实施例，使用图3给出的系统在图像数据 中检测运动的流程图。在图5B中，在操作440，操作单元140获取帧间模式 图像比特流的平均值(Ma)，此后，在操作441，计算平均值(Ma)的变化率 (DMa)。在操作442，比较单元150通过比较所获取变化率(DMa)和已设置阈 值T2，判断所接收图像中是否有运动。更具体地说，在操作442，如果所获 取变化率大于阈值T2，比较单元150确定在所接收的一帧图像中检测到运动， 并向输出单元160输出运动检测信号。在操作441，当只有较少的运动时， 帧间模式图像比特流的改变率几乎是零。然而，当所接收图像序列中有运动 时，与没有运动的情况相比，帧间模式图像比特流的变化率非常大。因此， 阈值T2根据对有关图像帧中的运动的帧间模式图像比特流的变化率的观察而 设置。\n在操作445，输出单元160响应来自比较单元150的运动检测信号，确 定所接收图像序列中包括了运动图像，并且响应该运动检测，输出预警信号。 具体地，输出单元160的操作445的处理相似于图5A中输出单元160的操 作460的处理。\n在下文中，将描述根据本发明的自动网络图像监视系统的视频帧图像运 动检测。图像输入单元100可以是安装在观察区中的一个或多个视频/运动摄 影机，并且经由网络与主/中央处理单元(未示出)，如计算机服务器，相通讯。 典型地，本发明的处理在处理单元中实现。典型地，当摄影机是模拟摄影机 时，图像输入单元100在将图像数据作为模拟信号处理/接收之后，将图像数 据传送到处理单元；而当摄影机是数字摄影机时，图像输入单元100在将图 像数据作为数字信号处理之后，将图像数据传送到处理单元。当图像数据以 模拟信号输入时，在模拟/数字转换单元110将图像数据转换为数字信号。当图像 输入单元100包括数字视频摄影机时，不必安装模拟/数字转换单元(即可以省 略模拟/数字转换单元)\n当图像信号被输入时，自动监视系统网络可以，例如，向其它元件/器件 传送图像信号，如监视器，并且可以压缩输入图像信号，以被存储到DVR。 当输入图像信号被压缩时，图像压缩单元120，典型地，根据帧间和帧内压 缩技术，对图像信号编码，以压缩输入图像。图像压缩单元120输出以运动 预测模式(帧间模式)编码的比特流和以无一动预测模式(帧内模式)编码的比 特流。\n将从图像压缩单元120输出的比特流传送到分离单元130。分离单元130 被设置为只传递帧间模式比特流，因此分离了帧间模式比特流和帧内模式比 特流，而只向操作单元140传递帧间模式比特流。操作单元140计算帧间模 式比特流的平均值，并向比较单元150传送相应于该平均值的信号。比较单 元150比较相应于帧间模式比特流的平均值的输入信号和预定的阈值。当帧 间模式比特流的平均值大于该阈值时，断定所接收的一帧图像中有运动，并 输出相应的运动信号。当帧间模式比特流的平均值小于该阈值时，断定所接 收的一帧图像中没有运动，从而继续运动检测。当图像序列中没有运动时， 帧间模式比特流的平均值非常小，而当图像序列中有运动时，帧间模式比特 流的平均值非常大。因此，可以容易地确定阈值，而且也可以容易地、基于 帧间模式比特流的平均值的大小，检测一帧图像中的运动。进一步，当平均 值的变化率被计算并与阈值比较时，可以改善对帧图像中的运动的检测。\n当从比较单元150输出相应的运动信号时，断定一帧图像中有运动，而 该信号从比较单元150传送到输出单元160。响应来自比较单元150的所接 收运动信号，输出单元160可以输出预警信号。当预警信号被输出时，将具 有已检测运动的该帧图像存储到DVR中，并通过传送单元170和/或输出单 元160可以执行向业主、警察、或保安公司传送电子邮件的各种功能，或使 用声音、信息或其它方法，向业主、警察、或保安公司传送有关所检测运动 的情报消息的其它功能，其中情报消息包括有运动的该帧图像。\n图6A是展示使用帧间和帧内编码技术的编码图像比特流的每一帧的比 特长度的图示。图6B是只展示编码帧间模式帧的比特长度(即，P图片比特 长度)的图示。图7A和图7B是展示使用整个比特流的平均比特流的图示。 图8A和图8B是展示使用编码帧间模式图像比特流的平均比特流的图示。\n图6A和6B中的帧1、6和11是帧内模式帧(I-帧)的比特长度，帧3、4、 5、7、8、9、10和12是帧间模式帧(B-帧，P-帧)的比特长度，而实线是平均 比特长度。根据图示，该帧图像3中包括了运动。如图6A和6B所示，帧内 模式帧的比特长度大于平均比特长度，因此当包括帧内模式的比特流时，将 难于检测运动，从而为从帧间模式帧中分离帧内模式帧提供一个基本原理。 因此，依赖于使用帧间模式帧的比特流大小的变化，可以容易地检测运动， 其中所述变化代表，在发现运动补偿图像和原始图像帧之间的运动矢量之后， 运动补偿图像和原始图像之间的差。\n如图6B所示，当在图像中只有较少的运动时，帧间模式帧的比特长度 几乎为零，如交互帧2。然而，当图像中有较大运动时，与帧间模式比特流 的平均比特长度相比，帧间模式帧的比特长度很长，如交互帧7、8、9、10 和12。因此，如果一个交互帧的比特长度长于帧间模式比特流的平均比特长 度，就可以容易而又可靠地检测到运动。\n此外，图7A、7B、8A和8B是展示使用整个编码比特流时和只使用帧 间模式图像比特流时，帧间模式图像比特流的平均值的图示。图7A和8A是 展示50Kbps(kilobits per second，千位/秒)运动的图示，而图7B和8B是展示 1Kbps(kilobits per second，千位/秒)运动的图示。如图7A和8A所示，整个编 码比特流的平均值包括帧内模式比特流，因此与帧间模式比特流的平均比特 长度相比，与运动关联的计算出的差比较小。甚至，如果阈值设置较高，则 几乎不可检测运动，因此，支持了排除帧内模式图像比特流的基本原理。然 而，如图7B和8B所示，当只使用帧间模式比特流时，与帧间模式比特流的 平均比特长度相比，与运动关联的偏差很大，因此，即使设置较低/小的阈值， 也可以容易而又可靠地检测到运动。\n因此，通过在从图像的比特流中分离帧内模式图像比特流之后，使用帧 间模式图像比特流，根据本发明的、在帧图像中检测运动的装置及其方法， 可以容易而又可靠地检测运动。有利的是，根据本发明可以，例如为了不添 加分离的电路或存储器而记录/归档，通过使用已由图像监视系统中的压缩处 理产生的编码比特流，检测图像的运动。更具体地说，典型地，在图像监视 系统中只实现利用已产生的编码比特流的软件处理。进一步，通过充分地减 少图像信号噪音导致的错误运动检测，运动检测可以更可靠。\n尽管描述了本发明的优选实施例，但是本领域的技术人员应该理解，本 发明不限于所述优选实施例，在权利要求及其等价物限定的本发明的精神和 范围之内，可以对其进行各种改变和修正。\n本发明要求享受2002年2月5日提交到韩国知识产权局的韩国申请第 2002-6572号的利益，其公开内容在此作为参考并入。