图像融合系统和方法

1.一种图像融合系统，包括：
图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图像；
第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场FOV被分别确定；
第二匹配单元，被配置为通过将经由第一匹配单元匹配的选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；
第三匹配单元，被配置为通过应用经由第二匹配单元匹配的选择的图像之间的相互几何关系来对选择的图像进行匹配；
融合单元，被配置为对经过第一匹配单元到第三匹配单元匹配的选择的图像进行融合，从而产生融合图像，
其中，所述多个不同类型的相机包括：
多个摇摄倾斜变焦PTZ相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；
多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠，
其中，所述多个PTZ相机包括：
可见光相机，被配置为产生可见光图像；
热成像相机，被配置为产生热图像；
红外线相机，被配置为产生红外图像。
2.如权利要求1所述的系统，其中，图像选择单元从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
3.如权利要求2所述的系统，其中，关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
4.如权利要求1所述的系统，其中，第一匹配单元对选择的图像的左边和右边进行裁剪或者对选择的图像执行零填充。
5.如权利要求1所述的系统，其中，第三匹配单元包括：
特征提取单元，被配置为检测选择的图像的特征；
特征匹配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；
转换函数估计单元，被配置为基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像的转换函数。
6.如权利要求1所述的系统，其中，融合单元通过将权重应用于选择的图像中的每个图像来调整选择的图像的透明度。
7.如权利要求1所述的系统，还包括：复用器，被配置为输出所述多个图像和融合图像中的至少一个图像。
8.一种图像融合系统，包括：
多个相机，被配置为分别产生多个图像；
图像选择单元，被配置为从由所述多个相机产生的多个图像中选择至少两个图像；
第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场FOV被分别确定；
第二匹配单元，被配置为通过将经由第一匹配单元匹配的选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；
第三匹配单元，被配置为通过应用经由第二匹配单元匹配的选择的图像之间的相互几何关系来对选择的图像进行匹配；
图像融合单元，被配置为将经过第一匹配单元到第三匹配单元匹配的选择的图像融合成单个图像，
其中，所述多个相机的FOV被设置为大体上相同，
其中，所述多个不同类型的相机包括：
多个摇摄倾斜变焦PTZ相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；
多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠，
其中，所述多个PTZ相机包括：
可见光相机，被配置为产生可见光图像；
热成像相机，被配置为产生热图像；
红外线相机，被配置为产生红外图像。
9.如权利要求8所述的系统，其中，所述多个相机包括可见光相机、热成像相机和红外线相机中的至少两个相机。
10.如权利要求9所述的系统，其中，图像融合单元包括：
调整尺寸单元，被配置为控制所述多个图像使得所述多个图像的各自的尺寸是相同的；
信息融合单元，被配置为提取未显示在可见光图像中但显示在热图像中的对象和未显示在可见光图像和热图像中但显示在红外图像中的对象，并将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上，其中，可见光图像由可见光相机捕获，热图像由热成像相机捕获，红外图像由红外线相机捕获。
11.一种图像融合方法，包括：
从由多个不同类型的相机捕获的多个图像中选择至少两个图像；
通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行第一匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场FOV被分别确定；
通过将进行了第一匹配的选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行第二匹配；
通过应用进行了第二匹配的选择的图像之间的相互几何关系，来对选择的图像进行第三匹配；
对经过第一匹配、第二匹配和第三匹配这三个匹配步骤被匹配的选择的图像进行融合，以产生融合图像，
其中，所述多个不同类型的相机包括：
多个摇摄倾斜变焦PTZ相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；
多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠，
其中，所述多个PTZ相机包括产生可见光图像的可见光相机、产生热图像的热成像相机以及产生红外图像的红外线相机。
12.如权利要求11所述的方法，其中，选择所述至少两个图像的步骤包括：从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。
13.如权利要求12所述的方法，其中，关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。
14.如权利要求11所述的方法，其中，第三匹配的步骤包括：
检测选择的图像的特征；
将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；
基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像的转换函数。
15.如权利要求11所述的方法，其中，融合的步骤包括：通过将权重应用于选择的图像中的每个图像，来调整选择的图像的透明度。

图像融合系统和方法\n[0001] 本申请要求于2013年8月20日在韩国知识产权局提交的10-2013-0098609号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。\n技术领域\n[0002] 本发明构思的一个或更多个示例性实施例涉及一种基于多个不同类型的相机的图像融合系统和方法。\n背景技术\n[0003] 与其他类型的相机相比，用于监控系统的可见光相机(例如，电荷耦合器件(CCD)相机)技术先进，并被应用于各个领域。然而，由于CCD相机仅可在有光的地方执行监控功能，因此在没有光的情况下可能不在监控系统中使用CCD相机。热成像相机可被用于黑暗环境中的监控，并被用于与热辐射相关的各种领域(诸如检测对象的热损耗或分析电路板)。\n热成像相机可仅可在具有热源的环境中执行监控功能，而不能在没有任何热辐射的环境中执行监控功能。\n发明内容\n[0004] 本发明构思的一个或更多个实施例提供一种能够通过对由多个不同类型的相机捕获并随后进行融合的图像进行监控，来执行最优监控的图像融合系统和方法。\n[0005] 各个方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过提供的实施例的实施可以被理解。\n[0006] 根据示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统可包括：图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图像；第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场(FOV)被分别确定；第二匹配单元，被配置为通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；第三匹配单元，被配置为通过应用选择的图像之间的相互几何关系来对选择的图像进行匹配；融合单元，被配置为对经过第一匹配单元到第三匹配单元匹配的选择的图像进行融合，从而产生融合图像。\n[0007] 第二匹配单元可被配置为对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调整，第三匹配单元可被配置为将所述相互几何关系应用到分辨率被调整为与所述参考分辨率相同的选择的图像。\n[0008] 所述多个不同类型的相机可包括：多个摇摄倾斜变焦(PTZ，pan-tilt-zoom)相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠。\n[0009] 所述多个PTZ相机可包括：可见光相机，被配置为产生可见光图像；热成像相机，被配置为产生热图像；红外线相机，被配置为产生红外图像。\n[0010] 图像选择单元可从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。\n[0011] 关于选择的图像的变焦信息可包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。\n[0012] 第一匹配单元可对选择的图像的左边和右边进行裁剪或者对选择的图像执行零填充。\n[0013] 第三匹配单元可包括：特征提取单元，被配置为检测选择的图像的特征；特征匹配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；转换函数估计单元，被配置为基于检测到的匹配特征，来估计除所述参考图像之外的所述至少一个图像的转换函数。\n[0014] 融合单元可通过将权重应用于选择的图像中的每个图像来调整选择的图像的透明度。\n[0015] 所述系统还可包括复用器，其中，复用器被配置为输出所述多个图像和融合图像中的至少一个图像。\n[0016] 根据另一示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统可包括：多个相机，被配置为分别产生多个图像；图像融合单元，被配置为将所述多个图像融合成单个图像，其中，所述多个相机的视场(FOV)被设置为大体上相同。\n[0017] 所述多个相机可包括可见光相机、热成像相机和红外线相机中的至少两个相机。\n[0018] 图像融合单元可包括：调整尺寸单元，被配置为控制所述多个图像使得所述多个图像的各自的尺寸是相同的；信息融合单元，被配置为提取未显示在可见光图像中但显示在热图像中的对象以及未显示在可见光图像和热图像中但显示在红外图像中的对象，并将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上，其中，可见光图像由可见光相机捕获，热图像由热成像相机捕获，红外图像由红外线相机捕获。\n[0019] 根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：从由多个不同类型的相机捕获的多个图像中选择至少两个图像；通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行第一匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场(FOV)被分别确定；通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行第二匹配；通过应用选择的图像之间的相互几何关系，来对选择的图像进行第三匹配；对经过第一匹配、第二匹配和第三匹配这三个匹配步骤被匹配的选择的图像进行融合，以产生融合图像。\n[0020] 可通过对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调整，来执行第二匹配，可通过将所述相互几何关系应用到分辨率被调整为与所述参考分辨率相同的选择的图像来执行第三匹配。\n[0021] 所述多个不同类型的相机可包括：PTZ相机，每个PTZ相机以各自的FOV捕获同一拍摄区域；多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠，其中，所述多个PTZ相机可包括产生可见光图像的可见光相机、产生热图像的热成像相机以及产生红外图像的红外线相机。\n[0022] 选择所述至少两个图像的步骤可包括：从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。\n[0023] 关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。\n[0024] 调整宽高比的步骤可包括：对选择的图像的左边和右边进行裁剪或对选择的图像进行零填充。\n[0025] 第三匹配的步骤可包括：检测选择的图像的特征；将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像的转换函数。\n[0026] 融合的步骤可包括：通过将权重应用于选择的图像中的每个图像，来调整选择的图像的透明度。\n[0027] 所述系统还可包括输出所述多个图像和融合图像中的至少一个图像。\n[0028] 根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：通过使用可见光相机以第一FOV产生显示对象的亮度分布的可见光图像；通过使用热成像相机来产生显示关于对象的温度信息的热图像，其中，热成像相机被控制使得热成像相机的FOV与可见光相机的FOV相同；通过使用红外线相机来产生通过将红外线发射到对象上而接收到的红外图像，其中，红外线相机被控制使得红外线相机的FOV与可见光相机和热成像相机的FOV相同；将可见光图像、热图像和红外图像融合成单个图像。\n[0029] 融合图像的步骤可包括：控制可见光图像、热图像和红外图像，使得可见光图像、热图像和红外图像的各自的尺寸相同。\n[0030] 融合图像的步骤可包括：提取未显示在可见光图像中但显示在热图像中的对象；\n提取未显示在可见光图像和热图像中但显示在红外图像中的对象；将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上。\n附图说明\n[0031] 从下面结合附图进行的示例性实施例的描述中，这些和/或其他方面将变得明显和更易于理解，其中：\n[0032] 图1是根据示例性实施例的图像融合系统的框图；\n[0033] 图2是根据示例性实施例的图像融合单元的框图；\n[0034] 图3是根据示例性实施例的图像融合屏幕的示图；\n[0035] 图4是根据示例性实施例的图像融合方法的流程图；\n[0036] 图5是根据另一示例性实施例的图像融合系统的框图；\n[0037] 图6是根据示例性实施例的图5的图像融合单元的框图；\n[0038] 图7是根据示例性实施例的图6的全景图像产生单元的框图；\n[0039] 图8和图9是用于描述根据示例性实施例的产生全景图像的方法的示图；\n[0040] 图10是将由图像选择单元根据图像选择信号选择的图像的组合的示例；\n[0041] 图11是用于描述根据示例性实施例的调整宽高比的示例的示图；\n[0042] 图12是根据示例性实施例的第三匹配单元的框图；\n[0043] 图13是将由复用器根据图像选择信号选择的图像的组合的示例；\n[0044] 图14是根据示例性实施例的图像融合方法的流程图。\n具体实施方式\n[0045] 尽管本发明构思允许各种改变和众多实施例，但将在附图中示出并在撰写的说明书中详细描述特定示例性实施例。然而，这不意在将本发明构思限制于特定的实施模式，并且将理解不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物包括在本申请中。在示例性实施例的描述中，当认为相关领域的某些详细解释可能不必要地模糊本发明构思的本质时，省略相关领域的某些详细解释。\n[0046] 尽管诸如“第一”、“第二”等的术语可被用于描述各种组件，但这样的组件一定不限于以上术语。以上术语仅用于区分一个组件与另一组件。\n[0047] 本说明书中使用的术语仅用于描述特定示例性实施例，并不意在限制本发明构思。除非以单数形式使用的表述在上下文中具有明显不同的意思，否则以单数形式使用的表述包括复数的表述。在本说明书中，将理解诸如“包括”、“具有”、“包含”的术语意在指示存在说明书中公开的特征、数量、步骤、动作、组件、部件或上述项的组合，而不意在排除可存在或可添加一个或更多个其他特征、数量、步骤、动作、组件、部件或上述项的组合的可能性。\n[0048] 可依据功能块组件和各种处理步骤来描述示例性实施例。这样的功能块可通过许多被配置为用于执行指定功能的硬件和/或软件组件来实现。例如，示例性实施例可采用各种集成电路(IC)组件(例如，存储器元件、处理元件、逻辑元件、查找表等)，其中，所述集成电路组件可在一个或更多个微处理器或其它控制装置的控制下实现多种功能。类似地，在使用软件编程或软件元素来实现示例性实施例的元件时，可使用任意编程或脚本语言(诸如C、C++、Java、汇编语言等)，使用各种算法来实现本发明，其中，用数据结构、对象、处理、例行程序或其它编程元素的任意组合来实现所述算法。可按照在一个或更多个处理器上执行的算法来实现各功能方面。此外，示例性实施例可采用许多用于电子配置、信号处理和/或控制、数据处理等的传统技术。词语“机械结构”、“元件”、“装置”和“配置”可被广泛使用，并且不限于机械或物理实施例，而是可包括与处理器等相关联的软件程序。\n[0049] 在下文中，现在将详细参照示例性实施例，其中，在整个示例性实施例中相同的标号表示相同的元件。诸如“…中的至少一个”的表述出现在一列元素之后时，修饰整列元素，而不是修饰这一列中的单独元素。\n[0050] 图1是根据示例性实施例的图像融合系统1的框图。\n[0051] 参照图1，根据本实施例的图像融合系统1包括摇摄倾斜变焦(PTZ，pan-tilt-zoom)相机单元100、PTZ控制器200、图像融合单元400和显示单元500。\n[0052] PTZ相机单元100包括可见光相机100a、热成像相机100b和包括红外灯110的红外线相机100c。可见光相机100a、热成像相机100b和红外线相机100c可通过使用内置摇摄马达(未示出)来摇摄(即，水平旋转360°)，通过使用内置倾斜马达(未示出)来倾斜(即，垂直旋转90°或更大角度)，并变焦(即，放大或缩小对象的图像)。可见光相机100a、热成像相机\n100b和红外线相机100c的摇摄、倾斜和变焦操作可通过PTZ控制器200来控制。\n[0053] PTZ控制器200可控制变焦镜头使得可见光相机100a、热成像相机100b和红外线相机100c捕获同一拍摄区域。可以以相同的视场(FOV)执行通过这三种相机对同一拍摄区域的拍摄。也就是说，这三种相机可针对同一拍摄区域具有相同的FOV。然而，由于这三种相机可能不会同时被放置在完全相同的位置处，所以针对同一拍摄区域的FOV可能不完全相同，但是，针对同一拍摄区域的FOV可大体上足够相同，只要足以针对同一拍摄区域产生如后所述的融合图像。\n[0054] 可见光相机100a是通过检测光来获得图像信息，从而根据对象的亮度分布来产生可见光图像的监控相机。可见光相机100a被用于像人眼一样监控可见光区域中的对象。例如，可见光相机100a可以是使用电荷耦合器件(CCD)作为成像器件的CCD相机。可见光相机\n100a可被安装在需要被监控的公共设施(诸如办公室、住宅、医院或银行)的内部或外部，因而可被用于控制访问或安全。根据可见光相机100a安装的位置和使用的目的，可见光相机\n100a可具有各种形式(诸如，直线形式或圆顶状形式)。在这里描述的示例性实施例中，“对象”是包括背景和主体的术语。\n[0055] 在给定的拍摄条件下，可见光相机100a提供良好的灵敏度和高分辨率图像。与其他传感器相比，可见光相机100a的图像传感器具有相对宽的动态范围。\n[0056] 热成像相机100b检测以红外线波长形式从对象发射的辐射能(热能)，估计热能的强度，从而根据热能的强度产生不同颜色的热图像，其中，红外线波长形式是电磁波的一种类型。在热图像中，根据表面的温度，对象的表面被映射和显示为不同的颜色。\n[0057] 尽管热成像相机100b即使在没有光的环境中也可捕获对象的图像，但因为热成像相机100b的分辨率低于可见光相机100a的分辨率，因此难以识别由热成像相机100b捕获的图像中的对象。\n[0058] 红外线相机100c检测大约300nm到大约700nm之间的光区域，因而包括检测不能被人眼识别的红外线区域的光传感器。因此，红外线相机100c可捕获黑暗的地方或穿过薄材料进行捕获。红外线相机100c通过使红外灯110(例如，红外发光二极管(IR-LED))发光，并随后接收从对象反射的红外线，来捕获对象。\n[0059] PTZ控制器200控制变焦镜头使得可见光相机100a、热成像相机100b和红外线相机\n100c以相同的FOV捕获图像。由于传感器的大小和变焦镜头的每个变焦部分的焦距可能在每个相机中不同，所以有必要准确地控制变焦镜头使得由可见光相机100a、热成像相机\n100b和红外线相机100c捕获的图像具有相同的FOV。\n[0060] 图像融合单元400执行信号处理(即，将接收到的图像信号输出为满足显示标准的信号)。图像融合单元400对从可见光相机100a输出的可见光图像、从热成像相机100b输出的热图像以及从红外线相机100c输出的红外图像进行融合。可见光相机100a不可以显示黑暗地方中的对象，热成像相机100b可显示发热的对象，但不可以显示没有光的地方中的不发热的对象，红外线相机100c可显示没有光的地方中的不发热的对象。图像融合单元400可通过适当地利用可见光相机100a、热成像相机100b和红外线相机100c的优点和缺点，来显示对象的图像。\n[0061] 图像融合单元400对从可见光相机100a输出的可见光图像、从热成像相机100b输出的热图像以及从红外线相机100c输出的红外图像进行融合。图像融合单元400对可见光图像和热图像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象。此外，图像融合单元400对可见光图像、热图像和红外图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外图像中的对象。图像融合单元400将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像中。当提取对象时，图像融合单元\n400可确定对象的各自的大小和位置。\n[0062] 显示单元500对通过对可见光图像、热图像和红外图像进行融合从图像融合单元输出的视频信号进行处理，从而向用户提供视频信号，使得用户可监控显示的图像。显示单元500显示通过将热图像和红外图像重叠在可见光图像上而产生的融合图像。显示单元500可被配置为液晶显示器(LCD)面板、有机发光显示器(OLED)面板或电泳显示(EPD)面板。显示单元500可被配置为触摸屏使得用户可通过触摸进行输入，因此显示单元500可用作用户输入界面。\n[0063] 在本实施例中，PTZ相机单元100包括三种不同类型的相机(即，可见光相机100a、热成像相机100b和红外线相机100c)。然而，本发明构思不限于该实施例。根据另一示例性实施例，PTZ相机单元100可包括大于或小于三种不同类型的相机。\n[0064] 图2是根据示例性实施例的图像融合单元400的框图。\n[0065] 参照图2，图像融合单元400包括可见光图像处理单元410、热图像处理单元420、红外图像处理单元430、信息融合单元440、编解码器450、图像输出单元460和输出控制器470。\n[0066] 可见光图像处理单元410包括模/数(A/D)转换器412、预处理单元414和调整尺寸单元416。\n[0067] A/D转换器412处理从可见光相机接收到的模拟可见光图像信号，以便去除噪声和调整幅度，并随后将模拟可见光图像信号转换为数字图像数据。\n[0068] 预处理单元414执行用于处理图像的预处理(诸如数字图像数据的归一化)。\n[0069] 调整尺寸单元416调整可见光图像的尺寸，使得可见光图像和热图像具有相同的尺寸并可相互匹配。调整尺寸单元416执行像素插值来调整尺寸。各种方法(诸如线性插值方法)可被用于执行像素插值。\n[0070] 热图像处理单元420包括A/D转换器422、预处理单元424和调整尺寸单元426。\n[0071] A/D转换器422处理从热成像相机接收到的模拟热图像信号，以便去除噪声和调整幅度，并随后将模拟热图像信号转换为数字图像数据。\n[0072] 预处理单元424执行用于处理图像的预处理(诸如数字图像数据的归一化)。\n[0073] 调整尺寸单元426调整热图像的尺寸，使得可见光图像和热图像具有相同的尺寸并可相互匹配。调整尺寸单元426执行像素插值来调整尺寸。各种方法(诸如线性插值方法)可被用于执行像素插值。由于热图像的像素的数量通常小于可见光图像的像素的数量，因此可对热图像的像素进行插值，使得热图像具有与可见光图像相同的尺寸。\n[0074] 红外图像处理单元430包括A/D转换器432、预处理单元434和调整尺寸单元436。\n[0075] A/D转换器432处理从红外线相机接收到的模拟红外图像信号，以便去除噪声和调整幅度，并随后将模拟红外图像信号转换为数字图像数据。\n[0076] 预处理单元434执行用于处理图像的预处理(诸如数字图像数据的归一化)。\n[0077] 调整尺寸单元436调整红外图像的尺寸，使得可见光图像、热图像和红外图像具有相同的尺寸并可相互匹配。调整尺寸单元436执行像素插值来调整尺寸。各种方法(诸如线性插值方法)可被用于执行像素插值。\n[0078] 信息融合单元440对具有相同尺寸的数字可见光图像、数字热图像和数字红外图像进行融合。信息融合单元440对可见光图像和热图像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象。此外，信息融合单元440对可见光图像、热图像和红外图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外图像中的对象。随后，信息融合单元440将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像中。\n[0079] 编解码器450对在信息融合单元中通过对可见光图像、红外图像和热图像进行融合而产生的视频信号进行编码，并将编码后的作为单个图像的视频信号输出到图像输出单元。\n[0080] 输出控制器470控制由信息融合单元440输出的图像(即，视频信号)的类型。此外，输出控制器470控制可见光相机100a、热成像相机100b和红外线相机100c的输出。\n[0081] 图3是根据示例性实施例的图像融合屏幕的示图。\n[0082] 图3示出由可见光相机100a捕获的并显示被光照射的对象310的图像、由热成像相机100b捕获的并显示发热的对象320的图像、由红外线相机100c捕获并显示发出反射的红外线的对象330的图像。\n[0083] 图像融合单元400提取分别显示在可见光图像、热图像和红外图像中的对象310、\n320和330，将热图像和红外图像重叠在可见光图像上，从而产生显示的对象310、320和330的融合图像，并随后通过使用图1显示的显示单元500来输出融合图像。\n[0084] 最优监控通过对由可见光相机、热成像相机和红外相机以相同的FOV捕获的图像进行融合和监控来实现，从而不存在未被拍摄的区域。\n[0085] 在下文中，将参照图4描述根据示例性实施例的图像融合方法。根据示例性实施例的图像融合方法可在如图1和图2所示的图像融合系统中执行。将不再描述已参照图1到图3描述的特征。\n[0086] 参照图4，可见光相机100a以给定的FOV产生显示对象的亮度分布的可见光图像(S410)。\n[0087] 热成像相机100b被控制使得它的FOV与可见光相机100a的FOV相同，并产生显示关于对象的温度信息的热图像(S420)。\n[0088] 红外线相机100c被控制使得它的FOV与可见光相机100a和热成像相机100b的FOV相同，并产生红外图像，其中，通过将红外线发射到对象上，并随后从对象接收反射的红外线来产生红外图像(S430)。\n[0089] 图像融合单元400接收并随后对可见光图像、热图像和红外图像进行融合(S440)。\n图像融合单元400将可见光图像、热图像和红外图像转换为数字图像数据；执行用于处理图像的预处理(诸如归一化)；并随后调整可见光图像、热图像和红外图像的尺寸，使得它们具有相同的尺寸并可相互匹配。随后，图像融合单元400对可见光图像和热图像进行比较，从而提取未显示在可见光图像中但显示在热图像中的对象；此外，对可见光图像、热图像和红外图像进行比较，从而提取未显示在可见光图像和热图像中但显示在红外图像中的对象。\n当提取对象时，图像融合单元400可确定对象的各自的大小和位置。图像融合单元400将热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像中。\n[0090] 图5是根据另一示例性实施例的图像融合系统2的框图。\n[0091] 参照图5，根据本实施例的图像融合系统2包括PTZ相机单元100、PTZ控制器200、全方位相机单元300、图像融合单元400b和显示单元500b。\n[0092] 图5中显示的实施例与图1中显示的实施例的不同之处在于：额外包括全方位相机单元300，并且PTZ相机单元100中的PTZ相机的各自的FOV是不同的。在下文中，将主要描述图1的实施例和图5的实施例之间的不同。\n[0093] PTZ相机单元100包括可见光相机100a、热成像相机100b以及包括红外灯110的红外线相机100c。\n[0094] PTZ控制器200可控制变焦镜头，使得可见光相机100a、热成像相机100b和红外线相机100c以分别确定的FOV来捕获同一拍摄区域。因此，分别由可见光相机100a、热成像相机100b和红外线相机100c捕获的图像可具有不同的FOV。可见光相机100a、热成像相机100b和红外线相机100c以分别确定的FOV捕获图像，并将具有与分别确定的FOV相应的宽高比和分辨率的图像输出到图像融合单元400b。\n[0095] 全方位相机单元300可包括多个第一相机到第n相机。多个第一相机到第n相机设置在保护装置(壳体)中，并被水平地和环形地布置(即，以预定间隔分隔开并以放射形式排列)。多个第一相机到第n相机被固定在保护装置中，并仅捕获预定区域的前部。如果必要，则可在没有保护装置的情况下设置有多个第一相机到第n相机。\n[0096] 多个第一相机到第n相机以分别确定的FOV捕获前部。可根据分别确定的FOV来确定用于在所有方向(即，360°)上捕获的第一相机到第n相机的数量。在这种情况下，相邻的相机的FOV被确定，使得FOV相互重叠预定区域。多个第一相机到第n相机将以分别确定的FOV捕获的图像输出到图像融合单元400b。\n[0097] 图像融合单元400b可对以下图像中的至少两个图像进行融合：从可见光相机100a输出的可见光图像、从热成像相机100b输出的热图像、从红外线相机100c输出的红外图像以及通过从全方位相机单元300输出的图像而产生的全景图像。\n[0098] 显示单元500b可向用户提供从图像融合单元400b输出的可见光图像、热图像、红外图像、全景图像和融合图像中的至少一个，以使得用户可监控显示的图像。\n[0099] 图6是根据示例性实施例的图5的图像融合单元400b的框图。图7是根据示例性实施例的图6的全景图像产生单元401的框图。图8和图9是用于描述根据示例性实施例的产生全景图像的方法的示图。\n[0100] 参照图6，图像融合单元400b可包括全景图像产生单元401、图像裁剪单元402、图像选择单元403、第一匹配单元404、第二匹配单元405、第三匹配单元406、信息融合单元407和复用器408。\n[0101] 另外参照图7，全景图像产生单元401可包括特征提取单元411、特征匹配单元431、转换函数估计单元451和图像合成单元471。\n[0102] 特征提取单元411从全方位相机单元300的多个第一相机到第n相机接收捕获的图像P1到图像Pn，并从每个捕获的图像中提取特征。\n[0103] 特征匹配单元431从两个相邻的捕获的图像中检测各自的特征。\n[0104] 转换函数估计单元451通过使用两个相邻的捕获的图像的各自的特征，来估计转换函数。\n[0105] 图像合成单元471通过使用估计出的转换函数，对捕获的图像P1到图像Pn之中的两个相邻的捕获图像进行变形并随后进行合成，从而产生全景图像P。例如，如图8中所示，图像合成单元471可通过使用转换函数对彼此相邻的第一捕获图像P1和第二捕获图像P2进行变形，并对第一捕获图像P1和第二捕获图像P2进行合成，使得存在重叠区域P12。可如上所述通过顺序地对捕获的图像P1到图像Pn进行变形和合成，来产生全方位图像(即，全景图像P)。\n[0106] 图像裁剪单元402可在全景图像P中裁剪出期望的区域。PTZ控制器200基于PTZ相机单元100的摇摄和倾斜信息来产生位置选择控制信号S1。如在图9中所示，位置选择控制信号S1包括将被裁剪的全景图像P中的开始点S(x1,y1)和结束点E(x2,y2)的坐标。图像裁剪单元402接收位置选择控制信号S1，裁剪出与开始点的坐标和结束点的坐标相应的块，并随后输出裁剪图像Pc。\n[0107] 图像选择单元403从图像裁剪单元402接收裁剪图像Pc，并分别从可见光相机\n100a、热成像相机100b和红外线相机100c分别接收可见光图像V、热图像T和红外图像R。\n[0108] 图像选择单元403接收图像选择信号S2，并根据图像选择信号S2从可见光图像V、热图像T、红外图像R和裁剪图像Pc中选择将被融合的图像。图10是将由图像选择单元403根据图像选择信号S2选择的图像的组合的示例。图10的示例显示四种类型的输入图像中的一种到四种选择的图像的组合。当仅一种图像被选择时，选择的图像可不进行融合处理就被显示在显示单元500b上。可从图像融合系统2的控制器(未示出)提供图像选择信号S2。\n[0109] 在图像选择单元403中接收到的可见光图像V、热图像T和红外图像R以及在全景图像产生单元401中接收到的捕获图像P1到图像Pn可以是如图2中所示的通过使用A/D转换器进行A/D转换并通过使用预处理单元进行预处理的图像。\n[0110] 第一匹配单元404使由图像选择单元403输出的选择的图像的FOV相等。第一匹配单元404可基于选择的图像的变焦信息Z检测每个图像的FOV。关于可见光图像V、热图像T和红外图像R的变焦信息可包括变焦镜头的变焦比和数字变焦比。关于裁剪图像Pc的变焦信息可包括从裁剪图像Pc的尺寸转换的数字变焦比。可根据FOV确定图像的宽高比。可从连接到PTZ控制器200和全方位相机单元300的图像融合系统2的控制器(未示出)提供变焦信息Z。\n[0111] 第一匹配单元404可将与检测到的FOV相应的每个图像的宽高比调整为与参考宽高比相同。当选择的图像的宽高比大于参考宽高比时，第一匹配单元404可裁剪选择的图像的左边和右边，以使得选择的图像的宽高比与参考宽高比相匹配。当选择的图像的宽高比小于参考宽高比时，第一匹配单元404可执行插值或零填充，以使得选择的图像的宽高比与参考宽高比相匹配。参考宽高比可以是选择的图像中的任何一个图像的宽高比，或由用户确定的预定宽高比。\n[0112] 图11是用于描述根据示例性实施例的调整宽高比的示例的示图。参照图11，选择的图像为可见光图像V和红外图像R，参考宽高比为红外图像R的宽高比。红外图像R的宽高比为4:3，而可见光图像V的宽高比为16:9。第一匹配单元404可通过将可见光图像V的左边和右边裁剪掉裁剪长度Cl，来将可见光图像V的宽高比调整为等于4:3。\n[0113] 基于变焦信息Z，第二匹配单元405使选择的图像的分辨率相等，其中，选择的图像具有相等的FOV(或宽高比)，并由第一匹配单元404输出。第二匹配单元405可将选择的图像的分辨率调整为与参考分辨率相同。参考分辨率可以是选择的图像中的任何一个图像的分辨率，或由用户确定的预定分辨率。第二匹配单元405可通过使选择的图像的分辨率相等，来调整选择的图像的尺寸以使选择的图像具有相同的尺寸，从而选择的图像的像素可与另一选择的图像的像素以1:1相匹配。第二匹配单元405可与图2的调整尺寸单元相应。当最小分辨率被确定为参考分辨率时，可高速执行分辨率转换，并可使用较少的资源。\n[0114] 第三匹配单元406通过使用相互几何关系，对基于参考分辨率被调整的选择的图像进行匹配。可通过使用转换函数来表示相互几何关系。图12是根据示例性实施例的第三匹配单元406的框图。第三匹配单元406可包括特征提取单元416、特征匹配单元436和转换函数估计单元456。\n[0115] 特征提取单元416检测选择的图像的特征。可单独地为每个可融合的图像提供特征提取单元416(例如，用于检测可见光图像V、热图像T、红外图像R和裁剪图像Pc的各自的特征的四个特征提取单元)。可选地，特征选择单元416可被整体提供，从而可顺序或并行地检测选择的图像的特征。特征提取单元416可通过使用尺度不变特征变换(SIFT)算法、HARRIS角点检测算法、SUSAN算法等，来从第一图像和第二图像中提取角点、边缘、轮廓、线交叉点等作为特征。根据本实施例，特征提取算法不限于上述示例，并且可使用各种特征提取算法。\n[0116] 特征匹配单元436可检测选择的图像的各自的特征之间的匹配特征。特征匹配单元436可将选择的图像中的一个图像确定为参考图像，并检测参考图像和除参考图像之外的图像之间的匹配特征。特征匹配单元436可通过使用归一化互信息和梯度方向信息作为参数，来确定特征中的相似性，从而检测匹配特征。通过对显示两个概率变量之间的统计相关性的互信息进行归一化来获得归一化互信息。由于可通过使用本领域的算法和公知的方法来估计归一化互信息和梯度方向信息，所以将在本实施例的详细描述中省略估计互信息和梯度方向信息的详细描述。\n[0117] 转换函数估计单元456可基于检测到的匹配特征来估计转换函数H。如在公式1中，转换函数估计单元456可通过使用随机抽样一致(RANSAC)算法或局部优化RANSAC(LO-RANSAC)算法来估计转换函数H。转换函数估计单元456可估计参考图像与除参考图像之外的图像之间的转换函数。\n[0118]\n[0119] 转换函数H的元素(h11到h13)包括关于旋转角度的旋转信息；关于在x、y和z方向上的移动距离的平移信息；以及关于在x、y和z方向上的缩放程度的缩放信息。\n[0120] 信息融合单元407可通过对匹配的图像进行融合来产生融合图像F。信息融合单元\n407可对选择的图像进行重叠，并调整每个图像的强度(透明度)。信息融合单元407可通过将强度权重应用于每个图像或每个图像的像素来调整透明度。\n[0121] 复用器408可选择并输出融合图像F、可见光图像V、热图像T、红外图像R和裁剪图像Pc中的至少一个。复用器408接收图像选择信号S3，并根据图像选择信号S3选择融合图像F、可见光图像V、热图像T、红外图像R和裁剪图像Pc中的至少一个。图13是将由复用器408根据图像选择信号S3选择的图像的组合的示例。图13的示例显示五种类型的输入图像中的一种到五种选择的图像的组合。可将选择的图像显示在显示单元500b上。可从图像融合系统2的控制器(未示出)提供图像选择信号S2。\n[0122] 尽管未示出，但信息融合单元407可通过使用如图2中显示的编解码器对融合图像进行编码。\n[0123] 在本实施例中，按照第一匹配单元404到第三匹配单元406的顺序，在第一匹配单元404到第三匹配单元406中对在图像选择单元403中选择的图像进行匹配。然而，本发明构思不限于此，因而根据示例性实施例，图像匹配可按照不同的顺序在第一匹配单元404到第三匹配单元406中执行。\n[0124] 图14是根据示例性实施例的图像融合方法的流程图。\n[0125] 可见光相机100a以第一FOV产生显示对象的亮度分布的可见光图像(S11)。热成像相机100b以第二FOV产生显示关于对象的温度信息的热图像(S12)。红外线相机100c以第三FOV产生红外图像，其中，通过将红外线发射到对象上，并随后从对象接收反射的红外线来产生红外图像(S13)。图像融合单元400b通过对从包括多个第一相机到第n相机的全方位相机单元300接收到的图像进行合成，来产生全景图像，并通过对与由可见光相机100a、热成像相机100b和红外线相机100c捕获的区域相应的区域进行裁剪，来产生全景图像的裁剪图像(S14)。\n[0126] 图像融合单元400b可从可见光图像、热图像、红外图像和裁剪图像中选择至少两个图像进行融合(S15)。当仅一种图像被选择时，选择的图像可不进行融合处理就被显示。\n[0127] 图像融合单元400b可调整选择的图像的FOV(S16)。图像融合单元400b可基于选择的图像的变焦信息来检测选择的图像的FOV，并将与选择的图像的FOV相应的宽高比调整为与参考宽高比相同。变焦信息可包括变焦镜头的变焦比、数字变焦比和从图像尺寸转换的变焦比。\n[0128] 图像融合单元400b可调整选择的图像的分辨率(S17)。基于变焦信息，图像融合单元400b可调整根据参考宽高比被调整的选择的图像的尺寸，从而选择的图像的分辨率可被调整为与参考分辨率相同。因此，选择的图像的像素的数量可以是相同的。\n[0129] 图像融合单元400b可通过使用相互几何关系，对基于参考分辨率被调整的选择的图像进行匹配(S18)。图像融合单元400b可通过对选择的图像的特征进行匹配来估计转换函数，并且通过使用估计出的转换函数，图像融合单元400b可针对参考图像布置除参考图像之外的图像，并随后对图像进行变形。\n[0130] 图像融合单元400b可通过对匹配的图像进行融合来产生融合图像(S19)。在融合图像中，可通过将权重应用于每个图像来调整选择的图像中的每个图像的透明度。\n[0131] 图像融合单元400b可选择融合图像、可见光图像、热图像、红外图像和裁剪图像中的至少一个，并将选择的图像输出到显示单元500b(S20)。\n[0132] 根据上述实施例的图像融合系统和方法可被用于各种目的，诸如监控如普通军事基地(GOP)的安全区域，监控有必要进行24小时监控的区域(例如，在山中监控火灾)，监控具有低光量或无光的建筑物和居民区的非法侵入，跟踪山中失踪的人或罪犯，以及医疗成像。\n[0133] 如上所述，根据上述示例性实施例，可通过对来自于由多个不同类型的相机捕获的图像的融合图像进行监控来执行最优监控。\n[0134] 本发明构思还可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储可随后由计算机系统读取的数据的任何数据存储装置。\n[0135] 计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可被分布在联网的计算机系统上，从而计算机可读代码以分布的方式被存储和执行。此外，本发明构思所属领域中的技术程序员可容易地解释用于实现本发明的功能程序、代码和代码段。\n[0136] 应该理解这里描述的示例性实施例应该被视为仅具有描述性的意义而不是为了限制的目的。每个实施例中的特征或方面的描述一般应该被视为可用于其他实施例中的其他相似特征或方面。\n[0137] 尽管已参照示图描述了一个或更多个实施例，但本领域中的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可对其形式和细节进行各种改变。