基于DSP的嵌入式人脸自动检测方法

1.基于DSP的嵌入式人脸自动检测方法，其特征在于，通过摄像头捕获人脸头像，将头像处理后存储在FLASH RAM存贮器中作为原始图像，包括下面顺序步骤：(1)、视频数据获取：处理响应控制计算机数据请求，控制计算机数据请求、原始视频流处理后获取单帧的原始灰度图像，图像规格为320×240，像素为8位，输出原始灰度图像；(2)、图像预处理：将输入的原始灰度图像预处理，包括以下步骤：旋转、平移、伸缩、剪裁图像，Mosaic化图像，提取Mosaic横边，计算重心点，输出重心图像；(3)、多姿态重心模板人脸检测--粗检：将输入的重心图像，运用多种人脸重心模板对图像预处理阶段得到的重心图像进行匹配操作，以得到初步的人脸信息，输出初步的人脸信息数量、位置、大小参数；(4)、光照补偿处理：将输入的末经光照补偿的图像处理，主要是运用Grey变换、Log变换、Exp变换、直方图均衡化、LogAbout变换系列方法或方法组合对图像进行光照补偿处理，以尽量消除不良光照条件，如高、低、侧光的影响，输出光照补偿完毕的图像；(5)、假脸去除，细检：将输入的粗检得到的初步人脸信息处理，利用人脸特征的结构信息及比例关系，运用灰度特征检测、边缘特征检测方法排除假脸，输出精确的人脸信息；(6)、面部器官定位--定位眼睛中心点坐标：将输入精确的人脸信息处理，利用人脸器官的结构信息及比例关系，运用灰度投影方法得出器官区域位置，再进而确定其中心点位置，输出眼睛位置参数；(7)、图像归一化处理：将输入的原始图像、人脸相关参数，图像规格要求处理，运用数字图像处理技术，利用人脸的相关参数，对原始图像进行相应变换处理后，得到控制计算机所要求规格大小、灰度统一的图像，输出归一化图像、眼睛位置参数；(8)、数据通讯：将输入的数据发送、接收中断请求处理，以中断方式实现与控制计算机的数据传输及状态反馈，输出相应数据帧。

基于DSP的嵌入式人脸自动检测方法\n技术领域\n：本发明涉及到一种从视频流中自动进行人脸检测(Face Detect)的专用嵌入式系统。\n技术背景：人脸自动检测技术属于生物特征识别技术(Biometrics)的最新发展之一，虽然目前国内外从事这一方面研究的机构或个人为数甚多，但根据公开的文献资料来看已有产品却很少。在本发明提出以前，已有的人脸自动检测产品都是基于PC+Windows9x/2000/NT(或是Unix、Linux)等通用软硬件平台来实现的。这一类型的产品具有成本高、稳定性低、难于维护等缺点，难于进行实际的推广。\n以成都银晨网讯科技有限公司生产的IV型门禁产品来说，该产品集成了人脸识别技术与指纹识别技术，在系统可用性、稳定性方面与该公司前几型产品相比均有明显提高。与前几型产品相一致的是，IV型产品同样是基于通用平台PC/Windows98(NT/2000)实现，众所周知，Windows系列产品均存在系统规模过于庞大、系统开销大、实时性弱、稳定性低等缺点，因此IV型产品虽然有所改进但仍然无法避免系统平台所固有的缺陷。从用户的角度来看，就是该产品可用性、稳定性、性价比低。\n依据公开的文献资料，国内外有部分机构基于DSP实现了指纹识别(FingerPrintRecognition)、话者识别(Speaker Recognition)、小样本的语音识别(Speech Recognition)，并开发出了相应的产品。从本质上来说，指纹识别、话者识别、语音识别虽然与人脸识别同属于生物特征识别的范畴，但其技术原理、所采用的技术手段等均有很大的不同。人脸识别(包括人脸检测)采用特定对象的面部特征作为鉴别依据，由于人的面部面积大、特征点很多，且易受光照、表情、姿态、饰物、化妆、距离、成像系统等因素的影响。为满足用户的识别精度、速度要求，人脸检测/识别系统必须在极短的时间内(数百毫秒～数秒)进行大量的数学运算以从原始图像中提取出检测/识别对象稳定不变的特征并进行分类，这就对检测/识别算法乃至硬件平台的处理能力、体系结构提出了不同于其它识别技术的高要求。因此指纹识别、话者识别、语音识别与人脸检测/识别不属于同一类型的产品。现有技术《一种基于DSP芯片的指纹自动识别系统》登载在《现代科学仪器》期刊1999年6期39页上，现有技术《用DSP芯片实现的指纹识别系统》，登载在《计算机工程》期刊1996年9月出版的22卷第5期41页上使用了DSP芯片，但是为指纹识别技术。使用DSP芯片进行面像识别技术未见报道。\n发明内容\n：本发明的目的在于提供一种基于DSP的嵌入式人脸自动检测装置和方法。\n随着社会的发展，各方面对快速有效的自动身份验证的要求日益迫切。由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。这其中，利用人脸特征进行身份验证又是最自然直接的手段，与人体其它生物特征相比它具有直接、友好、方便的特点，易于为用户所接受。人脸识别系统(FacialRecognition System)包括两个主要的技术环节(见图1)：首先是人脸检测(包括了人脸定位)，即从输入图像中检测出人脸及人脸所处的位置，并将人脸从背景中分割出来，然后才是对归一化的人脸图像进行特征提取与识别。\n嵌入式系统是以应用为中心，以计算机技术为基础，且软硬件可裁剪，适用于应用系统对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。它一般由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户的应用程序等四个部分组成，用于实现对其他设备的控制、监视或管理等功能。\n见图4，基于DSP的嵌入式人脸自动检测装置，其特征在于，包括：能将人脸检测程序固化在其内的外部高速程序存储器(5)，摄像机(1)或A/D转换器(9)、DSP数字信号处理器(2)、图像采样逻辑模块(3)、多个外部高速静态数据存储器(4)、高速串行输入/输出模块(6)、控制/译码模块(7)、电源模块(8)；其中摄像机(1)或A/D转换器(9)与图像采样逻辑模块(3)通过控制线连接，图像采样逻辑模块(3)、控制/译码模块(7)、DSP数字信号处理器(2)、高速串行输入/输出模块(6)、多个外部高速静态数据存储器(4)和外部高速程序存储器(5)通过控制总线、数据总线、地址总线相互连接，电源(8)与各部分连接。\n基于DSP的嵌入式人脸自动检测装置的检测方法，其特征在于，人脸检测程序为：a)视频数据获取；b)图像预处理；c)多姿态重心模板人脸检测---粗检；d)光照补偿处理；e)假脸去除---细检；f)面部器官定位；g)图像归一化处理；h)数据通讯；其中c)、e)两步骤可根据用户设置组合在一起，d)可根据用户设置不作处理，d)也可与b)合并进行处理，f)、g)可根据用户设置不做处理而由控制计算机进行处理。\n工作原理：见2、图4，基于DSP的嵌入式人脸自动检测装置，人脸自动检测装置在固化在外部高速程序存储器(5)内的人脸检测程序的控制下，能通过摄像机(1)对各种场景进行模拟视频采集，再由图像采样逻辑模块(3)完成采样及模数转换；人脸检测程序的图像预处理模块对进入DSP数字信号处理器(2)的数字图像首先进行图像预处理，主要是进行灰度化、降噪、增强、平移、旋转等处理；再由人脸检测程序的人脸检测模块依据特定人脸检测算法进行人脸初步检测；为避免系统漏检、误检现象的发生，人脸检测程序按一定流程进行了光照补偿、假脸去除等处理；并通过灰度特征检查、边缘检测等方法对人脸位置、范围进行精确定位；在精确定位的基础上再对检测到的人脸器官进行定位；然后人脸检测程序以两眼虹膜中心点位置作为基准点，按一定比例关系将检测到的人脸子图像归一化为统一几何尺寸的归一化图像，最后通过异步通讯口RS-232或RS-485(6)将归一化图像输出到控制计算机，也可按要求输出原始视频图像；输入：模拟视频流，支持多种制式，如PAL、NTSC；\n输出：人脸归一化图像、数字化图像；本发明的优点：本发明将人脸自动检测技术与嵌入式系统进行了有机的结合。可从复杂的场景中自动检测出标准化的人脸用于执行各种身份确认、识别操作，例如大楼/居民小区的出入口控制、大楼内的门禁控制等等；也可应用于只需对人脸进行检测而不需要进行确认、识别的应用场合，如各种电视监控报警系统。本发明所涉及的人脸自动检测装置具有人脸检测速度快、检测精度高、稳定性好、故障率低、易于维护等显著优点，生产使用成本也明显低于已有产品。可以与随身电脑POCKET PC配套使用，降低门禁系统成本。\n附图说明\n：图1、本发明基于DSP的嵌入式人脸自动检测装置的构成方框图。\n图2、本发明基于DSP的嵌入式人脸自动检测装置的处理流程框图。\n图3、本发明基于DSP的嵌入式人脸自动检测装置的主程序流程图。\n图4、本发明实施例1基于DSP的嵌入式人脸自动检测装置的硬件系统结构框图。\n图5、本发明实施例2基于DSP的嵌入式人脸自动检测装置的硬件系统结构框图。\n图6、本发明基于DSP的嵌入式人脸自动检测装置在门禁系统中的应用示意图。\n人脸检测程序功能模块划分参见附录一，人脸自动检测装置与控制计算机的通讯接口定义参见附录二。\n实施例1：见图4，基于DSP的嵌入式入脸自动检测装置，其特征在于，包括：能将人脸检测程序固化在其内的外部高速程序存储器(5)、摄像机(1)、DSP数字信号处理器(2)、图像采样逻辑模块(3)、多个外部高速静态数据存储器(4)、高速串行输入/输出模块(6)、控制/译码模块(7)、电源模块(8)；其中摄像机(1）与图像采样逻辑模块(3)通过控制线连接，图像采样逻辑模块(3)、控制/译码模块(7)、DSP数字信号处理器(2)、高速串行输入/输出模块(6)、多个外部高速静态数据存储器(4)和外部高速程序存储器(5)通过控制总线、数据总线、地址总线相互连接，电源模块(8)与各部分连接。\nDSP数字信号处理器(2)：为了实时快速地实现人脸图像采集/识别，采用美国TI公司高速高性能的TMS320UVC5409系列的数字信号处理器为核心器件，它有很高的运算速度，是一种特别适合于进行数字信号处理运算的微处理器。\n图像采样逻辑模块(3)：实时快速地采集视频数据流是本系统重要一环，采用了可编程逻辑器件FPGA，选用100万门。不但使系统设计更为方便灵活，还大大提高了电路的集成度。\n外部高速静态数据存储器(4)：为了满足人脸自动检测复杂的图像计算所需的高速大容量数据存储空间，配置了三片256K×16高速静态数据存储器；外部高速程序存储器(5)：一片64K×16高速程序存储器，一片64K×16FLASH程序存储器。当系统上电时将存储在FLASH内的程序加载到高速程序存储器内执行，以满足系统全速运行。\n高速串行输出/输入模块(6)：采用RS232或RS485转换器。\n控制/译码模块(7)：采用了高速可编程逻辑器件CPLD，选用100宏单元，来完成DSP的I/O，外部存储器的地址译码，换页等功能。\n实施例2：见图5，与实施例1基本相同，不同的是，不用摄象机(1)，改用A/D转换器(9)，由视频信号输入，将其转换为数字信号，传输到采样逻辑电路；高速串行输出/输入模块(6)：扩展了异步通信芯片TL16C550B来实现系统的高速串行通信；数字信号处理器(DSP)(2)采用美国TI公司高速高性能的TMS3206203系列的数字信号处理器为核心器件。\n实施例3：基于DSP的嵌入式人脸自动检测装置，其特征在于，人脸检测程序除使用了DSP数字信号处理器(2)芯片的片内RAM、ROM，还根据实际需要使用了多块外部高速静态数据存储器(4)，在外部高速静态数据存储器(4)中人脸检测程序设置了全局变量存储区、公共数据交换区以及临时局部变量存储区--堆、栈。\n高速串行输出/输入模块(7)采用RS-232或RS-485两种硬件接口，为与控制计算机的通讯接口。其余与实施例1相同。\n用户可通过控制计算机对人脸检测专用嵌入式系统进行状态检测、功能设置以及发送人脸图像数据采集请求，人脸检测专用嵌入式系统可接收控制计算机发送过来的各种数据帧、命令帧并根据控制计算机要求回送人脸图像数据及相关参数、进行状态反馈。人脸检测专用嵌入式系统与控制计算机可组成各种人脸/检测识别应用系统，如数字电视监控报警系统、人脸识别门禁系统等。人脸检测专用嵌入式系统与控制计算机可通过RS-485总线实现多对一的系统配置，即一台控制计算机可带多套人脸检测专用嵌入式系统。控制计算机可以是PC、小型机、图形工作站，也可以是Pocket PC。\n见图2，基于DSP的嵌入式人脸自动检测方法，其特征在于，通过摄像头捕获人脸头像，将头像处理后存储在FLASH RAM存贮器中作为原始图像，包括下面顺序步骤：(1)、视频数据获取：处理响应控制计算机数据请求，控制计算机数据请求、原始视频流处理后获取单帧的原始灰度图像，图像规格为320×240，像素为8位，输出原始灰度图像；(2)、图像预处理：将输入的原始灰度图像预处理，包括以下步骤：旋转、平移、伸缩、剪裁图像，Mosaic化图像，提取Mosaic横边，计算重心点，输出重心图像；(3)、多姿态重心模板人脸检测--粗检：将输入的重心图像，运用多种人脸重心模板对图像预处理阶段得到的重心图像进行匹配操作，以得到初步的人脸信息，输出初步的人脸信息数量、位置、大小参数；(4)、光照补偿处理：将输入的末经光照补偿的图像处理，主要是运用Grey变换、Log变换、Exp变换、直方图均衡化、LogAbout变换系列方法或方法组合对图像进行光照补偿处理，以尽量消除不良光照条件，如高、低、侧光的影响，输出光照补偿完毕的图像；(5)、假脸去除，细检：将输入的粗检得到的初步人脸信息处理，利用人脸特征的结构信息及比例关系，运用灰度特征检测、边缘特征检测方法排除假脸，输出精确的人脸信息；(6)、面部器官定位--定位眼睛中心点坐标：\n将输入精确的人脸信息处理，利用人脸器官的结构信息及比例关系，运用灰度投影方法得出器官区域位置，再进而确定其中心点位置，输出眼睛位置参数；(7)、图像归一化处理：将输入的原始图像、人脸相关参数，图像规格要求处理，运用数字图像处理技术，利用人脸的相关参数，对原始图像进行相应变换处理后，得到控制计算机所要求规格大小、灰度统一的图像，输出归一化图像、眼睛位置参数；(8)、数据通讯：将输入的数据发送、接收中断请求处理，以中断方式实现与控制计算机的数据传输及状态反馈，输出相应数据帧。\n实施例4：见图6，本发明基于DSP的嵌入式人脸自动检测装置在门禁系统中的应用示意图。基于DSP的嵌入式人脸自动检测装置(14)连接通讯端口控制器(12)，随身电脑POCKET PC(11)通过RS232接口连接通讯端口控制器(12)，门锁控制器(13)和后台备份管理PC机(15)分别与通讯端口控制器(2)连接。由基于DSP的嵌入式人脸自动检测装置(14)输出人脸信息由随身电脑POCKET PC(11)处理后，向门锁控制器13发出开门的信号，从而完成人脸自动检测和门禁功能。\n附录一：基于DSP的嵌入式人脸自动检测装置的功能模块定义1、视频数据获取；处理：响应上位机数据请求，获取单帧的原始灰度图像。\n输入：上位机数据请求、原始视频流；输出：原始灰度图像；2、图像预处理；预处理包括以下步骤：旋转、平移、伸缩、剪裁图像，Mosaic化图像，提取Mosaic横边，计算重心点。\n输入：原始灰度图像；输出：重心图像。\n3、多姿态重心模板人脸检测(粗检)；处理：运用多种人脸重心模板对图像预处理阶段得到的重心图像进行匹配操作，以得到初步的人脸信息。\n输入：重心图像；输出：初步的人脸信息(数量、位置、大小参数)。\n4、光照补偿处理；处理：主要是运用Grey变换、Log变换、Exp变换、直方图均衡化、LogAbout变换等系列方法或方法组合对图像进行光照补偿处理，以尽量消除不良光照条件(高、低、侧光)的影响。\n输入：未经光照补偿的图像；输出：光照补偿完毕的图像。\n5、假脸去除(细检)；处理：利用人脸特征的某些先验知识，运用灰度特征检测、边缘特征检测方法排除假脸。\n输入：粗检得到的初步人脸信息；输出：精确的人脸信息。\n6、面部器官定位；处理：利用人脸器官的某些先验知识，运用灰度投影方法得出器官区域位置，再进而确定其中心点位置。\n输入：精确的人脸信息；输出：面部器官位置参数。\n7、图像归一化处理处理：运用数字图像处理技术，利用人脸的相关参数，对原始图像进行相应变换处理后得到上位机所要求规格(大小、灰度统一)的图像。\n输入：原始图像，人脸相关参数，图像规格要求；输出：归一化图像、器官位置参数。\n8、数据通讯处理：以中断方式实现与上位机的数据传输及状态反馈。\n输入：数据发送、接收中断请求；输出：相应数据帧(详见附录二《基于DSP的嵌入式人脸自动检测装置通讯接口及通讯规程定义》)。\n附录二：基于DSP的嵌入式人脸自动检测装置通讯接口及通讯规程定义一、接口类型及相关参数设置接口类型：RS-232C(RS-485)；接口速率：115200baud rate(RS-232C，为暂定系统初始值)数据位：8位奇偶校验：有(偶校验)停止位：1位性能分析：理想情况下1s可传输11520个字节。\n二、上位机(Pocket PC)与基于DSP的嵌入式人脸自动检测装置(DSP前端)特别说明：由于存在以下几方面的原因导致上位机与DSP前端的通讯失败：1)RS-232C通讯线路异常，数据无法传送；2)DSP前端未加电；3)DSP前端系统出现故障，无法正常工作，对上位机请求不能作出响应；因此在上位机发出数据请求(或延时设置命令以后)即进行计时，系统暂时约定在2000ms内若上位机没有接收到DSP前端的响应，上位机即报错，提示用户DSP前端状态未知需要对DSP前端、通讯链路进行检测。\n1、系统通讯链路自检(握手信号)：数据帧格式：地址码(1字节)+数据帧类型(1字节)+测试数据(10字节)说明：1)地址码取值范围为0~225(对应多个DSP前端)，缺省为00；2)系统加电自检时使用该数据帧3)数据帧类型的取值范围为1、2、3、4、5、6、7，其中7为保留类型；4)数据帧类型取值为1；5)测试数据为10字节的随机数据，可定为5、4、3、2、1、0、9、8、7、6；6)于RS-232C通讯链路容易受到各种因素的干扰，因此在系统实现时为避免数据传输出现问题，准备采取以下实现策略：上位机将该数据帧发送给DSP前端，DSP前端接收后即回传给上位机。若上位机确认无误，则由上位机发送给DSP前端状态信息取值为3的状态反馈帧；否则延时300ms(在通讯链路正常的前提下，传输数据所需时间远低于此值)以上，通讯双方同时将通讯速率降低一个等级(按115200->57600->38400->19200->14400->9600->7200->4800->2400的顺序递减)再重复上述发送、回传、验证过程，若重复多次已降至最低尚无法正确传送该数据帧，则终止该数据帧的传送过程，并由上位机提示通讯链路数据传输异常。\n数据流向：DSP前端<——>上位机2、DSP前端图像采集处理超时设置：数据帧格式：地址码(1字节)+数据帧类型(1字节)+处理延时(1字节)说明：1)地址码取值范围为0~225(对应多个DSP前端)，缺省为00；2)DSP处理延时以ms为计算单位，取值范围为50~1000ms，缺省为300ms；3)数据帧类型取值为2。\n4)系统自检完毕后使用该数据帧。\n数据流向：上位机——>DSP前端3、上位机人脸图像采集请求：数据帧格式：地址码(1字节)+数据帧类型(1字节)+操作码(1字节)+压缩标志码(1字节)说明：1)地址码取值范围为0~225(对应多个DSP前端)，缺省为00；2)操作码取值为0、1、2、3。其中0表示要求DSP前端进行自检后返回状态信息但不要求输出归一化图像，1表示要求DSP前端输出的归一化图像为80×100像素灰度图像，2表示要求DSP前端输出的归一化图像为100×125像素灰度图像，3保留用作系统扩充接口；3)据帧类型取值为3；4)标志码取值为0、1。0表示取非压缩数据，1表示取压缩数据。系统缺省值为0。\n数据流向：上位机——>DSP前端4、状态反馈：数据帧格式：地址码(1字节)+数据帧类型(1字节)+状态信息(1字节)说明：1)地址码取值范围为0~225(对应多个DSP前端)，缺省为00；\n2)状态信息取值为0、1、2、3。其中0表示DSP前端系统自检异常(无法正常采集图像)，1表示DSP前端系统自检正常；2表示DSP前端图像采集处理过程超时，3表示状态正常(可由上位机发送给DSP前端，也可由DSP前端发送给上位机)；3)数据帧类型取值为4；4)上位机也可向DSP前端发送状态信息取值为3的状态反馈帧。\n数据流向：DSP前端<——>上位机5、DSP前端图像关键参数：数据帧格式：地址码(1字节)+数据帧类型(1字节)+归一化灰度图像width(1字节)+归一化灰度图像height(1字节)+左眼x坐标(1字节)+左眼y坐标(1字节)+右眼x坐标(1字节)+右眼y坐标(1字节)说明：1)地址码意义、取值同1；2)width、height及眼睛位置参数均以像素点为基本单位。\n3)数据帧类型取值为4。\n数据流向：DSP前端<——>上位机建议：由于这些参数为归一化灰度图像的关键性描述参数，因此在系统实现时为避免数据传输出现问题，准备采取以下实现策略：DSP前端将该数据帧发送给上位机，上位机接收后即回传给DSP前端。若DSP前端确认无误，则由DSP前端发送给上位机状态信息取值为3的DSP前端状态反馈帧；否则重复上述发送、回传、验证过程，若重复2次尚无法正确传送该数据帧，则终止该数据帧的传送过程，并由上位机提示数据传输异常。\n6、DSP前端归一化灰度图像数据：数据帧格式：地址码(1字节)+数据帧类型(1字节)+标志字节1(1字节)+标志字节2+后续数据长度(1字节)+灰度图像数据(n个字节)说明：1)地址码意义、取值同1；2)标志字节1表示对应的一幅归一化图像拆分的总帧数；3)标志字节2表示本数据帧是对应的一幅归一化图像的第几帧；4)后续数据长度的取值表示自该字节的后续多少个字节为有效的灰度图像数据；5)灰度图像数据长度建议不超过256个字节(数据长度不宜过长)；6)数据帧类型取值为6。\n数据流向：DSP前端——>上位机