一种基于关键点检测的自拍方法、自拍系统及拍摄终端

1.一种基于关键点检测的自拍方法，其特征在于，包括以下步骤：
10.获取摄像头预览数据并进行人脸检测，得到人脸区域；
20.对所述的人脸区域进行关键点定位，得到人脸轮廓点；
30.判断所述的人脸轮廓点是否偏宽或偏窄，并根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度；
其中，所述的人脸轮廓点的宽度包括人脸宽度和辅助宽度，所述的辅助宽度包括以下一种或一种以上的结合：额头宽度、左右外眉角宽度、左右外眼角宽度、左右耳根宽度、左右脸颊宽度、下颚宽度；所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，是通过将所述的辅助宽度除以所述的人脸宽度得到的角度比例进行阈值判断，如果所述的角度比例大于预设的最大阈值，则表示所述的人脸轮廓点偏宽；如果所述的角度比例小于预设的最小阈值，则表示所述的人脸轮廓点偏窄；并进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。
2.根据权利要求1所述的一种基于关键点检测的自拍方法，其特征在于：所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，是通过将所述的人脸轮廓点与预设的标准人脸轮廓进行匹配和对比，判断所述的人脸轮廓点是否比标准人脸轮廓偏宽或偏窄，若是则进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。
3.根据权利要求1所述的一种基于关键点检测的自拍方法，其特征在于：所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，是通过对所述的人脸轮廓点的宽度和预设的标准宽度的差值进行阈值判断，如果所述的差值大于预设的最大阈值，则表示所述的人脸轮廓点偏宽；如果所述的差值小于预设的最小阈值，则表示所述的人脸轮廓点偏窄；并进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。
4.根据权利要求1或2或3所述的一种基于关键点检测的自拍方法，其特征在于：所述的步骤30中根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度，是指当判断为人脸轮廓点偏宽时拍摄终端向上调整拍摄角度，当判断为人脸轮廓点偏窄时拍摄终端向下调整拍摄角度。
5.根据权利要求1或2或3所述的一种基于关键点检测的自拍方法，其特征在于：所述的步骤30中根据判断结果驱动拍摄终端自动调整拍摄角度，是指通过拍摄终端的角度控制模块驱动自拍杆的万向旋转台进行自动调整拍摄角度。
6.一种基于关键点检测的自拍系统，其特征在于，包括：
人脸检测模块，用于获取摄像头预览数据并进行人脸检测，得到人脸区域；
关键点定位模块，用于对所述的人脸区域进行关键点定位，得到人脸轮廓点；
分析判断模块，用于判断所述的人脸轮廓点是否偏宽或偏窄，并根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度；
其中，所述的人脸轮廓点的宽度包括人脸宽度和辅助宽度，所述的辅助宽度包括以下一种或一种以上的结合：额头宽度、左右外眉角宽度、左右外眼角宽度、左右耳根宽度、左右脸颊宽度、下颚宽度；所述的分析判断模块中判断所述的人脸轮廓点是否偏宽或偏窄，是通过将所述的辅助宽度除以所述的人脸宽度得到的角度比例进行阈值判断，如果所述的角度比例大于预设的最大阈值，则表示所述的人脸轮廓点偏宽；如果所述的角度比例小于预设的最小阈值，则表示所述的人脸轮廓点偏窄；并进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。
7.根据权利要求6所述的一种基于关键点检测的自拍系统，其特征在于：还包括角度控制模块，其用于驱动自拍杆的万向旋转台进行自动调整拍摄角度。
8.一种拍摄终端，其特征在于，包括权利要求6至7任一项所述的基于关键点检测的自拍系统。
9.根据权利要求8所述的拍摄终端，其特征在于，所述拍摄终端还包括自拍杆，当分析判断模块的判断结果为人脸轮廓点偏宽或偏窄时，角度控制模块驱动所述的自拍杆的万向旋转台进行自动调整拍摄角度。

一种基于关键点检测的自拍方法、自拍系统及拍摄终端\n技术领域\n[0001] 本发明涉及图像处理技术领域，特别是一种基于关键点检测的自拍方法及其应用该方法的系统、拍摄终端。\n背景技术\n[0002] 使用手机自拍是手机用户常用的功能之一。手机的主摄像头通常比前置摄像头配置高，用户倾向于用主摄像头进行自拍，但无论是采用前置摄像头还是采用主摄像头进行自拍，都需要对拍摄角度进行选择和调整，才能得到效果较好的自拍照。一方面，人脸从不同的观看角度可能得到的两种完全不同的效果，同一个人从某个角度拍摄可能是女神或者男神，从另一个角度拍摄也可能是渣女或者渣男；另一方面，环境光在不同的拍摄角度中对拍摄效果的影响是不同的，若能较好的掌握布光技巧，渣女或者渣男也可能变成女神或者男神。可见拍照角度的选择和调整对拍摄效果的重要性。\n发明内容\n[0003] 本发明为解决上述问题，提供了一种基于关键点检测的自拍方法、自拍系统及拍摄终端，其通过对人脸进行关键点检测来提示用户如何选择拍摄角度，使得拍摄效果更好。\n[0004] 为实现上述目的，本发明采用的技术方案为：\n[0005] 首先，本发明提供一种基于关键点检测的自拍方法，其包括以下步骤：\n[0006] 10.获取摄像头预览数据并进行人脸检测，得到人脸区域；\n[0007] 20.对所述的人脸区域进行关键点定位，得到人脸轮廓点；\n[0008] 30.判断所述的人脸轮廓点是否偏宽或偏窄，并根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度。\n[0009] 优选的，所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，是通过将所述的人脸轮廓点与预设的标准人脸轮廓进行匹配和对比，判断所述的人脸轮廓点是否比标准人脸轮廓偏宽或偏窄，若是则进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。\n[0010] 优选的，所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，是通过对所述的人脸轮廓点的宽度和预设的标准宽度的差值进行阈值判断，如果所述的差值大于预设的最大阈值，则表示所述的人脸轮廓点偏宽；如果所述的差值小于预设的最小阈值，则表示所述的人脸轮廓点偏窄；并进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。\n[0011] 优选的，所述的人脸轮廓点的宽度包括人脸宽度和辅助宽度，所述的辅助宽度包括以下一种或一种以上的结合：额头宽度、左右外眉角宽度、左右外眼角宽度、左右耳根宽度、左右脸颊宽度、下颚宽度；所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，是通过将所述的辅助宽度除以所述的人脸宽度得到的角度比例进行阈值判断，如果所述的角度比例大于预设的最大阈值，则表示所述的人脸轮廓点偏宽；如果所述的角度比例小于预设的最小阈值，则表示所述的人脸轮廓点偏窄；并进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。\n[0012] 优选的，所述的步骤30中根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度，是指当判断为人脸轮廓点偏宽时拍摄终端向上调整拍摄角度，当判断为人脸轮廓点偏窄时拍摄终端向下调整拍摄角度。\n[0013] 优选的，所述的步骤30中根据判断结果驱动拍摄终端自动调整拍摄角度，是指通过拍摄终端的角度控制模块驱动自拍杆的万向旋转台进行自动调整拍摄角度。\n[0014] 其次，本发明还提供一种基于关键点检测的自拍系统，其包括：\n[0015] 人脸检测模块，用于获取摄像头预览数据并进行人脸检测，得到人脸区域；\n[0016] 关键点定位模块，用于对所述的人脸区域进行关键点定位，得到人脸轮廓点；\n[0017] 分析判断模块，用于判断所述的人脸轮廓点是否偏宽或偏窄，并根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度。\n[0018] 优选的，还包括角度控制模块，其用于驱动自拍杆的万向旋转台进行自动调整拍摄角度。\n[0019] 另外，本发明还提供一种拍摄终端，其包括如上任一项所述的基于关键点检测的自拍系统。\n[0020] 优选的，所述拍摄终端还包括自拍杆，当分析判断模块的判断结果为人脸轮廓点偏宽或偏窄时，角度控制模块驱动所述的自拍杆的万向旋转台进行自动调整拍摄角度。\n[0021] 本发明的有益效果是：\n[0022] 本发明的一种基于关键点检测的自拍方法、自拍系统及拍摄终端，其通过获取摄像头预览数据并进行人脸检测，得到人脸区域，并对所述的人脸区域进行关键点定位，得到人脸轮廓点，然后判断所述的人脸轮廓点是否偏宽或偏窄，并根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度，从而使得用户能够获得效果更好的自拍照，不仅适用于前置摄像头的自拍，更适用于采用主摄像头进行自拍时的引导，用户体验更好。\n附图说明\n[0023] 此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：\n[0024] 图1为本发明基于关键点检测的自拍方法的流程简图；\n[0025] 图2为本发明基于关键点检测的自拍系统的结构示意图；\n[0026] 图3为本发明拍摄终端的结构示意图。\n具体实施方式\n[0027] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。\n[0028] 如图1所示，本发明的一种基于关键点检测的自拍方法，其包括以下步骤：\n[0029] 10.获取摄像头预览数据并进行人脸检测，得到人脸区域；\n[0030] 20.对所述的人脸区域进行关键点定位，得到人脸轮廓点；\n[0031] 30.判断所述的人脸轮廓点是否偏宽或偏窄，并根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度。\n[0032] 所述的步骤10中的人脸检测方法，可采用以下算法：\n[0033] 1.基于模板匹配的方法:模板分为二维模板和三维模板，核心思想:利用人的脸部特征规律建立一个立体可调的模型框架,在定位出人的脸部位置后用模型框架定位和调整人的脸部特征部位,解决人脸识别过程中的观察角度、遮挡和表情变化等因素影响。\n[0034] 2.基于奇异值特征方法：人脸图像矩阵的奇异值特征反映了图像的本质属性，可以利用它来进行分类识别。\n[0035] 3.子空间分析法：因其具有描述性强、计算代价小、易实现及可分性好等特点，被广泛地应用于人脸特征提取，成为了当前人脸识别的主流方法之一。\n[0036] 4.局部保持投影(Locality Preserving Projections，LPP)是一种新的子空间分析方法，它是非线性方法Laplacian Eigen map的线性近似，既解决了PCA等传统线性方法难以保持原始数据非线性流形的缺点，又解决了非线性方法难以获得新样本点低维投影的缺点。\n[0037] 5.主成分分析(PCA)：PCA模式识别领域一种重要的方法，已被广泛地应用于人脸识别算法中，基于PCA人脸识别系统在应用中面临着一个重要障碍：增量学习问题。增量PCA算法由新增样本重构最为重要PCS，但该方法随着样本的增加，需要不断舍弃一些不重要PC，以维持子空间维数不变，因而该方法精度稍差。\n[0038] 6.其他方法：弹性匹配方法、特征脸法(基于KL变换)、人工神经网络法、支持向量机法、基于积分图像特征法(adaboost学习)、基于概率模型法。\n[0039] 所述的步骤20中的关键点定位方法，是指在人脸检测基础上进一步定位人脸的眼睛眉毛鼻子嘴巴轮廓等，其主要思想就利用关键点附近的信息以及各个关键点之间的相互关系来定位。方法大致分为两类，一个是基于模型的方法(例如ASM方法)，一个是基于回归的方法(例如ESR方法)，在此不进行详述。\n[0040] 所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，可以通过多种方法进行实现，本实施例中列举以下三种方案：\n[0041] 方案1.通过将所述的人脸轮廓点与预设的标准人脸轮廓进行匹配和对比，判断所述的人脸轮廓点是否比标准人脸轮廓偏宽或偏窄，若是则进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。其中，所述的标准人脸轮廓并不限定于正面人脸轮廓，也可以是侧面人脸轮廓。\n[0042] 方案2.通过对所述的人脸轮廓点的宽度和预设的标准宽度的差值进行阈值判断，如果所述的差值大于预设的最大阈值，则表示所述的人脸轮廓点偏宽；如果所述的差值小于预设的最小阈值，则表示所述的人脸轮廓点偏窄；并进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。其中，所述的预设的标准宽度并不限定于正面人脸轮廓的宽度，也可以是侧面人脸轮廓的宽度。\n[0043] 方案3.所述的人脸轮廓点的宽度包括人脸宽度和辅助宽度，所述的辅助宽度包括以下一种或一种以上的结合：额头宽度、左右外眉角宽度、左右外眼角宽度、左右耳根宽度、左右脸颊宽度、下颚宽度；所述的步骤30中判断所述的人脸轮廓点是否偏宽或偏窄，是通过将所述的辅助宽度除以所述的人脸宽度得到的角度比例进行阈值判断，如果所述的角度比例大于预设的最大阈值，则表示所述的人脸轮廓点偏宽；如果所述的角度比例小于预设的最小阈值，则表示所述的人脸轮廓点偏窄；并进一步提示用户进行调整拍摄终端的拍摄角度或者驱动拍摄终端自动调整拍摄角度。\n[0044] 所述的步骤30中根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度，是指当判断为人脸轮廓点偏宽时拍摄终端向上调整拍摄角度，当判断为人脸轮廓点偏窄时拍摄终端向下调整拍摄角度。本发明同样适用于侧面自拍，当用户在进行侧面自拍时，所参照的标准人脸轮廓可以是侧面人脸轮廓，所参照的标准宽度尺寸可以是侧面人脸轮廓的宽度尺寸。\n[0045] 所述的步骤30中根据判断结果驱动拍摄终端自动调整拍摄角度，是指通过拍摄终端的角度控制模块驱动自拍杆的万向旋转台进行自动调整拍摄角度。\n[0046] 如图2所示，本发明还提供一种基于关键点检测的自拍系统100，其包括：\n[0047] 人脸检测模块101，用于获取摄像头预览数据并进行人脸检测，得到人脸区域；\n[0048] 关键点定位模块102，用于对所述的人脸区域进行关键点定位，得到人脸轮廓点；\n[0049] 分析判断模块103，用于判断所述的人脸轮廓点是否偏宽或偏窄，并根据判断结果提示用户进行调整拍摄终端的拍摄角度，或者根据判断结果驱动拍摄终端自动调整拍摄角度。\n[0050] 本实施例中，还包括角度控制模块104，其用于驱动自拍杆的万向旋转台进行自动调整拍摄角度。\n[0051] 如图3所示，本发明还提供一种拍摄终端200，该拍摄终端200包括如上所述的基于关键点检测的自拍系统100，其中，基于关键点检测的自拍系统100可以采用图2实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。\n[0052] 另外，本实施例中所述拍摄终端200还包括自拍杆210，当自拍系统100的分析判断模块103的判断结果为人脸轮廓点偏宽或偏窄时，其角度控制模块104驱动所述的自拍杆\n210的万向旋转台进行自动调整拍摄角度。拍摄角度的调整量的大小可通过所述的人脸轮廓点与标准人脸轮廓或者标准宽度的偏差大小来计算。\n[0053] 所述拍摄终端包括：手机、数码相机或平板电脑等配置有摄像头的设备。\n[0054] 需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。\n对于系统实施例和终端实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。\n[0055] 上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。