一种基于深度图像骨架端点分析的生猪行走步频提取方法

暂无

一种基于深度图像骨架端点分析的生猪行走步频提取方法\n技术领域\n[0001] 本发明涉及生物图像处理技术，具体涉及应用于规模化生猪养殖的生猪异常行为监测中生猪运动步频特征的提取。\n背景技术\n[0002] 我国是猪肉消费和生猪养殖的大国。近年来，随着我国城镇化建设进程和环境保护的进步，生猪养殖模式由过去农户分散养殖向工厂化规模养殖快速演进。然而，爆发性疫情经常给养殖企业造成严重损失，构建计算机视觉生猪疾病监测预警系统可以帮助养殖企业尽早发现猪只早期疾病症状，及时采取隔离、消毒、治疗等措施，避免疫情爆发。\n[0003] 步态特征作为一种典型的生物特征，在动物疾病监测、预警等领域已经引起关注。\n传统的动物步态特征识别主要靠人工观察并记录动物的行为状态，这种方法费时费力，效率低、人力成本大，且动物养殖环境条件差，对工作人员的身心健康会带来严重影响。随着测量和数字图像处理理论与技术的发展，机器视觉逐渐渗透到农业和生物工程的各个领域。国外研究者由于对动物福利的关注，近年来在动物步态特征，特别是基于步态特征的动物跛足识别方面开展了一些研究。Liesbet M.Pluym等人通过四块载荷板测量生猪站立时的各肢对载荷板的压力数据，融合摄像头采集的视觉站姿数据，对生猪跛足特征进行分析(参见Liesbet M.Pluym，Dominiek Maes，Jürgen Vangeyte，et al.Development of a system for automatic measurements of force and visual stance variables for objective lameness detection in sows：SowSIS[J].Biosystems Engineering，2013，\n116(1)：64-74.)。步频，即生猪的行走频率，其反映生猪行走的快慢。上述步态研究中，均将生猪的步频作为生猪步态的重要特征。然而，上述研究在进行步频特征提取时需借助专门设计的压力采集系统或在生猪四肢附加的运动检测装置来实现，这容易造成生猪的应激反应，影响采集数据的客观性。\n发明内容\n[0004] 本发明的目的在于克服现有生猪步频特征提取方法中依靠人工观察或借助具有侵入性的检测装置的不足，提供一种基于计算机视觉的远距离、非侵入性的生猪步频特征自动提取方法。\n[0005] 具体原理为：\n[0006] 所依靠的深度图像也称距离图像(range image)，可以通过深度摄像机采集获取，其记录相应的场景上各点与摄像机的距离信息，反映了物体表面的三维特征；其每个像素点不再表示颜色，而代表目标点在场景中的深度。相对传统光学图像，深度图像虽然包含的目标细节信息较少，但其对光照纹理具有不变性，容易区分前景和背景，有利于准确提取前景目标。\n[0007] 所需要提取的图像骨架，或称中轴，最早由Blum提出(参见Blum H.Biological shape and visual science(Part I)[J].Theoretical Biology,1973，38：205-287)。图像骨架由物体轮廓产生，每个骨架点保持与边界距离最小的性质。理论上以所有骨架点为圆心，以其对应最小距离为半径构建的所有圆的集合可以恢复出原始区域来，即骨架可以认为是物体内部最大圆圆心的集合。骨架是一种形状描述方法，可以用于表达物体的原始形状信息和几何拓扑结构。\n[0008] 基于计算机视觉的步态监测，由于其具有远距离、非侵入性的特点，不会引起生猪的应激反应，更有利于生猪的疾病异常监测。\n[0009] 本发明技术方案采用如下步骤：\n[0010] 第一步，以深度相机作为图像采集设备，侧向采集分辨率为M×N的生猪运动深度图像序列，通过背景减除、骨架提取、骨架剪枝、骨架图匹配等处理方法提取到各帧图像中生猪前、后肢骨架端点，分别记为 其中，i为帧序号，j=1或2为提取的骨架端点编号，以从骨架图中确定前、后肢骨架端点，这是分析生猪行走的重要前提。\n[0011] 第二步，进一步结合深度图像反映场景中各点与相机距离大小的特点，当提取到前肢骨架端点或后肢骨架端点数为2时，分别计算各帧前肢或后肢两骨架端点邻近骨架点值，判定两骨架端点的远、近侧属性，分别记为前肢远侧端点FFEi、前肢近侧端点FNEi，或后肢远侧端点HFEi、后肢近侧端点HNEi，其判别因子为 对应深度图像像素\n点值为 获取深度图像中各像素点值能够反映其在场景中距离深度相机的距离。\n[0012] 第三步，由所述判定两骨架端点的远、近侧属性建立帧间前、后肢远近骨架端点坐标变化的数据点集DFE、DHE，并分别以所述帧间前、后肢远近骨架端点坐标变化的数据点集DFE、DHE去拟合目标正弦曲线f(x)=asin(bx+c)，通过拟合所述正弦曲线的频率b计算前肢行走步数或后肢行走步数。\n[0013] 第四步，以所述前、后肢行走步数的最小值原则确定生猪行走的完整步数，进一步通过计算完整步数与运动图像采集时间序列的比值提取生猪行走步频特征。\n[0014] 本发明的有益效果是：\n[0015] 本发明基于深度图像特征和骨架图端点分析，公开了一种通过生猪运动序列图像帧间前后肢远近侧骨架端点坐标关系变化点集拟合正弦曲线进行生猪行走步频特征提取的方法，该方法具有远距离、非侵入性、基于计算机视觉自动提取的特点；其特征提取过程简单易行，易于实现，本方法不仅适用于生猪行走步频特征的采集，也可用于马、牛、羊等四肢行走动物的行走步频检测。\n附图说明\n[0016] 图1为本发明生猪步频特征提取方法流程图；\n[0017] 图2为采集生猪运动图像序列背景减除示例；\n[0018] 图3为图像骨架提取和剪枝示例；\n[0019] 图4为骨架图端点匹配示意；\n[0020] 图5为骨架端点远近侧判别示例；\n[0021] 图6为前肢骨架远近侧端点水平坐标关系点集拟合正弦曲线示例。\n具体实施方式\n[0022] 以下结合附图和实施例进一步说明本发明的技术方案。本发明的实施例处理流程如图1所示。以深度相机Kinect作为图像采集设备，侧向采集生猪运动图像序列。侧向采集指生猪运动方向与深度相机光轴水平面成90°左右夹角。猪舍环境中，猪舍周围墙体、设施等与目标生猪在空间上分布不同，使得在深度图像中生猪前景较为明显。通过背景减除预处理方法滤除侧壁、梁柱等环境背景，可以获得较好的生猪前景图像序列，如图2所示。\n[0023] 进一步，按以下步骤对序列中各帧图像进行处理：\n[0024] 1、对序列图像进行图像二值化处理，提取图像骨架。如图3a图所示，初始提取到的图像骨架含有较多与主体结构相关性较小的冗余骨架枝，对提取的生猪图像骨架进行剪枝处理，获得较好的生猪简化骨架表示，以减少后续分析计算量，如图3b图所示。\n[0025] 骨架上的每一个像素点称为一个骨架点。仅有一个相邻骨架点的骨架点称为骨架端点(Endpoint)，记为ei。侧向采集图像提取的理想生猪骨架图为标准骨架图，通常包含7个骨架端点，如图3b所示。其中，e1为猪耳部骨架端点，e2为猪嘴部骨架端点，e3、e4为前肢骨架端点，e5、e6为后肢骨架端点，e7为尾部骨架端点。然而，生猪属于非刚体目标，通常情况生猪行走时的体态变化、两前肢或两后肢在行走时重合遮罩等因素往往导致剪枝后的骨架并不能得到上述所有骨架端点。需要建立各骨架端点与标准骨架图中各骨架端点的映射关系，以从骨架图中确定前、后肢骨架端点，这是分析生猪行走的重要前提，分别记为其中，i为帧序号，j=1或2为提取的骨架端点编号。\n[0026] 确定图中各端点的归属，可归结为一个图匹配问题，如图4所示。通过度量端点间骨架路径相似性，确定序列骨架图中各端点与标准骨架图中骨架端点的映射关系。\n[0027] 2、骨架图匹配仅能确定各骨架端点归属类别，而生猪为四蹄动物，对应最多有2个前肢端点和2个后肢端点。为区别前后肢的左右两肢的不同端点，定义侧向采集时，距离传感器较近的一侧肢体端点为近侧端点，较远一侧肢体端点为远侧端点。则四肢端点分别称为：前肢远侧端点FFE(Foreleg Far-side Endpoint)、前肢近侧端点FNE(Foreleg Near-side Endpoint)、后肢远侧端点HFE(Hind-leg Far-side Endpoint)、后肢近侧端点HNE(Hind-leg Near-side Endpoint)。骨架端点匹配后，若仅有一个骨架端点对应到前肢两骨架端点e3或e4，则认为两前肢处于重合遮罩情况，即FFE=FNE。同理，若仅有一个骨架端点对应到后肢两骨架端点e5或e6，则认为两前肢处于重合遮罩情况，即HFE=HNE。若匹配前肢或后肢骨架端点数为2时，需要进一步判定骨架端点的远、近侧属性。\n[0028] 端点远、近侧属性通过定义判别因子Qfn并计算判别因子值大小进行判定：设Bi为剪枝处理后骨架图G上待判定骨架端点ei所在的骨架枝，该骨架枝共含有M个骨架点，分别用bik(k=1，2，…M)表示，其对应深度图像值为 ei即为biM。以ei为起点，沿该骨架枝顺序取N个相邻的骨架点与ei一起构建骨架枝子集{biM，bi(M-1)，…，bi(M-N)}，ei对应远近侧判别因子为：\n[0029]\n[0030] 由于深度图像中各像素点值反映其在场景中距离深度相机的距离，则当待判别两骨架端点ei、ej满足Qfni