基于动作识别的医学影像控制方法及系统

1.一种基于动作识别的医学影像控制方法，其特征在于，包括以下步骤：
对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；
将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；
根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作；
所述对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，包括以下步骤：
从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位的关节，实时获取所述关节的位置信息；
通过计算关节的位置关系以及关节间的夹角信息识别出所述控制部位的动作；
所述控制部位包括人体的双臂部位的关节和头颈部位的关节；
其中，所述双臂部位的关节包括双臂关节和双手的手指关节；
所述头颈部位的关节包括头部关节和颈部关节；
所述双臂关节包括臂肩关节、手臂关节以及手腕关节；
所述双手的手指关节包括上部关节、中部关节以及下部关节。
2.根据权利要求1所述的基于动作识别的医学影像控制方法，其特征在于，还包括以下步骤：
获取所述人体动作的二维或三维视频图像。
3.根据权利要求1所述的基于动作识别的医学影像控制方法，其特征在于，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，包括以下步骤：
在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节；
跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。
4.根据权利要求3所述的基于动作识别的医学影像控制方法，其特征在于，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，还包括以下步骤：
在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数；
将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节；
跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。
5.一种基于动作识别的医学影像控制系统，其特征在于，包括人体动作识别模块、动作语义映射模块以及医学影像控制模块；
所述人体动作识别模块，用于对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；
所述动作语义映射模块，用于将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；
所述医学影像控制模块，用于根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作；
所述人体动作识别模块包括控制部位跟踪子模块和动作识别子模块；
所述控制部位跟踪子模块，用于从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位的关节，实时获取所述关节的位置信息；
所述动作识别子模块，用于通过计算关节的位置关系以及关节间的夹角信息识别出所述控制部位的动作；
所述控制部位包括人体的双臂部位的关节和头颈部位的关节；
其中，所述双臂部位的关节包括双臂关节和双手的手指关节；
所述头颈部位的关节包括头部关节和颈部关节；
所述双臂关节包括臂肩关节、手臂关节以及手腕关节；
所述双手的手指关节包括上部关节、中部关节以及下部关节。
6.根据权利要求5所述的基于动作识别的医学影像控制系统，其特征在于，还包括图像获取模块；
所述图像获取模块，用于获取所述人体动作的二维或三维视频图像。
7.根据权利要求5所述的基于动作识别的医学影像控制系统，其特征在于，所述控制部位跟踪子模块包括头颈部位识别单元和头颈部位跟踪单元；
所述头颈部位识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节；
所述头颈部位跟踪单元，用于跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。
8.根据权利要求7所述的基于动作识别的医学影像控制系统，其特征在于，所述控制部位跟踪子模块还包括指尖识别单元、手指关节识别单元和手指关节跟踪单元；
所述指尖识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数；
所述手指关节识别单元，用于将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节；
所述手指关节跟踪单元，用于跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。

基于动作识别的医学影像控制方法及系统\n技术领域\n[0001] 本发明涉及计算机视觉技术领域，特别是涉及一种基于动作识别的医学影像控制方法及系统。\n背景技术\n[0002] 医学影像是指通过X光成像(X-ray)、电脑断层扫描(CT)、核磁共振成像(MRI)、超声成像(ultrasound)、正电子发射计算机断层扫描(PET)、脑电图(EEG)、脑磁图(MEG)、眼球追踪(eye-tracking)、穿颅磁波刺激(TMS)、光学相干断层扫描等现代成像技术检查人体无法用非手术手段检查的部位的过程。通常作为一种医疗辅助手段用于诊断和治疗，也可以作为一种科研手段用于生命科学的研究中。随着科技的发展，医学影像不光指以上的医学成像也指医学设备生成的三维医学影像或由二维医学图像通过技术手段所生成的三维医学影像。\n[0003] 传统的医学影像浏览和操作方式主要为打印成介质实物如胶片等进行查看或者通过鼠标或键盘对存于PC机对电子版进行操作和查看两种方式。这两种方式都需要医生的手直接和操作物进行接触，特别不利于在手术这种对卫生条件要求较高的场合使用。而且，在手术这种无菌环境下如果主刀医生自己不直接操作鼠标键盘，也需要额外一名医生在其口令指导下为其操作，这样不但丧失了医学影像操作的灵活性也浪费了人力。所以，传统的医学影像控制方法大大限制了操作的灵活性，也无法满足医学环境中的高卫生条件的要求。\n发明内容\n[0004] 基于上述问题，本发明提供了一种操作灵活的基于动作识别的医学影像控制方法及系统，实现非接触式控制医学影像操作，有效地解决高卫生条件下的医学影像操作查看问题。\n[0005] 为实现本发明目的而提供的一种基于动作识别的医学影像控制方法，包括以下步骤：\n[0006] 对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；\n[0007] 将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；\n[0008] 根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。\n[0009] 在其中一个实施例中，所述基于动作识别的医学影像控制方法，还包括以下步骤：\n[0010] 获取所述人体动作的二维或三维视频图像。\n[0011] 在其中一个实施例中，所述对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，包括以下步骤：\n[0012] 从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息；\n[0013] 根据获取的所述控制部位的位置信息，识别所述控制部位的动作。\n[0014] 在其中一个实施例中，所述控制部位包括人体的双臂部位的关节和头颈部位的关节；\n[0015] 其中，所述双臂部位的关节包括双臂关节和双手的手指关节；\n[0016] 所述头颈部位的关节包括头部关节和颈部关节。\n[0017] 在其中一个实施例中，所述双臂关节包括臂肩关节、手臂关节以及手腕关节；\n[0018] 所述双手的手指关节包括上部关节、中部关节以及下部关节。\n[0019] 在其中一个实施例中，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，包括以下步骤：\n[0020] 在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节；\n[0021] 跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。\n[0022] 在其中一个实施例中，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，还包括以下步骤：\n[0023] 在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数；\n[0024] 将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节；\n[0025] 跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。\n[0026] 相应地，为实现本发明目的而提供的一种基于动作识别的医学影像控制系统，包括人体动作识别模块、动作语义映射模块以及医学影像控制模块；\n[0027] 所述人体动作识别模块，用于对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；\n[0028] 所述动作语义映射模块，用于将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；\n[0029] 所述医学影像控制模块，用于根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。\n[0030] 在其中一个实施例中，所述基于动作识别的医学影像控制系统还包括图像获取模块；\n[0031] 所述图像获取模块，用于获取所述人体动作的二维或三维视频图像。\n[0032] 在其中一个实施例中，所述人体动作识别模块包括控制部位跟踪子模块和动作识别子模块；\n[0033] 所述控制部位跟踪子模块，用于从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息；\n[0034] 所述动作识别子模块，根据获取的所述控制部位的位置信息，识别所述控制部位的动作。\n[0035] 在其中一个实施例中，所述控制部位包括人体的双臂部位的关节和头颈部位的关节；\n[0036] 其中，所述双臂部位的关节包括双臂关节和双手的手指关节；\n[0037] 所述头颈部位的关节包括头部关节和颈部关节。\n[0038] 在其中一个实施例中，所述双臂关节包括臂肩关节、手臂关节以及手腕关节；\n[0039] 所述双手的手指关节包括上部关节、中部关节以及下部关节。\n[0040] 在其中一个实施例中，所述控制部位跟踪子模块包括头颈部位识别单元和头颈部位跟踪单元；\n[0041] 所述头颈部位识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节；\n[0042] 所述头颈部位跟踪单元，用于跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。\n[0043] 在其中一个实施例中，所述控制部位跟踪子模块还包括指尖识别单元、手指关节识别单元和手指关节跟踪单元；\n[0044] 所述指尖识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数；\n[0045] 所述手指关节识别单元，用于将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节；\n[0046] 所述手指关节跟踪单元，用于跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。\n[0047] 本发明的有益效果为：本发明提供的一种基于动作识别的医学影像控制方法及系统，通过对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令，进而根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作，从而实现非接触式控制医学影像操作，有效地解决高卫生条件下的医学影像操作查看问题。\n附图说明\n[0048] 为了使本发明的基于动作识别的医学影像控制方法及系统的目的、技术方案及优点更加清楚明白，以下结合具体附图及具体实施例，对本发明基于动作识别的医学影像控制方法及系统进行进一步详细说明。\n[0049] 图1为本发明的基于动作识别的医学影像控制方法的一个实施例的流程图；\n[0050] 图2-a和图2-b为图1所示的本发明的基于动作识别的医学影像控制方法中的控制部位的一个实施例的示意图；\n[0051] 图3为图1所示的本发明的基于动作识别的医学影像控制方法中的对控制部位进行动作识别的一个实施例的示意图；\n[0052] 图4为本发明的基于动作识别的医学影像控制系统的一个实施例的结构图;\n[0053] 图5为图4所示的本发明的基于动作识别的医学影像控制系统中的人体动作识别模块的一个实施例的结构图。\n具体实施方式\n[0054] 下面结合说明书附图，对本发明实施例提供的基于动作识别的医学影像控制方法及系统进行说明。\n[0055] 本发明实施例提供的基于动作识别的医学影像控制方法，如图1所示，包括以下步骤：\n[0056] S100，对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；\n[0057] S200，将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；\n[0058] S300，根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。\n[0059] 本发明实施例提供的一种基于动作识别的医学影像控制方法，通过对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令，进而根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作，从而实现非接触式控制医学影像操作，有效地解决高卫生条件下的医学影像操作查看问题。\n[0060] 较佳地，作为一种可实施方式，如图2-a和图2-b所示，本发明提供的一种基于动作识别的医学影像控制方法中的控制部位包括但不限于人体的双臂部位的关节和头颈部位的关节。其中，双臂部位的关节包括双臂关节和双手的手指关节，头颈部位的关节包括头部关节10和颈部关节20。\n[0061] 进一步地，所述双臂关节包括臂肩关节31、手臂关节32以及手腕关节33，双手的手指关节包括上部关节41、中部关节42以及下部关节43。\n[0062] 视觉交互技术是一种非接触的交互方式，它有效地解决了传统输入设备无法处理三维或多自由度输入的问题。人体动作识别是机器视觉领域的研究难点和研究热点，人体动作是人自然的语义表述。人与人之间的交流除了语言外，动作是最有效的表达方式。基于机器视觉的动作识别目前多被应用于娱乐领域。目前，在智能控制方面应用较少，但大部分都处于研发阶段。如一些智能电视厂商正研究将此种技术应用到他们的系统当中，用来控制智能电视的选台、调节音量等功能。随着计算机硬件处理技术和计算机图形图像处理技术的发展，人体动作识别将会更多地应用于其他领域。\n[0063] 需要说明的是，已有的基于机器视觉的非接触式医学影像控制方法，主要通过体感摄像机获取深度信息并与个人计算机进行数据通信，由深度数据处理系统对数据进行分析实现体感交互，医学影像显示系统进行数字影像的显示和图像处理，从而实现手势对显示的医学影像进行缩放、旋转、平移、改变显示数量、改变窗宽窗位等图像处理操作。上述传统的基于机器视觉的非接触式医学影像控制方法只能通过双手手势进行医学影像的控制操作，其所能表达的语义信息非常有限，无法满足医疗诊断和医疗手术中非接触式控制医学影像多样化操作的需求。而本发明实施例提供的一种基于动作识别的医学影像控制方法，可通过人体的控制部位包括但不限于双手、双臂以及头颈部位，实现对医学图像或医学影像三维模型的缩放、旋转、平移以及深度透视等操作，满足医疗诊断和医疗手术中非接触式控制医学影像多样化操作的需求。\n[0064] 上述实施例中，某个或某些关节点的位置或位置组合可以表示大量的语义信息，通过对这些关节点的跟踪实时获取到跟踪关节点的位置和位置组合以此来产生不同的控制信号。设定一个医学影像控制语义映射库，标明不同动作和控制信号之间的映射关系，当一个控制动作触发并被识别后，通过查询语义映射库转换成预设的控制信号。控制信号通过控制驱动来实现医学影像的控制功能。为了便于理解，如下表1所示，给出了一种可能的医学影像控制语义映射表举例；\n[0065] 表1：\n[0066]\n[0067] 较佳地，作为一种可实施方式，所述基于动作识别的医学影像控制方法，还包括以下步骤：\n[0068] S400，获取所述人体动作的二维或三维视频图像，可通过二维或三维的人体动作捕捉摄像头来捕捉人体动作的视频图像。\n[0069] 较佳地，作为一种可实施方式，所述对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，包括以下步骤：\n[0070] S110，从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息；\n[0071] S120，根据获取的所述控制部位的位置信息，识别所述控制部位的动作。\n[0072] 控制部位的动作包括一系列具有丰富含义的肢体运动，如手指、手、手臂、头、面部或身体等姿态或运动模式，是一种表达人的行为意图或者完成人与环境的信息传递方式。\n从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取控制部位的位置信息，根据其位置的变化，识别控制部位的动作。\n[0073] 下面以由人脑头部核磁影像重建得到的人脑三维模型为例，说明采用本发明实施例提供的基于动作识别的医学影像控制方法中通过控制部位的动作来实现人脑三维模型的上下左右四个方向的旋转以及逐层透视的功能，其具体的控制部位的动作与对应的控制信号可以约定为：\n[0074] 约定控制开始开关为手掌的张开和握拳，例如右手掌张开即为右手具有控制权限，左手掌张开那么左手掌也具有控制权限；\n[0075] 约定右手掌张开并向右摆动为控制头部模型向右转动，右手掌张开并向上摆动为控制头部模型向上转动，右手掌张开并向下摆动为控制头部模型向下转动；\n[0076] 约定左手掌张开并向左摆动为控制头部模型向左转动；\n[0077] 约定右手掌张开向前推动为控制模型逐层向里透视，向后推动为控制模型逐层向外透视；\n[0078] 约定当手掌处于握拳状态时，此手关闭控制功能。\n[0079] 对于人体躯干的关节跟踪，可以采用光流稀疏L_K算法对初始化后得到的关节点进行跟踪，获取到实时的关节点位置信息。\n[0080] 较佳地，作为一种可实施方式，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，包括以下步骤：\n[0081] S111，在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节；\n[0082] S112，跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。\n[0083] 对于人手的手指关节跟踪，系统将当前人手轮廓数据与人手数据库的进行匹配，然后得到相近的人手模型，并由此确定关节点的位置。较优地，为了减少匹配的工作量，可以先进行指尖识别找到指尖个数，然后在具有此指尖个数的人手数据库进行匹配。\n[0084] 较佳地，作为一种可实施方式，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，包括以下步骤：\n[0085] S113，在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数；\n[0086] S114，将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节；\n[0087] S115，跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。\n[0088] 较佳地，作为一种可实施方式，在获取到关节点的位置信息后，通过计算关节点的位置关系以及关节点间夹角等信息就可以计算出当前的动作。\n[0089] 下面，以右手臂的三个关节点举例来说明一下是如何计算出右手臂做“投降”这个动作的。\n[0090] 如图3示，p1、p2、p3为右手手臂三个关节点的位置，其中，p1为手腕关节的位置，p2为手臂关节的位置，p3为臂肩关节的位置。如果p1高于p2和p3而且(p2,p1)和(p2,p3)之间的夹角a接近90°，那么这个动作就可以识别成右手“投降”动作，设为其分配一个动作ID为M8，表示成公式如下：\n[0091] Current action=M8,(p1.y>p2.y&&p1.y>p3.y&&(90-e)