具有彩色图像识别能力的工业机器人的装置及操作方法

1. 一种具有彩色图像识别能力的工业机器人的装置，包括高速图像处理计算机、彩色摄像头、工业机器人、机器人动作数据库单元，机器人动作数据库单元连接工业机器人，安装于工业机器人手爪处的彩色摄像头和工业机器人分别连接高速图像处理计算机；其特征是，还包括分别连接高速图像处理计算机的机器人动作修正数据库单元、图像识别模型库单元、摄像头拍照程序单元、彩色图像压缩和识别单元、软键盘和软鼠标方法单元和系统控制程序单元；高速图像处理计算机能通过原已固定的工作程序，采用摄像头拍照程序单元的程序击发式拍照方式，同时采用软键盘和软鼠标方法单元的智能软键盘和智能软鼠标技术进行拍照；然后将工业机器人手爪处的两台彩色摄像头拍摄的图像文件，在彩色图像压缩和识别单元中进行图像压缩，并对照图像识别模型库进行判断，再根据判断的结果，经机器人动作修正数据库单元向工业机器人发送动作指令或动作修改数据，驱动工业机器人进行正确的工作；计算机还能根据不同的情况调用机器人动作数据库单元中预先设置调试好的各种动作库。
2、 根据权利要求1所述的具有彩色图像识别能力的工业机器人的装置， 其特征是，所述的机器人动作修正数据库单元能根据输入图像识别 后的位置角度的偏差数据，査找本数据库，并输出对于机器人的修 正数据，再输给机器人调整相应的动作姿态。
3、 根据权利要求1所述的具有彩色图像识别能力的工业机器人的装置， 其特征是，所述的图像识别模型库单元为传送带上流动的不同物体 建立相应的具有不同的颜色和外形种类的数据识别模型库，以供同 彩色摄像头在传送带上拍摄的照片进行对照。
4. 根据权利要求1所述的具有彩色图像识别能力的工业机器人的装置，其 特征是，所述的彩色图像压縮和识别单元是在不同的时间和工作段中采 用不同的图像压缩比，采用图像压縮的方式是抽象数据处理，并对照 图像识别模型库中的对象特征，产生压縮的特征文件。
5. 根据权利要求1所述的具有彩色图像识别能力的工业机器人的装置，其 特征是，所述的软键盘和软鼠标方法单元采用多线程工作方法，对同时 启用的照相软件，采用主程序软键盘和软鼠标操作界面的按键点击。
6. —种具有彩色图像识别能力的工业机器人的操作方法，其步骤如下：一、 读取任务TASK文件；二、 有任务吗？若无则继续一、读取任务TASK文件； 若有则三、机器人做远视位置观测；四、 首次点击拍照按钮等待图像处理的时间周期T到；五、 点击拍照按钮设置T;六、 对图像进行数字模式识别；七、 图像中有对象"包裹"？若图像中无"包裹"则八，机器人巡视结束了吗？若机器人巡视没有 结束则九、图像处理的时间周期T到否？若T到则继续五、点击拍照按钮设置T;若八、机器人巡视己结束则进行十、人机画面和语音提示更换包裹； 若七、图像中有对象"包裹"则进行十一、确定"包裹"在图像中的 座标和其系统座标；十二、三维方向的拍摄；十三、驱动机器人作"瞄准动作"并根据图像实时修正机器人目标座标位置；十四、"对象包裹"在图像的规定位置了吗？若对象"包裹"不在图 像规定的位置则继续十三、驱动机器人作"瞄准动作"并根据图像实时 修正机器人目标座标位置；若对象"包裹"在图像规定的位置则十五、驱动气动组件进行对象"包 裹"的提取；十六、驱动机器人作"欢乐动作"并驱动音响系统发出笑声； 十七、驱动机器人作"放包裹动作"；十八、启动自动料库补充礼品；继续一、读取任务TASK文件； 十九、摄像头图像数据分别输入六、对图像进行数字模式识别和十二、三维方向的拍摄；二十、机器人旋转主轴角度数据输入十一、确定"包裹"在图像中的座标和其系统座标。

具有彩色图像识别能力的工业机器人的装置及操作方法技术领域本发明涉及一种工业机器人的控制技术，特别涉及一种工业机器人控制中的图像识别技术。 背景技术工业机器人已逐步在我国重要工业的自动生产线上应用，目前的工业机器人中的绝大部分是在预先设定好的程序下进行工作，不具备智能视觉识别能力，少量进口的国外制作的工业机器人，有些仅具备了黑白图像的识别能力。这对于应用工业机器人，来进行一些复杂的工作处理是有困难的，如进行复杂堆放物品的处置，特别是以彩色为识别特征的图像和物品的处理、机器人走行环境和路径的识别等。随着机器人技术的发展，各种工业机器人，服务机器人、专用机器人、拟人机器人的出现和逐步广泛使用，对机器人视觉智能化的要求越来越高，都使得机器人的彩色图像识别技术作为它们的通用技术基础而得到十分重视和急需发展。 发明内容针对上述现有技术中存在的缺点，本发明所要解决的技术问题是提 供一种具有彩色图像识别能力的工业机器人的装置及方法。为了解决上述技术问题，根据本发明，提供的具有彩色图像识别能力的 工业机器人的装置，包括高速图像处理计算机、彩色摄像头、工业机器人、机器人动作数据库单元，机器人动作数据库单元连接工业机器人， 安装于工业机器人手爪处的彩色摄像头和工业机器人分别连接高速图像 处理计算机；其中还包括分别连接高速图像处理计算机的机器人动作修 正数据库单元、图像识别模型库单元、摄像头拍照程序单元、彩色图像 压縮和识别单元、软键盘和软鼠标方法单元和系统控制程序单元；高速 图像处理计算机能通过原已固定的工作程序，采用摄像头拍照程序单元 的程序击发式拍照方式，同时采用软键盘和软鼠标方法单元的智能软键 盘和智能软鼠标技术进行拍照；然后将工业机器人手爪处的两台彩色摄 像头拍摄的图像文件，在彩色图像压縮和识别单元中进行图像压縮，并 对照图像识别模型库进行判断，再根据判断的结果，经机器人动作修正 数据库单元向工业机器人发送动作指令或动作修改数据，驱动工业机器人进行正确的工作；计算机还能根据不同的情况调用机器人动作数据库 单元中预先设置调试好的各种动作库。所述的机器人动作修正数据库单元能根据输入图像识别后的位置角 度的偏差数据，査找本数据库，而输出对于机器人的修正数据，再输给 机器人调整相应的动作姿态；所述的图像识别模型库单元为一个传送带上流动的不同物体建立相 应的具有不同的颜色和外形种类的数据识别模型库，以供同彩色摄像头 在传送带上拍摄的照片进行对照；所述的摄像头拍照程序单元采用程序击发式拍照方式，在开始处理 和识别上一张图片时，提前击发下一张图片的拍摄，使得上一张图片的 图像识别程序结束时，正好是下一张图片文件的生成；所述的彩色图像压縮和识别单元是在不同的时间和工作段中采用不 同的图像压縮比，采用图像压縮的方式是抽象数据处理，并对照图像识 别模型库中的对象特征，产生压縮的特征文件；所述的软键盘和软鼠标方法单元采用多线程工作方法，对同时启用 的照相软件，采用主程序软键盘和软鼠标操作界面的按键点击，既方便 又能可靠的使用；所述的工业机器人选用的是5KG加长臂的，具有六个转动轴，能在 计算机的控制下对工作物件进行三个方向位置的三维拍照，来得到物体 的三维特征图像。机器人并具有需要的手爪，能对流动的物件进行抓取 和放置；所述的机器人动作数据库单元设有预先设置调试（通过机器人的手 持操作器进行的）好的各种动作库，并编制各动作号，可以根据不同的 情况给以计算机调用。为了解决上述技术问题，根据本发明，提供的具有彩色图像识别能力的 工业机器人的操作方法，其步骤如下-一、 读取任务TASK文件；二、 有任务吗？若无则继续一、读取任务TASK文件； 若有则三、机器人做远视位置观测(慢移动）；四、 首次点击拍照按钮等待T (即图象处理的时间周期）至U;五、 点击拍照按钮设置T;六、 对图像进行数字模式识别；七、 图像中有对象"包裹"？若图像中无"包裹"贝U八、机器人巡视结束了吗？若机器人巡视没有结束则九、图象处理的时间周期T到否？若T到则继续五、点击拍照按钮设置T;若八、机器人巡视己结束则进行十、人机画面和语音提示更换包裹； 若七、图像中有对象"包裹"则进行十一、确定"包裹"在图像中 的座标和其系统座标；十二、三维方向的拍摄；十三、驱动机器人作2# "瞄准动作"并根据图像实时修正机器人目 标座标位置；十四、"对象包裹"在图像的规定位置了吗？若对象"包裹"不在图 像规定的位置则继续十三、驱动机器人作2ft "瞄准动作"并根据图像实 时修正机器人目标座标位置；若对象"包裹"在图像规定的位置则十五、驱动气动组件进行对象"包 裹"的提取；十六、驱动机器人作3# "欢乐动作"并驱动音响系统发出笑声； 十七、驱动机器人作站"放包裹动作"；十八、启动自动料库补充礼品；继续一、读取任务TASK文件；十九、摄像头图像数据分别输入六、对图像进行数字模式识别和十二、三维方向的拍摄；二十、机器人旋转主轴角度数据输入十一、确定"包裹"在图像中的座标和其系统座标。本发明的有益效果是：由于彩色图像的数据量很大，如都进行，因此本发明中采用的是在不同的时间和工作段中采用不同的图像压縮比，可粗可细，采用图中采用的是在不同的时间和工作段中采用不同的图像压縮比，可粗可细，采用图 像压縮的方式是抽象数据处理的方式，并对照图像识别模型库中的对象特征，产 生压縮的特征文件，从而縮短了全图像数据处理所需要的时间；由于拍照方式采 用了程序击发式，在开始处理和识别上一张图片时，提前击发下一张图片的拍摄， 使得上一张图片的图像识别程序结束时，正好下一张图片文件生成，这样能够及 时地处理最新的图像和增加图像处理的密度，提高机器人动作的精确性和快速 性；由于采用了多线程工作方法，对同时启用的照相软件，采用主程序软键盘和 软鼠标操作界面的按键点击，既方便又能可靠的使用。以下结合附图说明对本发明的实施作进一步详细描述。附图说明图1是本发明的实施例中具有彩色图像识别能力的工业机器人的装 置的结构示意框图；图2是本发明的实施例中具有彩色图像识别能力的工业机器人的操 作方法的程序框图的上半部分框图；图3是本发明的实施例中具有彩色图像识别能力的工业机器人的操作方法的程序框图的下半部分框图。 具体实施方式参照图1所示，在本发明的实施例中，具有彩色图像识别能力的工业机器人 的装置，包括高速图像处理计算机、彩色摄像头、工业机器人、机器人动作数据 库单元，机器人动作数据库单元连接工业机器人，安装于工业机器人手爪处的彩 色摄像头和工业机器人分别连接高速图像处理计算机；其中还包括分别连接高速 图像处理计算机的机器人动作修正数据库单元、图像识别模型库单元、摄像头拍 照程序单元、彩色图像压縮和识别单元、软键盘和软鼠标方法单元和系统控制程 序单元；高速图像处理计算机为本装置的核心部分，由于要求进行快速的图像读识和 识别处理，所以在本发明的实施例中，配置了较高速的核心CPU处理器、1M的 内存和高速图形卡。高速图像处理计算机能通过原已固定的工作程序，采用摄像 头拍照程序单元的程序击发式拍照方式，同时采用软键盘和软鼠标方法单元的智 能软键盘和智能软鼠标技术进行拍照；然后将工业机器人手爪处的两台彩色摄像 头拍摄的图像文件，在彩色图像压縮和识别单元中进行图像压縮，并对照图像识 别模型库进行判断，再根据判断的结果，经机器人动作修正数据库单元向工业机 器人发送动作指令或动作修改数据，驱动工业机器人进行正确的工作；计算机还 能根据不同的情况调用机器人动作数据库单元中预先设置调试好的各种动作库。彩色摄像头：采用双彩色摄像头，安装于机器人的手爪处，其中一个摄像头作为备用，作为今后进一步作图像物体的立体照片的拍摄和识别处理的研究开发使用；本实施例中的彩色摄像头采用的是45万象素的标准，通过软件设置可以 有640X480， 320X240， 160X 120三种象素的拍摄模式，摄像头在160X120的 模式下，拍照并生产文件的时间周期为30ms;机器人动作修正数据库单元：机器人本身具有一定的动作库，可以由计算机 发送命令而给以调用，但是由于传送带上流动的物体其位置和角度的不规则性， 因此必须根据图像识别后的数据进行修正。本数据库作用就是根据输入图像识别 后的位置角度的偏差数据，査找本数据库，而输出对于机器人的修正数据，再输 给机器人调整相应的动作姿态；图像识别模型库单元：由于传送带上流动的物体具有不同的颜色和外形种类，因此必须首先给这些不同的物体建立相应的色彩和外形的数据库，然后再在 拍摄的照片中，将其中的特征象素，对本数据库中的各种模型进行对照，才能判断确定图像中是否有目标物体，以及目标物体的相关位置参数；摄像头拍照程序单元：拍照方式采用了程序击发式，在开始处理和识别上一 张图片时，提前击发下一张图片的拍摄，使得上一张图片的图像识别程序结束时， 正好下一张图片文件生成，这样能够及时地处理最新的图像和增加图像处理的密 度，提高机器人动作的精确性和快速性；彩色图像压縮和识别单元：由于彩色图像的数据量很大，如都进行全图像的 数据处理会所需要的时间很长，因此本发明中是在不同的时间和工作段中采用不 同的图像压縮比，可粗可细，采用图像压縮的方式是抽象数据处理，并对照图像 识别模型库中的对象特征，产生压縮的特征文件；软键盘和软鼠标方法单元：为了软件的标准化，本发明实施例中拍照过程采 用的是通用的摄像头和软件标准，由于这部分软件为外购产品，因此必须自己开 发软件接口，本发明实施例中采用了多线程工作方法，对同时启用的照相软件， 采用主程序软键盘和软鼠标操作界面的按键点击，既方便又能可靠的使用；工业机器人：选用型号为LR Mate200/3L的工业机器人，其负重是5KG,加 长臂为856mm，具有6个转动轴，能在计算机的控制下对工作物件进行三个方向 位置的三维拍照，来得到物体的三维特征图像。机器人并具有需要的手爪，能对 流动的物件进行抓取和放置；机器人动作数据库：机器人设有预先设置调试（通过机器人的手持操作器进 行的）好的各种动作库，并编制各动作号，可以根据不同的情况给以计算机调用； 参见图2、图3所示，本发明所提供的具有彩色图像识别能力的工业机器人的操作方法，其步骤如下： (l)读取任务TASK文件；(2)有任务吗？若无则继续(1)读取任务TASK文件； 若有则(3)机器人做远视位置观测(慢移动）；(4) 首次点击拍照按钮等待T (即图象处理的时间周期）至U;(5) 点击拍照按钮设置T;(6) 对图像进行数字模式识别；(7) 图像中有对象"包裹"？若图像中无"包裹"则(8)，机器人巡视结束了吗？若机器人巡视没有 结束则(9)T到否？若图象处理的时间周期T到则继续(5)点击拍照按钮设置T;若(8)机器人巡视已结束则进行卿人机画面和语音提示更换包裹； 若(7)图像中有对象"包裹"则进行(ll)确定"包裹"在图像中的座标和 其系统座标：对图像进行数学模式识别，确定"包裹"在图像中的座标， 并结合机器人的旋转位置数据，确定"对象包裹"的系统座标；似三维方向的拍摄：驱动机器人作X轴方向、Y轴方向和Z轴方向的拍摄，确定操作物体的三维特征；(13) 驱动机器人作2# "瞄准动作"并根据图像实时修正机器人目标座标位置；(14) "对象包裹"在图像的规定位置了吗？若对象"包裹"不在图像规 定的位置则继续(13)驱动机器人作2# "瞄准动作"并根据图像实时修正机器人目标座标位置；若对象"包裹"在图像规定的位置则(15)驱动气动组件进行对象"包裹"的提取；(16) 驱动机器人作3tt "欢乐动作"并驱动音响系统发出笑声；(17) 驱动机器人作4tt "放包裹动作"；Q8)启动自动料库补充礼品；继续(l)读取任务TASK文件； (19)摄像头图像数据分别输入(6)对图像进行数字模式识别和(12)三维方 向的拍摄；卿机器人旋转主轴角度数据输入(ll)确定"包裹"在图像中的座标和其 系统座标。