·控制与检测· 组合机床与自动化加工技术 文章编号：１００１—２２６５（２０１０）Ｏｌ一００８４—０４ 工业机器人分拣技术的实现 焦恩璋，杜荣 （南京林业大学机电学院，南京２１００３７） 摘要：以ＭＯＴＯＭＡＮ．ＵＰ６机器人为基础，构建了一个基于机器视觉的机器人分拣实验系统。该分拣实验 系统由机器人、ＰＣ机、相机、图像采集卡、传送带和自开发的分拣控制软件组成。系统的工作原理和工作 过程为：当目标对象源源不断地进入分拣作业区时，通过相机连续自动地获取作业对象图像，然后由软 件对采集到的图像进行运算分析、变换目标对象坐标、识别目标对象分类信息、维护分拣目标的运动踪 迹，最终控制机器人实现分拣动作。“单目标跟踪——抓取——搬运”实验和“多目标跟踪——抓取—— 搬运”实验证明了该技术的意义和实用价值。 关键词：工业机器人；分拣；坐标系；目标识别；机器视觉 中图分类号：ＴＰ２４２．２ 文献标识码：Ａ Ｒｅａｌｉｚａｔｉｏｎ ｏｆ Ｓｏｒｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ ｏｎ Ｉｎｄｕｓｔｒｉａｌ Ｒｏｂｏｔ ＪＩＡＯ Ｅｎ—ｚｈａｎｇ，ＤＵ Ｒｏｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｍｅｃｈａｎｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ Ｆｏｒｅｓｔｒｙ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ ２ １ ００３７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂａｓｅｄ ｏｎ Ｍ ＯＴＯＭ ＡＮ－ＵＰ６ ｒｏｂｏｔ，ａ ｓｏｒｔｉｎｇ ｅｘｐｅｒｉｍｅｎｔａｌ ｓｙｓｔｅｍ ｆｏｕｎｄｅｄ ｏｎ ｒｏｂｏｔ ｖｉｓｉｏｎ ｉｓ ｂｕｉｌｔ． Ｔｈｉｓ ｅｘｐ ｅｒｉｍｅｎｔａｌ ｓｙ ｓｔｅｍ ｉｓ ｃｏｍｐ ｏｓｅｄ ｏｆ ｒｏｂｏｔ，ＰＣ，ｃａｍｅｒａ，ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ ｃａｒｄ，ｃｏｎｖｅｙ ｅｒ ｂｅｌｔ ａｎｄ ｓｅｌｆ－ｄｅ’ ｖｅｌｏｐｅｄ ｓｏｒｔｉｎｇ ｃｏｎｔｒｏｌ ｓｏｆｔｗａｒｅ．Ｔｈｅ ｏｐｅｒａｔｉｏｎａｌ ｐｒｉｎｃｉｐｌｅ ａｎｄ ｐｒｏｃｅｓｓ ａｒｅ ｔｈａｔ ｔａｒｇｅｔｓ’ｉｍａｇｅｓ ａｒｅ ａｃｑｕｉｒｅｄ ａｕｔｏｍａｔｉｃａｌｌｙ ａｎｄ ｃｏｎｔｉｎｕｏｕｓｌｙ ｂｙ ｔｈｅ ｃａｍｅｒａ，ｗｈｅｎ ｔａｒｇｅｔｓ ｅｎｔｅｒ ｔｈｅ ｓｏｒｔｉｎｇ ｏｐｅｒａｔｉｏｎ ａｒｅａ，ａｎｄ ｔｈｅｓｅ ｉｍａｇｅｓ ａｒｅ ｄｅａｌｔ ｂｙ ｓｏｒｔｉｎｇ ｃｏｎｔｒｏｌ ｓｏｆｔｗａｒｅ ｗｉｔｈ ｍａｔｈｅｍａｔｉｃａｌ ａｎａｌｙｓｉｓ，ｔｒａｎｓｆｏｒｍｉｎｇ ｔｈｅ ｔａｒｇｅｔｓ’ｃｏｏｒｄｉｎａｔｅｓ，ｉｄｅｎｔｉｆ－ ｙｉｎｇ ｔｈｅ ｔａｒｇｅｔｓ’ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｍａｉｎｔａｉｎｉｎｇ ｔｈｅｉｒ ｔｒａｃｅｓ，ａｎｄ ｆｉｎａｌｌｙ ｃｏｎｔｒｏｌ ｔｈｅ ｒｏｂｏｔ ｔｏ ｉｍｐｌｅｍｅｎｔ ｔｈｅ ｓｏｒ‘ ｔｉｎｇ ａｃｔｉｏｎ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｏｆ”ｓｉｎｇｌｅ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ－ｓｎａｔｃｈｉｎｇ－ｔｒａｎｓｉｔ”ａｎｄ”ｍｕｌｔｉ·ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ—ｈｉｎｇ－ｔｒａｎｓｉｔ”ｐｒｏｖｅ ｔｈｅ ｓｉｇｎｉｉｃａｎｃｅ ａｎｄ ｐｒａｃｔｉｆｃａｌ ｖａｌｕｅ ｏｆ ｔｈｉｓ ｔｅｃｈｎｏｌｏｇｙ． Ｋｅｙ ｗｏｒｄｓ：ｉｎｄｕｓｔｒｉａｌ ｒｏｂｏｔ；ｓｏｒｔｉｎｇ；ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ；ｔａｒｇｅｔ ｒｅｃｏｇｎｉｔｉｏｎ；ｒｏｂｏｔ ｖｉｓｉｏｎ ｓｎａｔｃ‘ Ｏ 引言 分拣作业是大多数流水生产线上的一个重要环 研究、开发和应用机器人分拣技术有着十分重要的意 义。 节。基于机器视觉的机器人分拣与人工分拣作业相 比，不但高效、准确，而且在质量保障、卫生保障等方面 １ 机器人分拣实验系统的构成和工作原理 本文以ＭＯＴＯＭＡＮ—ＵＰ６机器人为基础，研究并构 有着人工作业无法替代的优势；与传统的机械分拣作 业相比，基于机器视觉的机器人分拣则有着适应范围 广、随时能变换作业对象和变换分拣工序的优势 机 建了一个基于机器视觉的机器人分拣实验系统（图 Ｉ）。该分拣实验系统可分为硬件和软件两大部分，硬 件主要由机器人、ＰＣ机、相机、图像采集卡和传送带等 组成。其中相机和机器人分别通过传输线和ＲＳ２３２与 ＰＣ机相连。系统的软件由自开发的分拣控制平台和 器人分拣技术是机器人技术和机器视觉技术的有机组 合，日本以及欧美一些发达国家，在机械、食品、医药、 化妆品等生产领域应用机器人分拣已经相当普及，而 ＭＯＴＯＣＯＭ动态链接库组成。机器人分拣实验系统的 工作原理和工作过程为：当目标对象源源不断地进入 我国目前真正付诸实施的机器人分拣系统还几乎是空 白。根据目前我国的市场需求状况和相关技术基础， 分拣作业区时，在计算机的控制下，通过相机连续自动 收稿日期：２００９—０９—０９；修回１３期：２００９—１０—１２ 作者简介：焦恩璋（１９５４一），男，江苏苏州人，南京林业大学机电学院副教授，研究方向为机器人学，机电一体化，计算机图形学，（Ｅ—ｍａｉｌ）ｊｅｚ＠ ｎｊｆｕ．ｃｏｍ．ｃｎ。 ·８４· ２０１０年第２期 地获取作业对象图像，然后由软件对采集到的图像进 行运算分析、变换目标对象坐标、识别目标对象分类信 息、维护分拣目标的运动踪迹，最终控制机器人实现分 拣动作，将目标对象分类拾取，放置到指定位置（图 ２）。 图ｌ 基于机器视觉的机器人分拣实验系统 图２ 系统的工作原理和过程 ２机器人分拣实验系统的硬件 由工业机器人系统、相机及镜头、ＰＣ机及图像采 集卡、传送带及分拣对象等组成的机器人分拣实验系 统，其硬件部分的布置如图３所示。 传送带 圈３机器人分拣买验系统的硬件组成 ２．１ 工业机器人系统 工业机器人系统包括ＭＯＴＯＭＡＮ—ＵＰ６机器人本 体、ＹＡＳＮＡＣ—ＸＲＣ—ＵＰ６机器人控制柜、示教编程器以 及支持与Ｐｃ机进行数据通信的软件ＭＯＴＯＣＯＭ３２。 其中机器人本体为６轴垂直多关节型，各关节由交流 伺服电机驱动，重复定位精度达±０．０８ｍｍ…。机器人 的末端执行器为ＣＥＨ－４０电磁吸盘。 ２．２相机及镜头 本系统选择的相机是丹麦ＡＶＩ公司生产的ＣＶ— Ａ１ｌ相机。相机线扫描频率为３７．５ ｋＨｚ，其ＣＣＤ总 ·控制与检测· 像素为６５９×４９４，相机信噪比大于５６ｄＢ。其工作电 压为１２Ｖ ＤＣ±１０％，镜头接口为Ｃ—ｍｏｕｎｔ接口。镜 头为日本ＣＯＭＰＵＴＡＲ公司的Ｍ０８１４．ＭＰ镜头，镜头 焦距为ｆ＝８ｍｍ，焦点手动控制，成像适合本系统的 要求。 ２．３ ＰＣ机及图像采集卡 本系统选择的ＰＣ机为联想ＴｈｉｎｋＣｅｎｔｅｒ（Ｉｎｔｅｌ Ｐ４ ３．０ＧＨｚ，２Ｇ内存，Ｗｉｎｄｏｗｓ ＸＰ操作系统）台式机。图 像采集卡是加拿大ＣＯＲＥＣＯ公司生产的ＰＣ２－Ｖｉｓｉｏｎ 图像采集卡。该图像采集卡自带８Ｍ存储器用于图 像序列的存储，通过高速ＰＣＩ总线可实现直接采集图 像到ＶＧＡ显存或主机系统的内存，兼容ＲＧＢ，ＲＳ一 １７０／ＣＣＩＲ等视频格式，可采集标准彩色复合视频和 ＲＧＢ分量，能够同时采集６个黑白摄像头，２个ＲＧＢ 摄像头或２个双通道模拟摄像头图像；支持外部事件 出发输入，支持显示分辨率２０４８×２０４８，具有３个８ 位４０ＭｈｚＡ／Ｄ转换器，可用软件平台是ｗｉｎｄｏｗｓｘｐ 等。 ２．４传送带及分拣对象 本系统选择的传送带为皮带输送机，其工作长度 为１ ５ｍ，调速范围为：０～ｌＯｍ／ｓ；分拣对象为螺母和垫 圈。 ３软件流程及软件要解决的问题 机器人分拣实验系统的软件主要流程如图４所 示，其工作流程可描述为：相机拍摄场景，将视频信号 传输到图像采集卡的视频输入端口，图像采集卡将模 拟视频信号逐帧转化为数字图像，然后由计算机程序 根据这些图像计算目标的场景位置，接着由控制程序 生成控制指令，通过ＲＳ２３２发送给机器人控制柜，机 器人控制柜将控制指令解释为脉冲数并分别发送给 ６个交流伺服电机。其中的相机标定、目标检测与识 别、动态目标跟踪是系统软件要解决的机器视觉技术 问题，机器人的动作是系统软件要解决的运动控制问 题 图４软件主要流程 ３．１ 相机标定 相机标定是求解目标的像素坐标到场景坐标变换 ·８５· ·控制与检测· 的过程 ，对分拣系统在定位目标时具有重要作用。 根据相机标定的结果，可以由目标在图像中的位置计 算出目标在机器人坐标系中的位置，相机标定的作用 可由图５来表述。本系统以小孔成像模型作为相机标 定算法的模型。采用了直接线性法和张正友法作为相 机标定方法。在Ｍａｔｌａｂ上实现了直接线性法与张正友 法标定后，用实验对标定结果进行了确认。该标定结 果使得分拣系统可以较精确的定位场景中的目标，为 后续的目标跟踪及机器人抓取提供了基础。 图５相机标定的作用 ３．２目标检测与识别 目标检测与识别是确定图像中哪些部分是目标， 以及是哪种目标的问题。解决这两个问题的方法很 多，甚至有些方法可以同时解决两个问题。本系统采 取了几种方法进行试验后，在深入研究了基于运动目 标检测的基础上，选择并实现了基于背景减法与基于 二值化的目标检测。并根据统计模式识别相关理论， 选择了线性判别函数法进行目标识别。 ３．３动态目标跟踪 视觉跟踪是指对图像序列中的运动目标进行检 测、提取、识别和跟踪并获得目标的运动轨迹，从而进 一步处理与分析实现对目标行为的理解，以及完成更 高一级的任务 。在本分拣实验系统中，我们设计的 目标将源源不断地进入相机的视野，系统则对每个目 标进行识别、检测并记录结果。在实现该视觉跟踪过 程中，本系统采用了ＧＮＮ算法对目标进行跟踪。通常 跟踪的目的是对目标状态的记录，并不估计目标将来 时刻的状态。但作为动态分拣实验，本系统采用ｋａ１． ｍａｌｌ滤波的估计功能来估计目标将来位置，为机器人 抓取动态目标提供信息。 ４机器人运动控制 在解决了目标图像坐标系到机器人坐标系的转 换、对象目标检测和识别，以及采用ｋａｌｍａｎ滤波估计 目标将来时刻的位置后，控制机器人的作业轨迹运动， 实现搬运动态的对象目标则是本实验系统的最终目 标。本系统利用ＭＯＴＯＣＯＭ３２控制ＵＰ６机器人，完成 了搬运动态对象目标。以下简要介绍与机器人运动控 制程序开发相关的几个问题。 ４．１ ＭＯＴＯＣＯＭ３２的应用方式 ＭＯＴＯＣＯＭ３２ 是日本安川电机公司为ＭＯＴＯ． 组合机床与自动化加工技术 ＭＡＮ系列机器人提供的软件开发工具包，该工具包包 含了数据文件传送、机器人控制、Ｉ／Ｏ信号读写等功 能，可供用户根据需要开发自己的应用程序。Ｗｉｎｄｏｗｓ 程序调用ＭＯＴＯＣＯＭ３２库函数实现程序对机器人控制 的原理是：首先，Ｗｉｎｄｏｗｓ程序调用ＭＯＴＯＣＯＭ库函 数；然后，库函数通过串口或以太网向控制器发送指 令；最后，机器人控制器执行指令（如控制机器人各关 节运动、文件存取等）。ＭＯＴＯＣＯＭ３２本质上是一个动 态链接库（ＤＬＬ）。在ＶＣ中使用ＭＯＴＯＣＯＭ３２的方法 与使用其它ＤＬＬ相同。在“项目设置”对话框的“对 像／库模块”输入框内加入“ＭＯＴＯＣＯＭ３２．１ｉｂ”后，将 “ＭＯＴＯＣＯＭ３２．ｈ”与“ＭＯＴＯＣＯＭ３２．ｄｌｌ”拷贝到工程目 录内即可。其过程与在其它编译器中使用动态链接库 的方法相似。 ４．２ 建立ＰＣ机与控制器之间的通信 在调用其他库函数之前，需要先在ＰＣ机与机器人 控制器之间建立通信。ＸＲＣ控制器与ＰＣ机连接有 ＲＳ２３２串ＩＳｌ和以太网两种方式 。这里以ＲＳ２３２连接 方式为例说明建立通信的方法。首先，调用ＢｓｃＯｐｅｎ 函数获取一个通信句柄，其原型如下：ｓｈｏｒｔ ＢｓｃＯｐｅｎ （ｃｈａｒ ｐａｔｈ，ｓｈｏｒｔ ｍｏｄｅ）；其中ｐａｔｈ指程序的工作目 录，ｍｏｄｅ指通信方式（ＲＳ２３２取１，以太网取１６）。该 函数返回值为通信句柄。其次是设置通信参数，对于 ＲＳ２３２连接方式，需要设置其端口号、波特率、数据位 数、校验位等参数；对于以太网连接方式，则需要设置 ＩＰ等参数。取得通信句柄并设好通信参数后，调用 ＢｓｃＣｏｎｎｅｃｔ函数即完成了通信的建立。 ４．３机器人运动控制中的问题和对策 机器人运动控制函数数量较多，常用的函数有： ＢｓｃＩｓＲｏｂｏｔＰｏｓ、ＢｓｃＩｓＬｏｃ、ＢｓｃＭｏｖｌ、ＢｓｃＰＭｏｖｌ、ＢｓｃＳｅｌｅｃｔ— Ｊｏｂ、ＢｓｃＳｔａｒｔＪｏｂ、ＢｓｃＪｏｂＷａｉｔ等。本系统在程序开发过 程中发现，运动控制函数向控制器发送完指令后就立 即返回，而不等到机器人运动完成，也就是说该函数是 非阻塞的。尽管非阻塞的函数在有些情况下非常有 用。但是，由此也导致了一些问题，下面分两种情况讨 论：①连续指令都是运动指令（ＢｓｃＭｏｖｌ、ＢｓｃＭｏｖｊ）。通 过实验发现在这种情况下，只要设定的机器人运动速 度足够快，就不会产生问题。例如：对于ＢｓｃＭｏｖｌ，如果 速度低于５ｍｍ／ｓ就会出错。所以在这种情况下，解决 方案是尽量保持较快的运动速度。②连续指令中包含 运动指令与非运动指令（如执行控制器内ＪＯＢ的Ｂｓｃ－ ＳｔａｒｔＪｏｂ函数）。在这种情况下，即使运动速度很快，程 序也会报错。例如：对于指令序列：ＢｓｃＭｏｖｌ，ＢｓｃＳｔａｒｔ— Ｊｏｂ，ＢｓｃＭｏｖｌ，程序将在执行最后一个ＢｓｃＭｏｖｌ时报错。 ２０１０年第２期 即使在ＢｓｃＳｔａｒｔＪｏｂ之后加入ＢｓｃＷａｉｔＪｏｂ，也不能解决 问题。本系统的解决方法是：调用ＢｓｃＳｌａｒｔＪｏｂ后检查 其返回值，如果执行成功则继续下一步（ＢｓｃＭｏｖ１），否 则重新执行ＢｓｃＳｔａｒｔＪｏｂ ５机器人分拣作业实验 经过对软、硬件的多次阑试和修正，本实验系统顺 利地完成了“识别——抓取——搬运”实验（冈６）、“单 目标跟踪——抓取——搬运”实验和“多目标跟踪—— 抓取——搬运”实验（图７） 这些实验均取得了预期 和满意的结果。“识别——抓取——搬运”实验的过程 为：在机器人正前方的桌面上随意放置螺母和垫圈各８ 个，螺母和垫圈的厚度相差２０ｒａｍ，分拣作业要求将其 分别放置在两个位置。启动机器人分拣控制平台后， 机器人末端执行器立刻运动至距目标最近的某目标对 象上方５ｍｍ处——电磁吸盘通电并吸附分拣对 象——机器人末端执行器立刻运动至某指定位置—— 电磁吸盘断电并放下分拣对象——机器人末端执行器 立刻运动至下一个对象上方５ Ｆｉｌｍ处并重复上述过程： 桌面上目标对象分拣完毕后机器人网位．当桌面Ｉ：再 次出现目标时，机器人则重复上述过程 “多目标跟 踪——抓取——搬运”实验的过程为：在机器人前方布 置一皮带输送机，分拣作业要求皮带输送机的方向可 随意布置、速度可在范 内仔选，并将其进入分拣 的 分拣对象放黄到指定位置 启动机器人分拣控制平台 后，开启皮带输送机并存起始端随意、连续地放置垫 圈。机器人末端执行器立刻运动至第一个进入分拣区 的某目标对象上方５ＩｌｌＨＩ处——电磁吸盘通电并吸附 分拣对象——机器人末端执行器立刻运动至某指定位 置——电磁吸盘断电并放下分拣对象——机器人末端 执行器立刻运动至第二个进入分拣区的埘象』 方５１１１Ｉｌｌ 处并重复上述过程 皮带输送机ｔ日标对象分拣完毕 后机器人同位，当皮带输送机上再次ｍ现目标时。机器 人则重复上述过程 图６ “识别——抓取——搬运”实验 ６ 结束语 机器人分拣实验系统的构建和实验，为进一步的 ·控制与检测· 图７“多目标跟踪——抓取——搬运”实验 研究和开发积累了经验，为机器人分拣系统在生产领 域付诸实施提供了有益的参考和借鉴 。成功的联机 实验证明了构建本系统的研究思路是正确的，同时也 显示了相关理论对实际应用的指导意义。由于机器人 的高效安全作业替代了繁重的体力劳动，提高＿『ｌ自动 化水平和作业质量，机器人分拣将会越来越广泛地应 用于各个生产领域 ［参考文献］ ［Ｉ］焦恩璋，徐顺清．基于视觉伺服的机器人作业系统研究 ［Ｊ］．组合机床与Ｆ１动化加工技术，２００９（７）：６６—８１． ［２］马颂德，张正友．计算机视觉——计算王早论与算法基础 ［Ｍ］．北京：科技 版社，２００３． ［３］侯志强，韩崇昭．视觉跟踪技术综述［Ｊ］．自动化学报， ２００６，２６（４）：６０４—６０８ ［４］Ｍｏｔｏｍａｎ ｎｏｔｏｃｏｍ ＳＤＫ［Ｚ］．ＵＳＡ：ＹＡＳＫＡＷＡ Ｅｌｅｃｔｒｉｃ Ｍａｎｕｆａｃｔｕｔｉｎｇ，２００２． ［５］札荣，焦恩璋．Ｍｏｔｏｃｏｍ ３２的应用及其面向对象封装研究 ［Ｊ１．机电一体化，２００９，１ ５（６）：８０—８３． ［６］贺磊热，武传字，倪勇．基于ＲＰＰＲ机器人智能分拣实验装 置的研制［Ｊ］．７－．业仪表与ｔ＇１动化装置，２００７（４）：７０—７２． （编辑 赵蓉） ， … …’ ’’。 ’’’ ’、 ； 申请优先审稿须知 ： 为振兴我国机械装备制造业，弘扬民族科学文： ：化精神，提升期刊质量，本刊从即日起，凡是符合本： ：刊报道范同且同时受到“围家８６３计划资助项目”、： ：“国家自然科学基金资助项目”、“周家重点科技攻： 关资助项目”等国家级基金资助项目的原创论文， ；本刊可优先审稿，一经录用，优先发表，欢迎业内人ｉ 事、专家、学者踊跃投稿（来稿注明：“优先审稿”字 ；样）。 ｉ 注：１．本刊正常审稿时间一般为一个月，优先审稿ｉ ： 时间为１５—２Ｏ天； ： ： ２．本刊正常发表文章周期为来稿后６—８个月，： ： 优先发表文章周期为５—６个月。 ： ：——本刊编辑部： ‘‘ＩＩ‘ｔ．．‘‘‘ｌ‘ｌｔｔ‘ＩＩＩ‘ｔ‘ＩＩｌ‘ｔｔｌｔ‘‘ｔｔ‘‘ｌ‘ｔ‘‘‘‘， ８７·