A 3D shape segmentation approach for robot grasping by parts
Abstract
Neuro-psychological findings have shown that human perception of objects is based on part decomposition. Most objects are made of multiple parts which are likely to be the entities actually involved in grasp affordances. Therefore, automatic object recognition and robot grasping should take advantage from 3D shape segmentation. This paper presents an approach toward planning robot grasps across similar objects by part correspondence. The novelty of the method lies in the topological decomposition of objects that enables high-level semantic grasp planning. In particular, given a 3D model of an object, the representation is initially segmented by computing its Reeb graph. Then, automatic object recognition and part annotation are performed by applying a shape retrieval algorithm. After the recognition phase, queries are accepted for planning grasps on individual parts of the object. Finally, a robot grasp planner is invoked for finding stable grasps on the selected part of the object. Grasps are evaluated according to a widely used quality measure. Experiments performed in a simulated environment on a reasonably large dataset show the potential of topological segmentation to highlight candidate parts suitable for grasping.
Introduction
Grasping is a crucial issue in both industrial and service robotics. The capability to perform autonomous dexterous operations is envisioned as an essential element for developing advanced interactive robots. However, grasping a previously unknown object remains a challenging problem which requires to address several phases such as acquisition of an object model, object recognition, and synthesis of an appropriate grasp.
Important contributions in the field of neuro-psychology have evidenced that human perception of objects is strongly based on part decomposition [1]. Hoffman and Richards [2] suggested that shapes are perceived as an arrangement of simple components (naturally segmented into parts at negative curvature minima). Biederman [3] elaborated the Recognition-By-Components theory (RBC), according to which the lsquo;lsquo;preferredrsquo;rsquo; mode of human object recognition is a bottom-up process where the visual system recognizes objects by separating them into interrelated geons (such as cubes, spheres and cylinders). Geons are structural primitives that can be composed in various ways to form a large set of different objects. When an object is perceived by the visual system it is parsed in its constituent geons. The interrelations between geons are then determined by including information such as relative location and size. RBC was developed to account for
lowast; Corresponding author.
primal recognition of objects, which is a fast-acting process that does not utilize higher-level cognitive processes.
Besides the theories of part-based object recognition, which are founded on pure geometrical reasoning, another important contribution stems from Gibsonrsquo;s theory of affordances [4], stating that objects are perceived not only in terms of shapes and spatial relationships but also in terms of possibilities for action. Rivlin et al. [5] extended previous works by introducing a concrete approach for functional reasoning about objectrsquo;s parts. According to Rivlin, recognition is a process that determines if an object suits a particular purpose.
This paper presents a novel approach for grasping correspond- ing parts of similar objects. The method is based on a shape seg- mentation algorithm that generates a topological representation of the object. Indeed, algorithms for topological decomposition are capable of identifying semantic objectrsquo;s parts that are natural can- didates for being grasped. As an example, the method allows a cup to be segmented into different parts including the handle which is intended to be grasped in many common tasks. The intuition be- hind the work is that a topological decomposition of a shape pro- vides meaningful information about grasp affordances, that can be exploited, e.g., to determine the pregrasp position and orientation of the robot hand relative to a part of the object. The grasp affor- dances of an object are the ways in which the object can be grasped to be used for a particular function. Grasp affordances are shared among similar objects.
Objects to be grasped are assumed to belong to a set of known classes of objects, where all objects of the same class approximately share the same topology. The complete flowchart of
Fig. 1. Flowchart of the part-based grasp planning system.
the proposed part-based grasp planning system is shown in Fig. 1. The first phase performs environment reconstruction (e.g., through range sensors) including the acquisition of the 3D shape of the object to be grasped. The second phase is the topological segmentation of the object model into parts. In the third stage the object is classified as a member of a specific class (by means of a 3D shape retrieval algorithm) and its parts are automatically annotated according to a given structural description of the class. For example, a structural description of a table may state that each object belonging to this class has four legs and a flat surface. The annotation phase is supervised by a human user to resolve potential ambiguities arising from shape symmetries. In the last phase, given a query about a part of the object to be grasped, the system tries to plan a force-closure grasp on that part. This paper does not focus on the environment modeling phase, i.e. planning starts from an already existing dataset of 3D shapes structured into multiple classes of objects. The proposed solution for shape segmentation is based upon the Reeb graph [6], a topologica
全文共39388字，剩余内容已隐藏，支付完成后下载完整资料
附录A 外文译文
一种用于零件机器人抓取的三维形状分割方法
摘要
神经心理学研究结果表明，人类对物体的感知是基于部分的分解。大多数对象由多个部分组成，这些部分可能实际上是实体参与掌握可供性。因此，自动物体识别和机器人抓取应该采取3D形状分割的优势。本文介绍了一种规划机器人的方法通过部分对应来掌握类似对象。该方法的新颖性在于拓扑学分解对象，实现高级语义掌握规划。特别地，给定对象的3D模型，该表示最初通过计算它来分段
Reeb图。然后，通过应用形状来执行自动对象识别和部分注释检索算法。在识别阶段之后，接受查询以计划个人掌握对象的一部分。最后，调用机器人抓握计划器以在所选部件上找到稳定的抓握对象。根据广泛使用的质量测量评估掌握。进行了实验在相当大的数据集的模拟环境中显示拓扑分割的潜力突出适合抓取的候选部分。
1.简介
抓取是工业和服务机器人的关键问题。执行自主灵巧操作的能力是被设想为发展先进的基本要素互动机器人。但是，抓住以前未知的对象仍然是一个挑战性问题，需要解决几个问题诸如获取对象模型，对象识别，并合成适当的把握。
神经心理学领域的重要贡献有证明了人类对物体的感知是强烈的基础部分分解[1]。霍夫曼和理查兹[2]建议说形状被认为是简单组件的排列（自然地分割成负曲率最小值的部分）。Biederman [3]详细阐述了元件识别理论（RBC），根据其中的“首选”模式的人类对象识别是视觉系统的自下而上的过程通过将对象分成相互关联的geons来识别对象（如立方体，球体和圆柱体）。 Geons是结构性的可以以各种方式组成的原语形成一个大的一组不同的对象。当视觉感知到物体时系统在其组成的geons中进行解析。相互关系然后通过包括诸如此类的信息来确定地理之间作为相对位置和大小。RBC的开发是为了解释物体的原始识别，这是一种快速作用的过程不利用更高层次的认知过程。
除了基于部分的物体识别理论，其中基于纯几何推理，另一个重要的推理贡献源于吉布森的可供性理论[4]，陈述这些物体不仅在形状和空间方面被感知关系，但也包括行动的可能性。里夫林等。 [5]通过引入具体内容扩展了以前的作品
关于对象部分的功能推理方法。 根据对于Rivlin来说，识别是一个确定一个物体是否适合的过程一个特定的目的。
本文提出了一种新的方法来掌握相似对象的相应部分。 该方法基于形状分割算法，该算法生成拓扑表示对象。 实际上，拓扑分解的算法是能够识别语义对象的部分是自然的，可以被抓住。 作为示例，该方法允许杯子被分割成不同的部分，包括手柄意图掌握在许多共同的任务中。 直觉后面的工作是形状的拓扑分解提供有关抓握可供性的有意义的信息，可以是利用，例如，确定预先抓取位置和方向相对于物体的一部分的机器人手的。 对象的舞蹈的掌握是可以掌握物体的方式用于特定功能。 掌握可供性是共享的在类似的对象中。
图1.基于部件的抓握计划系统的流程图。
假设要抓取的对象属于一组已知的对象类，其中所有对象都是同一个类大致共享相同的拓扑。完整的流程图所提出的基于部件的抓握计划系统如图1所示。第一阶段执行环境重建（例如，通过范围传感器）包括获取3D形状要抓住的对象。第二阶段是拓扑将对象模型分割成部分。在第三阶段该对象被分类为特定类的成员（通过方式一个3D形状检索算法）及其部分是自动的根据类的给定结构描述进行注释。例如，表的结构描述可以说明属于这个类的每个对象有四条腿和一个平面。注释阶段由人类用户监督以解决形状对称性引起的潜在歧义。在最后阶段，给定关于要抓取的对象的一部分的查询，系统试图计划对该部分的力闭合。这篇报告不关注环境建模阶段，即规划从已经存在的3D形状结构数据集开始分为多类对象。建议的形状解决方案分割是基于Reeb图[6]，拓扑数据描绘几何模型骨架的结构。到了最好的作者的知识，这项工作描述了第一个系统能够自动规划类似物体的机器人抓取基于拓扑形状分割。
在下文中，第2节回顾了之前的相关工作机器人掌握综合。 第3节描述了采用的解决方案拓扑对象分割和识别，而第4节说明了基于部件的抓握计划的建议方法。实验在第5节中报告。第6节讨论了提出的方法，并突出公开问题和未来的研究方向。
- 相关工作
在文献中，自主掌握的方法有很少考虑提取语义信息的想法在计划之前从对象分割。 传统解决方案for grip synthesis采用了基于规则的算法假设预定义掌握分类法。 在[7]中基于知识的把握planner已经过球形和圆柱形物体的测试。 在[8]中提出了一种生成的分层掌握计划系统使用行为架构的人物角色动画。
最近的作品采用了机器学习策略智能掌握综合。 但是，通常会对对象进行建模
作为简单的形状或作为原始元素的集合处理。Hsiao和Lozano-Perez [9]提出了一个学习整体的系统身体从模仿中抓住。 抓取计划由。执行使演示的掌握适应目标对象。 方法通过应用序列来变形训练集中包含的对象几何变换。 假定对象被组合最多三种原始形状（盒子，圆柱体和球体）具有对齐的对称轴。 Ekvall和Kragic [10]致辞学习和评估方法向量的问题用于自动掌握计划。 人类提供的经验老师习惯于尊重一组可能的手形预塑造型对象，手动分割成基本形状规划前的基元。
几位作者已经考虑过学习机器人的问题抓住任意形状的物体，但没有解决形状分解的语义掌握问题。 Kyota等。 [11]提出了一种基于神经网络的方法学习适当的抓取对象的配置作为整个。力闭合抓握在具有多种形状的物体上合成。根据它们的圆柱形相似选择候选抓握部分。 Goldfeder等人。 [12]生成了一个大型3D形状数据库，并提出了一个新颖的掌握规划器重用预先计算的抓取的对象。该方法计算使用形状描述符的对象之间的几何相似性。Montesano和Lopes [13]介绍了一种通过自我实验学习视觉掌握描述符的算法。方法能够根据机器人的经验选择与执行任务相关的低级描述符。算法考虑到机器人手的形态，生成对象可抓握的概率的概率表示。
李等人。 [14]开发了一种匹配手的算法通过识别集合来塑造对象的局部形状类似的功能。 功能集存储有关接触位置和接触法线的相关配置的信息。该算法用于合成类似人类的包络掌握。
Sweeney和Grupen [15]提出了一种基于视觉的系统它确定了从培训数据中掌握预先确定的可用性由遥操作提供。对象之间共享可用性并表示为考虑到的统计分布物体的视觉外观以及手的位置和抓握期间的方向。宋等人。 [16]阐述了一个基于贝叶斯网络学习的概率框架机器人抓取中的任务约束。该方法结合起来监控观察数据并实现对对象的推断属性。在[17]中，介绍了一种纯几何抓握规划器计算对象的中轴并生成掌握来自局部对称性。这种方法不会受到影响表面逼近就像基于模型拟合的方法一样具有原始形状，但它不考虑对象的可供性。Nakamura和Nagai [18]提出了一种计算机视觉方法它编码了外观，功能和外观之间的关系对象的用法。生成这种新颖的对象概念模型从观察手形，抓握部位和接触点。在[19]中，提出了一种能够掌握新功能的机器人系统通过估计对象的3D形状和单个图像中的对象它的部分是一个已知的类。
在以前关于机器人抓取的工作中，3D形状分割具有被认为主要是减少计划时间的工具。在[20]中，提出了一种基于超二次分解的方法旨在减少掌握计划中的搜索空间。该使用封闭的几何图元族限制了该方法的适用性。此外，这项工作的目的不是为了在类似物体上产生掠夺。一种相关的规划方法基于更简单的迷你妈妈体积边框形状近似，掌握了物体的整体形状，详细阐述由Huebner等人提出。[21]。与Reeb图不同，框分解（以及超级二次表示）限制了方法的一般性。对于不能的物体可能会出现困难容易分割成凸形，从而导致粗糙的近似。 Superquadrics和box组合提供了一个模型拟合方法，而Reeb图生成形状的实际分割。而且Reeb图直接构造提供对象的拓扑分解。
部分智能把握规划的第一种方法有已在[22,23]中提出。 该方法学会掌握未知通过模仿和部分分解对象。 对分解后的给定物体预测一个自然抓握手柄模型拟合与超级二次曲线。 但是，该方法没有将语义信息与部分相关联。
图2.代表人类的3D网格的Reeb图。 在顶行（从左侧开始）右）原始网格，积分测地函数的水平集和分段的形状。 在底行的Reeb图和带注释的Reeb图。
在不同的上下文中，形状分割算法和基于传感器的对象已采用3D对象检索
承认。 例如，在[24]中，3D物体检测方法介绍使用超级组合结合RANSAC具有分层搜索的算法。 日常生活中的复合对象在杂乱的环境中得到认可。
上面讨论的文献综述显示了拓扑在以前的作品中从未考虑过形状分割在抓住机器人。 这项工作的目的是调查它发现掌握可供性和规划新的潜力掌握类似但以前未知的物体。
- 对象分割和识别
本节介绍了基于Reeb图论[6]的形状分割和识别的采用方法。和图形匹配。 Reeb图是规范表示描述标量演变的曲面拓扑网格上的功能。 从本质上讲，Reeb图表跟踪标量函数的级别集中的拓扑更改。 图表通过将关卡组的连通分量收缩到点来获得。 连接组件拓扑的变化在表示图的节点的关键点中编码。更正式地说，给定表面S和实际的连续函数f：S鈫 R在其上定义，S的Reeb图相对于映射函数f是S脳R中f的商空间的等价关系（X1，f（X1））sim;（X2，f（X2）），当且仅为如果f（X1）= f（X2）并且两个点X1和X2是相同的f的连通分量fminus;1(f(X1)).
Reeb图是一个基本的数据结构，描绘了形状的骨架。 它通常用于计算机图形学解决三维形状检索和识别问题铰接的物体。 Berretti等人。 [25]证明了有效性Reeb图在不同方法中的形状检索。在[26]中，提出了一种自动发现类比的方法在一组对象中。 本文的一个贡献是提案一种识别和掌握相似部分的方法使用Reeb图形进行形状分割的对象。
给定3D网格，得到的Reeb图是唯一定义的通过选择在网格上评估的标量函数f对于固定数量的量化级别。 当然，f的选择也会影响计算Reeb所需的计算时间图（下限是O（n log n），其中n是数字三角形）。 典型的有效选择是使用高度函数沿一个轴计算，其计算需要在订单上几毫秒（Intel Core 2 quad @ 2.66 GHz）。 然而，高度函数在旋转下不是不变的。
图3. Reeb图分解示例。 人体形状由人分割高度函数（左图，顶行）和整数测地函数（右
图像，顶行）。 带有杆的玻璃，由高度函数分割（左图，底行）和整数测地线功能（右图，底行）。 每部件以不同的颜色显示。
Reeb图的旋转不变是一个重要的因素属性，特别是在机器人的物体识别环境中形状可以任意旋转的操纵。 一个标量确保旋转不变性的函数f是积分测地距离，定义为 f(v) =pisin;Sgd(v, p)dS (1)，其中gd（v，p）是两点之间的测地距离（v，p）在S上。因此，积分测地距离是更一般的和正确的方法。 用于实现积分测地距离是Hilaga等人提出的方法。 [27]已经采用，这是基于Dijkstra的算法。
图2显示了计算的Reeb图（包括六个节点）用于表示人的3D网格。 特别是，该图显示了原始网格（由9190个三角形组成），整数测地距离的水平集，以及生成的对象分解为六个部分（头部，上半身，两个手臂和两个腿）。 虽然，通常，分段部分可能不对应于任何功能对象部分（从人类主观的角度来看）Reeb图形表示被认为是语义分解因为它适用于识别突起和铰接部分。
图2还显示带有标签的带注释的Reeb图识别后，自动关联对象的部分给出对象的成员类的结构描述符。然后将带注释的Reeb图用作基于零件的抓取计划器的输入。 在这项工作的背景下结构一类对象的描述符由原型Reeb图定义标记节点。 标签是对象的语义属性部分。 原型总结了相关的结构特征类。 生成原型Reeb的采用程序图3.1在3.1节中描述。
图4.本工作中使用的对象的数据集。 该数据集取自2007年形状检索竞赛（SHREC，http：//www.aimatshape.net/）lt;
全文共51164字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[453547]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
