计算机辅助设计
基于视觉的系统，用于监控造船中的分段体装配
作者：Kim Min-sung(a)、Choi Woo-sung(b)、Kim Yung-chul(b)、Kim Ho-kyeong(b)、Soel Jae-Hun(a)、Woo Jong-hun(c)、Ko Kwang-hee(a)
a光州科学技术学院机电一体化学院，光州，500-712，韩国
b韩国庆尚南道昌原市STX海洋工程研究所，641-060
c韩国海洋与海洋大学船舶与海洋系统工程学院，釜山，606-791，韩国
关键词：总段、基于视觉的监控船舶建造、船舶建造、GrabCut图像分割法、自动化
文章历史：
2014年2月17日收到
接受2014年9月9日
摘要
船是用分段建造的，这是造船的基本单位。每个分段都经过单独设计和组装，焊接在一起形成一整艘船。因此，制造计划中的分段的组装对于及时交付船舶是重要的。要保持分段装配计划，必须监视分段装配的当前状态，并将其反馈给计划操作员。目前，由工人手动执行对装配状态的监视，工人根据他/她的经验确定分段的装配状态。因此，在当前的实践中不能保证工作的效率和准确性。为了解决这个问题，本工作提出了一种基于视觉的监控分段组装系统。该系统由分割，识别和估计单元组成。摄像机在组装期间获取分段的图像。随后处理图像以提取分段的区域。接下来，识别所提取的分段并将其与CAD数据进行比较以估计组装进度。估计的信息被提供给操作员以有效地管理总段时间表。所提出的系统使用真实示例进行了测试，这些示例证明了在真实装配现场使用的可能性。
1.介绍
船舶使用分段建造，分段是整艘船的细分部分。这种方法称为分段构造方法，在世界各地广泛使用。在设计阶段计划将船舶细分为分段。每个分段的尺寸通过考虑各种因素来确定，例如，分段生产中使用的起重机的容量和工厂的尺寸等。因为每艘船都是使用单独的设计建造的，所以细分策略也各不相同，每个区域的装配过程也是如此。完成船体的细分后，每个分段的详细图纸都准备好进行装配。在装配阶段，每个分段都是根据装配图构建的。
这些街区通常建在工厂内。分段组装的面积和资源量有限，并且需要时间用于组装每个分段是不同的。因此，应仔细规划工厂装配分段的生产计划，以最大限度地提高整体生产效率。
应确定工厂中每个分段的位置和组装每个分段所需的时间，以确定优化的装配时间表。鉴于此类信息，可以计划和管理整个装配计划，但实际装配时间可能会有所不同。装配时间的变化会扰乱装配进度，导致生产率降低。因此，应实时监控每个分段的当前装配进度，并将此信息反馈给计划管理器。基于每个分段的当前装配状态，可以应用必要的修改以产生用于最佳生产的新装配计划。
目前，总段监视由有经验的工作人员执行。该工人观察一个区域的分段并评估其与生产图纸的进展速度。这种手动监测方法在当前的装配现场存在两个问题。首先，不能客观地确定装配进度的定量测量。根据经验水平，可以不同地评估进展，因此，随着时间的推移，对装配进度的监测将不一致。其次，手动检查所有分段通常很耗时。因为工人必须行进的区域很大，并且在典型的装配场地中，最大分段数可以达到30以上。额外的工作人员可以同时执行此任务以减少必要的检查时间，但这显然不是公司的经济高效的解决方案。因此，需要对总段进行自动和定量监控以解决这些问题。
有几种方法可用于总段的自动监测，例如基于视觉的方法和基于重量测量的方法。但是，应该考虑几个限制因素以做出最佳选择。首先，应尽量减少现有装配过程中所做的更改。改变现有的装配流程可能会给公司带来很大的风险;相反，一种新的自动监测方法应该与当前的装配过程合并，而对当前过程的改动最小。因此，必须针对组件进行尽可能少的修改。其次，应引入新的监控方法，而不对硬件进行大量更改，以最大限度地降低新方法可能需要的额外成本。第三，新方法应该比现有的手动方法创造更好的效率。与新方法的手动过程相比，应实现最大效率。
在这项工作中，考虑了基于视觉的方法。从使用数码相机捕获的图像评估每个分段的当前组装状态。接下来，处理图像以提取用于监视的信息。在此步骤中，此方法所需的唯一硬件是相机。此外，图像处理所需的软件模分段很容易与当前的组装过程合并。这种基于视觉的方法可以满足前两个约束，并且有望满足第三个约束条件，因为许多基于视觉的方法已经应用于各种过程监控任务，并且突出了与手工工作相比实现的效率。
基于视觉的技术已被广泛用于各个领域的检查。对现有方法的全面审查超出了本文的范围。相反，引入所选方法的子集来概括基于视觉的检查的背景。贾[[1]提出了一种基于视觉技术的系统，用于注射器装配线的检查。该系统包括一台计算机，十个单色相机，16毫米镜头和两个LED面板。注射器的图像由相机拍摄，然后进行处理以提供用于检查注射器质量的信息。Aksoy等人[2]提出了一种使用归纳学习方法进行模式分类的方法，认为可以使用归纳学习来改进分类，并且表明Pham和Aksoy提出的RULES-3归纳算法[3]可以成功地用于玻璃杯检查的例子。陈和苏[4]提出了一种系统，该系统使用两个摄像头来识别插座的形状，尺寸和同心度的测量以及模具磨损的估计。采用图像处理技术从照相机获取的图像中获得用于检查的这种信息，随后将其反馈到中央计算机系统。Lahajnar等人[5]报道了一种机器视觉系统，用于目视检查炊具中的电板。使用由两个相机获取的产品的图像自动执行制造的板的精确尺寸测量，然后使用有效的图像处理算法处理这些图像。Sun等人[6]提出了一种用于检查电触点质量的机器视觉系统。获取并处理三个电触点视图以检测部件中的任何表面缺陷。Kosmopoulos等人[7]讨论了一种基于视觉的检测系统，用于检测汽车生产线上车身和面板的间隙。使用立体视觉和镜面反射检测间隙。此外，Edinbarough等人[8]提出了一种基于视觉的机器人系统，用于检测IC导线缺陷。Golnabi和Asadpour[9]在一篇论文中讨论了机器视觉系统设计和应用的总体框架。分析了各种工业应用的要求，并介绍了机器视觉系统的设计和开发的一般方法及其在工业领域的应用。Sannen和Brussel[10]解决了视觉质量检查的鲁棒性，准确性和灵活性问题，并指出这些问题可以通过多层信息融合与在检查过程的不同阶段获得的信息来解决。
自动视觉检测的潜力已在不同学科中得到认可。在工业部门采用基于视觉的检查已经付出了很多努力。可以获得在这些领域中使用的基于视觉的检查的调查，其中一部分总结如下。Brosnan和Sun[11]对基于视觉的农业和食品检验和分级进行了回顾。计算机视觉方法是适用于处理此类产品的非接触式方法。该小组审查了评估水果和谷物等产品的方法，并将其范围扩大到比萨饼等食品。Malamas等人[12]提出了一项关于工业中使用的视觉系统的综合调查。它基于两个方面对现有系统进行分类：要检查的产品或过程的特征以及独立于检查过程的特征。回顾了基于机器视觉的检测技术，并讨论了机器视觉检测的实际应用。织物疵点检测是基于视觉的检测的另一种应用，而Kumar[13]调查了这种应用的方法和系统，主要关注织物质量检验的理论方面。
汽车和电子设备等产品通常使用相同的设计大量生产。因此，产品的形状和结构保持不变，图像采集的环境条件不会发生显着变化。这意味着可以为这些产品设计专门的图像处理单元，以产生最佳的检测性能。然而，在船舶建造中很少尝试这种方法。第一个原因是要监控的分段的形状和结构复杂并且不同于船到船。而且，图像获取的环境条件不利。因此，难以开发用于基于视觉的监控制造过程的通用程序。关于将基于视觉的方法应用于造船的报道相对较少。Iborra等人[14]提出了一种机器人系统用于船体的清洁，以及后来的船体修理自动化系统[15–17]由同一研究小组开发。开发了基于视觉的检测系统，以使用各种图像处理技术检测船体上的任何缺陷。特别是Alcover等人[17]提出了一种通过校正由翘曲引起的失真来校正图像的算法。然后使用小波变换处理经校正的图像以进行缺陷检测[16]。为了最好地提取缺陷，应选择适当水平的小波分解，这是使用基于熵的方法获得的。基于视觉的方法也用于船舶生产管理[18]。然而，很少有文章提到使用基于视觉的方法监测船体。
本文提出了一种新型的基于视觉的分段体装配监测系统。数码相机安装在天花板上以生成总段的当前状态的图像。处理图像以使用图像处理方法提取每个分段的部分，并且测试提取的组件以进行识别。识别出每个分段后，将其与CAD数据进行比较，以估算装配进度。估计的信息是出于各种目的而提供的。这个建议使用实际示例评估过程，该实例证明了该方法在实践中的潜力。
这项工作的贡献如下。所提出的系统提供了用于使总段自动化的初始步骤。装配中分段的装配进度的定量值是用于管理有效分段生产的重要信息。通过将从图像提取的特征与来自CAD数据的特征进行比较来估计该进展值。通过考虑这些信息，可以实现工厂中更有效的分段分配，并且整个船舶构造管理过程可以从收集的原始数据中受益。
2.工厂布局
分段组装工作区域的尺寸为32m*32m。这些分段排列成两行，工人按照times;装配时间表逐个组装每个分段。有几台起重机可以覆盖整个工作区域，用于吊装零件和分段。当分段完成时，起重机将分段移出工厂以进行后续处理。
3.自动分段监控系统
所提出的系统的总体结构如图所示图1。图中的箭头表示操作之间的信息流。使用安装在天花板上的数码相机来获取工厂中包含分段的输入图像整个工作空间。图像显示每个分段的当前状态。提供这些图像作为所提出系统的输入。
该系统由三个主要模分段组成：检测，识别和估计，按顺序排列，如图所示图1。检测模分段读取输入图像和从中提取对象。提取的对象作为输入提供给识别模分段，识别模分段将它们识别为分段。识别出分段后，每个分段的装配进度对分段进行量化，即，提供与设计相比每个分段已组装到何种程度的估计。关于每个分段的装配进度的这些信息被提供给操作员以进行进一步操作：检查装配计划并重新排列分段以获得最佳效率。该信息也被馈送到检测模分段以进行改进检测。重复该过程，提供有关总段当前状态的信息。
4.技术方法
本节详细介绍了每个模分段图1。
4.1.获取输入图像
4.1.1.硬件天花板上安装了六个全高清球型数码相机（Panasonic，WVSF539）以生成2D图像。其中一个摄像机捕获的输入图像的例子在下面给出图2。相机的高度为18米，检查区域的尺寸为32米*32米。每个摄像机的视场角度为24.2°（远摄）到80.6°（宽）。焦距为2.8至10毫米，最大孔径比为1：1.3（宽）至1：3.0（远摄）。聚焦范围从0.3米到无穷。使用以太网连接摄像机进行数据传输。
4.1.2.校准
安装时，相机会进行一次校准，以避免图像失真。采用基于黑白棋盘的校准方法，该方法在OpenCV库中提供。
假设失真由径向和切向分量组成。给定（x，y）处的像素点，校正位置由下式给出
使用以下等式校正切向分量。
这里有五个失真参数kappa;1，kappa;2，kappa;3，p1和p2，它们表示为一行向量。Dcoeff = [ k1 k2 k3 p1 p2 ]。
对于相机，以下公式是3D空间中的点（X，Y，Z）与投影空间中的点（x，y）之间的映射。
这里，w=Z，fx和fy是相机焦距，cx和cy是以像素坐标表示的光学中心。这些参数的矩阵称为相机矩阵，显示相机的固有属性值。确定失真系数和相机矩阵称为相机和镜头的校准。OpenCV提供校准功能。在实践中，使用不同方向上的黑白棋盘的至少十个图像来获得未知数的方程。在数值上求解变量的方程。使用计算的失真系数和相机矩阵，处理来自相机的输入图像以减少失真或翘曲。
4.2.照明条件
处理用于估计装配进度的图像对照明条件敏感。对于该系统，考虑以下条件。装配工作在白天进行。屋顶上有一扇长窗，可让阳光进入仓库。因此，当天气晴朗时，阳光直射进入厂房。当它是混浊时，考虑较少的亮光。考虑这样的各种照明条件，并且调整参数以处理照明条件。
受控的照明条件会降低系统的故障率，因为图像处理方法可以更可靠地产生结果。但是，由于成本和管理难度，公司不允许安装额外的硬件来控制这种照明条件。因此，开发了图像处理方法以处理各种照明条件并试图在照明条件下最小化故障率。
4.3.分割
在该步骤中，处理输入图像以移除用于后续识别过程的不必要的组件。这个步骤包括使用HSV颜色空间的掩模生成和使用GrabCut算法的分割。在这项工作中，掩码作为GrabCut算法的输入。
4.3.1.面具生成
使用三个子任务执行掩码生成：使用HSV颜色空间进行二值化[19]，降噪和凸壳计算。
使用HSV颜色空间进行二值化
此步骤确定输入图像中分段的初始位置。输入图像的RGB颜色值被转换为相应的HSV颜色值。对应于分段的颜色的像素（在该工作中选择灰色）被设置为白色，而其他像素被设置为黑色。应该考虑到装配工厂的环境条件来选择阈值颜色值。图3（b）表示输入图像时的二值化结果图3（a）给出。左侧的图像作为输入给出，二值化步骤产生右侧的图像。白色和黑色区域表示为前景和背景区域。
降噪
如图所示图3（b），二值化图像包含小孔或斑点。这些斑点被视为噪声，必须将其去除以强有力地提取分段区域。提取所有斑点的轮廓，使用Suzuki[20]的方法计算每个斑点的面积，并删除值小于用户定义值的值。在这项工作中，用户定义的值是
英语原文共 11 页
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
