英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
基于颜色和深度信息的动态图像分割
摘要：在本文中，我们提出了一种基于Kinect改进的动态人像分割的新方法，Kinect方法由于深度的丢失，造成了图像分割不完整的问题。这个问题可以通过使用颜色信息来加强深度不确定的区域来解决。我们所提出的方法可以更完整地分割人像的前景。首先，深度信息可以被分为前景，背景，不确定区域来为前景不确定区域产生判断区域。其次，利用Sobel边缘检测，分水岭等步骤将颜色信息中的志愿图像进行分割，然后分别计算颜色区域特征值的平均值和标准差。最后，我们通过比较前景边缘的颜色特征和判断区域来选择出最佳的图像。结果表明，通过这种方式我们可以完全分割出肖像图像并且可以显着降低错误率。
关键词：动态图像分割，边缘检测，分水岭算法，Kinect
1、简介
近年来，由于智能设备的普及，人们对人机交互的要求越来越高，这使得人们能够以简单、准确、快速的方式与机器进行通信。换句话说，我们可以通过直觉思维来操作机器系统。此外，我们利用增强现实的技术，添加更多类型的特征位置，使交互性能更加精致和丰富。有许多方法来提供特征位置跟踪，如人脸识别，手势识别，人体识别[1-2]等。然而，在这些技术中，人体识别是一种新颖而流行的技术，在商业和娱乐业中得到了广泛的应用。这些技术的关键问题是图像处理，而在图像的处理内容上，在混乱的环境中区分并分割前景图片是个复杂的问题。人体图像分割仍然存在一个很大的挑战，虽然很多学者已经提出了许多方法来解决这个问题，比如浅景深图像的显著目标分割方法[ 3 ]，基于图像颜色特征划分目标簇类的粒子群算法 [4-6]，基于光度立体视觉形状的图像分割方法 [7-9]，通过三角形划分找到并且分割肖像[ 10-13 ]等。然而，图像特征的提取必须在指定的条件下进行。
图像中的场景可以大致分为前景和背景，重要的对象主要存在于前景中[14-18]。当场景与3D深度信息相结合时，快速将前景和背景中的对象区域分类，并在任何环境中通过对象的相应深度位置进行所谓的动态图像分割。然而，为了获得三维信息，通常需要高价格的专用设备[4]。 Kinect是微软公司生产的一款运动感测装置，不但降低了成本，同时还获得了色彩信息，深度信息，肖像识别和人体框架信息等丰富的信息。 Kinect使用红外投影来计算深度。在投影过程中，红外线可能会被光滑物体折射或被黑色物体吸收。这样会导致它无法接收信息，并且会有很大的损失。所以在图像的边缘会有不规则的锯齿或孔产生。
2、深度区域的处理
这项研究旨在完美地分割场景前景的肖像。 图1是展示工作如何进行的流程图。 开始时，深度信息和颜色信息将分开处理。深度信息产生判断区域，而颜色信息产生特征值。 如果我们结合并过滤处理后的信息，将可以获得目标人像。
首先，在深度处理部分，Kinect将对人像分割的深度区域进行跟踪和校准。我们将这个区域作为场景的前景，而其他深度区域将被作为背景，未被探测的深度区域将是未定义的区域。如图2（c）所示，红色区域是前景，绿色区域是背景，白色是未定义区域。图2（d）通过前景显示直接分割的肖像。本研究的主要目的是从未定义的区域找出前景的消失区域。然而，我们不仅可以发现有些应该是前景的内容没有被检测为前景，而且还会发现背景的某些信息已被错误地分类为前景。因此，我们需要定义一个新的不确定区域作为判断区域来排除这些深度信息的错误。
产生判断区域应采取以下一些步骤。首先，先用一个[5times;5]的圆来腐蚀前景和背景，消除背景中属于前景的误认部分。其次，之前使用的圆[0dd(D)times;0dd(D)]应该再次用于扩大区域以生成接近前景的判断区域。这里的“奇数”意味着数字将被改变为奇数，而D等于平面图像中头骨架点与颈骨架点之间的欧几里德距离。参数D可以直接从设备中获取。使用骨架（skeleton）的原因是骨架信息，特别是头部的骨架信息是主要的缺失信息。与此同时，D里面的骨架大约为头部的一半。上述所有内容都将伸展区域限制在一个合适的条件下，即肖像可以被整个肖像姿势包围。有一个公式可以转换关于肖像的可能区域：
Hu possible (i) = max(Fgexpansion (i) minus; Bgerosion (i),0), (1)
其中，i指的是的是像素；max()指的是最大值，而最小值是0；Fgexpansion指的是前景扩大；Bgerosion指的是侵蚀背景；Hu possible指的是肖像的可能范围。为了使可能部分的范围尽可能的小，所以必须扣除前景中的正确区域以生成判断区域，并且公式如下：
Judgearea(i)=max(Hupossible(i)minus;Huidentified(i),0), (2)
Huidentified指的是被侵蚀的前景区域，在这个公式的处理过程中，这个值是个定值，不会被改变; Judgearea是判断区域，它是下一次添加新图像信息的处理过程中的一个重要的区域。如图3是对上面内容的解释。图3（a）表示分类深度信息的背景，而图3（b）表示前景;图3（c）是图3（a）侵蚀之后的结果，它解决了背景的一些信息已被删除并被当作前景区域的问题。作为图3（b）的扩展结果，它包含了整个肖像区域；图3（e）是从图3（f）中抛弃特定背景区域后的可能区域，其中图3（f）是从背景信息中排除了前景区域的信息并且是腐蚀之后的结果。虽然它也将用于计算肖像的特征。作为清理的结果，所有的可能区域都来自确定的人像区域，图3（f）是最好的区分下个处理过程前景和背景的判断区域。图3（f）是判断区域对图中所示颜色信息的反应，判断区域包含前景人像和背景信息。
3、颜色信息的分割
L*a*b将会被选作处理颜色信息的方式，由于它是为肖像视觉方式而设计的。首先，我们将RGB的色彩空间改变为L * a * b 形式。 然后，使用上述特征进行下一次计算。 颜色信息分割有以下三个步骤，即Sobel边缘检测，梯度值舒张和分水岭分割以及特征值的计算。
3.1 Sobel边缘检测
由于亮度的变化比边缘的颜色更丰富，所以L *被用于边缘检测。 在开始时，我们可以通过（3times;3）波纹滤波器排除无用波，以避免无用波对分水岭算法的影响。 Sobel方法将在水平和垂直边缘生成梯度值，梯度值越高，边缘越明显。
3.2 梯度值舒张和分水岭分割
如果图像的像素可以被看作是高度值，则储水池被定义为可受局部区域影响最小的区域。 如图4所示，分水岭是蓄水池的边界，图4（a）是梯度图像的梯度值。 在图4（b）中，梯度箭头的指向是由围绕像素的八个方向的梯度值确定的最低点，就是从较高点指向较低点，直到确定最低点。 当周围的梯度值都高于当前的梯度值时，这个地方就是该区域的最低点。 最后，我们将图像区域分成几个部分来形成分水岭分割。
已经证实，在边缘特征值的显示上存在一个微弱的梯度值，这使我们很难认识到Sobel图像的梯度值。 所有这些值都将影响分水岭算法的判断，甚至有很大的可能会分割图像。 因此，我们需要把一些区域结合起来削弱这个值以解决问题。 如果我们能够一直使用这种方式，它也可以减少后续处理中的计算压力。 减弱微弱梯度值的公式如下：
e = (max(Gradient(i)) minus; min(Gradient(i))times;t min(Gradient(i)), （3）
NewGradient(i) = max(Gradient(i)minus;e,0), （4）
S = watershed(newGradient(i)), （5）
其中（3）式中的max（）表示最大数，min（）等于最小数，t表示该部分应该在最大数和最小数之间减弱，因为e具有添加了范围值的最小基线值，所以它代表阈值，i是当前像素的位置，Gradient(i)是Sobel的梯度图像;
（4）式中的NewGradient（i）是已经弱化的梯度图像，如果在弱化处理中图像的梯度值低于e，则NewGradient（i）值将为0；watershed () 是分水岭分割; （5）中的S是已被分割的工作图像。从图5可以看出，图5（a）是通过Sobel边缘检测检测到的梯度图像；图5（b）是由于模糊梯度值的原因而被过度分割的工作图像；图5（c）是图像被渐变图像削弱后的分水岭分割图像，从这幅图中我们可以看到分割区域可以代表这幅图像中的肖像对象。
3.3 计算特征值
本研究中的特征值是数字特征。 平均值和标准偏差都被使用了。 面积的平均值代表整个区域的价值趋势，而标准差代表面积的灵活性值。 平均值和标准差的计算广泛用于研究中，而L * a * b *的特征值是图（5）所显示的分水岭分割区域，即区域s反向平行的区域，其中如（5）中所述的分水岭分割区域，j是面积，Sj是由分水岭分割的面积，L（Sj），a（Sj）和b（Sj）表示S区域的颜色信息的平均值。
Lsigma;（Sj），asigma;（Sj）和bsigma;（Sj）表示S区域中颜色信息的标准偏差。
3.4 筛选顺序在判断区域
本研究中的方法是比较在人像边缘和判断区域之间的特征值。 在开始时，我们将在人像边缘找到该区域。 然后，目标区域应与S的边缘区域反平行。通过这样做，我们得到一个人像边缘区域。 而与S的判断区域反平行的区域称为判断区域。 公式如下：
其中，FB表示边缘检测的掩码; 式（7）中的filter()代表一个过滤器; Huiboundry
表示确定的人像区域Huidentified 的边缘； 公式（8）中的HBregion 表示人像的边缘区域并且代表了被s从人像边缘分割的区域。在公式（9）中，Judgenregion 表示包含在分割图像s里的Judgeiarea 的判断区域。m和n代表区域的独一无二的位置。接下来我们将会比较这个判断区域和边缘区域。在公式（10）中提出了一种求解该方法拟合区域的方法：
这个公式表示每个区域的最短欧式距离；D表示头部骨骼与颈骨架之间的头部骨架距离的一半。该等式的主要思想是从相连的区域中选择一个区域，即从判断区域（Judgenregion）周围的人像（HBregion）的边缘区域中，在距离D的范围内，选择一个区域。然后从目标区域中选择最接近的三个区域。如果有一个区域属于这三个区域中的一个，并且符合条件，那么这个区域将会成为被选择的区域Judgenregion。这里的关系是一对多关系。 如图6所示，三个距离必须在距离D之内逐渐缩小搜索区域以排除不可能位置中的相似区域。 在图6中，确认的人体图像代表通过上述预处理分割之后的人像轮廓，确认的背景代表来自分割的人像轮廓的休息区域，人体边缘块表示通过Sobel边缘检测分割的人像边缘，判断部分代表这些需要用上述标准判断的不确定性部分，判断块代表需要判断的检测的不确定部分，而比较块代表检测的不确定部分与确定的背景的比较。
在上面我们已经得到了将要比较的区域，接下来，应该用从边缘肖像区域减去判断区域特征值的方式来计算区域的其他区域。
这三个等式代表两个区域之间平均值的差值；林赛三个表示标准差的差值，k代表的是三个区域中距离最近的区域的位置。 所有这三个领域都有他们自己的计算方法。如果我们将整个区域的标准差从平均值中减去，每个区域之间的差异是显而易见的，差异值越高，分割质量越好。 正如他们在图（11）和（12）中所表明的那样，我们参照这一特性来比较这两个领域以了解其差异，结果如下所示：
公式（11）中的abs()表示负数a*和b*的绝对值；公式12中的==，==和==表示判断区域和最终结果的差异；T1和T2表示阈值选择。我们将使用这两个阈值，因为L *属于亮度信息，而a *和b *是颜色信息。 passj中的部分将被用于计算传递的肖像区域。首先，肖像中的确定的区域必须由passj检查。然后，最多需要对k进行三次不同的计算才能得到目标。当结果符合条件时，我们将把相应的Sj加入passj中。有时，某些工作区域与目标区域非常相似，以至于他们被错误的选择，如果产生的结果与人像没有关系，那么比较区域内的最大区域将成为下个目标。图7表示了上述过程。图7（a）是图3（f）边缘化后的人像边缘。红色区域代表图7（b）中的比较区域，即纵向边缘所涉及的部分。图7（c）中的红色区域是判断区域，用于决定哪个区域可以被添加到肖像以形成整个肖像；图7（d）是过滤器的结果，其中一些区域与肖像不连接，图7（e）是该处理的最终结果，它排除了与肖像不相连的区域。
4、实验测试
即使使用黑白打印机打印，颜色数字也应该清晰可见。 从全光照条件下可以看出，梯度e的阈值为0.01，亮度T1的阈值为25，在光线充足的条件下颜色的阈值为15。 这个实验的目的是处理一个单一的图像，我们必须从一些不同的方式做一系列的实验。 在图8中，从布料、姿势和背景中进行深度处理。 为了测量实验的结果，我们使用分段错误率的方法：
Error指的是结果的错误率; Mseg表示Kinect的分段结果或者说是本研究中提出的方法; otimes;是XOR异或布尔操作，由此可见输入信息和手动分段之间的差异对错误率更重要，并且会越来越高。表1显示出了根据图8中的五个图像计算的误差率和时间。可以看到误差率相反的分割精度，这意味着较低的误差率是较高的精度。一般来说，由于人脸是人像中最重要的部分，所以人像的信息对Kinect的结果有很大的
全文共9109字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[13154]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
