英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
基于双目的移动机器人运动目标跟踪
Yingkui du1,2, Baojie fan1,2, Jianda Han1, and Yandong Tang1
1中国科学院沈阳自动化研究所机器人国家重点实验室，沈阳110016
2中国科学院研究生院，北京100039
{ dyk,fanbaojie，jdhan ytang } @sia.cn
摘要：运动目标跟踪是计算机视觉的一个重要应用。提出了一种基于双目的非结构化环境下移动机器人在遮挡、变换和旋转作用下可靠跟踪目标的方法。提取点特征来表示中间失真下的目标和环境背景，然后利用改进的MNCC算法进行连续跟踪匹配。利用最小二乘算法重构点特征来估计相对运动。由于目标与机器人的点特征之间的相对运动与环境背景与机器人的相对运动不一致，因此采用RANSAC算法去除环境背景的点特征和特征跟踪中的误差。实验结果验证了该方法的有效性。
关键词:移动机器人，双目视觉，目标跟踪，运动估计。
1介绍
对于非结构化环境下的自主机器人来说，运动目标的绝对跟踪是环境感知的一项关键能力。传统的单目跟踪方法是通过二维视频输入对运动目标的图像信息进行跟踪。在基于窗口的[1]、[2]、[3]、[4]跟踪方法中，通过最大化相关响应或最小化相关代价函数来跟踪目标，但该方法始终对光照和遮挡敏感。另一种方法是提取边缘[5]、角[6]、线[7]等特征作为约束或判断来处理变换和旋转。但是变换、尺度和遮挡仍然是基于单眼方法的关键问题。
双目视觉，又称立体视觉，可以很容易地获取环境的深度信息。立体视觉结合图像信息和深度信息，在廉价商业硬件的支持下，对运动目标跟踪具有很强的吸引力。在[8]、[9]、[10]、[11]、[12]中，通过连续两帧的数据流的不一致性来检测和跟踪移动对象。该方法能有效地识别运动目标与周围环境背景，但对深度数据的噪声敏感。但在实时运行的立体视觉系统中，通常存在大量的密集立体视觉匹配误差。
在我们的方法中，我们提取哈里斯角作为稀疏点特征来表示整个环境立体图像，因为这种类型的特征是稳定的，可以适度失真和旋转。即使在目标被严重遮挡的情况下，仅通过跟踪少量属于目标的点特征，就可以稳定地跟踪目标，准确地标记出图像中的位置。采用改进的MNCC算法[13]对特征进行匹配和跟踪，降低光照效果。利用RANSAC算法确定点特征是否属于目标，并在特征匹配和跟踪中剔除离群点，由于只存在多余的特征匹配而没有密集匹配，大大降低了计算成本。
论文组织如下。第2节描述了绝对点特征匹配与跟踪的过程。在第3节中，估计了相对运动。在第四节，利用RANSAC算法剔除目标跟踪中的离群值。实验结果验证了第5节的方法。最后一部分对本文的工作进行了总结和展望。
2特征匹配与跟踪
点特征由Harris算子[14]提取。通过计算相关窗口的强度，在连续的立体帧中对提取的点特征进行匹配和跟踪。为了实现快速可靠的匹配，对点特征的坐标进行极坐标约束，求出极坐标线上特征的最佳匹配对。
2.1 特征匹配
现有解决对应问题的方法很多。该方法采用改进的MNCC算法，利用像素的强度比和模板的平均强度来减少光照的影响，从而计算出对应关系。
最佳匹配由双向一致性约束决定。设plc在左图中表示一个角，prc在右图中是一个匹配的候选点。plc与prc对应C的计算方法为:
其中，Ilc和Irc为左右图像像素的强度，
,
,
是模板的遗留区域。
2.2特征跟踪
一般情况下，目标不规则运动的假设是合理的。因此，我们必须确定一个足够大的区域来进行点特征跟踪。改进后的MNCC算法仍能有效地降低光照对图像的影响，并确定最佳的特征跟踪。大多数离群值都被双向一致性约束所剔除。然后利用相对运动估计和RANSAC算法对点特征跟踪的误差进行剔除。
3相对运动估计
3.1特征点重构
采用式(2)计算精确标定的立体相机中世界点的投影，
其中，K是内矩阵,(R|t)是外矩阵。
Pi的重构由式(3)得到
，其中
,
,
,,和是左右相机的项目矩阵。
3.2相对运动估计
旋转和平移的变化分别记为R和t，世界点Pi和机器人在当前时间和之前时间的相对位置记为Pci和Ppi。运动估计误差计算如下:
旋转矩阵R和平移矩阵T通过最小化误差来估计，
其中，, sum;pi和sum;ci是协方差矩阵不确定性Pci和Ppi各自的重建。
由(4)(5)可知，函数M可改写为(6)式。
4 目标跟踪
4.1 RANSAC剔除异常值
为了减少遮挡的影响，我们使用随机样本一致性算法[15]来剔除静态环境中匹配和跟踪的点特征作为离群点。通过二次RANSAC处理，将运动目标的特征与特征跟踪的误差区分开来。这两个阶段是相似的。后者总结如下:
(1)将目标的匹配和跟踪特征重构为数据集S;
(2)从S中随机抽取样本集si进行相对运动估计;
(3)估算样本集si与机器人的相对运动;
(4)利用式(4)计算S各点特征的误差ej，如果小于阈值T，则正确跟踪对应特征;
(5)重复步骤2、步骤3、步骤4;
(6)经过一定次数的迭代，找出正确跟踪点特征个数最多的最佳运动估计。
4.2目标确定
在目标跟踪的开始，我们定义一个矩形区域来表示目标。O是中心，W是宽度，H是高度。在目标移动过程中，其区域发生变化。在跟踪目标的同时，还需要确定当前立体图像中的目标区域，并对目标的特征进行更新，以便在下一帧进行目标跟踪。在我们的方法中，目标的特征被当前立体图像中目标区域的匹配特征更新。
将目标在上一幅立体图像上的点特征坐标表示为Sp，将当前立体图像中被跟踪特征的对应坐标表示为Sc, O的变化由Sp与Sc的平均坐标差决定。
行Sp特征间的最大距离记为Lpr，列Sp特征间的最大距离记为Lpc。同样，Sc中的Lcr和Lcc分别表示为Lcr和Lcc。W和H的变化由
计算。
5实验
在实验室环境下，对一辆玩具车进行了大遮挡和大旋转跟踪。双目摄像机安装在距地面1500mm处，基线约160mm。单摄像机的参数,重点是8毫米和7.4micro;m像素的大小。
图1 一辆玩具汽车在大遮挡下被跟踪。(a)目标选择为绿色矩形。(b)-(f)玩具车跟踪结果。
图2 一辆玩具汽车在大转角下被跟踪。(a)目标选择为绿色矩形。(b)-(f)玩具车跟踪结果。
遮挡实验结果如图1所示。在玩具车移动过程中，最严重的咬合超过50%。在不受大遮挡影响的情况下，正确跟踪玩具车的点特征，准确确定目标区域。然后对点特征进行更新，用于下一帧的目标跟踪。在图2中，玩具车在大旋转下被跟踪。玩具汽车在移动时大约旋转了60度。该玩具车仍然是正确的跟踪，因为特征点是稳定的中度旋转和更新之间的连续立体帧。
6总结
提出了一种基于双目摄像头的运动目标可靠跟踪方法。我们用点特征表示目标和环境背景，以减少遮挡和旋转的影响。在对点特征进行匹配和跟踪后，利用最小二乘算法对相对运动进行准确估计，并通过二次随机抽样(RANSAC)对运动目标进行正确跟踪。实验结果表明，该方法对大遮挡和大旋转的影响具有鲁棒性和有效性。我们的方法需要有足够的正确跟踪点特征。但在某些极端情况下，如目标被完全遮挡时，这种方法是困难的。因此，在今后的工作中，我们将改进处理这种情况的方法。
致谢本项工作由国家自然科学基金(60805046)和中国科学院知识创新计划(07A1210101)资助。我们要感谢孙静和朱琳琳的建议和支持。
参考文献
1. Scharstein, D., Szeliski, R.: A Taxomony and Evaluation of Dense Two-Frame Stereo Correspondence Algorithm. Int. J. Comput. Vis. 47, 7–42 (2002)
2. Fitch, A.J., Kadyrov, A., Christmas, W.J., Kittler, J.: Fast Robust Correlation. IEEE Tran.Image Processing. Vis. 14(8), 1063–1073 (2005)
3. Babu, R.V., Perez, P., Bouthemy, P.: Robust Tracking with Motion Estimation and Local Kernel-based Color Modeling. Image and Vision Computing. Vis. 25, 1205–1216 (2007)
4. Hager, G.D., Belhumeur, P.N.: Efficient Region Tracking With Parametric Models of Geometry and Illumination. IEEE Tran. Pattern Analysis and Machine Intelligence. Vis. 20(10), 1025–1039 (1998)
5. Zhu, G., Zeng, Q., Wang, C.: Efficient Edge-based Object Tracking. Pattern Recognition. Vis. 39, 2223–2226 (2006)
6. Shi, J., Tomasi, C.: Good Features to Track. In: Proc IEEE Conf. Comput. Vis. Pattern Recognit., pp. 593–600 (1994)
7. Lowe, D.: Robust Model-based Motion Tracking through the Intergration of Search and Estimation. Int. J. Comput. Vis. 8, 113–122 (1992)
8. Bae, K.H., Koo, J.S., Kim, E.S.: A New Stereo Object Tracking System using Disparity Motion Vector. Optics Communications. Vis. 221, 23–35 (2003)
9. Parrilla, E., Ginestar, D., Hueso, J.L., Riera, J., Torregrosa, J.R.: Handling Occlusion in Optical Flow Algorithms for Object Tracking. Computers and Mathematics with Applications. Vis. 56(3), 733–742 (2008)
10. Harville, M.: Stereo Person Tracking with Adaptive Plan-View Templates of Height and Occupancy Statistics. Image and Vision Computing. Vis. 22, 127–142 (2004)
11. Rabe, C., Franke, U., Gehrig, S.: Fast Detection of Moving Objects in Complex Scenarios. In: Proc. IEEE Symposium. Intelligent Vehicles, Istanbul Turkey, pp. 398–403 (2007)
12. Ess, A., Leibe, B., Schindler, K., Gool, L.V.: A Mobile Vision System for Robust Multiperson Tracking. In: Proc. IEEE Conf. Comput. Vis. Pattern Recognit., pp. 1–8 (2008)
13. Du, Y., Han, J., Tang, Y.: Feature Matching and Tracking for Visual Odometry of Moblie Robot. In: Proc. International Conf. Information Computing and Automation, Chendu,China, pp. 927–930 (2007)lt;
全文共6439字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[2506]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
