英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
基于双目立体视觉的人体行为数据采集研究
摘要：在复杂的背景下，我们可以用眼睛准确识别目标。在机器人视觉研究领域，通过图像序列从周围环境中获取有趣的信息然后识别目标已经成为研究的热点。本文研究了基于双目立体视觉的人体行为数据的获取和匹配，通过设置标定方法提取稀疏特征点，并通过比较极限约束点匹配方法和结合点匹配方法来提取更准确的匹配点。特征和区域匹配，从而增加了特征点的稳定性并提高了采集精度。通过实验证明，本文提出的人体行为数据采集方法是可行的。
关键词：双目立体视觉，人体行为，稀疏点云，相机校准，特征点匹配。
1 引言
图像分割的新型立体匹配算法
随着计算机技术，传感器技术和视觉技术的不断发展，基于计算机获取三维世界中的图像信息已成为一个重要而具有挑战性的研究课题。许多专家学者针对这一方向进行了很多研究和探索，特别是在双目立体视觉[1,2]上。在双目立体视觉研究中，双目标定技术[3]和立体匹配技术[4]是许多研究者关注的关键技术。
针对照相机的标定问题，蔡在1980年代中期提出了一种两步标定方法[5,6]。 20世纪末，张正有[7]
提出了共面校正的方法。也有许多其他学者研究了相机自校准方法。 Lourakis等。文献[8]以奇异值分解（SVD）的形式简化了Kruppa方程，并通过LM算法求解该方程以获得内在参数的值。马松德等。中国科学院自动化研究所的文献[9]提出了让摄像机进行平移运动并在一些运动参数的基础上获得摄像机固有参数的想法。自校准系统需要一个准确的实验平台，并对实验设备提出了很高的要求，因此增加了设备系统的成本。
关于立体匹配算法，研究人员不断提出新的研究方法和理论。
英国的M. Pilu [10]优化了基于SVD的匹配算法。澳大利亚的Michael Bleyer [11]提出了
和全局可见性约束。意大利信息与通信技术中心[12]提出了一种基于对极约束的单边匹配算法。孙健等。中国[13]提出了一种基于全局匹配的方法，该方法针对覆盖的区域和质地较弱的区域。他们认为作为马尔可夫网络进行匹配的问题，介绍了贝叶斯后验概率和利用信念传播完成立体匹配，达到更好的效果。尽管相继出现了许多新的方法或改进的立体声匹配算法，但是如果我们想获得更好的匹配效果，仍然很难提高设备的精度并优化立体声匹配算法。双目立体视觉的标定和匹配双目立体视觉的极几何极坐标系针对双目相机成像平面之间的关系，这种关系在图像中相应点的连续立体匹配中起着极其重要的作用。极地几何中有几个相关的重要概念，以下重复描述：
极平面：由空间中的点和基线确定的平面；
极点：基线和两个像平面之间的交点；
极线：由极平面和像平面之间的交点创建的直线；
上面提到的概念如图1所示。
图1极几何关系
在图中，连接光学中心的线b同一个目标被框定, Mw1 = Mw2 , 放在上面的公式中以获得
Mc1 = R1R2minus;1M c 2 minus; R1R2minus;1t2 t C1，C2
左右摄像头的分别是基线距离和 P在左右成像平面上are Pl , Pr , 彼此对应的点对应点Pl被限制在一条直线上，这是极线 Pr er .从图中可以看出t Pl 看那在这里，旋转矩阵R T和翻译矩阵(4) 可以表示为：
shy;R = R1R2 minus;1macr;T = t1 minus; Rt2
C2并平行于右成像平面），右极er在无穷大。这是因为此时基线和右成像平面是平行的，并且在无限远处彼此相交，并且右成像平面中的所有极线构成了平行线的簇。
同样，当光学中心C2也位于左相机的焦平面上，基于稀疏点的匹配研究P在左图像平面内，因此与左图像相反，所有潜在成像点的投影P 出现在其极地 Pr er ,反之亦然。这是对极约束立体声匹配原理考虑这种情况：当光学中心C1 在右相机的焦平面上（即，穿过光学中心的平面多种校准方法。本文采用了张正有最近广泛采用的标定方法，该方法实现了基于双目相机的标定立体匹配是指从两个图像中获取同一目标空间点的不同投影点之间的对应关系。这是在一个图像中搜索另一个对应图像的对应特征点的过程，两个对应点是同一对象点在空间中的投影。立体声匹配的原理如图2所示
A(X, Y, Z)
zl
Ol
zr
u l
Or
al (ul , vl ) pl
ar (ur , vr )
u
r
pr
Ol
y
xl
l
b
Or
yr
x
r
图2平行双目立体匹配图
在双目图像中，重点al (ul , vl ) 在极地pl 在左图中搜索点 ar (ur , vr ) pr单相机的校准。之后，两个摄像机的坐标系应转换为相同的世界坐标系。转换关系如下：
Mc1 = [R T ]Mc 2 (1)
缘轮廓的点数据。在双目视觉系统中，研究涉及基于极限约束的点对应的匹配点。通过将两个点与相机参数结合，可以获得深度数据，并可以表示空间中的目标点。
本文对图像序列进行目标检测以提取目标，并通过边缘检测获得边匹配方法和基于点的匹配算法。 特征分别与区域匹配相结合，并且在匹配特征点时就两种方法的准确性对两种算法进行了比较。
3.3 基于点特征结合区域匹配的方法
基于点特征结合区域匹配的方法通常可以通过将其分为两个过程来完成。基于点特征的立体匹配需要提取图像边缘轮廓的可用特征点并选择边缘点。然后，使用立体匹配算法中的绝对差和算法（SAD）来匹配窗口块。该算法如图3所示
.
图3 SAD匹配图
严重依赖硬件，缺乏灵活性；另一个基于Microsoft的VFW或DirectShow开发套件，与特定的采集卡相比，该套件更加灵活并且对硬件的依赖性不高，但是效率低下，有时无法保持帧平滑。本文在后一种方法的基础上，开发了一种API函数动态库测试平台。用户可以在此开发平台上处理图像和实时相机图像，以确定适当的图像处理功能和功能参数。对于研究人员和开发人员而言，它相对方便，并同时提高了系统测试的效率双目立体视觉系统的设计与实验软硬件设计与摄像机标定双目立体视觉系统的硬件主要由两个摄像头，一个设备三脚架，一个摇篮头，连接线，转换接口，一个校准板和一台计算机组成。我们采用Microvision MV-VS078FC彩色，高清和集成式工业相机以及Microvision MV-VS860专业校准板。用硬件有两种方式进行图像采集：一种是基于硬件进行二次开发。本文使用的是点校准板，而不是传统的检查校准板。这样，边缘信息的检测可以更加准确，在圆检测期间，我们可以在二值化后采用角检测或Canny边缘检测特征点。图4和图5是校准过程中从校准板上提取点的情况。
图4校准板的原始左右图像 图5圆形检测校准板左右图像
所有像素的绝对差和计算是在像素的邻域窗口之间进行的给定特征点pli特征的邻域窗口在右图中一一指向。如果绝对差的值较小，则将其视为最佳匹配块。以确定特征点块的相同方式，确定左图像中的特征点块。只有当两个相应的点集中在绝对一致性上时如下所示：
SAD(u, v) = brvbar;brvbar;| Left(uij , vij ) minus; Right(uij , vij ) | （6）
完成校准后，可以获得校准结果，即内部和外部参数矩阵，双耳
ordf;1781.7 0.0000 437.75ordm;
MC1= laquo;0.0000 1781.8 436.56raquo;
laquo;not;0.0000 0.0000 1.0000 raquo;frac14;
左摄像机的失真系数：
ordf;1787.3 0.0000 506.84ordm;
MC 2 = laquo;0.0000 1786.3 429.12raquo;
laquo; not;0.0000 0.0000 1.0000右相机的失真系数：
[k1 k2 ] = [0.0728 minus;0.0131]
从以上实验结果可以看出，由于相机镜头是非理想的光学镜头，它们会在成像过程中引起一定的畸变效应（畸变系数存在且不为零），以及校准结果的误差。因此，在设计过程中增加了一个模块，以减少由镜头畸变引起的计算误差，即固定内部参数校准的功能。从多次校准的结果中获得平均值，以减少误差并最终获得双目相机的校准结果通过对实验结果的分析，在选择的所有特征点中，方法1基本实现了完全匹配。如果摄像机具有更多的特征点和平行的光轴，则匹配将不准确，因此可以根据特定情况手动添加错误或通过添加约束来消除错误匹配。与方法1相比，使用方法2时零件未成功匹配，因此其匹配成功率明显低于方法1的匹配结果 双目校准，平移矢量T和旋转矩阵R的结果如下：
T = [109.7803 minus;0.0565 6.3622]T
R = minus;0.0058, R = minus;0.0477, R = minus;0.0071
当基于双目立体视觉系统完成两个摄像机的校准时，在评估两个摄像机的校准参数时将获得极好的结果。
如下图像对均采用Canny边缘检测。方法1使用对极约束的方法来实现立体匹配并找到同义点，即在左侧图像中定位特征点，而在右侧图像中自动匹配同音点。方法2通过使用特征点和区域匹配来搜索匹配点。具体结果如图6所示。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[239012]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
