英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
基于重复模式检测的平面图一致性检查
为了在零售连锁店推广及提供最佳顾客体验，并以平面图规管产品应如何摆放在货架上。这些平面图由一个公司的总部和分配到它的连锁店创建的，使商店经理可以把产品放在货架上相应的位置。公司总部经常喜欢验证每个连锁店是否正确地遵循了平面图，这个验证过程被称为平面图遵从性检查。图1显示了一个兼容产品布局的示例。传统的平面图符合性检查是通过视觉和手工两种方式进行的，比较繁琐，容易出现人为错误。因此，许多零售连锁店已经开始寻找使这一过程自动化的方法。
基于计算机视觉的技术已经被开发用于自动平面图一致性检查(参见侧栏)。该问题被认为是典型的目标检测问题，通过将货架输入图像与给定的产品模板图像进行匹配来检测和定位产品。然后通过将检测到的产品布局与预先指定的平面图进行比较来执行遵从性检查。但是，这种方法需要最新的产品模板映像，而这些映像通常是不可用的。此外，它还取决于图像的质量、光照条件、图像的视点以及由于供应商定期进行的季节性促销而导致的图像模式变化。
出于促销的目的，一个产品的多个实例通常一致地显示在货架上。输入图像中的这些多个实例形成类似但不相同的视觉对象，可以称为重复的视觉模式或重复的模式。 通过检测重复出现的模式，可以本地化形成模式的产品实例。然后可以通过检测所有重复出现的模式并定位每个模式中的所有实例来估计书架的布局。接下来，可以将估计的布局与由平面图指定的预期产品布局进行比较，以度量遵从性级别。因为检测重复出现的模式不需要模板图像进行培训，所以遵从性检查不需要货架上产品的任何模板图像。
该方法不需要产品模板图像，主要包括以下几个方面：估计产品布局和循环模式检测的结果；基于谱图匹配的产品布局与平面图的比较；采用分治的策略来提高速度。
本文扩展了之前在多媒体国际研讨会上所做的工作，包括对所提算法的额外验证、与基于模板的方法的比较，以及对使用通过重复模式检测从输入图像中自动提取的产品图像进行合规性检查的改进。
合规检查和模式检测相关工作
我们的方法利用重复模式检测实现了自动符合性检查。因此，我们简要回顾了这两种方法的一些代表性方法。
传统的平面图合规性自动检测方法是基于成熟的目标检测和识别算法提取产品布局信息，通常需要模板图像作为训练样本。Adrien Auclair和他的联盟提出了一种基于输入图像的产品检测系统，该系统使用比例不变特征变换（SIFT）向量与现有模板进行匹配。其他研究人员提出了一种实时在线产品检测工具使用加速稳健特征（SURF）和光流；它还依赖于高质量的培训数据。另一项研究集中于使用空间pyramid挖掘的产品标识检测。Gul Varol和Ridvan S.Kuzu4最近开展的一项方法使用了级联对象检测框架和支持向量机（SVM）来检测和识别货架上的香烟包装；这也是需要模板图像进行培训。
尽管在使用对象检测和识别来估计产品布局信息方面取得了这样的进展，但大多数方法都需要对对象建模进行强或弱的监督。虽然已经提出了一些基于潜在主题模型的非监督方法，但它们仍然需要图像来进行学习。
重复出现的模式检测
货架上同一产品的多个实例或对象具有相似的视觉外观。特别是，共享相似视觉单词组的对象可以被表示为重复模式。通过使用无监督的对象级匹配方法检测这些重复模式，可以在不需要货架上产品的模板图像的情况下提取产品布局。
在文献中，检测重复模式的过程被称为常见的视觉模式发现、对象的核心认知/分割、和高阶结构语义学习。重复模式检测有三种典型的方法：成对视觉词匹配，它匹配所有对象的视觉词对；成对视觉对象匹配，匹配一对对象之间的特征点对应关系；成对视觉词-对象匹配，同时匹配视觉词和对象。
一些研究探索了两幅图像中两个物体的无监督检测/分割。袁俊松和吴英使用空间随机划分从单个图像或图像对中检测出目标对。 Minsu Cho和他的同事通过Markov chain Monte Carlo (MCMC)探索解决了一个对应关联问题，达到了同样的目的。对于基于成对对象匹配的多循环模式检测方法，刘海龙和燕水成采用图形匹配的方法检测两幅图像之间的循环模式。8 Cho和他的同事采用了凝聚聚类和MCMC关联来处理多对象匹配。 高冀州和他的同事使用成对的视觉词匹配方法来检测重复出现的模式。 刘景晨和刘彦希通过优化一个成对的视觉词物联合发现了一个图像的重复模式。
在我们提出的方法中，首先根据从平面图中解析出的信息将输入图像分割成区域。在每个区域检测重复的产品，然后合并到一起来估计产品布局。最后，将估计的产品布局与平面图中指定的预期产品布局进行比较，以进行遵从性检查。图2显示了所提议的方法的框图，现在我们将对其进行更详细的描述。平面图XML解析器和区域划分公司总部创建一个平面图，以指示特定的产品应该如何以及在何处上架。因此,在平面图中存储的布局信息可以看作是相应输入图像的期望布局。此外，这种布局信息可以用来将输入图像划分为对应于不同类型产品的区域。
在该方法中，输入平面图以XML格式存储，必须进行解析以检索相关信息，以便进行区域划分和遵从性检查。一个特定货架的解析平面图包含以下信息:架子上的行数；每行的产品数量；以及每种产品类型。
在成对视觉词-对象联合指派中，既考虑了视觉词，又考虑了视觉对象，比仅进行视觉词匹配或对象匹配的方法具有更高的检测精度。因此，在该方法中，我们采用成对视觉词-对象匹配进行重复模式检测。然而，解决这样一个联合分配问题的计算代价很高，特别是在检测具有许多视觉对象的重复模式时。为了提高速度，提出了一种分而治之的策略，将图像分割成多个区域，以控制每个区域中视觉对象的数量。
图2c显示了一个平面图，其中货架、货架中的每一行以及每个产品都可以表示为2D框。由于一个普通零售货架的形状，一个矩形(图2c中的灰框)被用来表示整个货架。然后，根据架子上的行数，将架子垂直分为几行(图2c中的黄色方框)。最后，根据放置在每行中的产品数量，将每行水平地划分为多个盒子。因此，产品可以用每行中的方框表示。
给定每个产品的估计框，使用一组2D点描述产品的位置和布局。的左上角创建一个二维坐标系统以搁板框为原点(0,0)，右下角为(1,1)。然后，预期的产品布局可以由这个坐标系中产品盒的所有中心点表示。其中为与平面图中指定的第i类产品对应的点集。ip0是一个二维坐标点。
为了估计区域，所有的产品盒都投影到输入图像上。为每种类型的产品，该类型的产品盒子所覆盖的区域被分组到一个矩形搜索区域中。然后，将搜索区域扩展一段距离，以允许货架上产品位置与平面图规范之间的差异。这个区域的一个例子是图2e中的红色框。
考虑到重复模式检测的速度和要显示的平面图中列出的已知最小产品大小，每个区域将被限制为包含不超过25个产品实例。如果在一个区域内有超过25个相同类型产品的实例，则该产品类型的区域将进一步划分以满足上述条件。在搜索区域中选择产品实例的最大数量是为了平衡用于重复模式检测和合并检测到的模式的时间。这里，我们根据经验选择这个数为25。
重复模式检测的目的是通过从单个输入图像中寻找和定位近似相同的视觉对象来估计产品布局。在区域划分之后，原始输入图像被划分为几个区域—每个产品至少有一个区域。因此，在每个区域中检测重复出现的模式，然后合并在一起进行布局估计。
我们采用了一种现有的方法，通过解决同时出现的视觉单词对象分配问题来实现重复模式发现，循环模式定义为二维特征分配矩阵，其中每一行对应一个可视词，每一列对应一个可视对象。检测到的特征点填充在矩阵中，以确保每一行/可视词中的特征点（即图2g中相同颜色的点）具有很强的外观相似性，而由每一列/可视对象（即图2g中连接的黑线）中的点构成的布局具有很强的几何相似性。定义了一个能量函数来获得外观和几何一致性。
这个联合分配问题是NP难问题，因此通过一个贪婪的随机自适应搜索过程（领会）和矩阵运算（称为局部移动）来优化，该过程是专门为收敛目的而设计的。在这些局部移动中，执行展开和维护二维特征分配矩阵的操作，这些操作包括添加或删除行或列以及修改条目。在抓取的每次迭代中，随机地应用局部移动来探索各种局部最优解。每个优化的分配矩阵都可以看作是一个检测到的循环模式。
因此，对于每个输入区域，可以检测到一组多个候选重复模式。计算圆形区域代表一个循环模式，其中每个检测到的视觉对象被一个圆覆盖(图2h)。
在循环模式中，每个圆形区域由一个具有2D坐标和半径的中心表示。中心被计算为视觉对象的特征点的平均位置。半径是包围框的宽度和高度的平均值，包含分配给视觉对象的所有特征点。假设模式和模式是从实际上属于同一产品类型的不同区域检测到的，模式和模式是否合并取决于它们的圆形区域的覆盖范围。如果图案中的一个圆形区域与图案中的另一个圆形区域重叠，则这两个区域将合并为一个区域。
最近的改进使现有的方法能够从输入图像中提取所有检测到的视觉对象的图像补丁。1这些补丁可以作为产品映像来细化遵从性检查结果。
为了与来自货架图的预期产品布局货架图点集匹配，必须通过处理检测到的重复模式来构建另一组表示检测到的产品布局探测点集(图2j)。
首先，将每个图案的所有视觉对象中心视为二维点。然后，计算一个最小边界框来覆盖所有点。将这个边界框的左上角视为原点(0,0)，将右下角视为坐标(1,1)，从而创建一个2D坐标系。计算该坐标系中所有检测到的视觉对象中心的二维坐标(图2i)。
图1所示。这是一个平面图形顺应性的例子。(a)公司总部指定的平面图。(b)具有符合平面图的产品布局的商店货架。
图2。给出了该方法的框图。(a)输入图像。(b)对应的XML平面图。(c) 2D方框中显示的已解析的平面图。(d) 2 d代表预期的产品布局。货架图(e)产品盒和投影在输入图像上的估计区域。(f)一种产品的区域。(g)在视觉文字和物体中发现的重复模式。(h)在圆形区域内发现的重复模式。(i)合并循环模式的边界框。(j) 2 d点代表检测产品布局。发现(k)利用图匹配和贪心算法寻找最优匹配。
检查合规。M *N通过谱图匹配可以生成N种可能的匹配情况。这些案例的匹配分数构成了一个M *N表示从点集检测到的任何预期的产品布局点集平面图和检测到的产品布局Rj之间的匹配信息的N矩阵。i因此，在这个矩阵上再次执行贪心算法，以识别从点集平面图到检测到的点集的最优匹配(图2k)。贪心算法首先接受具有最大匹配分数的匹配，然后拒绝与所接受的匹配相冲突的所有其他匹配。这个过程重复进行，直到匹配矩阵中的所有分数被接受或拒绝。贪婪匹配之后，在平面图中指定的每一种类型的产品最终都会匹配一个唯一的、最优的循环模式。
如果能够与来自平面图的一个产品相匹配，那么来自这些最佳重复模式的每个产品都将被标记为兼容(真阳性)。检测到的产品不能与来自平面图的任何产品相匹配，将被标记为不兼容(假阳性)。此外，如果来自平面图的产品不能与任何来自循环模式的产品匹配，则该产品的位置将被标记为空，这是不兼容的另一个实例。
实验结果
为了对该方法进行实验验证，我们从一个连锁超市收集了一个数据集;所有的图片都是用第一代iPad Mini(500万像素摄像头)拍摄的，因为从流行的移动设备上获取图片很容易。此外,我们实现了该C 方法在一台装有3.4 GHz英特尔酷睿i7 CPU的计算机上。
真实数据集中的测试用例包括产品大小、产品数量和特性质量，特性质量直接影响遵从性检查的准确性。如果产品的特征质量很差，就会导致没有足够的视觉文字来发现重复出现的模式，从而导致错误检测。产品数量是指属于同一类型产品的实例数量。这个数字会极大地影响遵从性检查的速度，因为重复模式检测的处理时间会随着产品数量的增加而急剧增加。
基于测试用例的这些特点，我们进行了实验，以评价所提方法的有效性和速度。由于篇幅的限制，我们在这里给出了具有不同特征的选定样本的结果(见表1)。
对于每一个测试用例，一个图像及其对应的平面图XML文件作为输入，对于每一种产品类型，我们比较了图匹配中的一些匹配产品和平面图连接中的一些预期产品。测试用例的符合性精度是通过平均用例中所有产品类型的符合性精度来计算的。出于测试目的，将手动创建平面图XML文件，以匹配输入图像中的产品布局。因此，每个测试用例的符合性精度也可以指示算法的准确性。
为了便于比较，我们实现了一种基于模板的平面图符合性检查方法作为基线。该基线遵循传统的使用产品模板图像进行训练和检测的思想，具体来说，对于每个输入图像，必须使用相应的产品模板图像对算法进行训练，包括检测尺度不变特征变换（SIFT）关键点和提取SIFT描述符。然后，将输入图像分割成几个不重叠的片段，并对每个片段执行强力匹配，直到用尽所有产品模板。如果输入图像和模板图像之间匹配的描述符数超过阈值，则会找到匹配项。我们实验中的产品模板图像是从高分辨率相机拍摄的图像中裁剪出来的。
该方法的总准确度为90.53%，模板法的总准确度为71.84%。表2-4显示了两种方法在产品尺寸、数量和特性质量方面的准确性。实验结果表明，该方法对平面图柔度检测是有效的。与基于模板的方法相比，该方法具有更高的柔度检验精度，特别是在处理尺寸小、数量大、特征质量差的产品时。
虽然对于小批量、大批量的产品，利用平面图作为产品定位的先验知识，可以提高基于模板的方法的精度，但不能达到我们方法的精度。如预期的那样，对于产品尺寸小、产品数量大或特性质量差的测试用例，精确度会下降。显然，较低的特征质量将导致更差的符合性检查精度。对于较小的产品尺寸，其精度较低的主要原因是图像中捕获的较小的产品往往具有有限的纹理特征。此外，较小的产品往往在货架上大量包装，这有助于降低准确性。
图3。在所选样品上检测到产品。(a)基于模
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[238973]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
