Single-Chip Design for Intelligent
Surveillance System
Tsung-Han Tsai , Member, IEEE, and Shih-Wei Chen
Abstract— During recent years, a digital surveillance system has gained more popularity. Object recognition plays a critical role in an intelligent surveillance system. It mainly consists of several vision-based techniques such as segmentation and tracking. However, these techniques are still challenging. In this paper, an intelligent surveillance system has been proposed on the basis of single-chip design. An algorithm development and its hardware implementation are well addressed. Our algorithm accomplishes tracking of moving people through successive frames without using boundary box of object or color cues. Although there is occlusion due to gathering of people and other foreground objects, still the proposed algorithm can deal with such situations. The developed hardware architecture involves several tasks including foreground detection, sliced connected component labeling, object grouping, and object tracking. We use parallel processing on object labeling architecture and give the upper and lower image label values simultaneously. Object grouping and object tracking are also manipulated to improve the performance. The whole system is designed using single-chip solution. It is implemented by TSMC 90-nm library with 18.71-K logic gates, 92.288-kB on-chip memory, and 11.4037-mW low power consumption.
Index Terms—Application-specified integrated circuit (ASIC), foreground detection, object labeling, object tracking, smart camera.
- INTRODUCTION
During recent years, a traditional closed-circuit television surveillance system has been replaced by a digital surveillance system. Traditional surveillance systems rely on manpower to monitor the screen, so consequently many important events have been missed due to human error. On the contrary, the advantages of the digital surveillance system are acquisition of high-quality images along with reduction in errors, storage space, and implementation cost.
Intelligent surveillance is a new trend in research and a lot of research is being done in this area currently. One of the purposes behind its development is to automatically identify the occurrence of events and track down moving objects of interest [1]–[5]. To realize such system, it needs to integrate many complicated image processing algorithms, including foreground detection, object labeling, object grouping, and object tracking. The purpose of the foreground detection is of special interest because it helps to distinguish the object of interest from the surveillance video such as people and cars. Foreground objects on the screen are usually significant. Therefore, the accuracy of foreground detection affects the overall effectiveness of the surveillance system. In order to get the foreground information, a background image is needed to be retained. There are some more sophisticated algorithms published in recent years. The multilayer codebook-based background subtraction [36] and the self-organizing background subtraction [37] can accommodate dynamic scenes.
After foreground detection, object labeling with pixel-based binary mask is performed. It converts the block-based continuity mask and makes the label for each block. When the foreground object and background colors are similar, the foreground will cause crushing. Then, object grouping can use this information to relabel the blocks nearby and make objects complete.
Object tracking is the critical module in an intelligent surveillance system. The classification of these methods is identified in Table I. It classifies the approach for object tracking with three categories: point tracking, kernel tracking, and silhouette tracking [6]. In point tracking such as [7]–[11], objects are detected in consecutive frames and represented by points. Meanwhile the association of the points is based on the previous object state, which can include object position and motion. In [8], the deterministic method is used with qualitative motion heuristics to constrain the correspondence problem. In kernel tracking such as [12]–[16] and [37], the motion of the object is computed, which is represented by a primitive object region from one frame to the next. In [12], the object is represented by calculating weighted histogram from a circular region. Referring to silhouette tracking methods [17]–[22], object region in each frame is found by using a silhouette-based object tracker. It is constructed by means of an object model generated using the previous frames. In [19], the authors evolve an object contour using the color and texture models generated in a band around the objectrsquo;s boundary. Kumar et al. [23] and Amer [24] use the Kalman filter on target tracking. Haritaoglu et al. [25] include a tracking system that has been constructed for surveillance on the basis of shape analysis.
TABLE I
TAXONOMY OF TRACKING METHODS
As compared to the algorithm-level development, a hard- ware issue is rarely discussed. Most literatures just address the kernel in an intelligent surveillance system such as object segmentation only. While considering the overall hardware-based system, high computational complexity is always the problem, and consequently several design aspects are derived to solve this. A straightforward strategy is to implement the system on a programmable processor such as a digital signal processor (DSP) [26]–[27]. In addition, hardware/software co-design is a new approach since it includes both the hardware and software engines for computation [28]–[30]. However, results rely on an efficient hardware/software partition, and until now, this technique has been largely dependent on human experience.
In this paper, the architecture design for an intelligent surveillance system ha
剩余内容已隐藏，支付完成后下载完整资料
智能监控系统的单片机设计
IEEE成员蔡宗翰和陈世伟
摘要
近年来，数字监控系统越来越普及。目标识别在智能监控系统中起着至关重要的作用。它主要包括基于视觉的分割和跟踪等技术。然而，这些技术仍然具有挑战性。本文提出了一种基于单片机设计的智能监控系统。文中给出了算法的开发和硬件实现。该算法在不使用物体边界盒或颜色线索的情况下，实现了对连续帧中人的运动的跟踪。虽然人和其他前景对象的聚集而会产生遮挡，但是该算法仍然可以处理这种情况。开发的硬件体系结构包括前景检测、切片连接组件标记、对象分组和对象跟踪等任务。在对象标记结构上采用并行处理，同时给出上下图像标记值。对目标分组和目标跟踪也进行了操作，以提高性能。整个系统采用单片机解决方案设计。它由TSMC 90 nm库实现，逻辑门18.71k，片上存储器92.288kb，低功耗11.4037mw。
索引词 应用专用集成电路（ASIC），前景检测，目标标记，目标跟踪，智能相机。
1.导言
近年来，传统的闭路电视监控系统已被数字监控系统所取代。传统的监控系统依靠人工对屏幕进行监控，因此许多重要事件因人为失误而被遗漏。相反，数字监控系统的优势在于获取高质量的图像，同时减少误差、存储空间和实现成本。
智能监控是一种新的研究趋势，目前在这一领域进行了大量的研究。其开发的目的之一是自动识别事件的发生，并跟踪移动的感兴趣对象[1]-[5]。要实现这一系统，需要综合多种复杂的图像处理算法，包括前景检测、目标标记、目标分组、目标跟踪等。前景检测的目的是为了将感兴趣的目标与人、车等监控视频区分开来，因而具有特殊的意义。屏幕上的前景对象通常是重要的。因此，前景检测的准确性直接影响到整个监控系统的有效性。为了得到前景信息，需要保留背景图像。近年来，有一些更复杂的算法发表。基于多层码本的背景减法[36]和自组织背景减法[37]能够适应动态场景。
在前景检测后，采用基于像素的二进制模板对目标进行标记。它转换基于块的连续性掩码并为每个块制作标签。当前景对象和背景颜色相似时，前景将导致压碎。然后，对象分组可以使用此信息重新标记附近的块并使对象完整。
目标跟踪是智能监控系统中的关键模块。这些方法的分类见表一。它将目标跟踪方法分为三类：点跟踪、核跟踪和轮廓跟踪[6]。在点跟踪（如[7]–[11]）中，在连续帧中检测到对象并用点表示。同时，这些点的关联是基于先前的对象状态，包括对象的位置和运动。在[8]中，确定性方法与定性运动启发式方法一起用于约束对应问题。在核跟踪中，如[12]-[16]和[37]，计算对象的运动，该运动由从一帧到下一帧的基本对象区域表示。在[12]中，通过计算圆形区域的加权直方图来表示对象。参考文献[17]–[22]的轮廓跟踪方法，利用基于轮廓的目标跟踪器在每一帧中找到目标区域。它是通过使用前面的帧生成的对象模型来构造的。在[19]中，作者使用在对象边界周围的带状区域中生成的颜色和纹理模型来演化对象轮廓。Kumar等人[23]和Amer[24]使用卡尔曼滤波器进行目标跟踪。Haritaoglu等人[25]包括一个跟踪系统，该系统是在形状分析的基础上为监视而构建的。
与算法级别的开发相比，很少讨论硬件问题。大多数文献只是针对智能监控系统中的核心问题，如目标分割等。在考虑整个基于硬件的系统时，高计算复杂度始终是问题所在，因此导出了几个设计方面来解决这一问题。一个简单直接的策略是在可编程处理器上实现系统，例如数字信号处理器（DSP）[26]-[27]。此外，硬件/软件协同设计是一种新的方法，因为它包括用于计算的硬件和软件引擎[28]-[30]。然而，结果依赖于有效的硬件/软件分区，直到现在，这项技术在很大程度上依赖于人类的经验。
本文提出了一种智能监控系统的体系结构设计。所提出的智能监控系统能够自动提取多种信息并在现场进行分析。以往的一些智能监控系统设计只实现前景检测。为了在单摄像机环境下覆盖大多数智能应用，我们加入了跟踪功能，其中包含有效的跟踪算法。除了算法开发的一些优点外，为了满足高性能、低功耗的要求，采用了全应用专用集成电路（ASIC）的单片机设计方法。结果表明，该系统可以应用于多种实时监控应用中。本文的结构如下。第二节给出了算法的总体开发。在第三节中，通过几种硬件设计技术描述了所提出的体系结构。第四节给出了实验结果。第五节包括结论。
2.整体拟议系统
图1给出了整个智能监控系统的框图和体系结构。整个系统包括前景检测、切片连接组件标记（SCCL）、目标分组和目标跟踪功能。前景检测的基础是对图像进行操作的分割技术。通过标记过程为每个对象指定值。图像中出现的小区域对象被视为噪声。在执行之前的操作后，会记录不同的对象信息，例如对象边界框位置和对象质心。利用这些信息，执行目标分组和目标跟踪算法。该系统的优点如下：
1） 自动分析和跟踪连续帧中的运动对象；
2） 使用对象边界框的信息跟踪对象，不需要任何颜色提示或任何外观模型；
3） 解决遮挡和分割问题。
- 前景探测
采用具有低计算复杂度的前景检测算法来实现实时处理。将背景像素与阈值Td进行比较，进行前景提取。我们可以通过以下公式选择结果作为前景或背景：
(1)
如果Ftd（x，y，t）=0，则像素（x，y）被视为背景；否则，如果Ftd(x，y，t)=1，则像素（x，y）被视为前景。
- 切片连接组件标签
目标标记是智能监控应用中的一个重要过程。在找到前景二进制掩码后，必须用连接的像素标记它。在本设计中，我们使用[31]中的对象标记算法，并将其修改为SCCL。这种设计是基于低复杂度的考虑。
图2显示了SCCL的流程图。它可以分为三个步骤：标签分配、标签更新和标签合并。首先将图像分为上下两部分，然后在上下两部分同时进行标签分配和标签更新。如图3（a）所示，我们在标签分配和标签更新中使用这个标签窗口。当遇到对象的当前像素（CP）时，将检查四个邻居标签，分别命名为A、B、C和D。已处理的四个邻居标签的评估按以下优先级顺序执行：A、B、C和D。如果未标记其邻居标签，则为CP像素分配一个新值。如果一个邻居标签已经被标记，那么它的值也将被分配给CP。如果[A，C]或[C，D]中的两个邻居用不同的标签u和v标记，则生成一个新的等价标签（u，v）。
其次，我们需要用相邻的信息标记合并的图像。如图3（b）所示，我们使用该窗口扫描上图像的最后一行和下图像的第一行。如果[B，D]或[B，CP]或[B，E]两个邻居被用不同的标签（即u和v）标记，则生成等效标签（u，v）。
通过详细的例子来说明SCCL，如图4所示。原始二进制前景图像提取如图4（a）所示。图像上部的所有等价对和图像下部的所有等价对分别在E1和E2集合中，其中E1和E2是等价标签集合。E3是另一个等价标签集，它包含用于合并图像的所有等价对。标签分配后的结果如图4（b）所示。例如，使用两个等价的标签对集E1（1，2），（3，4），（1，5）和E2（11，12），（14，15）。然后，我们使用等价的标签对集E1和E2来生成合并表。生成合并表后，将使用查找表更新标签值。标签更新步骤后的结果如图4（c）所示。这表明我们可以通过不同的标签将它们集成到同一个标签值中。最后，对上下图像进行合并；存在一个等价的标签对集E3（1，11），（6，13）。然后，我们使用等价的标签对集E3来生成合并表。在构建合并表之后，我们可以使用查找表来更新标签值。图4（d）示出标签合并步骤和完成对象分组之后的结果。因此，标记过程将为每个对象指定一个标签值，并将小区域对象视为噪波。我们将为对象分组和跟踪记录对象边界框。
- 对象分组
对象分组用于重新标记附近的块并使对象完整。当前景对象和背景颜色相似时，前景会产生压碎，因此很难区分背景和前景。例如，一个人可以穿着像素光照或类似于背景颜色的衣服。图5（a）示出了将前景对象识别为背景的示例，这是一个错误。图5（b）所示的单个对象有可能被标记为多个对象。Tsai和Chang[32]提出了一种对象分组算法，使其成为可能，并将片段块合并到实际对象中。我们有一套 O = {O1，...，On}对象块，并将它们与每个对象块的质心及其搜索范围进行比较。对于两个对象块O1和O2，符号O1w和O1h是对象块O1的宽度和高度，O2x和O2y是对象块O2的中心。我们比较了块中心的距离O2x和O1w，以及块中心的距离O2y和O1h。如果W（x）和H（y）都等于1，我们应该将两个块合并为一个对象块。图5（c）示出了将两个片段块合并到实际对象中。
对于合并处理，设计规则如下：
- 目标跟踪
目标跟踪的主要目的是在连续的帧中跟踪不同的相同目标，在这些帧中，小部分人在一起运动或相互作用。在跟踪过程中，目标的重叠是一个很大的挑战。以前的研究工作在[32 ]中使用了一种低复杂度的目标跟踪算法。根据对象边界框和对象中心，比较前一帧和当前帧的对象边界框和对象中心。
图6表示对象跟踪算法的总体流程图。通过该算法，可以在不使用任何颜色或外观模型的情况下处理遮挡和分割问题。通过SCCL和对象分组，实现了对象边界框和对象中心。根据对象边界框和对象中心，比较前一帧的对象中心和当前帧的对象边界框。然后，我们将对象对与相应的进程相匹配。将匹配过程考虑如下：我们有一个对象块的集合,并且在前一帧t-1中,我们有一个集合,由于运动对象在连续帧中有少量的运动，因此可以通过以下等式来匹配对象：
其中和是的中心。和是的中心。和分别是的宽度和高度对象块。
根据每个对象块之间相似性度量的自适应阈值，将对象分为匹配和不匹配两种情况。对于匹配对象，有三个条件，包括单匹配情况、拆分情况和遮挡情况。不匹配的情况表示第t-1帧中的对象和第t帧中的对象不匹配。在不匹配的情况下，将为新对象分配新的标签值。单个匹配大小写表示第t-1帧中的对象与第t帧中的对象匹配。它显示了对象和对象之间的匹配。将相同的标签值分配给对象。对于多个对象，将检查对象对是早于对象对还是拆分大小写。图7显示了拆分大小写，即在第t帧上对两个或多个对象与第t-1帧上的同一对象进行匹配。对于分割的情况，分割的问题通过如下的具体程序来解决。通过合并两个对象创建对象，指定上一帧的对象值，并更新对象边界框。此外，我们还检查遮挡情况，即两个或多个对象之间的相互作用。图10显示了一对多的情况。对于一对多的情况，当发生遮挡时，通过合并帧t-1中的两个或多个对象在帧t中形成单个对象。在这种情况下，可以利用对象标签值，并且使用前一帧中的对象边界框来估计帧t中的对象的位置。图8示出了两个人合并的示例。如果帧t-1上的一个对象与帧t上的对象匹配，则对象标签值和边界框将更新。
3.智能监控系统架构设计
该体系结构的主要目标是实时跟踪多个目标，降低功耗，其主要特点如下:
1）利用对象标记的并行处理来提高性能
2) 构建片上系统不需要外部存储器
A、前景检测的体系结构设计
为了实现实时结果，我们需要探索一些技术来考虑低计算复杂度的因素。我们用背景减去当前图像，并计算出与阈值Td相比的绝对值。对象标注后，将数据分为两部分，同时识别两部分的标注值。因此，我们使用双存储器结构来存储前景信息。前景检测的架构如图9所示。
- 切片连接组件标记的体系结构
如图10所示，SCCL的体系结构分为三个单元：标签分配单元、标签更新单元和标签合并单元。首先，图像被分成上下两部分。然后，在上下两部分同时进行标签分配和标签更新，以减少计算时间。通过合并上下图像标签值，启动标签合并单元。
图11为标签分配单元的详细架构。在带有前景标签的CP中，相邻像素A、B、C和D被馈入标签处理单元。为了确定CP是前景还是背景，使用相邻像素的标签值。如果相邻像素内只有一个标签，则直接将其授予相同的标签值。如果有两个或多个标签，则选择最小的标签。当图像中的所有像素都被标记时，我们将生成标签等价表。然后，我们使用这个表来构建一个合并表。
图12为标签更新单元的详细架构。收到合并表后，使用此表更新标签值。对于带有前景标签的CP，我们将检查合并表，并根据需要更新标签值。然后，通过合并标签处理将更新的标签值存储回内存。
图13为标签合并单元的详细架构。我们需要将合并图像标记为上下图像。我们从上图像的最后一行输入像素B的标签值，从下图像的第一行输入像素D、CP和E的标签值。通过合并处理，如果两个邻居被标记为不同的标签值，我们将记录等价标签，然后构建标签等价表。通过合并表处理，我们将生成合并表。通过使用合并表，我们更新了标签值。更新标签值后，我们记录对象的边界框并将此信息存储回内存。因此，标记过程将为每个对象指定一个标签值。
- 对象分组的体系结构设计
我们提出了图14所示的对象分组架构。对象分组用于重新标记附近的块并使对象完整。我们从边界框内存中选择对象的边界框，并选择其中一个作为基础。我们有一个对象块的集合 O = {O1，...，On}，并与搜索范围下每个对象块的质心进行比较。对于两个对象块O1和O2，我们计算从对象块O2的中心到O1的边界的距离，如（2）-（4）中所述。如果G（x）等于1，我们将两个块合并为一个对象块。
-
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[414390]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
