英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
能量特征和图像传感在连续移动视觉方向的愿景
Robert LiKamWadagger;,Dagger;, Bodhi PriyanthaDagger;, Matthai PhiliposeDagger;, Lin Zhongdagger;,Dagger;, and Paramvir BahlDagger;
dagger;Rice University, Houston, TX Dagger;Microsoft Research, Redmond, WA
摘要
频繁执行移动计算机视觉任务的一个主要障碍是图像传感的高功耗。在这个工作中，我们报告的是第一个广为大众所知的试验性的和分析特性的CMOS图像传感器。我们发现，现代图像传感器并不是能量均衡的，每像素能量实际上是成反比的帧率和分辨率的图像捕获。因此图像传感器系统无法提供能量感知系统设计的一个重要原则：为能源效益而交易质量。
我们展示两个当前图像传感器支持未被移动系统使用过的能量均衡机制（i）使用最佳的时钟频率降低了低质量的的电力高达50%或30%单帧(图)和连续的帧(视频)捕获,分别;(2)通过输入帧之间的低功耗待机模式,一个图像传感器实现几乎恒定的能量每像素的视频捕捉低帧率,导致额外的功率降低40%。我们也提出建筑修改图像传感器,这将进一步提高操作效率。最后,我们使用计算机视觉基准来表示性能和效率的权衡,这些可以用现有的图像传感器实现。对于图像配准，一个主要的原始图像影像镶嵌和深度估计,我们可以实现96%的成功率在3 FPS和0.1像素的分辨率。这些质量指标,一个最佳的时钟频率降低图像传感器功耗36%和激进的待机模式降低能耗95%。
分类和主题描述符
I.4.m(图像处理和计算机视觉):杂项;
I.5.4[性能的系统]:建模技术、性能属性
一般条款
设计、试验、测量、性能
对这项作品的为了个人和教学的全部或部分数字或硬拷贝是权限允许的，副本不用来制作或分发来获取利益和商业利益是被允许不收费用的，并且在副本的第一页上必须引证标识。要复制、发布、张贴在服务器上或者重新分配清单需要事先特定的特权和/或费用
盟贝特13 ,6月25 - 28,2013年,台北,台湾
版权2013 ACM 978 - 1 - 4503 - 1672 - 9/13/06hellip;15.00美元。
关键字
图像传感器;节能;移动系统;计算机视觉;能源比例
- 介绍
相机是无处不在的移动系统,从笔记本电脑、平板电脑、智能手机到可穿戴设备,如谷歌项目还装有玻璃或头盔摄像头。最初用于捕捉照片或视频,摄像头,激发了许多提供新的移动计算机视觉服务,包括标记识别,手势交互和对象识别。许多研究人员,包括我们自己，还设想通过展示我们在旅途中看到的给电脑，我们将看到新一代个人计算的未来，或连续移动的愿景。不幸的是，图像传感，任何基于视觉的应用程序的第一阶段，是耗电，消耗几百毫瓦。后来，用户和开发人员广泛避免使用照相机。例如，对于智能手机的大多数计算机视觉应用的目的是为偶尔，而不是连续的使用;可穿戴式相机是专为点播采集而不是连续的活跃的捕获。现代移动通信系统采用CMOS图像传感器，由于它们的低功率和低成本。 CMOS图像传感器是电路研究的一个活跃的领域，其中的功耗，图像质量和制造的成本的改进已成为主要重点。然而,移动系统集成这些图像传感器与这样一个狭隘的硬件和软件接口,通常只有框架决议和有时的帧速率可以改变软件。此外,如我们之后展示的,减少了图像质量目前并不提供显著的功率降低,图像传感器仍然是一个黑盒子系统和应用开发，其系统行为，特别是电力消耗，不能很好地理解。在这项工作中，我们在计算机视觉应用的上下文中提供了一个图像传感器的能量特性中的综合治疗。特别是，我们考虑（ⅰ）图像传感器的能量消耗与其图象质量的要求，也就是说，帧速率和分辨率是如何关联的，（二）能耗怎样可以从系统的角度被减小，（iii）能耗如何可以通过图像传感器硬件的改善降低。我们的研究包括精细的功率测量，建模，原型和模型驱动的模拟。
首先，在第3节，我们在移动市场报告了来自两大厂商的5个 CMOS图像传感器的详细功率特性，它们靠主要部件和操作模式降低了功耗。基于图像传感器的内部的测量和我们的理解，我们构建涉及能耗图像质量的要求，例如帧速率，分辨率和曝光时间功耗模型。通过改变帧速率和分辨率，我们研究的图像传感器的能量比例;特别是，我们考虑用于收集像素的恒定数目的能量成本如何改变帧速率和分辨率的变化时。我们观察到，而当帧速率或分辨率的降低，能量每个像素增加显著，高达100倍以上的减少从每秒（FPS）30帧到1的FPS，这表明能量比例差帧速率时的功耗降低。这一观察表明，在能量感知系统设计[6]施加公知的原理的主要障碍：牺牲质量（在这种情况下，经由帧速率和分辨率的减少）的能源效率。我们的表征还显示，图像传感器的模拟部分不仅消耗功耗（传感器电源的33-85％）的很大一部分，但也构成能源均衡的瓶颈。
其次，在第4节，我们的调查显示了提高能源的均衡的两个未开发的硬件机制：时钟分频和待机模式。现代图像传感器允许多种外部时钟频率，但移动通信系统经常供给固定频率的时钟。我们表明，给定的图像的要求，存在着在该图像传感器每个像素消耗能量最低的频率。现代图像传感器还提供其中整个图像传感器被置于一个非功能性的，低功率模式的备用模式。我们表明，待机模式可以帧之间时，帧速率和分辨率是足够低的施加。我们称这种优化咄咄逼人待命。我们表明，通过组合时钟缩放和侵略性待机，图像感测的能量比例可以显著改善，在大范围的图像质量要求和超过40％的效率提高时，图像质量的要求是低的，导致每个象素几乎恒定的能量，例如，每帧像素和5 FPS。在第5节中，我们提出了几种硬件改动，进一步提高能源利用效率，特别是模拟零件。
最后，在第6节，使用计算机视觉基准和从表征收集的数据中，我们证明了质量与图像传感器的能量权衡有和没有应用上述优化。有关视频的连续图像配准，用于图像镶嵌和深度估计是有用的，就可以实现通过选择一个最佳的时钟频率的36％的功率降低，并且通过使用侵略性待机95％的功率减小。我们建议图像传感器的架构修改可以进一步降低功耗。例如，通过暴露期间将部件在待机状态下，可以进一步降低30％的功率。
2.背景
我们之前提供了CMOS图像传感器的概要，相机在移动系统上的核心。而相机使用光学和机械元件将光聚焦到图像传感器的平面，我们具体的讨论了各种电子部件和控制器在光到达传感器后的图像质量和功率消耗。
2.1图像传感器主要组件
一个典型的图像传感器是一个单芯片，其包括图1所说明的以下组件;像素阵列包含一组像素，每个像素使用一个光检测器和若干晶体管将光转换为存储在电容器中的电荷。模拟信号链采用有源放大器和模拟 - 数字转换访客（ADC），该电容器的电压转换成数字输出。串行读出传感器采用一个单一的模拟信号链的传感器，而列并行读出传感器采用一个模拟信号链为每个像素列。图像处理器执行基本数字图像处理，诸如去马赛克，去噪和白色平衡。的I / O控制器接口与外部世界的图像传感器中，通常在一个移动通信系统的应用处理器。随着流的帧数据时，I/ O控制器还接收用于设置所述图像传感器的内部寄存器，确定传感器的操作模式和参数，包括帧速率和分辨率的说明。数字控制器管理所述图像传感器的操作的定时执行。
2.2电子快门(曝光控制)
CMOS图像传感器采用电子快门控制曝光时间，定时曝光，时间的长度在这期间读出一个像素电容之前光可以进入传感器。长时间曝光用于光线不足的室内场景，而短时间曝光被用于明亮的室外场景。有两种类型的电子快门。 （ⅰ）一种滚动快门，如图2所示，将清除像素文本的一行之前，它是要读出。滚动快门然后等待清除下一行以制备另一行曝光。滚动性质允许一些行读出与其他行的曝光重叠。然而，随着移动的场景，这会导致时间的问题;虽然每一行被暴露给TEXP的持续时间，所述帧的顶部行比传感器的底行早得多露出。 （ii）全局快门同时清除像素阵列中的所有行。曝光的TEXP后，电荷被转移到屏蔽区，维持所捕获的帧的状态，并释放像素阵列到随后暴露的存储器。当行从屏蔽区读出，他们没有面临来自滚动快门操作所遭受的移动效果。然而，全球百叶窗需要对于所有像素存储器，因而需要昂贵的和复杂的设计。可编程快门宽度决定由电子快门分配的曝光时间。这使得系统开发的摄像头在不同环境光线的环境中运行程序。快门宽度保持为一个寄存器值和由数字控制器，它复位电荷的像素阵列电容器适当的实现。
2.3功率、时钟和运行模式
在移动设备上，该传感器是由多个电压轨供电，供给像素阵列，模拟信号链，图像处理器，和独立的数字控制器。我们利用这些独立电源轨来测量各种图像传感器组件的功耗和第3节中提供的芯片的一个表征。
图像传感器还使用一个外部时钟。时钟控制数字逻辑的速度。典型地，图像传感器输出每个时钟周期一个像素。更高的时钟速度允许传感器处理速度不同的帧，但消耗显著更多的功率。
图像传感器通常提供两种操作模式：流和待机。在流模式，两种状态之间交替传感器：空闲状态和活动状态。在空闲状态期间，该传感器上并可能经受曝光，但模拟信号链还没有活性以读出像素阵列。在活动状态中，模拟信号链中读出像素阵列，数字元素处理图像和I / O控制器从传感器出流的帧。在图2中，图像传感器是在流模式中，触觉和潮汐之间交替。由于滚动快门操作，而定时曝光可以公开在触觉状态下被读出的行。
在待机状态下，大部分的图象传感器芯片的放置在与时钟和/或选通功率低功率模式，但所有寄存器状态被保持，这允许快速唤醒。待机模式功耗最低（0.5 - 1.5毫瓦）。这个模式的目的是用于取在不需要预览快照;该传感器可以保持在待机状态下，唤醒拍照，然后返回到待机状态。
2.4质量控制
典型的图像传感器提供控制，以改变该帧的质量，从而允许帧分辨率之间权衡，场的图，帧速率，和功耗。这些是由通过I / O控制器设置，并与所述数字控制器控制寄存器值保持。我们下面详细讲解这些操作。
帧速率R：帧速率是在输出流中每秒的帧的数目。它通常是由系统开发者决定。
帧时间，帧=1 / R，是帧速率的倒数。最小帧时间由像素的图像中的数量和时钟频率的限制。
然而，帧时间可以通过编程垂直消隐来拉长，这增加了一些用于定时目的的图像的“空白行”。每个坯料行花费相同的时间量作为从帧读取排出来，但在消隐时间的许多组件可以是空闲的。垂直消隐表现为在图像数据流中的零的行，并且可以由处理器接收输出流被丢弃。增加垂直消隐从而有效地提高了帧时间，降低帧速率。
帧分辨率N：帧分辨率N表示像素的图像中的数量，这直接影响所述图像传感器系统的数据传送，处理和存储要求。 N能在两种机制下被减少：窗和二次抽样.开窗指示图像传感器输出的帧的一个较小的矩形窗口，如示于图3通过指定该窗口的大小和位置，该系统可以要求输出，减少域的视图。与此相反，子采样保留字段的视图，但产生了调整了的低分辨率
图片。图像传感器利用两种技术之一来实现子采样：（一）行/列跳过跳过取样像素的每隔一行或一列。其结果是，许多像素不被发送到图像处理器，从而导致图像的快速二次采样读数。另一方面，（ⅱ）行/列分级模拟信号链后结合在图像处理器相邻像素的值。相邻像素组建立一个单一的像素值，从而减少了子采样的图像中的高频混叠效应和噪声。这些技术如图3所示。
2.5移动系统内的集成
图像传感器通常直接与移动设备的主要应用处理器连接。因为在现代移动设备中使用的大的图像传感器需要并行总线引起的同步问题的高的数据传输速度，当前器件使用所述图像传感器和所述应用处理器之间的串行接口。例如，包括一个时钟的高通Snapdragon S4和Nvidia Tegra 3使用串行MIPI接口传输数据，一个或多个串行数据路径，以及一个串行控制总线[19]。
由于缺乏硬件访问，移动设备上的用户应用程序求助于使用由操作系统提供的相机的API。典型的行动包括摄像头的控制（例如，聚焦相机），图像和视频拍摄，并且配置（例如，设置分辨率）。例如，在Windows Phone8本地API提供StartRecordingToSinkAsync（）用于捕获图像和StartRecordToStreamAsync（）用于记录视频，而AudioVideoCaptureDevice保持如自动对焦区域和曝光时间的特性。还提供了控制帧速率和子采样（但不加窗）参数。 Android和iOS的SDK提供了类似的API。
- 能量特征
在本节中，我们报告了国家的最先进的几种CMOS图像传感器的能量消费总量的特征研究。特别是，相关的计算机视觉应用评估每个像素的能量是我们在帧速率和分辨率方面的各种图像质量的要求下。我们有三个目标。首先，我们要的是图像传感器如何在他们的主要部件消耗功率的透彻理解。第二，我们要确定有效的机制，以实现每个像素的最低能量相同的质量。最后，我们要确定现有的和新兴的图像传感器的能量比例问题：为什么每个像素能量增加质量要求减少？
3.1设备和图像传感器
我们使用美国国家仪器公司的USB-621216位，400千采样/秒DAQ功率测量设备。我们从定性CMOS图像传感器的两大厂商五种图
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[150808]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
