英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
ROS：对长期数据保存具有内联
可访问性的基于机架的光存储系统
摘要
数字数据的爆炸性增长与长期保存大量数据的需求的结合使得必须找到比HDD阵列更具成本效益的方法，并且比磁带库更容易访问的方式来存储大量数据的。虽然现代光盘能够保证在不迁移的情况下保存超过50年的数据，但单个光盘相对于HDD或磁带的性能和容量的缺乏显著限制了其在数据中心的使用。本文提出了一种机架级光盘库系统（简称为ROS），它提供了PB级总容量和内置可访问性，可以在内置于42U机架内的数千个光盘上实现。分离和取出盘的可旋转的转笼和机械臂设计用于提高盘放置密度并简化机械结构。提出了基于SSD，硬盘和光盘的分层存储系统，以隐藏机械操作的延迟。另一方面，提出了一种光盘库文件系统来安排机械操作，并使用POSIX用户界面在分层存储上组织数据，以提供内联数据可访问性的错觉。
我们对一些关键性能指标评估ROS，包括原型PB级ROS系统中的机械结构和软件开销的操作延迟。 结果表明，堆叠在Samba和FUSE上的ROS可以提供大约323MB / s的读取和236MB / s的写入吞吐量，通过10GbE网络为外部用户提供约53ms的文件写入和15ms的读取延迟，展现其内联可访问性。 此外，ROS能够有效地隐藏和虚拟化内部复杂的操作行为，并可轻松部署在数据中心。
1 简介
已被认为是非常需要的是，从诸如科学研究，社会和商业活动等各种来源生成的数字数据被保存超过50年或更久，即使不是永远保存 [9,23,26,28]。 此外，由于新兴的大数据分析技术能够进一步解锁数据的价值，所以一旦存储系统变得更经济有效，那么越来越多过去被日常丢弃的数据现在被认为是长期保存的目标。更重要的是，增加依赖于挖掘历史数据的分析应用程序需要对这些长期保存的数据进行内联访问，以便得到及时的结果。 换句话说，这些数据应该被大数据分析应用程序以类似于访问数据库或文件系统的方式方便地访问，而不需要传统的归档或备份系统的干预。
不幸的是，长期可靠地保存数据仍然是一个重大挑战[10]。 主流的在线存储介质如固态硬盘（SSD）和硬盘（HDD）限制了数据可靠存储长达5年的生命周期 [3,15]。 离线存储介质如磁带只能保证10年的数据保存[19]。 对于更长期的数据保存，从旧介质到新介质的数据迁移是不可避免的，但此举增加了数据丢失的风险和维护的复杂性[14]。 此外，这三种典型的主流存储介质需要严格的环境条件，例如恒定的温度和湿度，从而消耗额外的能量。
光盘被显示在没有特定的环境要求情况下能够可靠地存储数据超过50年[11]，在可靠的预期寿命和管理成本方面远远优于硬盘和磁带。由于每个光盘都是由一片塑料加上几个几微米厚的镀膜薄层制成 [18]，因此光盘的材料和制造成本非常低。另外，考虑到数据迁移和维护成本，基于光盘存储的TCO（总拥有成本）明显低于基于长期数据保存存储的硬盘或磁带。然而，光盘的三个基本限制极大地阻碍了它们在任何存储系统中的使用，更不用说是独立的光存储器。首先，单个光盘的容量远远小于硬盘或磁带的容量。第二，光盘的最大访问吞吐量高达40MB / s，远低于硬盘。第三，光盘的写入模式最好是一次性写入，其中所有准备的数据被刻录到光盘上一次。
为了克服光盘的这些限制，我们提出了一个名为ROS的光盘库，ROS表示一个基于机架的光存储系统，用于具有内联可访问性的长期数据存储。 ROS包含数千个光盘以提高总的存储容量以及数十个光驱以增强持续访问吞吐量。 更重要的是，ROS可以内联访问，并且可以很容易地部署。 它可以方便地集成到机架级数据中心而无需引入额外的备份或归档系统。 ROS的核心是一个新颖的机械电气和硬件软件的系统级协同设计，提供为从用户空间中透明、内联访问长期保留的数据的通用和虚拟化的POSIX存储接口。 ROS的主要贡献总结如下。
机械子系统：为使总容量最大，ROS设计了高精度机电结构，可以在42U机架中系统组织多达12240个光盘，48个驱动器和一个服务器级控制器。 该设计提供了非常紧凑和相对简单的机械结构。 每6120个盘被放置在两个转笼之一中，每个具有510个托盘（每个有12个盘），分为85层，每个层包含6个同心槽。 ROS进一步开发了一种高效的机械臂，以便自动将光盘切换到/退出驱动器中，以将光盘从光盘阵列正确分离并放置到驱动器上。 在具有一组传感器的反馈控制回路中，所有机械部件都可以由ROS精确和正确地驱动。
架构：ROS将光盘的长期数据保存与硬盘和SSD的快速访问性能相结合，以巩固三种技术的最佳特性，构成基于SSD和/或HDD的外部透明和内部分层存储架构，除非另有说明，否则可以被无差别地称为盘、光驱和转笼中的盘。 所有磁盘和驱动器都通过高速网络（如10GbE和Infiniband）连接到外部客户端可访问的基于服务器的控制器，使ROS成为网络连接存储。 磁盘用作写缓冲区和读缓存。所有光驱都可以被并行访问，以确保高持续吞吐量。 此设计保证所有写入请求都可以完全缓冲，大多数读取请求都可以在磁盘中命中，以有效地隐藏机械操作的数十秒的延迟。
软件：ROS开发了一个光盘库文件系统（OLFS），以协调软件，硬件和机械子系统之间的相互作用和交互。 它提供了一个通用和可编程的POSIX接口以实现外部应用的内联可访问性，并有效隐藏长时间的机械延迟。 OLFS可以自动访问和管理数万个盘中的PB级数据，而无需手动在物理盘和刻录盘上分割数据集。 OLFS保持一个全局文件视图，并将所有文件策略性地划分为磁盘或光盘上的通用光盘格式（UDF）[1]光盘映像。 全局视图构建在快速和小型镜像卷上，而所有文件数据及其抽象路径最终都存储在光盘映像中。 ROS可以进一步异步生成基于一组准备好的数据光盘映像的奇偶校验光盘映像，提高系统级的数据可靠性。
评估：我们进行了一系列实验来评估ROS性能。 可以进一步分析关键操作的延迟，例如访问磁盘和光盘以及机械行为。 实验结果还表明，ROS可以通过POSIX接口以可接受的性能对内联访问长期保留的数据进行有效和透明地响应文件请求[2]。
本文的其余部分安排如下。 第2节提供必要的背景和分析，以激励我们对长期保存数据的光存储研究。 ROS机械和硬件设计在第3节中有详细介绍。第4节介绍了光盘库文件系统OLFS的设计。 在第5节中，我们评估了ROS的性能和功能。 最后，第6节和第7节分别讨论相关工作，并总结本文。
2 背景与动机
长期保存的数据已成为大数据的主要来源。有价值的数据例如科学实验，商业活动，社会保险和人类健康记录等必须定期保存一段很长的时间，无需任何修改，即使不是永久保存。 此外，来源于比如社会网络和物联网的更多日常积累的数据也希望能够长期存储，因为这些数据在被新兴的大数据分析技术挖掘时可能会产生意想不到的价值。 因此，长期和便宜的数据保存技术正在引起学术界和工业界的越来越多的关注。
不幸的是，考虑到目前主流存储介质在相对有限的使用寿命内恶化，其存储数据的长期可用性取决于存储介质更换和数据迁移。 SSD和HDD的寿命一般不到5年[3,15]。 磁带原则上可以在恒定温度，严格湿度和每两年的倒带操作中可靠地将数据存储约10年，其中恒定温度，严格湿度和每两年的倒带操作是为了防止磁带粘附和发霉所不可避免的条件 [19]。 此外，这三种介质对电磁脉冲和自然灾害（如洪水和地震）也无抵抗力。 这些必要的媒介更换和数据迁移显著增加了维护成本和数据丢失的风险。
2.1 光盘
相比之下，蓝光光盘已被实验验证可以保存数据超过50年，并且是潜在的具有成本效益的数据存储介质。光盘具有良好的兼容性。 30年前制造的第一代光盘（CD）仍然可以使用当前一代光驱读取。蓝光光盘技术从具有更高存储密度的CD继承了120mm的物理特性。此外，光盘对诸如洪水和电磁脉冲等灾难[22]有抵抗性。他们是唯一在卡特里娜飓风中幸存下来的数字媒介 [27]。考虑到每张光盘是简单地由一片塑料加上几个几微米厚的镀膜薄层组成，故光盘的材料和制造成本相对较低。一旦生产的光盘数量超过光盘生产线投资可以充分摊销的门槛，光盘的每GB成本便可以与硬盘和磁带竞争。目前的25GB光盘中的每GB媒介成本已经接近磁带的。具有2TB的全息圆盘[6]已经实现和展示，尽管他们的驱动器计划在两年内被生产。在可预见的未来，5D光盘可以提供数百TB的容量[29]。假设使用磁带，硬盘，固态硬盘和蓝光光盘来构建能持续100年、容量为1PB的数据中心，Preeti Gupta和他的小组构建了一个分析模型来计算这种系统的TCO [12]。光盘的使用寿命超过50年，而HDD的使用寿命只有5年，因此基于HDD的数据中心需要比基于光学数据中心更多的数据迁移成本和媒介回购成本。如上所述，磁带的保存需要严格的环境和定期的倒带操作，因此基于磁带的数据中心比基于光盘的数据中心需要更多的操作成本。仿真结果表明，基于光盘的数据中心的总拥有成本是250K $ / PB，大约是基于硬盘的数据中心的1/3，基于磁带的数据中心的1/2。因此，工业界和学术界也开始考虑使用光盘存储长期数据作为替代方法。
尽管存在这些潜在的优势，但目前蓝光光盘的容量和性能分别远低于硬盘的。 即使300GB的蓝光光盘现在越来越受欢迎，但它们的容量仍然比每磁盘容量为4TB或8TB的硬盘小一个数量级。 此外，蓝光光盘的基本参考速度最多为4.49MB / s，被定义为1X。 25GB和100GB光盘的目前标准参考速度分别为6X和4X [17]。 在我们的实验中获得的最大速度对于25GB光盘来说是12X和，对于100GB光盘来说是6X，这远低于接近150MB / s的硬盘速度。
大多数可记录的光盘是一次写多次读（WORM），而可重写（RW）光盘可以以相对低的刻录速度（2X）和有限的擦除周期（最多1000）以及高成本重写。高压光驱在光盘的未使用光滑表面上刻录一系列物理槽。最好将数据一次性稳步并顺序地刻录到光盘中，以确保高品质和降低出错的风险。将完整的准备好的光盘映像一次刻录成光盘，称为一次写入模式。光驱还支持伪覆写机制，其中驱动器可以将多个数据轨道写入光盘，每个轨道表示一个独立的光盘映像。一个光驱首先需要花数十秒才能格式化预定义的元数据区域并写入数据。当发生覆写时，不能使用以前刻录的区域并且驱动器需要格式化一个新的元数据区域，然后写入数据。这种机制导致容量损失和性能下降，因此不推荐。
2.2 光盘库
为了克服单个光盘的限制，光盘库被提出，通过利用大量光盘的组合容量来增加系统级容量，并通过部署多个光盘驱动器来同时访问光盘以提高性能。 第一代光学点唱机在相关物理插槽中最多仅可容纳数百张光盘，并通过1-6个驱动器访问。 他们的机械设备可以在驱动器和插槽之间传送光盘。目前的大规模光盘库，如松下LB-DH8 [4]和索尼Everspan [24]，可以进一步部署数千个光盘和数十个驱动器。 这些光盘被分组成一系列磁盘阵列，作为具有内部RAID冗余机制的逻辑块卷。 磁盘阵列可以通过SCSI接口单独安装在主机上或者从主机上卸载。 LB-DH8是6U机架式设备。 Everspan有一个控制器机架单元，由驱动器和多达13个附加的带有光盘的扩展机架单元组成。
然而，这些光盘库更像是磁带设备，而不是部署在当前云数据中心的存储节点，使得它们难以被集成到数据中心。 当前的磁带和光盘库通常依赖于在前端主机上运行的专用备份系统来管理离线模式下介质上的所有数据。 典型的备份过程可能涉及数据集收集，目录创建或更新，压缩或重复数据删除，将数据集转换为适用于磁带的特定格式，然后将这些格式化数据复制到磁带中。 恢复过程基本上是将上述过程反过来。 此外，磁带上的原始数据在不解释备份系统的情况下对于应用程序是不可读的。 为了解决这个问题，IBM开发了LTFS [20]，允许用户应用程序通过标准POSIX直接访问磁带上的文件。 但是，LTFS对于光盘来说仅基于像UDF这样的单一磁带。
2.3 动机
光盘在长期数据保存方面已经展现出优势。 然而，他们在容量和性能方面的劣势将持续一段时间。 光盘库有望在有限的物理空间内最大化盘放置密度，并提供可靠且简单的机械结构。 另外，光盘库也被设计为能有效地管理光盘及其数据存储，以及隐藏盘边界，内部特定访问行为和机械延迟。
另外，为了长期的数据保存，考虑到硬件、软件和机械组件不太可能具有与光盘相同的使用寿命，并且部分光盘可能丢失，幸存光盘上的数据应该大体上自我描述，可独立访问并且可以理解。
更重要的是，在大数据时代，长期保存的数据需要通过大数据分析应用程序的可编程接口方便直接地搜索和检索，而无需上述额外的备份/归档系统干预。因此，光盘库应提供其数据的持续在线视图，以便外部客户端可以使用可在云数据中心轻松集成和扩展的标准存储接口共享数据。此外，作为当前数据中心的存储节点，光盘库应具有适当的计算能力来在本地处理其数据。
总而言之，作为云数据中心使用的存储节点的光盘库应该是可靠的，可自我管理的，可扩展的，低成本的，易于使用的并且能够进行数据的本地处理。为此，我们通过有效的机械-电气集成系统设计和实施了一个基于机架的光盘库系统（ROS），具有完整的可视化文件视图和分层存储巩固SSD，硬盘和光盘。在下一节，我们详细介绍了ROS的设计和实现注意事项，包括机械，硬件和软件架构及其协同设计。
3 系统和设计
ROS是一个复杂的机械-电气集成光盘库系统，旨在以低成本实现PB级长期数据保存。 ROS也被设计为可以集成到具有
全文共25951字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[13152]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
