英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
用于大数据应用程序的云预定系统
Dan C. Marinescu, Ashkan Paya, and John P. Morrison
摘要：新兴的大数据应用程序越来越需要超出单个服务器可用资源的资源，并且可能被表示为许多组件和依赖关系的复杂工作流程 - 每个组件都可能需要其自身特定的，也许是专用的资源来执行。有效支持这种类型的大数据应用程序是现有云环境中具有挑战性的资源管理问题。作为回应，我们提出了解决这个资源管理问题的两阶段协议。我们在第一阶段通过动态地形成机架级联合服务器来执行工作流程组件来利用空间局部性。这些联盟只在执行其分配的部分期间存在，随后解散，允许其资源参加未来的联盟。第二阶段创建了一系列这些联盟，旨在支持完整工作流程中的所有组件。为了最大限度地减少形成这一组联盟所需的沟通和内务管理费用，组合拍卖技术根据市场资源分配进行调整。与传统的分层组织模型相比，该技术对资源聚合的开销要低得多。我们分析了联盟形成的两种策略：第一种是基于历史的信息，从过去的拍卖信息到预测需求预期的联盟形式;第二个是只在需要支持特定工作流程组件的时候才建立联盟。
关键字： 大数据应用，云资源管理，分层组织，联合编组，组合拍卖。
- 介绍与目的
由现代云服务提供商（CSP）提供的大量多样化服务需要包含大型计算和存储服务器场的广泛基础设施，以支持多种云交付模式，包括软件即服务（SaaS），作为平台的多种生态系统 服务（PaaS）和基础架构即服务（IaaS）。 而且，这种多样性随着
科技的发展：
- 云基础设施正变得越来越不寻常;不同配置的多核处理器和附加的协同处理器如gpu和fpga的服务器预计将主导云计算领域。
- 云服务和云应用的数量不断增加。 例如，近年来AWS增加了新的服务，包括弹性缓存和DynamoDB。 AWS还提供了多种弹性计算云（EC2）实例类型，包括：C3计算优化的R3内存优化;M3平衡; 带GPU的G2图形;I2-存储优化。 每种实例类型提供不同的vCPU测量的计算机资源集合。 vCPU是用于C3，R3，M3，G2和I2实例的Intel Xeon内核的超线程。
在动态的生态系统中有效地管理资源是极具挑战性的。资源管理政策支持预订系统、准入控制、容量分配、负载均衡、能源优化和服务质量。执行这些策略的现有机制不如它们有效，而且也不能伸缩，因为它们需要关于单个服务器状态的准确信息。
资源管理不善可能会导致高昂的经济和生态成本。 云计算过度配置是目前支持弹性的首选机制，需要较高的初始成本并导致系统利用率较低; 这种策略在经济上不可持续。 因此，平均云服务器利用率在18-30％的范围内。 与过度配置相关的能耗已被证明过高，并且对环境产生负面影响。 2010年的一项调查报告说，闲置或未充分利用的服务器每年贡献1100万吨不必要的二氧化碳排放量，闲置服务器的年度总成本为190亿美元。
在计算云演进的这个阶段，需要提出一个问题，即计算和通信系统的可组合性的极限是如何被推动的，同时仍然能够支持所需的资源管理策略和执行这些策略的有效机制。云基础结构的层次结构是无所不在的。在这些系统中，资源管理决策需要一些系统状态的知识，但是当我们从服务器转移到系统层次的上层时，状态信息的可靠性会降低。此外，这些信息的价值是短暂的，如果不立即采取行动，可能会作出错误的决定，因为国家可能会迅速变化。与目前的方法相比，面向市场的资源管理机制是可扩展的、自我调节的，并且广泛应用于人类活动的许多领域。
我们目前正在致力于凝聚态物理的大数据项目。这个项目的核心张量网络收缩算法的空间、计算和通信的复杂性，从一个迭代到下一个迭代，急剧增加。只有以应用程序为中心的资源分配机制，类似于本文所讨论的，可以通过平衡计算和通信成本最小化浪费和支持算法优化。
这篇论文的贡献。我们解决了有效地确定最合适的异构云资源以解决作为服务组件的工作流所表示的大数据问题的问题。我们认识到与传统的、集中化的资源管理器相关的、通常不准确的、监控信息来做出资源分配决策的可拓展性问题。实际上，云的不断变化的复杂性正越来越低于从控制理论中获得的智慧，它告诉我们精确的状态信息和一个紧密的反馈循环是有效控制系统的关键要素。从本质上讲，只有本地的本地信息是可靠的。在遵循这一原则的过程中，我们关注的是IaaS云交付模型的市场资源配置。在我们的系统中，服务器的联合使用本地状态信息进行本地决策，这些决策具有有利的紧急全局属性。在之前的研究中，我们研究了大规模计算系统中市场导向机制的使用情况，并报告了一个简单的投标方案比基于监控的分级管理更有效。我们还研究了组合拍卖的有效性，在中，我们报告了超过80%的成功率。
市场机制解决了地方和全球目标之间的紧张关系。这些矛盾表现在这样的问题上: 我们如何用CSP利润来平衡用户的价值？如何动态调整资源的价格以满足实时需求?基于市场的方法为我们提供了开始解决这些问题的工具，以及其他具有挑战性的问题。
我们认识到需要对资源管理采取全面的解决办法，特别是其机制应辅之以物理系统组织的具体特征。为此，我们假设在[3]中描述的仓库规模的计算机组织，并添加了约束，以支持有效的本地决策。我们引入了服务器联盟的概念来执行工作流程组件和两种联盟形成策略。第一个策略是基于历史的(HB)，并将历史信息用于预先形成的联盟，这些联盟在过去已经被使用过。据我们所知，这是第一次尝试基于联盟的形成和组合拍卖来解决云资源管理的问题。第二，即时(JST)策略，动态地形成联盟以满足实时需求。本文重点研究了机架级联盟的形成;在[21]中，随后将这些联盟集成到包中，以支持使用组合拍卖的完整工作流。联盟和联合一揽子计划的形成是资源保留体系的两个阶段。
我们注意到，与这里提出的观点不同的是，研究文献提到了云联盟的联盟。我们的联盟的寿命很短。当它们正在执行的服务组件终止时，它们就不再存在了。我们的系统允许免费的资源选择在现货市场提供自己，或者等待加入一个联盟为下一次拍卖做准备。长期的联盟稳定对于云联盟来说是至关重要的，但是对于我们的联盟来说是一个无关紧要的问题。此外，局部性对我们来说很重要，但对于使用Internet进行通信的云联盟来说，这是一个无关紧要的问题。我们关注的是机架级的联盟，并断言跨多层的云基础架构层之间的通信是不可避免的——能够避免增加的延迟和下降的带宽。
本文讨论的解决方案涉及概念，从经济学和计算机科学的几个著名领域的政策和算法:联盟的形成和虚拟组织;拍卖理论与实践;系统组织和计算机体系结构;以及对复杂系统的自组织和自我管理。相关工作和系统模型分别在第2和3节中讨论。在第4和第5节分别介绍了机架级联盟的算法和仿真实验的结果。结论、未来的工作以及自组织的可行性在第6节讨论。
- 相关工作
现有的云资源管理系统。集群管理系统，如Borg[36]和Omega[33]在其云基础设施中被谷歌使用。谷歌支持允许云用户以资源隔离的方式运行应用程序的容器。
Kubernetes，是一个在谷歌开发的系统，用于在一簇节点上进行管理的集装箱化应用[14]。Docker使用cgroups来对在容器中运行的进程进行分组。Amazon和谷歌支持创建基于Docker的容器[1], [9]。Twitter的基础设施由Mesos[11]管理。VMware使用的存储管理系统在[35]中进行了描述。
由Borg系统管理的12,000台服务器谷歌集群实现了CPU利用率的25% - 35%，总内存利用率为40%[8]。使用Mesos的系统的总体CPU利用率为20%，即使保留达到系统容量的80%。斯坦福大学的Quasar系统在一个200个服务器的EC2集群中提高了资源利用率47%[8]。
现有的系统可以管理数十个您的服务器集群，但是第1节中概述的挑战仍然存在，并激发了对有效和可伸缩的云资源管理的策略和机制的搜索[5], [6], [16], [23], [24], [28], [39]。为了满足越来越多的复杂应用程序的需求，包括多个阶段和需要工作流管理，CSPs已经提供了工作流管理服务，例如简单的工作流管理(SWM)和AWS的弹性Bean股票(EBS)。
图1 有四个水平L1的晶格;L2;L3和L4显示了一组四个服务器的联合结构，s1;s2;s3和s4。在等级Lk的联盟结构中联盟的数量等于k。
市场机制。尽管市场机制的优势和关于市场资源配置的大量文献[18]，但这些想法的实际应用很少[30]。多年来，研究继续集中在以系统为中心的指标（如平均工作完成时间，生产量和系统利用率）的全局优化上，而现在关于用户偏好的考虑包括成本，安全性和服务质量 （QoS）必须添加到组合中。
我们最近的研究结果证实，与简单的投标方案相比，对资源监控的分级控制的通信量要高出两个数量级[20]。分层控制对于由多个仓库规模的计算机组成的云来说是非常低效的。
联盟的形成是提高资源利用效率的一种广泛使用的方法，为获取这些资源提供了便利的手段。近年来，大规模电子市场、网格和云计算、传感器网络和机器人技术的出现，增强了联盟形成和虚拟组织的兴趣[15], [29], [31]。
[10], [13], [25], [38]讨论了计算网格中资源管理的不同方面，包括负载均衡、作业分配和调度，以及在[0]中讨论代理形成联盟或虚拟组织时的收入共享。网格资源分配建模为合作博弈[13]或非合作博弈[25]。在[38]中提出了资源协同分配。
近年来，从计算网格到云资源管理，人们对联盟形式的兴趣也随之转移。这一领域的大部分研究都集中在云联盟的联盟形成的博弈论方面。云联合是一组csp协作为云用户社区提供服务。在[24]中提出了一种联合编队的随机线性规划博弈模型;作者分析了云服务提供商联盟形成的稳定性，并指出资源和收益共享是紧密交织在一起的。在[6]中引入了一种最优虚拟机(VM)供应算法，保证了csp的利润最大化。
在[23]中讨论了一种云联合形成，描述为一种享乐游戏，并着重讨论了游戏的稳定性和公平性。每个联邦的利润最大化都是一个整数规划问题，而游戏则是在一组联邦的基础上增加一个优先级。本文采用基于Banzhaf值的收益划分。目前，个别CSPs可能认为由于其服务的独特价值，他们有竞争优势，并且可能没有动力披露有关其系统内部工作的相关信息。因此，云计算的形成似乎是不确定的，至少在不久的将来是如此。
描述了一个组合联盟的形成问题。在[15]。本文假设卖方对每一项产品都有一个价格进度表。需求量越大，买方必须为每项商品支付的价格越低;因此，买家可以利用价格折扣形成联盟。[26]中描述了一种算法，通过像图1中所示的格子，在库柏格游戏中寻找最优的联盟结构。在这个算法中，联盟结构按照联盟大小的所谓构型进行分组。
拍卖。拍卖是一种广泛使用的资源配置机制，有许多应用程序，如:机场起飞和降落槽的拍卖、联邦通信委员会的频谱许可和工业采购。[38]提出了一种计算机云资源分配的在线拍卖机制。
应用程序的不同阶段可能需要不同类型资源的服务器的联合，因此有必要调查组合拍卖，在那里拍卖物品的包装。组合拍卖是指买方要求同时获得一套货物。拍卖允许卖主获得拍卖物品的最大可用利润;它是由拍卖商为每个消费者的要求组织的。代理是一种中介，它收集参与拍卖的买家的个别出价，计算出从投标中获得的包裹的总成本，并将此价格告知拍卖商。包括[2], [37]在内的大量文献涵盖了组合拍卖的多个方面，包括投标激励、稳定性、均衡、算法测试和算法优化。
包装出价假定卖家提供N种不同类型的物品。 买家对物品包进行投标。 一个包是一个整数向量Z ={Z1, Z2,hellip;,Zn}表示包装中每件物品的数量; 物品的价格由M={M1, M2, hellip; Mn}给出。
包装招标可以追溯到基于Vickerey-Clarke-Groves机制的广义Vickerey拍卖。在Vickerey拍卖中，投标人报告其整个需求计划。 拍卖人然后选择使包裹的总价值最大化的分配，并且要求投标人支付其为了赢得其最终分配的部分而作出的最低出价，考虑到所有其他出价。
在一个钟表拍卖会上，拍卖师宣布价格，竞买人表示他们希望以目前的价格购买的数量。当一个项目的需求增加时，它的价格也会增加，直到没有更多的需求。另一方面，当供给量超过需求时，价格就会下降。在一个时钟拍卖中，招标代理只看到汇总信息，在给定时间内的价格，这就消除了投标代理之间的串通策略和相互作用。拍卖是单调的，拍卖的金额不断下降，这保证了拍卖最终终止。 当一个包裹的价格可以计算为价格和数量的乘积之和时，据说一次拍卖可以从线性定价中受益。
时钟代理拍卖是一种基于两个阶段的迭代过程的混合拍卖[2]。一个时钟相位是由一个代理轮所产生的。在代理轮中，投标方报告他们提交给代理的价值，并将投标报价提交给拍卖商。投标人有机会向委托方报告数量和价格，不允许提款，投标是互斥的。然后，拍卖师选择能使卖方利润最大化的竞价。
自主计算和自组织。大规模系统的设计和实施所带来的挑战的识别，导致了与自组织(如IBM在2003年提出的自主计算)和有机计算等自我组织密切相关的新研究领域。超过8000篇论文，近200次会议，200项专利，以及超过100项的申请，都是在自主计算领域长达十年的研究成果[12]。
基于这些想法的小型系统已经在文献中被描述，但是提出的解决方案的可扩展性似乎是一个不可逾越的障碍，因为今天还没有这样大规模的系统。事实上，这表明了这些概念在系统中存在的挑战，这些概念在大量的组件之间以不可预知的方式相互作用，并在动态环境中运行，用户数量庞大且多样化。
当然，这种解决方案进展缓慢的一个重要原因是缺乏对这些概念的适当技术定义，这些概念的定义将导致自组织系统的实用设计原则，以及对结果的定量评价。图灵“自发形成的局
全文共21044字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[13612]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
