1.2.3 资源管理技术

云系统的出现使得软件供应商对大规模分布式系统的开发变得简单。云系统为开发商和用户提供了简单通用的接口，使开发商能够将注意力更多地集中在软件本身，而无须考虑底层架构。云系统依据用户的资源获取请求，动态分配计算资源。

Sai Wu等人研究并提出了一个通用的云系统索引框架，如图1-12所示。在该框架中，处理节点以结构化覆盖网络的形式组织在一起，每个节点建立本体索引以加速数据访问。一个全局索引通过在覆盖网络中选择和发布一个本地索引分配来建立。全局索引是分布在整个网络中，并且每个节点负责保持一个全局索引的子集。考虑到存储代价和其他维护开销，一个基于开销模型的自适应索引方法用于调整全局索引。两个运行在Amazon的EC2上的实验证明了该方法的可行性和有效性。

图1-12 云系统索引框架图

图 1-12 中的设计分为三层。中间一层包含数千个处理节点，用来为用户提供计算资源。用户数据被划分为一些数据块，这些数据块依据DFS协议分布在各个不同节点上，每个节点都为其上部署的数据创建一个本地索引。除了本地索引，每个节点还将其存储的资源共享出一部分，以维护全局索引。全局索引是一个索引的入口集，从本地索引中选取出来并散布在集群中。

为了给用户提供友好的接口，考虑应用结构化的覆盖网络来组织节点并管理全局索引。在最底层，处理节点的连接组织是松耦合的。每当有一个新节点连入到云系统中，其他节点都会运行覆盖网络的连接协议。新节点将会以一些节点作为路由邻居，并告知其加入信息。

在最上层为用户应用提供了一个数据访问接口，该接口是基于全局索引的，用户可以根据不同的访问需求选择不同的数据访问方法。基于索引的访问更适合在线查询，同时，扫描是分析大型数据集的可行方法。