云计算研究现状

[7]Armbrust M, et al. 2009. Above the Clouds: A Berkeley View of Cloud Computing

[R].Department of Electrical Engineering and Computer

California

atBerkeley,

Report

No.

Sciences, University of

UCB/EECS-2009-28, CA, USA, 2009.

[16]Buyya R, Yeo C S, Venugopal S, et al. 2009. Cloud computing and emerging IT

platforms:Vision, hype, and reality for delivering computing as the

Generation Computer Systems, 25, issue 6: 599-616.

5th utility [J]. Future

[17]Buyya R, Yeo C S, Venugopal S. 2008. Market-Oriented Cloud Computing: Vision,

Hype,and Reality for Delivering IT Services as Computing Utilities

10thIEEEInternational Conference on High Performance

Communications, 5-13. IEEEDalian, China.

[C]. In the

Computing and

云计算的平台主要分为商用平台和研究用的开源平台。

(1)

在商用平台方面，目前国内外许多公司都有了自己的实现，这些平台各不相同，也反映着这些公司对于云计算的不同理解。

<1>Google 的云计算平台Google 公司有一套专属的云计算平台[5],这个平台先是为 Google 最重要的搜索应用提供服务[6],现在已经扩展到其他应用程序.Google 的云计算基础架构模式包括 4 个相互又紧密结合在一起的系统:Google FileSystem[7]分布式文件系统,针对 Google 应用程序的特点提出的 MapReduce 编程模式[8],分布式的锁机制Chubby[9]以及 Google 开发的模型简化的大规模分布式数据库 BigTable[10].

[5] Barroso LA, Dean J, H lzle U. Web search for a planet: The Google cluster architecture. IEEE Micro, 2003,23(2):22 28.

[6] Brin S, Page L. The anatomy of a large-scale hypertextual Web search engine. Computer Networks, 1998,30(1-7):107 117.

[7] Ghemawat S, Gobioff H, Leung ST. The Google file system. In: Proc. of the 19th ACM Symp. on Operating Systems Principles.New York: ACM Press, 2003. 29 43.

[8] Dean J, Ghemawat S. MapReduce: Simplified data processing on large clusters. In: Proc. of the 6th Symp. on Operating SystemDesign and Implementation. Berkeley: USENIX Association, 2004. 137 150.

[9] Burrows M. The chubby lock service for loosely-coupled distributed systems. In: Proc. of the 7th USENIX Symp. on OperatingSystems Design and

Implementation. Berkeley: USENIX Association, 2006. 335 350.

[10] Chang F, Dean J, Ghemawat S, Hsieh WC, Wallach DA, Burrows M, Chandra T, Fikes A, Gruber RE. Bigtable: A distributedstorage system for structured data. In: Proc. of the 7th USENIX Symp. on Operating Systems Design and Implementation.Berkeley: USENIX Association, 2006. 205 218.

<2>IBM“蓝云”计算平台IBM 的“蓝云”计算平台是一套软、硬件平台,将 Internet 上使用的技术扩展到企业平台上,使得数据中心使用类似于互联网的计算环境.“蓝云”大量使用了 IBM 先进的大规模计算技术,结合了 IBM 自身的软、硬件系统以及服务技术,支持开放标准与开放源代码软件.“蓝云”基于 IBM Almaden 研究中心的云基础架构,采用了Xen[15,16]和 PowerVM[17]虚拟化软件,Linux 操作系统映像以及 Hadoop[18]软件(Google File System 以及MapReduce 的开源实现).IBM 已经正式推出了基于 x86 芯片服务器系统的“蓝云”产品.

“蓝云”计算平台中的虚拟化技术

“蓝云”软件的一个重要特点是虚拟化技术的使用[19].虚拟化的方式在“蓝云”中有两个级别,一个是在硬件级别上实现虚拟化,另一个是通过开源软件实现虚拟化.硬件级别的虚拟化可以使用 IBM p 系列的服务器,获得硬件的逻辑分区 LPAR(logic partition).逻辑分区的 CPU 资源能够通过 IBM Enterprise Workload Manager 来管理.通过这样的方式加上在实际使用过程中的资源分配策略,能够使相应的资源合理地分配到各个逻辑分区.p系列系统的逻辑分区最小粒度是 1/10 颗处理器(CPU).Xen 则是软件级别上的虚拟化,能够在 Linux 基础上运行另外一个操作系统.

虚拟机是一类特殊的软件,能够完全模拟硬件的执行,运行不经修改的完整的操作系统,保留了一整套运行环境语义.通过虚拟机的方式,在云计算平台上获得如下一些优点:1) 云计算的管理平台能够动态地将计算平台定位到所需要的物理节点上[20,21],而无须停止运行在虚拟机平台上的应用程序,进程迁移方法更加灵活;2) 降低集群电能消耗,将多个负载不是很重的虚拟机计算节点合并到同一个物理节点上,从而能够关闭空闲的物理节点,达到节约电能的目的;3) 通过虚拟机在不同物理节点上的动态迁移,迁移了整体的虚拟运行环境,能够获得与应用无关的负载平衡性能;4) 在部署上也更加灵活,即可以将虚拟机直接部署到物理计算平台上,而虚拟机本身就包括了相应的操作系统以及相应的应用软件,直接将大量的虚拟机映像复制到对应的物理节点即可.

“蓝云”计算平台中的存储体系结构

“蓝云”计算平台中的存储体系结构对于云计算来说也是非常重要的,无论是操作系统、服务程序还是用户的应用程序的数据都保存在存储体系中.“蓝云”存储体系结构包含类似于 Google File System 的集群文件系统以及基于块设备方式的存储区域网络 SAN.在设计云计算平台的存储体系结构时,不仅仅是需要考虑存储容量的问题.实际上,随着硬盘容量的不断扩充以及硬盘价格的不断下降,可以通过组合多个磁盘获得很大的磁盘容量.相对于磁盘的容量,在云计算平台的存储中,磁盘数据的读写速度是一个更重要的问题,因此需要对多个磁盘进行同时读写.这种方式要求将数据分配到多个节点的多个磁盘当中.为达到这一目的,存储技术有两个选择,一个是使用类似于Google File System的集群文件系统,另一个是基于块设备的存储区域网络 SAN 系统.

在蓝云计算平台上,SAN 系统与分布式文件系统(例如 Google File System)并不是相互对立的系统,SAN 提供的是块设备接口,需要在此基础上构建文件系统,才能被上层应用程序所使用.而Google File System正好是一个分布式的文件系统,能够建立在 SAN 之上.

两者都能提供可靠性、可扩展性,至于如何使用还需要由建立在云计算平台上的应用程序来决定,这也体现了计算平台与上层应用相互协作的关系.

[16] Citrix systems, citrix XenServer: Efficient virtual server software. XenSource Company. http://www.xensource.com/

[17] IBM. IBM virtualization. 2009. http://www.ibm.com/virtualization[18] Apache. Apache hadoop. http://hadoop.apache.org/core/

<3>Amazon 的弹性计算云

Amazon 是互联网上最大的在线零售商,每天负担着大量的网络交易,同时 Amazon 也为软件开发人员以及开发商提供云计算服务平台.Amazon 将他们的云计算平台称为弹性计算云(elastic compute cloud,简称EC2)[22],是最早提供远程云计算平台服务的公司.Amazon 将自己的弹性计算云建立在公司内部的大规模集群计算的平台上,而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个实例(instance).用户使用实例的付费方式由用户的使用状况决定,即用户只需为自己所使用的计算平台实例付费,运行结束后计费也随之结束.这里所说的实例即是由用户控制的完整的虚拟机运行实例.通过这种方式,用户不必自己去建立云计算平台,节省了设备与维护费用.

Amazon 的弹性计算云由名为 Amazon 网络服务(Amazon Web services)的现有平台发展而来.2006 年 3月,Amazon发布了简单存储服务(simple storage service,简称S3),用户使用SOAP协议存放和获取自己的数据对象.在 2007 年 7 月,Amazon 公司推出了简单队列服务(simple queue service,简称 SQS),这项服务能够使得托管虚拟主机之间发送的消息,支持分布式程序之间的数据传递,无须考虑消息丢失的问题.Amazon 又继续

提供了EBS(elastic block storage)服务,为用户提供块级别的存储接口.在提供这些基础设施的同时,Amazon 公司开发了弹性计算云 EC2 系统,开放给外部开发人员使用.图 8 给出了一个 EC2 系统的使用模式.

从图 8中可以看出,弹性计算云用户使用客户端通过 SOAP over HTTPS协议与 Amazon弹性计算云内部的实例进行交互.这样,弹性计算云平台为用户或者开发人员提供了一个虚拟的集群环境,在用户具有充分灵活性的同时,也减轻了云计算平台拥有者(Amazon 公司)的管理负担.弹性计算云中的每一个实例代表一个运行中的虚拟机.用户对自己的虚拟机具有完整的访问权限,包括针对此虚拟机操作系统的管理员权限.虚拟机的收费也是根据虚拟机的能力进行费用计算的,实际上,用户租用的是虚拟的计算能力.

总而言之,Amazon 通过提供弹性计算云,满足了小规模软件开发人员对集群系统的需求,减小了维护负担.其收费方式相对简单明了:用户使用多少资源,只需为这一部分资源付费即可.

[22]

Amazon.

Amazon

elastic

compute

cloud

(Amazon

EC2).

http://aws.amazon.com/ec2/

(2)

对于学术界来说，目前研究中用到的比较成熟的开源云计算平台有:

(1) Hadoop 是最为著名的开源云计算平台，一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统 HDFS（HadoopDistributed File System）。

(2) Enomalism 是一个开放源代码项目，它提供了一个功能类似于 EC2 的云计算框架。Enomalism 基于 Linux，同时支持 Xen 和 Kernel VirtualMachine。它提供了一个基于 TurboGears Web 应用程序框架和 Python 的软件栈。

(3) Eucalyptus 是 Amazon EC2 的一个开源实现，它与商业服务接口兼容。和 EC2 一样，Eucalyptus 依赖于 Linux 和 Xen 进行操作系统虚拟化。Eucalyptus 是加利福尼亚大学(Santa Barbara)为进行云计算研究而开发的。

(4) Nimbus 由网格中间件 Globus 提供，Virtual Workspace 演化而来，与Eucalyptus 一样，提供 EC2 的类似功能和接口。

(5) 10gen，它既是一个云平台，又是一个可下载的开放源代码包。它是类似于 App Engine 的一个软件栈，提供与 App Engine 类似的功能。该平台还使用沙盒概念隔离应用程序，并且使用它们自己的应用服务器的许多计算机提供一个可靠的环境。

Hadoop Enomalism (Borthakur D. The hadoop distributed file system:

Architecture and design

[EB/OL].HTTP://hadoop.apache.org/common/docs/r0.18.3/hdfs_design.html .)

Eucalyptus (Nurmi D, et.al. 2009. The eucalyptus open-source

cloud-computing system [C]. InProceedings of the 9thIEEE/ACM International Symposium on Cluster Computing and theGrid, 124-131. IEEE Washington, DC, USA.)

Nimbus (Nimbus [EB/OL]. http://www.nimbusproject.org )

10Gen (10gen [EB/OL]. http://www.10gen.com/ )