运营商私有云规划思路及关键技术应用

网规网优运营商私有云规划思路及关键技术应用梁杨（中国移动通信集团设计院有限公司河北分公司，河北 石家庄 050011）【摘 要】针对某运营商私有云相关建设历程进行阐述，然后结合该运营商的实际情况以及私有云技术特点，提出私有云规划思路，并同时阐述关键技术的应用，最后以网管支撑系统私有云规划为例，整体展现规划建设思路。私有云 资源池 容器 SDN【关键词】doi:10.3969/j.issn.1006-1010.2017.23.008 中图分类号：TN915.0 文献标志码：A 文章编号：1006-1010(2017)23-0043-07引用格式：梁杨. 运营商私有云规划思路及关键技术应用[J]. 移动通信, 2017,41(23): 43-49.Planning of Private Clouds and Key Technology Applications for Telecom OperatorsLIANG Yang(China Mobile Group Design Institute Co., Ltd., Hebei Branch, Shijiazhuang 050011, China)[Abstract] [Key words]The corresponding construction history of private clouds of a certain operator was discussed firstly. Then, the planning idea of private clouds was proposed according to the actual situation of the operator and the characteristics of the private cloud technology. In addition, the applications of key techniques were elaborated. Finally, the idea of the planning and construction was expounded combined with the private cloud planning of the network management and support system. private cloud resource pool container SDN1 引言云计算的建设目标是以IaaS服务为基础，以PaaS服务为提升。一个完整的IT系统，自上而下包括“应用软件、中间件软件、数据库软件、操作系统、计算资源、存储资源、组网网络”等组成部分，在云计算的架构下也是如此。“烟囱式”建设模式主要存在以下问题：1）硬件建设周期长；2）各系统之间资源不能共享；3）各系统之间资源利用率不均衡，不能调整，整体利用率较低；4）扩展能力受限，难以满足大数据计算需求。而云计算的好处体现在：1）资源共享，按需分配，弹性伸缩，支持日常优化调整；2）缩短上层系统建设周期，提升整体利用率；3）分布式架构支持大数据计算场景。云计算改“烟囱式”为“分层式”，自下而上分为IaaS、PaaS、SaaS三层，云计算的规划建设通常指的是IaaS层、PaaS层的统一规划建设。本文所述的私有云是特指专门为某企业内部提供服务的云计算，针对电信运营商而言，包含BSS/OSS/MSS、大数据、信安系统等IT支撑系统以及统一DPI、自有业务平台、政企客户云服务业务平台。收稿日期：2017-09-25责任编辑：黄耿东**********************2017年第23期43Copyright©博看网 www.bookan.com.cn. All Rights Reserved.网规网优2 某运营商私有云建设历程回顾该运营商的私有云建设历程，主要分为三个主要阶段：第一阶段为分域整合阶段，2012年开始建设网管资源池，2013年开始建设业支资源池和管信资源池；第二阶段为统一规划建设阶段，2014年将管信资源池并入网管资源池，2015年开始建设私有云管理平台；第三阶段为优化提升阶段，从2016年开始，持续建设业支资源池、网管资源池。某运营商在2014年开始正式进行私有云的规划建设，确定了“1+N”的整体架构，即“1”：建设统一的私有云管理平台；“N”：按统一的技术架构，建设多个资源池，纳入云管平台统一管理。2017年，该运营商为了更好地规划私有云建设，结合管理职能以及本地实际情况，最终提出了一种私有云规划架构：规划建设B/M资源池、O/S资源池两个资源池，并通过统一的云管平台进行两个资源池的调度与管理。该运营商私有云资源池建设架构如图1所示。

的基础设施云服务，以支撑IT支撑系统、业务平台和其他内部IT系统的建设；推动上层应用逐步以“分布式+开放”架构替代“集中式+封闭”架构，加快云化进程，底层资源以云计算资源池模式进行整合，实现IT基础设施的高效集中管理。

3.2 总体规划演进方案及关键技术

（1）云化演进

遵循第2节的规划原则和思路，某运营商从系统云化改造和资源池建设两个维度进行私有云演进路线的规划，如图2所示。

（2）私有云分层能力规划及关键技术分析私有云的能力规划，包含IaaS和PaaS的能力规划。IaaS层能力规划如图3所示。

IaaS层由“基础设施”和“云管理平台”两大部分组成。

云管理平台运用的是OpenStack技术。OpenStack提供了一整套完整的IaaS基础设施云服务，包含了各种组件；中国移动基于OpenStack的BigCloud相关产品亦能提供同类组件。

基础设施中X86虚拟化集群所运用的首先是VMware相关技术，VMware提供一整套基于服务器虚拟化的IaaS云服务解决方案，在使用vSphere服务器虚拟化的资源池环境中，再配合NSX实现SDN/NFV，vSAN实现虚拟机存储镜像管理；其次，X86虚拟化集群还运用了超融合架构技术来简化资源池硬件配置方案，提供基于X86架构的分布式存储，同时进行服务器虚拟化，超融合架构的核心是软件定义分布式存储技术，代表技术有开源KVM+Ceph、VMware

3 私有云规划思路、方案及关键技术3.1 总体规划思路某运营商私有云规划原则主要从两方面同步开展，一是统一规划、建设私有云资源池；二是推动系统自身云化，迁移到资源池上运行。同时，基于该运营商实际情况，其私有云总体规划思路为：通过机房扩展，平滑构建异地、多节点、跨机房且统一调度和管理的“1+N”架构的私有云体系（1个统一云管理平台，N个资源池节点），提供面向内部系统IT资源需求

图1 某运营商私有云资源池建设架构

442017年第23期Copyright©博看网 www.bookan.com.cn. All Rights Reserved.网规网优图2 某运营商私有云演进线路图图3 某运营商私有云IaaS层能力规划图vSphere+vSan、华为FusionSphere+FusionStorage等。其中运营商采用较多的是VMware技术方案，其优点在于产品成熟，但造价较高。建议私有云资源池建设前期，采用VMware虚拟化产品，有利于推动虚拟化技术使用，待虚拟化技术应用条件成熟后，以开源虚拟化技术KVM为主、VMware为辅。基础设施中X86分布式集群所运用的技术为分布式存储技术。在替换传统“IOE”架构的硬件过程中，针对关系型数据库采用华为FusionStorage（分布式ServerSAN）、EMC ScaleIO、Ceph等分布式块存储技术进行替换，分布式块存储所用的硬件为标准的X86服务器，各节点相互独立，节点之间通过专用的存储网络（InfiniBand或万兆级IP网络）连接，部署专门的存储软件构成块存储，具备集群扩展能力。针对离线及实时性不高的文件类数据以及虚拟机镜像共享存储等，可采用Ceph等分布式文件存储技术。对象存储多用于对外提供面向Internet的简单存储服务，此场景运营商应用较少，可作为储备技术。网络为资源调度提供管道，SDN是解决跨域资源调度的主流技术，SDN主要应用场景是在云资源池物2017年第23期45Copyright©博看网 www.bookan.com.cn. All Rights Reserved.网规网优理网络建成后，通过软件编程方式对多租户业务进行网络配置、流量控制和安全隔离等。SDN相关的两种隧道技术有Overlay技术和Underlay技术，其中Overlay技术可实现不同业务网络的开通和隔离，代表技术为VxLAN，在服务器虚拟化大规模应用场景下，建议采用此技术；而Underlay技术是通过物理网络设备本身的技术改良、扩容，对传统网络技术进行优化，实现对虚拟网络的隧道化承载，在虚拟化规模不大的前期阶段，为方便快速部署和节省投资，建议采用此技术。以上是IaaS层能力规划建设的关键点，此外，一个完整软件系统运行还需要数据库、中间件、计算框架等环境，这些共享资源在PaaS层实现，通过PaaS层的建设来提供更完善的服务。建设PaaS层的好处如下：1）中长期更节省数据库、中间件软件投资；2）IaaS层资源利用率更均衡和充分；3）应用软件开发部署进一步简化，安装和部署可通过PaaS统一实现。

某运营商PaaS层能力规划如图4所示。

该运营商未建设PaaS前，上层网管类应用直接使用IaaS层提供的资源（网络、计算、存储等），建设PaaS后，通过PaaS利用IaaS的资源服务，为上层应用系统的开发、运行提供更加完善的服务，如预装中间件的虚拟机、统一调度编排的容器集群、多租户的Hadoop YARN集群等。建设PaaS层需要具备两个基础条件，即上层系统软件架构解耦、开放；数据库、中间件等资源能够集中运营管理。针对前期系统仅做到软硬件解耦的，建议使用IaaS资源；针对在软硬件解耦基础上，系统的软件技术架构可以进一步开放解耦的，建议使用PaaS服务。

PaaS层涉及的主要新技术以及应用场景归纳如下：1）容器及Docker容器引擎

容器（Container）是在Linux内核实现在轻量级资源隔离机制；容器是进程级隔离，虚拟机是操作系统级隔离。虚拟机与容器之间的特点对比如图5所示。

通过容器引擎，如Docker，可以把应用程序代码及其运行所依赖的库函数、配置文件等打包到一个容器中并运行。

使用容器，实际指的是使用容器的“应用编排&资源管理”技术，主要技术有Kubernetes、Docker Swarm/Compose、Mesos等，其中Kubernetes（简称K8s）是主流技术，可以实现管理容器资源、调度容器引擎，从而实现对上层应用容器化的支撑。

2）DCOS

DCOS，即数据中心操作系统，同时具备IaaS、PaaS能力，具备IaaS的资源调度管理能力和PaaS的应用计算框架管理能力；核心资源调度技术是Apache Mesos，Mesos也支撑容器集群资源管理（类似K8s）。典型产品有Mesosphere、中国移动的BC-

图4 某运营商私有云PaaS层能力规划图

462017年第23期Copyright©博看网 www.bookan.com.cn. All Rights Reserved.网规网优图5 虚拟机与容器特点对比DCOS。

通过PaaS层的建设，IaaS层资源的利用率将更均衡，同时，提升了对上层应用技术架构的掌控力，促进公司IT能力内化，也为DevOps（开发运营融合）提供工具支撑。

（3）总体规划演进方案通过以上针对私有云规划总体思路、演进路线、分层能力规划及关键技术的分析阐述，某运营商总体规划演进方案建议如下：1）2014年至2015年重点建设私有云管理平台、业支资源池、网管资源池工程，一方面继续完善资源池基础能力，一方面提升资源管理能力。推动业支、原管信资源池融合建设，推动IT化明显的小型业务平台纳入网管资源池建设。推动传统业务平台在专业系统内部完成软硬件的解耦和X86化改造。2）2016年至2017年私有云管理平台，围绕运维需求，重点建设资源运营流程、资源自动化调度等能力。资源池建设方面，形成B域、M域融合的资源池；扩充网管资源池，逐步纳入已云化改造的业务平台，初步形成网管、业务的综合资源池。建设资源池PaaS能力，探索SDN新技术应用。3）2018年至远期形成某运营商私有云两地三中心架构，为上层业务提供不间断的资源保障与弹性资源供给能力。形成较完善的云管理平台、IaaS、PaaS能力，支撑上层各类系统和平台的灵活部署快速迭代。完成业务平台软硬件解耦，硬件纳入私有云资源池统一管理。4 网管支撑系统私有云规划4.1 规划思路以网管支撑系统私有云规划为例，该运营商面向未来发展，基于前期分层架构，将进一步推动网管系统全面云化规划。参照云计算架构，网管系统整体规划为SaaS（软件服务）、PaaS（平台服务）、IaaS（基础设施服务）三层架构。如图6所示。SaaS层：围绕网络集中运维，推动现有应用云化改造（虚拟化、分布式、微服务等）、新增应用直接云化部署，目标是实现百花齐放、灵活部署和敏捷开发，支撑DevOps（需求开发和系统运维整合管理模式）。PaaS层：原共享与服务层规划入PaaS层能力，新增K8s容器资源管理与应用编排能力、YARN分布式计算集群资源管理能力，利用IaaS提供的基础设施服务，为SaaS层提供更加完备的服务（数据服务、采集服务、计算框架等），目标是实现数据和能力开放。IaaS层：完善网络、计算、存储等基础资源服务提供能力。2017年第23期47Copyright©博看网 www.bookan.com.cn. All Rights Reserved.网规网优图6 网管支撑系统私有云规划图

4.2 规划演进方案遵循以上思路，为实现网管支撑系统“从专业网管向‘4+1’体系架构的综合网管演进，全面支撑全业务开通，实现端到端的业务监控和质量管理，提升业务和服务的质量和效率，降低网络运行维护成本”的目标，某运营商网管支撑系统私有云规划演进方案建议如下：（1）2014年至2015年

围绕网络集中化运维体制改革，加强“4+1”系统建设，重点持续提升4G、VoLTE、互联网、政企业务的集中化支撑能力；推进网管SOA架构演进，保持可持续性健康发展，包括数据总线、统一采集、统一DPI、集中操作维护、GIS服务等共享服务等能力。

推动系统云化改造，包括Docker/VM、超融合架构、YARN/K8s等新技术应用。提升高可用性，具备一定容灾能力。（2）2016年至2017年

持续推进资源管理、性能管理、故障管理、网络优化、运维管理的集中化、标准化的支撑能力建设，实现从面向设备、面向网络到面向业务、面向客户支撑管理能力的转型提升；面向云计算、大数据的发展，推动网管系统SOA架构基础服务能力的对外开放，包括统一采集、统一DPI、数据总线等。

构建统一应用、集群资源管理技术架构，进一步提升云化水平，提升资源利用率和均衡性。

（3）2018年至远期

紧随网络新技术、新业务发展，提早规划研究相关网络管理能力并启动建设，如NFV、物联网管理能力等。

促进IT能力内化，具备自主架构规划、系统设计能力，具备私有云资源运营能力，探索自主研发能力。

5 结束语

众所周知，云计算具有自身的优点，主要体现在提升资源利用率和系统扩展性，通过改变传统项目的管理模式提高了业务部署的速度，增强了系统可靠性，降低了电信运营商的总体建设成本，因而增强了企业竞争力。

但是，云计算经过了几年的发展和建设实践，也出现了一些问题，比如：1）因底层网络不支持导致二层网络无法打通，进而无法实现IT各域系统之间跨集群/机房/局址的资源调度；2）因Hadoop集群与云管平台接口标准化程度低无法实现Hadoop/MPP等物理机资源纳入云管平台，进而无法实现资源的迁移；3）早期因管理方式没有及时与私有云资源池建设模式匹配而导致的项目进度缓慢。

电信运营商针对以上问题需要在规划建设方面予以关注，与此同时，也要特别注意IT系统云化和云资

482017年第23期Copyright©博看网 www.bookan.com.cn. All Rights Reserved.网规网优源池建设的各个环节要素应协调发展、紧密配合才能全面发挥云计算的优势。（上接第42页）[3] 乔建,苗杰. 运营商城域网虚拟化vBRAS应用[J]. 江苏通信, 2017,33(3): 74-77.[4] 史凡,赵慧玲. 中国电信网络重构及关键技术分析[J]. 中兴通讯技术, 2017,23(2): 2-5.[5] 孙同磊,周余芯. 基于vBRAS资源池构建新型城域数据网[J]. 电信科学, 2016(S1): 107-112.[6] 邵广禄. SDN/NFV重构未来网络[M]. 北京: 人民邮电出版社, 2016.[7] 徐雷. 网络功能虚拟化技术与应用[M]. 北京: 人民邮电出版社, 2016.[8] 李素游,寿国础. 网络功能虚拟化（NFV架构开发测试及应用）[M]. 北京: 人民邮电出版社, 2017.[9] 王怀滨. 中兴通讯BRAS NFV&SDN实施方案[EB/OL]. (2015-07-08)[2017-10-18]. http://www.c114.net/topic/4701/a907199.html.[10] 王熙. 中国电信：vBRAS是网络重构的重要组成[EB/OL]. (2017-07-24)[2017-10-18]. http://www.cww.net.cn/article?id=411377. ★参考文献：

[1] 陆钢,杨新章,何震苇,等. 电信运营商对容器技术的探索和思考[J]. 电信科学, 2016(8): 159-160.[2] 赵辉,丁鸣,程青松,等. SDN与NFV技术在云数据中心的规模应用[J]. 电信科学, 2016(1): 144-151.[3] 程伟强,李晨. 电信级SDN在运营商网络中的应用研究[J]. 电信技术, 2016(3): 52-55.[4] 黄志兰,樊勇兵,陈楠,等. overlay SDN实现异构兼容的关键技术[J]. 电信科学, 2016(11): 112-118.[5] 王永建,张健,张富根,等. 基于VXLAN的云数据中心网络研究[J]. 通信技术, 2017(1): 78-83.[6] 张卫峰. 深度解析SDN利益、战略、技术、实践[M]. 北京: 电子工业出版社, 2014.[7] 邵广禄. SDN/NFV重构未来网络[M]. 北京: 人民邮电出版社, 2016.

[8] 中国移动通信集团公司技术部. 自主核心能力产品/服务清单汇报[R]. 2016.[9] 中国移动通信集团河北有限公司. 河北公司私有云规划[R]. 2016.

[10] 华为技术有限公司. 华为FusionStorage 3.30技术白皮书[R]. 2016. ★作者简介

梁杨：高级工程师，硕士毕业于清华大学，现任职于中国移动通信集团设计院有限公司河北分公司，研究方向为电信领域IT支撑专业的咨询、设计及规划。作者简介张云帆：高级工程师，现任职于江苏省邮电规划设计院有限责任公司，主要从事数据通信网络、业务平台、云计算领域规划及设计工作。2017年第23期49Copyright©博看网 www.bookan.com.cn. All Rights Reserved.