企业私有云建设指南

（1）作者在云计算、系统架构和运维领域工作多年，在OpenStack、VMWare以及私有云等各种云计算平台下，有丰富的实践经验。

（2）本书得到了9位云计算领域的领袖人物和技术专家的高度评价。

（3）给出了基于商业的VMWare和开源的OpenStack两种平台下的私有云建设方案，满足各类读者需求。

（4）从技术选型、规划和建设、设计和部署、平台建设和管理、优秀实践、成熟度评估6个维度展现私有云建设的全景图。

这是一部全面的、以实践为导向的企业私有云建设指南，内容严谨、语言平实，匠心之作。

作者是云计算、系统架构和运维领域的资深专家，基于VMWare和OpenStack两种解决方案，从技术选型、规划和建设、设计和部署、平台建设和管理、优秀实践、成熟度评估6个维度对私有云的建设展开了全景式的讲解。

全书一共10章：

第1章总结性地介绍了云计算的参考架构、典型解决方案架构和涉及的关键技术；

第2章从需求分析入手，详细讲解了私有云的技术选型，以及资源管理、监控和运维；

第3章从计算、网络、存储资源池等方面讲解了私有云的规划和建设，以及私有云建设的总体原则。

第4~5章分别讲解了基于开源的OpenStack和商业的VMWare的私有云设计与部署，从计算资源、网络资源、存储资源、系统架构、高可用实现、备份和容灾、高级扩展等方面私有云建设应遵循的实践原则和经验；

第6章 从产品设计和架构设计两个方面阐述了企业私有云设计的通用原则。

第7章以企业私有云平台的设计原则和建设思路开篇，从架构设计、部署和管理、容器与容器云建设、灾备建设与管理、服务与安全、运维与效益分析等各个方面完整诠释了私有云平台的建设和管理，融入了很多的技术理念和设计思想。

第8章以Kolla交付方式为基础，从技术规划、部署运维、日志监控、二次开发和升级扩容等多个维度介绍了Openstack私有云的优秀实践。

第9章从VMWare的SDN、SDS和SRM容灾规划设计三个方面，总结了大量的优秀实践和部署方案。

第10章介绍了私有云成熟度评估的模型、方法和案例，包括技术成熟度评估、管理成熟度评估和成熟度效果评估等内容。

孙杰（Sun Jie）

资深云计算技术专家、架构师和运维专家，云计算开源产业联盟OSCAR社区核心专家成员。

在系统、运维、云计算和数据中心管理等领域有10余年工作经验，先后在外企、互联网、电商、大型企业任职，在若干大中型项目的建设、部署和运维中，积累了丰富的架构设计和项目实施经验。红帽RHCE认证系统工程师、Oracle认证OCP、VMware认证VCP以及OpenStack认证工程师。多次受邀出席全球云计算峰会、可信云大会、GOPS全球运维大会等技术会议并发表演讲，广获好评。

山金孝（Warrior）

资深云计算技术专家，现就职于招商银行，曾就职于IBM。在云计算、大数据、容器及其编排技术、机器学习和人工智能领域有丰富的研究和实践。

国内较早接触OpenStack的一线技术专家，长期致力于OpenStack私有云的研究、实践和布道，OpenStack社区金融工作组成员，著有畅销书《OpenStack高可用集群》（上下册）。

曾参与移动、电信、联通、招行、国家电网和长安汽车等多家大中型国有企业的高可用业务系统和私有云计算平台的设计与实施，在企业私有云建设、系统容灾和高可用集群建设上具有多年的项目实施经验。

此外，他还是IBM认证的高级技术专家、DB2高级DBA，Oracle认证的OCP以及RedHat认证的系统工程师，在国内外核心期刊发表CVPR论文多篇。

张亮

资深云计算技术专家、架构师和运维专家，在 IT 基础架构和数据中心运维领域有15年从业经验。中国开源云联盟成员，致力于在国内推动面向Openstack和Docker的标准化和普及工作。

曾就职于IBM和数人云，在IBM担任云计算架构师和数据中心运维管理咨询顾问；在数人云担任解决方案VP，推动国内传统企业使用新型基于容器的云计算架构。上海复旦大学软件工程学院特聘教师，作为MSE顾问，开设了《数据中心管理》和《云环境下大规模应用运维》课程。

张婷婷

中国移动通信研究院云计算高级研究员，中国云计算开源联盟私有云成熟度评估项目组组长。在云计算领域深耕多年，熟悉企业级私有云规划建设方案的制定。

负责中国移动云计算演进规划、技术架构、方案设计和规范制定等工作，参与多个千余节点的大规模私有云资源池建设。对开源架构以及云计算运营、运维管理方法等有深入理解，申请云计算技术专利近10个，开创国内首ge云计算量化成熟度评估体系，在国内外标准化组织中推广应用。

本书4位作者都是长期参与企业私有云理论研究、架构设计、技术选型、部署实施和日常管理的专家，清晰地了解企业私有云建设和维护方面的需求和难点，本书从技术和产品的角度对私有云进行了全景式论述。

——肖力 云技术社区创始人

本书围绕私有云的规划、设计、部署、云平台体系架构、计算资源、存储资源、网络资源、大数据平台、容器应用、多云管理、容灾备份、服务与安全、运维与效益分析等方面详细阐述了应遵循的原则和参考实践。

——赖能和 中国石油集团东方地球物理公司研究院数据中心总工程师/教授级高级工程师

本书立意明确，以具体实践为核心，从云技术选型、设计到平台建设和管理等方面，结合商业的VMWare和开源的OpenStack两种不同的解决方案，全面剖析了当下企业私有云建设，为其他企业提供了非常多的启发与思考！

——何宝宏 中国信息通信研究院云大所

本书的4位作者都是在技术第一线的老兵，有着丰富的运维和建设经验。他们当中多人已是多部云计算畅销书的作者，相信这次几位合力创作该书，必将使它成为企业私有云建设和运维方面的经典之作。

——王庆博士 OpenStack基金会个人独立董事/英特尔开源技术中心网络与存储高级经理

孙杰是云计算和运维技术专家，多年的能源行业云计算、大数据技术体系建设实践，为他带来了对主流的VMware和OpenStack私有云解决方案的一手经验。本书提炼的技术和非技术的关键元素，可望为有志于企业私有云建设的朋友们节省宝贵的时间和资金。

——陈绪博士 中国开源软件推进联盟常务副秘书长

本书系统地剖析了当前企业私有云建设的需求，重点分析了OpenStack和VMWare 两种技术选型和部署管理实践，并总结了私有云成熟度评估，对于企业私有云建设的决策者和技术人员都有很好的参考指导作用。

——郭长波 EasyStack工程技术高级总监/OpenStack基金会独立董事

本书由多位终端企业用户执笔，全方位分享了不同行业的私有云建设的实践心得，书中总结的实践经验覆盖了企业私有云建设的各个方面，对不同行业的读者都极具参考价值！

——陈沙克 招银云创金融PaaS研究中心总监

本书重点着墨于实践，把作者在云计算领域多年的规划、建设、落地、运维等实践经验以及深层思考通过文字展现给读者。

——刘世民 海南易建科技云服务事业群技术总监

本书理论与实践相结合，细致梳理和总结了企业私有云建设的各方面实践，非常适合云计算的初学者、架构师、运维工程师等人员阅读。

——娄宏骏 中油瑞飞云计算业务部经理

Contents 目　　录

序1

序2

序3

序4

序5

前言

引言 1

第1章 企业信息化与云计算架构和关键技术 2

1.1 企业信息化发展的阶段和转型重点 2

1.1.1　企业信息化发展的三个阶段 2

1.1.2　企业信息化转型的六个重点 4

1.2　云计算参考架构 6

1.3 典型的云计算解决方案架构 10

1.3.1　IaaS架构 11

1.3.2　PaaS架构 12

1.3.3　SaaS架构 17

1.4　云计算涉及的关键技术 18

1.5　小结 22

第2章　企业云计算涉及的技术选型和管理 23

2.1　企业私有云建设需求分析 23

2.2　企业私有云技术路线选择 24

2.3　计算资源管理 26

2.3.1　VMware 26

2.3.2　OpenStack 29

2.4　存储资源管理 34

2.4.1　VMware 34

2.4.2　OpenStack 37

2.5　网络资源管理 42

2.5.1　VMware 42

2.5.2　OpenStack 43

2.6　监控管理 44

2.6.1　监控指标的设定和调整优化 44

2.6.2 统一运维监控平台和告警处理 48

2.7　运维管理 49

2.7.1　IT运维流程与规范 49

2.7.2 自动化运维工具 51

2.7.3　云环境下的新型IT运维体系 52

2.8　云服务管理 53

2.8.1　云服务的分类 53

2.8.2　云服务的建设 55

2.8.3　云服务质量评估 55

2.8.4　云服务安全性和法规遵从 57

2.9　小结 57

第3章 企业需求分析和私有云资源规划及设计 58

3.1　企业信息技术需求分析 58

3.1.1　基础设施需求 58

3.1.2　系统灾备需求 60

3.1.3　业务信息系统需求 61

3.1.4　数据与标准化需求 62

3.2　企业私有云资源规划及设计 63

3.2.1　企业应用软件模式划分 63

3.2.2　企业私有云建设的总体原则 63

3.2.3　云管理平台设计 64

3.2.4　网络资源池设计 66

3.2.5　计算资源池设计 67

3.2.6　存储资源池设计 69

3.2.7　如何开始业务的上云迁移 73

3.2.8　设备的利旧 76

3.3　小结 77

第4章 OpenStack私有云设计与部署 78

4.1　计算资源 79

4.1.1　物理服务器与裸机 79

4.1.2　Hypervisor与虚拟机 83

4.1.3　Docker与容器 85

4.2　存储资源 86

4.2.1　块存储 88

4.2.2　对象存储 91

4.2.3　文件存储 92

4.3　网络资源 93

4.3.1　物理网络 96

4.3.2　虚拟网络 97

4.4　高可用部署与备份容灾 101

4.4.1　高可用部署 101

4.4.2　备份与恢复 108

4.4.3　异地容灾 110

4.5　其他 113

4.5.1　多租户支持 113

4.5.2　规模性支持 115

4.5.3　混合云支持 116

4.5.4　云安全 117

4.6　小结 117

第5章　VMware私有云设计与部署 118

5.1　私有云整体设计 118

5.1.1　设计要点和建设思路 118

5.1.2　架构概览 122

5.2　vSphere体系架构 124

5.2 1 基于vSphere的数据中心私有云基础架构 124

5.2.2　ESXi体系结构 125

5.2.3　资源分配方式 130

5.3　计算资源规划设计与部署 131

5.3.1　物理服务器部署与管理 131

5.3.2　虚拟机规划与部署 133

5.4　存储资源规划 134

5.4.1　共享存储逻辑规划 135

5.4.2　存储空间规划 136

5.4.3　存储分层规划 137

5.4.4　数据存储集群规划 137

5.4.5　分布式存储规划 138

5.5　网络资源规划 139

5.5.1　虚拟交换机规划 140

5.5.2　物理服务器网卡绑定 141

5.5.3　网络I/O控制（NIOC） 142

5.5.4　无代理终端安全防护 143

5.6　集中式管理规划 146

5.7　高可用部署与备份及容灾 148

5.7.1　高可用部署 148

5.7.2　备份与恢复 149

5.7.3　灾难恢复 152

5.8　高级扩展功能 158

5.8.1　vMotion 159

5.8.2　DRS 161

5.8.3　HA 164

5.8.4　FT 170

5.8.5　大数据平台 172

5.8.6　容器应用 175

5.8.7　VMware PKS容器管理平台 177

5.9　小结 178

第6章 企业私有云设计的通用原则 179

6.1　产品设计通用原则 180

6.2　架构设计通用原则 182

6.3　小结 185

第7章 企业私有云平台建设和管理 186

7.1 企业私有云平台设计原则和建设思路 186

7.1.1　设计原则 186

......

为什么写这本书

2006年8月，Google在业界首次提出“云计算”（Cloud Computing）的概念；同年亚马逊相继推出在线存储服务S3和弹性计算云EC2等云服务。至今云计算已走过了十年，已是“凡人饮水处，皆言云计算”。

共享、敏捷和创新是互联网时代下企业信息化建设最大的转变。云计算则以其对软硬件资源统一管控、服务化的资源快速供给等特性为企业信息化建设构造新生态、产出新效能、实现新跨越提供了重要的平台基础，因此成为国家扶持的战略性新兴产业之一。通过云计算，消费者无须关注底层的IT技术，仅需要在云生态环境中选取所需的服务来实现自身的业务目标即可。云计算的飞速发展极大地改变了企业原有的IT建设模式，也带动了依托于IT资源的各类新兴产业爆发式发展，诸如大数据、人工智能、O2O、物联网等。

云计算的核心可以用五大基本特征、三种服务模式以及四类部署模式来概括：五大基本特征是按需的自助服务、广泛的网络访问、资源池化、快捷的弹性伸缩以及可度量的服务；三种服务模式为基础架构即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）；四类部署模式可以划分为私有云（专有云）、行业云、公有云以及混合云。

我们可以看到，在以AWS、Google、阿里等为代表的公有云大力发展的同时，很多大型企业出于数据安全性、系统稳定性、软硬件自主权，以及对自主可控和TCO低的考虑，更加倾向于建设企业私有云来承载内部业务信息系统的运行。然而构建企业私有云并非一蹴而就，正如Gartner的副总裁Tom Bittman所述：“?部署私有云并不是简单地对硬件进行采购，而是一场革新。”

对于不同的行业和不同类型的企业，在建设私有云时都有不同的需求和关注点，但总体上来说可选择基于商业的VMware和基于开源的OpenStack两种不同的解决方案，至于是选择商用还是开源云平台，这需要企业综合考虑，权衡利弊，依据企业自身技术能力、资金投入总量、实现业务效果等方面考虑云平台技术的选型，所以没有好与不好，而是能否适用和用的好。

在本书确定选题、收集资料、写作修改到最后定稿的整个过程中，既充满挑战、备受压力，也饱含乐趣。首先应该感谢的是尊敬的云技术社区创始人肖力先生。肖老师为人正直、学识渊博、治学严谨，使笔者受益匪浅。也正是在云技术社区，笔者认识了山金孝、刘世民、张亮等业内专家，我们一起愉快地讨论技术，才有了写作本书的想法。也正是在机械工业出版社华章公司的杨福川老师的关心和促成下，笔者才能顺利完成本书，在此要向福川表达深深的谢意。

本书的主要内容和特色

本书立足现实、面向未来，从云技术选型、设计到平台建设和管理等方面，结合商业的VMware和开源的OpenStack解决方案，全面剖析当下企业私有云建设的各方面实践情况，展现企业私有云的建设图景，希望对读者有所帮助。

读者对象

准备进入云计算领域的学生或者初级读者：阅读本书可以快速了解企业私有云建设全景，从而少走一些弯路。

已经进入云计算领域并且有一定相关知识背景或认知的读者：相信本书的一些实践可以给他们的实际工作带来一些启发。

从事售前工作的读者：通过阅读本书中来自一线的实践，可以为用户创造更多价值。

企业IT管理者：通过阅读本书可以了解私有云的架构设计和技术，有助于IT选型和决策。

如何阅读本书

阅读本书之前，读者应该具备一定的虚拟化、SAN或软件定义网络、软件定义存储，以及Linux系统运维和高可用等相关方面的基础知识。本书共分为10章。

第1章从企业信息化的角度，结合云计算的架构和关键技术，讨论了企业信息化建设在理念、模式及评价标准等方面发生的重大变化。同时鲜明地指出面对新变化和数字化转型，企业未来的信息化应用不能再沿用原有的发展模式，而是要突破发展惯性和厂商依赖，顺应时代潮流，不断探索新技术，不断创新发展，自主可控地融入大的生态，才能实现持续发展和基业长青。

第2章从企业私有云建设的需求分析入手，结合技术路线选择和资源管理、监控与运维，简明扼要地讨论了私有云的建设和管理。

第3章从计算、网络、存储资源池等方面描述了企业私有云的规划和建设。

第4章重点介绍了企业在OpenStack私有云建设中的设计和部署实践，并从计算资源、存储资源、网络资源，以及私有云相关的高可用实现、备份容灾实现等方面阐述了企业OpenStack私有云建设应遵循的实践原则，同时介绍了OpenStack在多租户支持、规模性支持、混合云支持和安全性等方面的现状和进展。

第5章重点介绍了企业在VMware私有云建设中的整体设计与部署，并从VMware vSphere体系架构、计算资源、存储资源、网络资源，以及私有云相关的高可用实现、备份容灾实现、高级扩展功能等方面阐述了企业VMware私有云建设应遵循的参考实践，同时介绍了VMware在大数据平台、容器应用、PKS容器管理平台等方面的现状和进展。

第6章从产品设计和架构设计两方面阐述了企业私有云设计的通用原则。

第7章从企业私有云平台的设计原则和建设思路谈起，贯穿架构设计、部署和管理、容器与容器云建设、灾备建设与管理、服务与安全、运维与效益分析等各个方面，完整诠释了企业云技术平台的建设和管理，融入了很多技术理念和设计思想，希望能给大家带来启发和思考。

第8章以容器部署方式为基础，从技术规划、部署运维、日志监控、二次开发和升级扩容等多个维度介绍了OpenStack私有云的最佳实践。通过本章的阅读，读者应能采用Kolla项目实现OpenStack私有云，同时对其进行简单的管理维护和使用。

第9章从VMware软件定义网络、软件定义存储和SRM容灾规划设计三个方面描绘了企业私有云环境下的应用场景，介绍了一些最佳实践和部署方案。通过本章的阅读，读者可采用这些实践推荐的方法更好地管理自己的私有云，同时对其进行深入的管理维护和使用。

第10章从私有云成熟度评估的角度，阐述了企业“建云”只是一切的开始，在“用云”和“上云”的过程中，需要将云化的思想深植于企业文化中。通过评估寻找差距、定位问题，通过持续优化和改进，迭代前进，小步快走，这样才能使企业通过私有云的建设和应用真正发挥IT转型的价值和意义。

勘误和资源

在本书的写作过程中，笔者参考了很多VMware官方社区的资料和OpenStack社区的文档与视频，同时也参考了很多技术专家的经验分享，希望能为广大云计算从业者呈现一本涵盖基础理论与最佳实践的参考书籍。但是由于技术变化之快，加之笔者水平有限，书中难免存在技术延后和谬误观点，若书中有任何不妥之处，恳请读者批评指正。读者可将意见发送至邮箱xjsunjie@126.com进行反馈。

致谢

感谢瑞飞的领导和兄弟们，包括杨剑锋书记、陆春阳副总经理、安向哲副总经理、付长春、娄宏骏、杜广源、王立福、王茜、李萍、马军、张靓、蔺田、丁永利、刘可欣、梁书豪、吴远英，还有一些未提到的兄弟姐妹，你们在工作和生活上的帮助和指导让我受益良多，非常感谢！

感谢VMware的技术专家伍万力先生分享了很多专业资料，并从专业的角度对本书提出了宝贵意见，从而使本书的知识描述更加严谨而准确。

感谢中国移动研究院的张婷婷为本书编写了第10章内容，从而使本书的内容体系更加完善。

感谢机械工业出版社华章公司的杨福川先生和李艺女士，正是因为你们的付出和关心、帮助才有了本书的问世。

感谢云星数据副总裁楼炜在多云管理方面经验的无私分享，让技术因分享更有力量！

此外，还要特别感谢我的爱人刘淅萍，她的鼓励和支持让我愉快地度过了这段难熬的写作时光。

感谢帮我校正文字和排版的于潼，谢谢你辛勤的付出。

孙　杰