进化：运维技术变革与实践探索

运维即服务，好的服务体系是系统稳定运行的坚实基础和有力保障。本书从解决实际问题的角度出发，融入作者多年工作中积累的典型案例，结合对当前技术发展趋势的理解，不仅阐述如何从稳定、效率、成本、安全等各个维度构建自动化的技术服务平台，而且不乏对智能运维领域的思考和探索，完整地覆盖应用生命周期管理的各个阶段，值得一读。

——流火（杨乃印） 美丽联合集团技术总监

这是一本介绍运维的好书，既有构建运维体系的方法论，又有硅谷一线IT企业的运维故事。从开发到运维，从技术到管理，作者丰富的工作经历让本书的内容生动有趣，每次技术的选型，每个方法的凝练，都蕴含着赵成老师对运维工作的高度思考与总结。正是这份对运维工作的认同感，促使我向各位读者力荐本书，它可能没办法把默默无闻的运维带到镁光灯下，但它一定能给你带来新的运维思路与灵感，让你与卓越的运维能力更加接近。

——梁定安 腾讯运维技术总监

运维是后端容易被忽视的工作，却又是软件生命周期中基本的一环。保证大规模系统的线上稳定运行，为所有的线上问题负责到底，这就是运维的职责。赵成作为运维领域的佼佼者，分享的不仅是运维技术，还包括系统架构、个人成长、团队管理等多个方面，给了我不一样的思考视角。换个视角看世界，受益良多！

——史海峰 饿了么技术创新部高级总监

赵成在极客时间的专题系列分享《运维体系管理课》一经推出，就吸引了不少人的目光。得知要出版纸质书，不胜欣喜。赵成曾在质量严谨、流程清晰的华为公司工作，现担任美丽联合集团的运维负责人，一线的扎实训练和愈来愈系统化的视野让这个专栏劲道十足。我毫不吝惜表达对这个专栏的喜爱，原因有三。一是宽广的技术视野，作者不仅对自己工作中的经验进行了很好的总结，还对Google、Netflix的运维哲学及佳实践了然于胸，知行合一。二是系统化的思维，不局限于运维岗位本身谈运维。运维体系以应用为核心，从生命周期视角看待应用运维体系建设、DevOps背后的探索，不乏真知灼见。三是条理清晰，娓娓道来的叙述模式。一般描述质量和故障，或有《清单革命》的直击人心，或有故障复盘的僵化规矩。赵成在“守正”的味道下用清晰笔触讲述一些具体问题，而不隔靴搔痒。比如开发测试环境问题、是否上云问题、故障定责问题等。我作为十几年的研发工程师和一线研发管理者，对赵成总结的运维体系很认同。运维和开发在统一目标下协同支撑的春天已经到来！

——右军 蚂蚁金服高级技术专家

当基础设置发生了翻天覆地的变化时，当业务发展速度比以前快了好几百倍时，运维技术也遇到了未有的挑战，如何在这种变化中体现运维价值就显得尤为重要。本书作者拥有多年大型互联网公司一线实战经验，也拥有丰富的运维体系理论，希望通过本书为读者提供一些运维思路。

——南非蜘蛛（窦喆） 运维帮创始人

这是一本务实的书，结合实际的运维工作及热点问题，作者均以务实的态度，从解决问题的角度展开阐述观点。严谨的字里行间处处贯穿的是对技术工作宗教般的虔诚，凝聚着让各层次的读者从中得到收获的努力。相信作者分享的技术职场生存法则、解决问题的关键要点、摆脱困境的思路，可以帮助读者找到方向，坚定信念。强烈建议希望突破职业瓶颈得到更好发展的程序员及运维工程师持卷品读。

——戴贲 华为技术有限公司技术专家

传统意义上的运维是并不出彩的工作，不出彩的原因很大一部分是因为运维工作者是站在“维”的角度被动、响应式地思考和行动。赵成老师的这本书从运维管理体系、研发交付、云技术运维实践和人员成长这几个角度用丰富生动的案例向我们阐述了互联网时代的“运维”应该如何运筹帷幄，让我们看到做好应用运维需要更多地从架构、持续交付环节前向考虑循环改进。本书不仅适合运维工作者，也非常适合技术管理者和架构师们阅读。

——鲁建凡 恒生电子公共平台事业部总经理、恒生研究院专家

在我们创业之初，公有云还不是特别成熟，无耐选择了自建机房这条路，却由于缺少运维方面的经验而吃尽了苦头，所以深深地理解运维在大型分布式系统中起到的核心作用，也非常清楚做好运维（尤其是在业务快速发展的巨大压力下）是件极其不容易的系统工程。赵成在华为打下了良好的基础，并在蘑菇街业务快速发展的过程中积累了非常丰富的一线经验，基于此形成的运维体系管理理论极具实战参考价值。同时，赵成又能跳出运维看运维，从业务、架构、管理等方面追根溯源，深挖运维成功之道，给大家带来了不一样的运维思考。

——张新波 同盾科技联合创始人、技术VP

在如今技术风起云涌的时代，靠谱的运维是持续提供稳定服务的关键保障。本书详细阐述了如何构建优秀的运维体系，并给出了在持续交付等方面的佳实践。此外，当今云计算大行其道，如何做好云计算时代的运维也是一个亟需解决的问题，本书针对该问题也给出了答案。

——陈超 七牛云技术总监

得益于云计算技术的蓬勃发展，软件架构从传统的单体架构、分层架构逐步演进到微服务架构，应用的运维也随之不断演进。赵成从技术管理者的角度探讨了微服务化架构下的运维体系建设，分享了一线互联网公司持续交付和稳定性建议方面的佳实践，字里行间也夹杂着作者对团队管理和个人技能提升的感悟和思考，是一本不可多得的运维研发同学案头必备的工具书。

——怀民（沈淦） 大搜车高级副总裁

作为应用运维团队的负责人，经历了运维团队从0到N的发展，也同样经历着传统运维向运维开发、云计算运维、大数据运维、智能运维方向的转变之路，读本书的每个章节时都让我感同身受。应用运维体系的建设任重而道远，DevOps、SRE都只是整体体系中的一部分，而每家公司根据自身业务和阶段性目标的不同，对应用运维体系的要求也不一样。本书全面立体地覆盖了运维的标准化和服务化的体系建设，对持续交付、稳定性保障、故障管理和复盘等实操内容进行了深入浅出的讲解，相信不管是运维从业人员，还是技术管理者，在阅读之后对运维体系以及运维行业未来的发展都能有更全面的认识，上升到新的高度。

——王超 京东金融应用运维负责人

对于运维体系的整体理解，本书会帮助我们以更高的视角去思考和实施运维实践。赵成将自己对运维体系的丰富践行和深刻思考，通过本书进行抽象整理并精妙准确地描述出来。在阅读的过程中，我时常会在章节中的一些句子中找到强烈的共鸣，相信从事基础架构和规模运维的朋友们也会和我一样获得启发并重新思考。

——林晓峰 知乎技术总监

我读完本书的感受：可作为IT新人的运维“百科全书”，也可作为IT资深人员的运维知识体系参考书。本书从IT运维的多个角度，例如运维体系建设、云计算与运维、AI与运维、运营与运维、持续集成与交付、运维流程管理、故障管理等，解读了运维工作以及与运维工作相关的技术与方法，同时包含了案例解读，使读者从理念、方法到实践都可获益。另外的独到之处是，作者也结合亲身经历解读了运维工程师的成长历程，面对新技术应该如何思考以及如何转型，对于不同阶段的运维工程师都是有益的参考。

 ——张真 宜信技术研发中心高级架构师、研发总监

《进化：运维技术变革与实践探索》依托作者在电信和互联网行业多年的从业经历，结合一线工作实践，从应用生命周期的视角，全面详细地介绍了分布式架构体系下，应用运维体系建设的方方面面，涵盖了体系建设方法论指导、持续交付体系建设思路和实践、稳定性体系规划建设，以及故障的科学管理方法等内容，视角新颖且独特，旨在通过换一个角度看运维，带给读者不一样的思考方式。

《进化：运维技术变革与实践探索》是各行业运维工程师和运维架构师了解新时代运维趋势必不可少的学习材料，同时也是业务架构师，开发、测试等技术人员以及技术经理、总监等管理人员用来丰富技术视角不可多得的宝贵参考书。

赵成，是公众号“Forrest 随想录”的作者，多届 ArchSummit 运维专题明星讲师和优秀出品人，TGO 杭州分会会员。目前专注于云计算和人工智能时代的运维转型和提升。

加入蘑菇街之前，赵成在华为工作了七年，经历过开发、测试、运维以及一线客户服务等诸多岗位。他在不断的历练中迅速成长，培养了全面思考的意识和能力，积累了丰富的电信级和互联网业务研发及运维经验。

赵成说他踏上运维之路有很大的偶然性，一，不忍心看着自己跟团队开发出来的系统到了线上总是出问题，所以每当有问题时，他总是冲在前面解决问题，久而久之，便积累了丰富的经验，也成为团队中比较重要的角色；第二，也是更重要的一个因素，他说自己非常享受那种攻克难题之后的成就感。

第1章 运维的本质

1.1 顶级公司的运维定义 / 2

1.1.1 没有运维的Netflix / 2

1.1.2 Netflix是如何成为行业典范的 / 3

1.1.3 总结 / 7

1.2 运维体系建设的核心概念：应用 / 7

1.2.1 应用的起源 / 8

1.2.2 应用模型及关系模型的建立 / 9

1.2.3 微服务架构时代下为什么要以应用为核心 / 12

第2章 运维体系建设

2.1 标准化体系建设基础 / 16

2.1.1 标准化的原因和步骤 / 16

2.1.2 基础设施层面的标准化 / 17

2.1.3 应用层面的标准化 / 19

2.1.4 总结 / 21

2.2 标准化体系建设实践：基础架构标准化 / 22

2.2.1 常见的分布式基础架构组件 / 23

2.2.2 基础架构组件的选型问题 / 24

2.2.3 基础架构的服务化 / 26

2.2.4 运维的职责 / 27

第3章 配置管理数据库（CMDB）

3.1 CMDB的前世今生 / 36

3.1.1 CMDB源起 / 36

3.1.2 传统运维思路下的CMDB / 37

3.1.3 互联网运维体系下的CMDB / 39

3.1.4 CMDB进行时 / 40

3.2 有了CMDB，为什么还需要应用配置管理 / 41

3.2.1 CMDB是面向资源的管理，是运维的基石 / 42

3.2.2 应用配置管理是面向应用的管理，是运维的核心 / 43

3.2.3 总结 / 45

3.3 在CMDB中落地应用的概念 / 46

3.3.1 如何有效组织和管理应用 / 46

3.3.2 应用的集群服务分组建设 / 49

3.3.3 CMDB在基础服务体系中的核心位置 / 51

3.3.4 总结 / 54

第4章 运维组织架构及模式

4.1 运维组织架构和转型 / 56

4.1.1 自助化运维能力的建设 / 56

4.1.2 从价值呈现的角度看运维 / 57

4.1.3 运维协作模式的改变 / 59

4.1.4 运维的组织架构 / 61

4.1.5 总结 / 62

4.2 Google SRE的运维模式 / 63

4.2.1 SRE岗位的定位 / 63

4.2.2 SRE岗位的职责 / 64

4.2.3 如何借鉴和落地 / 67

4.3 从Google CRE谈运维的服务意识 / 67

4.3.1 CRE产生的背景 / 68

4.3.2 CRE岗位的职责 / 69

4.3.3 从CRE谈谈做运维为什么要有服务心态 / 70

4.4 云计算和AI时代下的运维转型 / 73

4.4.1 应用运维的转型 / 75

4.4.2 云计算和AI带给我们的挑战 / 78

4.4.3 总结 / 80

第5章 持续交付

5.1 提升效率，为什么要先做持续交付 / 84

5.1.1 什么是持续交付 / 85

5.1.2 持续交付的关键点 / 86

5.2 持续交付的第一关键点：配置管理 / 88

5.2.1 版本控制 / 89

5.2.2 依赖管理 / 90

5.2.3 软件配置 / 91

5.3 多环境配置管理 / 94

5.3.1 多环境问题 / 94

5.3.2 不同环境下的应用配置管理 / 95

5.3.3 环境配置管理解决方案 / 96

5.3.4 总结 / 100

5.4 多环境建设 / 101

5.4.1 环境分类 / 101

5.4.2 线下环境分类建设 / 102

5.4.3 环境建设上的关键技术点 / 106

5.4.4 总结 / 109

5.5 线上环境建设 / 110

5.5.1 生产环境 / 110

5.5.2 Beta环境 / 112

5.5.3 预发环境 / 113

5.5.4 办公网生产环境 / 116

5.5.5 总结 / 117

5.6 流水线模式 / 118

5.6.1 持续交付流水线简要说明 / 119

5.6.2 项目需求分解 / 119

5.6.3 提交阶段之开发模式选择 / 121

5.6.4 开发模式的选型原则 / 123

5.7 流水线软件构建 / 125

5.7.1 构建环节 / 126

5.7.2 几个关键问题 / 127

5.8 流水线构建完成后的质量保障 / 131

5.8.1 依赖规则限制 / 131

5.8.2 功能测试 / 132

5.8.3 非功能测试 / 133

5.8.4 总结 / 135

5.9 持续交付实践：根据业务场景找方案 / 136

5.9.1 软件的持续部署发布 / 137

5.9.2 发布策略 / 139

5.9.3 持续交付体系的收益 / 141

5.9.4 总结 / 141

第6章 稳定性保障

6.1 极端业务场景下的稳定性保障 / 144

6.1.1 我们所面对的极端业务场景 / 144

6.1.2 技术上的挑战 / 146

6.1.3 极端业务场景下的不确定因素 / 148

6.2 稳定性实践 / 150

6.2.1 容量规划 / 150

6.2.2 限流降级 / 160

6.2.3 开关和预案 / 167

6.2.4 全链路跟踪系统 / 172

第7章 故障管理

7.1 我对故障的理解 / 182

7.2 故障定级和定责 / 186

7.2.1 故障的定级标准 / 187

7.2.2 故障的定责标准 / 189

7.3 故障定责的目的 / 192

7.3.1 关于定责和处罚 / 192

7.3.2 目的是鼓励做事，而不是处罚错误 / 194

7.3.3 处罚的“负”作用远超我们的想象 / 196

7.4 故障应急和故障复盘 / 197

7.4.1 故障应急 / 198

7.4.2 故障复盘 / 201

7.4.3 定期总结故障案例 / 203

7.4.4 总结 / 204

第8章 云运维的技术选型

8.1 为什么蘑菇街会选择上云 / 206

8.1.1 我们所面临的问题 / 206

8.1.2 纵观技术发展趋势 / 211

8.1.3 没有银弹 / 212

8.2 为什么混合云是未来云计算的主流形态 / 213

8.2.1 关于混合云 / 213

8.2.2 我们所经历的几个基础设施建设阶段 / 215

8.2.3 总结 / 219

8.3 面向应用层的云架构解决方案：Spring Cloud / 219

8.3.1 Spring Cloud框架中云的影子 / 220

8.3.2 CNCF / 223

8.3.3 可以预见的技术发展趋势 / 224

8.4 云计算时代的弹性伸缩 / 225

8.4.1 弹性伸缩的主体是谁 / 225

8.4.2 总结 / 228

第9章 CDN

9.1 从CDN和云存储来聊聊云生态的崛起 / 230

9.1.1 CDN和云存储 / 230

9.1.2 云生态的优势 / 231

9.1.3 总结 / 234

9.2 页面静态化架构和二级CDN建设 / 235

9.2.1 静态化架构建设的业务场景 / 235

9.2.2 页面静态化架构 / 237

9.2.3 静态化架构在大促场景中的应用 / 239

9.2.4 二级CDN建设 / 240

9.2.5 总结 / 241

第10章 运维人员的成长之路

10.1 我是如何走上运维岗位的 / 244

10.1.1 我是怎么开始做运维工作的 / 244

10.1.2 我为什么会把运维当作职业发展的方向 / 247

10.1.3 给我们的一点启发 / 251

10.2 运维需要懂产品和运营吗 / 252

10.2.1 运维的角色转变和价值体现 / 253

10.2.2 技术产品 / 254

10.2.3 技术运营 / 254

10.2.4 总结 / 256

10.3 从技术到管理，如何转身 / 257

10.3.1 从员工离职说起 / 257

10.3.2 关于员工离职的两个观点 / 258

10.3.3 谈谈如何做好技术管理 / 259

10.3.4 技术管理中引以为戒的一些反模式 / 261

10.3.5 总结 / 262

10.4 树立个人品牌意识 / 263

10.4.1 对求职者的背景调查 / 263

10.4.2 如何树立个人口碑 / 265

10.4.3 要引以为戒的反例 / 266

10.4.4 共勉 / 268

拓展阅读：运维与安全

页　　数：304

开　　本：32开